近年來，全球許多研究團隊一直在開發(fā)和評估技術(shù)，以使腿式機器人實現(xiàn)不同的運動風(fēng)格。訓(xùn)練機器人像人或動物一樣走路的一種方法是讓它們分析并模擬真實世界的演示。這種方法稱為模仿學(xué)習(xí)。

蘇格蘭愛丁堡大學(xué)的研究人員最近設(shè)計了一個框架，用于訓(xùn)練人形機器人通過人類演示像人一樣行走。在arXiv上預(yù)發(fā)表的一篇論文中提出的這個新框架將模仿學(xué)習(xí)和深度強化學(xué)習(xí)技術(shù)與機器人控制理論相結(jié)合，以實現(xiàn)人形機器人的自然運動和動態(tài)運動。

“我們著手研究的關(guān)鍵問題是如何將(1)機器人運動中的有用人類知識和(2)模仿人類的運動捕獲數(shù)據(jù)納入深度強化學(xué)習(xí)范例，以更有效地提升有腿機器人的自主能力，” Chuanyu進行這項研究的研究人員之一，楊告訴TechXplore。我們提出了兩種將人類先驗知識引入DRL框架的方法。”

Yang和他的同事設(shè)計的框架基于獨特的獎勵設(shè)計，該設(shè)計使用人類步行的運動字幕數(shù)據(jù)作為訓(xùn)練參考。另外，它利用了兩種專門的分層神經(jīng)架構(gòu)，即相功能神經(jīng)網(wǎng)絡(luò)(PFNN)和模式自適應(yīng)神經(jīng)網(wǎng)絡(luò)(MANN)。

Yang解釋說：“復(fù)制類似人的運動方式的關(guān)鍵是引入人的行走數(shù)據(jù)，作為學(xué)習(xí)代理模仿的專家演示。” “獎勵設(shè)計是強化學(xué)習(xí)的重要方面，因為它支配著代理的行為。”

Yang和他的同事使用的獎勵設(shè)計包括一個任務(wù)術(shù)語和一個模仿術(shù)語。這些組件中的第一個組件為類人機器人實現(xiàn)高水平的運動提供了必要的指導(dǎo)，而后者則可以實現(xiàn)更人性化和自然的行走方式。這種獨特的設(shè)計與其他常規(guī)人形控制方法背后的關(guān)鍵理論概念保持一致。

研究人員通過在模擬環(huán)境中進行的一系列實驗評估了他們的模仿學(xué)習(xí)框架。他們發(fā)現(xiàn)，即使在存在干擾或不良因素(例如地形不規(guī)則或外部推動)的情況下，它也能夠在各種情況下產(chǎn)生強大的運動行為。

楊說：“通過利用人類的步行動作作為人工代理模仿的專家演示，我們可以加快學(xué)習(xí)速度，提高整體任務(wù)績效。” “人類的示范知識使我們能夠更有意義地設(shè)計學(xué)習(xí)框架，這被證明總體上對運動技能和運動控制有益。”

這組研究人員收集的發(fā)現(xiàn)表明，專家演示(在此示例中為人類行走的鏡頭)可以顯著增強深度強化學(xué)習(xí)技術(shù)，以針對不同的運動風(fēng)格訓(xùn)練機器人。最終，他們提出的新框架可用于訓(xùn)練類人機器人，使其以與人類相似的方式更快，更高效地行走，同時還實現(xiàn)更自然和類似人類的行為。

具有模仿效果的自然且類似人的步態(tài)：人類的演示確保AI策略不會偏離建議的動作。圖片來源：Yang等

到目前為止，Yang和他的同事們只在仿真中評估了他們的框架，因此他們現(xiàn)在計劃研究將其從仿真環(huán)境轉(zhuǎn)移到現(xiàn)實環(huán)境的方法。他們最終希望在真正的人形機器人上實現(xiàn)它，以便進一步評估其有效性和可用性。

楊說：“在未來的工作中，我們還計劃擴展學(xué)習(xí)框架，以模仿更加多樣化和復(fù)雜的人類運動，例如橫跨運動，操縱和抓握的一般運動技能。” “我們還計劃研究有效的從仿真到現(xiàn)實的策略傳輸，以實現(xiàn)對真正機器人的學(xué)習(xí)策略的快速部署。”