對于一個機器人來說，學(xué)習(xí)一個具有長序列步驟的操作任務(wù)是特別困難的--那里有許多可能的選擇--因為學(xué)習(xí)常常是通過試驗和錯誤進(jìn)行的。
麻省理工學(xué)院、卡內(nèi)基梅隆大學(xué)和加州大學(xué)圣迭戈分校的研究人員想出了一個更好的辦法。他們創(chuàng)建了一個機器人操縱系統(tǒng)的框架，該系統(tǒng)使用兩階段的學(xué)習(xí)過程，這可以使機器人在很長的時間范圍內(nèi)執(zhí)行復(fù)雜的面團操縱任務(wù)。一個“教師”算法解決了機器人為完成任務(wù)必須采取的每一個步驟。然后，它訓(xùn)練一個 “學(xué)生”機器學(xué)習(xí)模型，學(xué)習(xí)關(guān)于何時和如何執(zhí)行任務(wù)中所需要的每項技能的抽象概念，如使用搟面杖。有了這些知識，系統(tǒng)就會推理出如何執(zhí)行這些技能來完成整個任務(wù)。
研究人員表明，這種稱為DiffSkill的方法可以在模擬中執(zhí)行復(fù)雜的操作任務(wù)，如分割和攤開面團，或從砧板周圍收集面團碎片，同時優(yōu)于其他機器學(xué)習(xí)方法。
除了制作披薩餅之外，這種方法還可以應(yīng)用于機器人需要操縱可變形物體的其他場合，例如為老人或有運動障礙的人喂食、洗澡或穿衣的護(hù)理機器人。
“這種方法更接近于我們?nèi)祟愑媱澬袆拥姆绞?。?dāng)人類做一個長距離的任務(wù)時，我們不是在寫下所有的細(xì)節(jié)。我們有一個更高層次的計劃器，它大致上告訴我們階段是什么，以及沿途我們需要實現(xiàn)的一些中間目標(biāo)，然后我們執(zhí)行它們，”MIT計算機科學(xué)和人工智能實驗室（CSAIL）的研究生李云珠說，她是介紹DiffSkill的論文的主要作者之一。
DiffSkill框架中的“老師”是一種軌跡優(yōu)化算法，可以解決短距離的任務(wù)，即物體的初始狀態(tài)和目標(biāo)位置很接近。軌跡優(yōu)化器在一個模擬現(xiàn)實世界物理學(xué)的模擬器中工作（被稱為可微分物理學(xué)模擬器，這使"DiffSkill"中的"Diff"成為現(xiàn)實）。“教師”算法使用模擬器中的信息來學(xué)習(xí)面團在每個階段必須如何移動，一次一個，然后輸出這些軌跡。
然后“學(xué)生 ”神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模仿“老師”的動作。作為輸入，它使用兩個攝像頭拍攝的圖像，一個顯示面團的當(dāng)前狀態(tài)，另一個顯示任務(wù)結(jié)束時的面團。該神經(jīng)網(wǎng)絡(luò)生成一個高級計劃，以確定如何將不同的技能聯(lián)系起來以達(dá)到目標(biāo)。然后，它為每個技能生成具體的、短距離的軌跡，并直接向工具發(fā)送指令。
研究人員使用這種技術(shù)對三種不同的模擬面團操作任務(wù)進(jìn)行了實驗。在一項任務(wù)中，機器人使用鏟子將面團舉到砧板上，然后使用搟面杖將其壓平。在另一項任務(wù)中，機器人使用抓手從柜臺的各個角落收集面團，將其放在鏟子上，并將其轉(zhuǎn)移到砧板上。在第三個任務(wù)中，機器人用刀將一堆面團切成兩半，然后用抓手將每塊面團運送到不同的地方。
DiffSkill能夠勝過依靠強化學(xué)習(xí)的流行技術(shù)，即機器人通過試驗和錯誤學(xué)習(xí)任務(wù)。事實上，DiffSkill是唯一能夠成功完成所有三項面團操作任務(wù)的方法。有趣的是，研究人員發(fā)現(xiàn)，“學(xué)生”神經(jīng)網(wǎng)絡(luò)甚至能夠勝過“教師”算法。
“我們的框架為機器人獲得新技能提供了一種新穎的方式。這些技能然后可以被串聯(lián)起來，以解決更復(fù)雜的任務(wù)，這超出了以前機器人系統(tǒng)的能力，”研究人員說。
因為他們的方法專注于控制工具（鏟子、刀、搟面杖等），它可以應(yīng)用于不同的機器人，但前提是它們使用研究人員定義的特定工具。在未來，他們計劃將工具的形狀整合到“學(xué)生”網(wǎng)絡(luò)的推理中，這樣它就可以應(yīng)用于其他設(shè)備。
研究人員打算通過使用3D數(shù)據(jù)作為輸入來提高DiffSkill的性能，而不是使用難以從模擬轉(zhuǎn)移到現(xiàn)實世界的圖像。他們還希望使神經(jīng)網(wǎng)絡(luò)規(guī)劃過程更加有效，并收集更多不同的訓(xùn)練數(shù)據(jù)，以增強DiffSkill對新情況的概括能力。從長遠(yuǎn)來看，他們希望將DiffSkill應(yīng)用于更多不同的任務(wù)，包括布料操作等。
