麻省理工學(xué)院的研究人員已經(jīng)匯編了一個數(shù)據(jù)集，該數(shù)據(jù)集捕獲了物理上推動數(shù)百個不同對象的機器人系統(tǒng)的詳細(xì)行為。研究人員可以使用數(shù)據(jù)集（同類中規(guī)模最大，種類最多的）訓(xùn)練機器人，以“學(xué)習(xí)”推動動力學(xué)，這對于許多復(fù)雜的對象操縱任務(wù)都是至關(guān)重要的，包括重新定向和檢查對象以及整潔的場景。
為了捕獲數(shù)據(jù)，研究人員設(shè)計了一個自動化系統(tǒng)，該系統(tǒng)包括具有精確控制的工業(yè)機械手，3D運動跟蹤系統(tǒng)，深度和傳統(tǒng)相機以及將所有東西縫合在一起的軟件。手臂推著模塊化的物體，可以調(diào)整它們的重量，形狀和質(zhì)量分布。對于每次推動，系統(tǒng)都會捕獲這些特征如何影響機器人的推動。
名為“ Omnipush”的數(shù)據(jù)集包含250個對象的250個不同的推送，總計大約62,500次唯一推送。例如，研究人員已經(jīng)在使用它來構(gòu)建模型，以幫助機器人預(yù)測物體在被推動時會降落在何處。
這一篇描述Omnipush的論文的作者，機械工程系（MechE）的研究生Maria Bauza說：“我們需要大量豐富的數(shù)據(jù)來確保我們的機器人能夠?qū)W習(xí)。” 智能機器人和系統(tǒng)。“在這里，我們正在從真實的機器人系統(tǒng)中收集數(shù)據(jù)，并且對象足夠多以捕獲豐富的推動現(xiàn)象。這對于幫助機器人理解推動的工作原理并將該信息轉(zhuǎn)換為其他類似現(xiàn)實世界中物體的信息非常重要。”
加入Bauza的論文包括：計算機科學(xué)與人工智能實驗室和電氣工程與計算機科學(xué)系（EECS）的研究生Ferran Alet和Lin Yen-Chen Lin；工程學(xué)院卓越教學(xué)教授Tomas Lozano-Perez；Leslie P. Kaelbling，松下計算機科學(xué)與工程系教授；EECS助理教授Phillip Isola；以及MechE副教授Alberto Rodriguez。
多樣化的數(shù)據(jù)
為什么要專注于推動行為？Rodriguez解釋說，建模涉及物體和表面之間摩擦的推動動力學(xué)，對于更高級別的機器人任務(wù)至關(guān)重要?？紤]一下可以玩Jenga的視覺和技術(shù)上令人印象深刻的機器人，這是Rodriguez最近合作設(shè)計的。羅德里格斯說：“機器人正在執(zhí)行一項復(fù)雜的任務(wù)，但驅(qū)動該任務(wù)機制的核心仍然是推動受例如塊之間的摩擦影響的物體。”
Omnipush建立在Rodriguez，Bauza和其他研究人員在操縱與機制實驗室（MCube）中建立的類似數(shù)據(jù)集的基礎(chǔ)上，該數(shù)據(jù)集僅捕獲了10個對象上的推入數(shù)據(jù)。在2016年將數(shù)據(jù)集公開后，他們收集了研究人員的反饋。其中一個抱怨是認(rèn)為缺乏對象多樣性：在數(shù)據(jù)集上受過訓(xùn)練的機器人努力地將信息推廣到新的對象上，而且也沒有視頻記錄，圖像對于計算機視覺，視頻預(yù)測和其他任務(wù)很重要。
因此如今，對于他們的新數(shù)據(jù)集，研究人員利用工業(yè)機器人手臂精確控制推進(jìn)器（基本上是垂直鋼棒）的速度和位置。當(dāng)手臂推動物體時，他們用已在電影，虛擬現(xiàn)實以及研究中使用的“ Vicon”運動跟蹤系統(tǒng)跟隨物體，還有一個RGB-D攝像機，可將深度信息添加到捕獲的視頻中。
研究的關(guān)鍵是構(gòu)建模塊化對象。由鋁制成的均勻的中央部件看起來像四角星，重約100克，每個中心部分的中心和點都包含標(biāo)記，因此Vicon系統(tǒng)可以在1毫米內(nèi)檢測到其姿勢。
四個形狀（凹形，三角形，矩形和圓形）的較小塊可以磁連接到中心塊的任何一側(cè)。每塊重量在31到94克之間，但是額外的重量（從60到150克不等）可以掉入這些塊的小孔中。所有類似拼圖的物體在水平和垂直方向都對齊，這有助于模擬形狀和質(zhì)量分布相同的單個物體的摩擦。不同側(cè)面，重量和質(zhì)量分布的所有組合增加了250個唯一對象。
每次推動時，手臂會自動移動到距對象幾厘米的隨機位置。然后，它選擇一個隨機方向并將對象推一秒鐘。從停止的地方開始，然后選擇另一個隨機方向，并重復(fù)該過程250次。每次推送都會記錄對象和RGB-D視頻的姿勢，這些姿勢可用于各種視頻預(yù)測目的。每天花費12個小時來收集數(shù)據(jù)，耗時兩個星期，總計超過150個小時。僅在手動重新配置對象時才需要人工干預(yù)。
這些對象并沒有專門模仿任何現(xiàn)實生活中的物品。取而代之的是，它們旨在捕獲現(xiàn)實世界對象的“運動學(xué)”和“質(zhì)量非對稱性”的多樣性，從而對現(xiàn)實世界對象的運動進(jìn)行建模。然后，機器人可以將質(zhì)量分布不均勻的Omnipush對象的物理模型外推到重量分布不均相似的任何現(xiàn)實世界對象。
“想象一下用四只腿推動桌子，其中最大的重量超過了一只腿。當(dāng)您推動桌子時，您會看到它在沉重的腿上旋轉(zhuǎn)，必須重新調(diào)整。了解這種質(zhì)量分布及其對結(jié)果的影響推動力是機器人可以用這組對象學(xué)習(xí)的東西。” Rodriguez說。
推動新研究
在一個實驗中，研究人員使用Omnipush訓(xùn)練了一個模型，以預(yù)測被推物體的最終姿勢，只給出推入的初始姿勢和描述。他們在150個Omnipush物體上訓(xùn)練了模型，并在物體伸出的部分上對其進(jìn)行了測試。結(jié)果表明，經(jīng)Omnipush訓(xùn)練的模型的準(zhǔn)確度是在一些相似數(shù)據(jù)集上訓(xùn)練的模型的兩倍。在他們的論文中，研究人員還記錄了其他研究人員可以用來比較的準(zhǔn)確性基準(zhǔn)。
由于Omnipush會捕獲推送的視頻，因此一種潛在的應(yīng)用是視頻預(yù)測。例如，一個合作者現(xiàn)在正在使用數(shù)據(jù)集來訓(xùn)練機器人以實質(zhì)上“想象”在兩點之間的推動物體。在Omnipush上進(jìn)行訓(xùn)練后，將為機器人提供兩個視頻幀作為輸入，以顯示其開始位置和結(jié)束位置的對象。機器人使用起始位置來預(yù)測所有未來的視頻幀，以確保對象到達(dá)其結(jié)束位置。然后，它以與每個預(yù)測視頻幀匹配的方式推動對象，直到到達(dá)具有結(jié)束位置的幀。
“機器人會根據(jù)實際情況問，“如果我執(zhí)行此操作，對象將在此幀中的什么位置？”然后，它選擇的操作將最大化使對象到達(dá)所需位置的可能性，”鮑薩說。“它通過首先想象圖像在按下后如何改變像素來決定如何移動對象。”
卡內(nèi)基梅隆大學(xué)計算機科學(xué)與機器人學(xué)教授Matthew T. Mason表示：“ Omnipush包括對象運動的精確測量以及視覺數(shù)據(jù)，用于機器人與對象之間的重要相互作用。” “機器人研究人員可以使用這些數(shù)據(jù)來開發(fā)和測試新的機器人學(xué)習(xí)方法……這將推動機器人操縱技術(shù)的不斷發(fā)展。”
