比如，抽屜有一條可以抽拉的軌道，門有一個(gè)垂直的旋轉(zhuǎn)軸，烤箱有一個(gè)水平的旋轉(zhuǎn)軸。這種由關(guān)節(jié)連接起來的物品，我們就叫它“鉸接物體 ”。 由于特定關(guān)節(jié)的存在，鉸接物體的零件會受到關(guān)節(jié)的運(yùn)動學(xué)約束，讓這些零件只有一個(gè)自由度（DoF）。

鉸接物體在我們生活中無處不在，構(gòu)成了我們?nèi)粘Ｉ钪匾囊徊糠帧６鳛槿祟惖奈覀?，無論是看到什么樣的鉸接結(jié)構(gòu)的家具，我們都能快速地知道如何去操縱以及開動它。好似我們知道這些物體的每個(gè)關(guān)節(jié)都是如何運(yùn)動的。

那么機(jī)器人能不能也像人類一樣，擁有這種可以預(yù)測家具如何開動的能力呢？如果可以的話，那將對居家機(jī)器人來說是一種很大的提升。

CMU 研發(fā)新算法

近日，來自 CMU（卡內(nèi)基梅隆大學(xué)）機(jī)器人學(xué)院 David Held 教授的 R-PAD 實(shí)驗(yàn)室的兩名學(xué)生 Ben Eisner 和 Harry Zhang 在有效操控復(fù)雜鉸接物體（articulated objects）方面取得了重大突破，推出了一種基于3D神經(jīng)網(wǎng)絡(luò)，能有效表達(dá)，預(yù)測日常家具等鉸接物體的零件運(yùn)動軌跡的算法 FlowBot 3D。

該算法包含兩個(gè)主要子策略，其一是利用3D深度神經(jīng)網(wǎng)絡(luò)（PointNet++）去預(yù)測被操縱的物體點(diǎn)云數(shù)據(jù)（pointcloud）的瞬時(shí)運(yùn)動軌跡 （3D Articulated Flw/3DAF），其二是利用預(yù)測出來的運(yùn)動軌跡去選擇機(jī)器人下一步的動作。二者完全在模擬器中學(xué)習(xí)，并可以直接部署到真實(shí)世界中，不需要重新訓(xùn)練或者微調(diào)。在 FlowBot 3D 算法的幫助下，機(jī)器人可以像人一樣隨意操縱日常家具等鉸接物體。

該論文已被機(jī)器人頂級會議 Robotics Science and Systems (RSS) 錄取，并將會在7月于紐約展出

以往的日常家具操控要么是已知被操縱物體的幾何特征（比如連接軸的位置及方向），要么通過模仿人類去學(xué)習(xí)如何操控一個(gè)給定的物體。二者都沒有較好的可泛化性并且需要大量人類數(shù)據(jù)去訓(xùn)練。

與這些不同，F(xiàn)lowBot 3D 是第一個(gè)基于模擬器學(xué)習(xí)，通過學(xué)習(xí)每個(gè)零件的瞬時(shí)運(yùn)動軌跡，使機(jī)器人可以計(jì)算出一條最優(yōu)的物體操縱路徑。這個(gè)特性使 FlowBot 3D 可以泛化到訓(xùn)練沒有見到的物體上，并且可以直接部署到真實(shí)世界。

具體來說，F(xiàn)lowBot 3D 完全在模擬器中進(jìn)行監(jiān)督學(xué)習(xí)，從而學(xué)習(xí)出日常家具等鉸接物體零件的瞬時(shí)運(yùn)動軌跡 （3D Articulated Flow/3DAF）。3DAF 是一種 3D 視覺表達(dá)方式，它能夠極大簡化策略的復(fù)雜度，從而提高操縱效率。機(jī)器人只需要緊密跟隨這條瞬時(shí)軌跡，并閉環(huán)地重新預(yù)測，就能成功操縱一個(gè)鉸接物體。

開動冰箱門

開動馬桶蓋

開動抽屜

FlowBot 3D 賦能的 Sawyer 機(jī)器人不僅可以迅速識別哪個(gè)家具零件可以被操控，還可以準(zhǔn)確預(yù)測出開動零件的預(yù)測軌跡。

對于這篇工作，審稿人表示：“是對機(jī)器人操控學(xué)可觀貢獻(xiàn)”

機(jī)器人是如何做到的？

手動編碼（hardcoding）的策略可以提高機(jī)器人在受控環(huán)境中的性能，但是想要機(jī)器人真正的理解家用物品的操控方式，唯一的方法是教機(jī)器人像人一樣去預(yù)測這些物體的運(yùn)動軌跡以及運(yùn)動學(xué)約束（kinematic constraint）。

想要賦予機(jī)器人預(yù)測物體運(yùn)動軌跡能力，研究者通過監(jiān)督學(xué)習(xí)在模擬器中訓(xùn)練機(jī)器人的視覺模塊，因?yàn)榧矣梦矬w的運(yùn)動軌跡在模擬器中可以準(zhǔn)確計(jì)算出來。

在訓(xùn)練中，機(jī)器人觀測到一個(gè)被操縱物體的點(diǎn)云（pointcloud）數(shù)據(jù)，然后在這個(gè)點(diǎn)云數(shù)據(jù)上，機(jī)器人的視覺模塊利用 PointNet++ 來對每一個(gè)點(diǎn)（per-point）預(yù)測其在受外力下的下一步的位置。此運(yùn)動軌跡的真實(shí)數(shù)據(jù)可以通過順向運(yùn)動學(xué)（forward kinematics）準(zhǔn)確計(jì)算出來。將計(jì)算出來的下一步坐標(biāo)減去目前的坐標(biāo)就能得到被操控物體零件的運(yùn)動軌跡（3D articulated flow/3DAF)。因此，訓(xùn)練的時(shí)候只需要去最小化預(yù)測出的 3DAF 和真實(shí)數(shù)據(jù)的 3DAF 的 L2 loss 。

這里的紅色向量就代表預(yù)測出的門的運(yùn)動軌跡

FlowBot 3D 通過在模擬器中學(xué)習(xí)多種鉸接物體在運(yùn)動學(xué)約束下運(yùn)動的軌跡，來預(yù)測新物體的操縱方向。常見的家用絞接物品分為抽動式（prismatic）和旋轉(zhuǎn)式（revolute）兩種。對于這兩種類別，研究者用物理定律證明了直接跟隨長度最長的 3DAF 方向（比如最遠(yuǎn)離門旋轉(zhuǎn)軸的點(diǎn)）是可以最大化物體的加速度來達(dá)到操縱目的最佳策略。

有了理論加成，機(jī)器人只需要選擇可抓取的最大 3DAF 預(yù)測點(diǎn)就可以有效率地操控這些物體。由于機(jī)器人的視覺模塊學(xué)習(xí)的是在運(yùn)動學(xué)約束下的每點(diǎn)（per-point）運(yùn)動軌跡，此視覺模塊對機(jī)器人對物體可能的遮擋有一定的魯棒性。另外，由于 FlowBot 3D 算法是閉環(huán)算法，機(jī)器人可以在下一步對自己可能出現(xiàn)的錯誤進(jìn)行修正。

在真實(shí)世界中部署

FlowBot 通過使用兩個(gè)子系統(tǒng)（視覺和操縱系統(tǒng)）克服了泛化性的挑戰(zhàn)。在真實(shí)世界中，F(xiàn)lowBot 3D 可以準(zhǔn)確預(yù)測出 3D AF 物體運(yùn)動軌跡。只要這個(gè)軌跡可以準(zhǔn)確預(yù)測出，那么操縱物體就只需要跟隨這個(gè)軌跡這么簡單。在真實(shí)世界中，F(xiàn)lowBot 3D 只需要使用模擬器中訓(xùn)練出來的一個(gè)模型就可以操控真實(shí)物體。

FlowBot3D在真實(shí)世界中部署的設(shè)置

即使真實(shí)世界中的物體和模擬器中的外貌上有很大不同，只要兩者的運(yùn)動學(xué)約束相似（抽動式或者旋轉(zhuǎn)式），那么 FlowBot 3D 就可以準(zhǔn)確預(yù)測出操控物體的策略。

在模擬器中，機(jī)器人使用部分類別的家用物品進(jìn)行訓(xùn)練。訓(xùn)練的物體包括訂書機(jī)，垃圾箱，抽屜，窗戶，冰箱等。研究者在模擬器中利用這些物體去訓(xùn)練出來一個(gè)能準(zhǔn)確預(yù)測 3DAF 方向和大小的模型。

通過高準(zhǔn)確度視覺模塊和比較簡單的操作策略模塊的這種組合，機(jī)器人可以快速的預(yù)測并且操控沒見過的物體。

相比較而言，先前基于模仿學(xué)習(xí)或者強(qiáng)化學(xué)習(xí)的方法訓(xùn)練的機(jī)器人需要幾百萬的訓(xùn)練數(shù)據(jù)，有時(shí)還需要人工指導(dǎo)才會學(xué)習(xí)新型物體的操控方式，使得這些機(jī)器人在現(xiàn)實(shí)世界中，尤其是家用機(jī)器人場景中不現(xiàn)實(shí)。

實(shí)驗(yàn)表明，支持 FlowBot 3D 部署的機(jī)器人成功地在操控較有難度的新型鉸接物體，表現(xiàn)優(yōu)于基于模仿學(xué)習(xí)部署的機(jī)器人。研究者使用相同的策略執(zhí)行所有現(xiàn)實(shí)世界的部署，而不需要任何模擬校準(zhǔn)或現(xiàn)實(shí)世界的微調(diào)。

實(shí)驗(yàn)結(jié)果顯示，F(xiàn)lowBot 3D 在操作多數(shù)物體時(shí)都能將對“全開”的距離達(dá)到10%以下。然而其他基于模仿學(xué)習(xí)或者強(qiáng)化學(xué)習(xí)的方法差了很遠(yuǎn)。

FlowBot 3D 是機(jī)器人技術(shù)一項(xiàng)激動人心的進(jìn)步，它可以無需微調(diào)在現(xiàn)實(shí)世界中部署高效且準(zhǔn)確性強(qiáng)的家用機(jī)器人。這項(xiàng)工作還表明，計(jì)算機(jī)視覺的進(jìn)步可以改變機(jī)器人領(lǐng)域，增強(qiáng)機(jī)器人的能力，同時(shí)使這些改進(jìn)更易于擴(kuò)展到新的條件。純粹依靠模擬器學(xué)習(xí)的方法有可能在直接部署到真實(shí)世界里，并且有較強(qiáng)的泛化性，這將大大降低未來家用機(jī)器人訓(xùn)練和學(xué)習(xí)的成本。

關(guān)于實(shí)驗(yàn)室及課題組

這篇工作是在卡內(nèi)基梅隆大學(xué)機(jī)器人學(xué)院的 Robots Doing and Perceiving (R-PAD) 實(shí)驗(yàn)室進(jìn)行及完成的。R-PAD 實(shí)驗(yàn)室在可變形物體操縱（如學(xué)習(xí)理解布料）課題上處于世界領(lǐng)先地位。實(shí)驗(yàn)室的負(fù)責(zé)人是 PhD 畢業(yè)于斯坦福大學(xué)的 David Held 副教授，師從Silvio Savarese。實(shí)驗(yàn)室的主旨是利用計(jì)算機(jī)視覺方法（perceiving）幫助機(jī)器人去完成復(fù)雜的任務(wù)（doing）。

David Held 副教授相信，即使端對端學(xué)習(xí)方式很簡單，但是真正部署到機(jī)器人上的時(shí)候會遇到許多問題，所以研究者應(yīng)該將視覺（perception）與策略（policy）分開考慮，但是同時(shí)思考二者如何互相增加能力。在 FlowBot 3D 這篇工作中，這個(gè)主旨深度體現(xiàn)了出來：3D Articulated Flow 是一個(gè)可以極大簡化策略和規(guī)劃的視覺表示方式，在正確 3D Articulated Flow 預(yù)測的基礎(chǔ)上，策略會被簡化成追蹤 flow 向量。

本文的第一作者是 R-PAD 實(shí)驗(yàn)室二年級學(xué)生 Ben Eisner，他對 3D 視覺學(xué)習(xí)有極大興趣，本科畢業(yè)于普林斯頓大學(xué)，師從 Sebastian Seung，加入 CMU 之前，Ben Eisner 曾在谷歌和三星北美研究所工作，從事機(jī)器人學(xué)習(xí)（robot learning）的研究。本文的共同第一作者是 R-PAD 實(shí)驗(yàn)室一年級學(xué)生 Harry Zhang，他對視覺和控制學(xué)都有極大興趣，本科畢業(yè)于加州大學(xué)伯克利分校，師從 Ken Goldberg，加入 CMU 之前，Harry Zhang 在伯克利的 BAIR 實(shí)驗(yàn)室負(fù)責(zé)可變形物體動態(tài)操縱（learning dynamic deformable objects manipulation）項(xiàng)目。

課題組合影

下一步，論文作者在嘗試將 flow 這種視覺理解方式應(yīng)用到鉸接物體以外的物體上面，比如如何用 flow 預(yù)測6自由度的物體軌跡。同時(shí)，作者在嘗試將 flow 應(yīng)用到強(qiáng)化學(xué)習(xí)里，以增加強(qiáng)化學(xué)習(xí)的學(xué)習(xí)效率。

強(qiáng)化學(xué)習(xí)與靈巧機(jī)器人

得益于 DeepMind 開發(fā)的計(jì)算機(jī) AlphaGo 在圍棋領(lǐng)域取得的驚人成就，強(qiáng)化學(xué)習(xí)這項(xiàng)技術(shù)在近幾年備受關(guān)注。而隨著設(shè)備計(jì)算速度的提升，以及深度學(xué)習(xí)架構(gòu)的興起，強(qiáng)化學(xué)習(xí)也得到了快速的成長。

（圖片來源： MIT Technology Review）

強(qiáng)化學(xué)習(xí)的優(yōu)勢在于可以不依賴標(biāo)注，而是由獎勵函數(shù)來主導(dǎo)學(xué)習(xí)過程，這一點(diǎn)與人類在大多數(shù)情況下的學(xué)習(xí)方式是如出一轍的。

強(qiáng)化學(xué)習(xí)的出現(xiàn)，不僅改善了自動駕駛汽車的技術(shù)，還讓機(jī)器人可以在無需明確指導(dǎo)的情況下，掌握對一些物體的簡單操作。就像前文提到的那樣， 機(jī)器人也能做到和人一樣，在看到物體后就立刻明白如何將其拿起或打開。

相信在不久的將來，各種能夠模仿人類行為的靈巧機(jī)器人 ，將以不同的方式走進(jìn)千家萬戶。

（圖片來源：MIT Technology Review）

論文地址：https://arxiv.org/pdf/2205.04382.pdf

項(xiàng)目主頁：https://sites.google.com/view/articulated-flowbot-3d

David Held副教授的主頁：https://davheld.github.io/

Ben Eisner的主頁：https://beisner.me/

Harry Zhang的主頁：https://harryzhangog.github.io/