在上午的院士專家報告環(huán)節(jié)中，浙江大學(xué)教授熊蓉圍繞「人形機器人關(guān)鍵技術(shù)進展與挑戰(zhàn)」這一主題，展開了主題報告。

 

 

 

 

 

 

以下是本次報告實錄，「中國機器人網(wǎng)」整理刪改：

 

 

 

今天，我主要借這個機會向各位專家領(lǐng)導(dǎo)匯報一下我們這么多年在人形機器人方面所做的工作。

 

 

 

首先，簡要介紹一下人形機器人的發(fā)展背景。人形機器人原來有很多的稱呼，我們一直習(xí)慣稱之為仿人機器人，這兩年才明確叫人形機器人。

 

 

 

它很多都是在模仿人的部分或者全部功能和部分智能，但是人形機器人更強調(diào)類人的形態(tài)，這種類人的形態(tài)使得它更加適應(yīng)我們?nèi)祟悶樽约航ㄔO(shè)的環(huán)境和人類為自己制作的工具，并且能夠有更好的人機交互感受，所以在整個作業(yè)上有更強的通用性和適用性。

 

 

 

它的這種通用性可以無縫替換人類所從事的一些工作，所以說它是一個未來的重大產(chǎn)業(yè)。當(dāng)然，一些專用型的機器人我們還是要具備的，因為這些專用機器人的能力超越人類，它們有更強的負(fù)載、更精準(zhǔn)的節(jié)拍和更強的一致性?，F(xiàn)在專用機器人無法實現(xiàn)的，可能類人的這種形態(tài)就可以直接實現(xiàn)無縫替換，因此，人形機器人具有更加廣闊的市場。

 

 

 

國內(nèi)外做了非常樂觀的市場預(yù)測，特別是高盛對人形機器人的市場樂觀度進一步提高。這兩年，一些產(chǎn)業(yè)界的巨頭，包括國際的和國內(nèi)的都開始布局人形機器人賽道，從整機到核心零部件，到智能控制智能計算?？偟膩碇v，人形機器人進入新的突破期，從原來實驗室樣機的研發(fā)進入到產(chǎn)品的樣機以及未來產(chǎn)業(yè)化發(fā)展的早期階段。

 

 

 

我們國家非常重視人形機器人的發(fā)展，人形機器人已經(jīng)成為了國家的戰(zhàn)略性的新興技術(shù)和產(chǎn)業(yè)的方向。2023年，工信部先后出臺了揭榜掛帥的項目以及人形機器人發(fā)展的指導(dǎo)意見。在今年1月份，七部委發(fā)布推動未來產(chǎn)業(yè)發(fā)展的實施意見里面作為創(chuàng)新標(biāo)志性產(chǎn)品的第一個就是人形機器人。

 

 

 

人形機器人并不是今天才有的一個系統(tǒng)，上世紀(jì)60年代就已經(jīng)推出第一臺雙足行走的機器人，它被認(rèn)為是機器人領(lǐng)域當(dāng)中的技術(shù)競爭制高點，是國與國之間競爭科技的顯示點。

 

 

 

主要的難點，首先它幾乎是機器人和人工智能技術(shù)的制高點，它的技術(shù)的復(fù)雜性，導(dǎo)致整機系統(tǒng)的研制具有很高的挑戰(zhàn)性。除了整機，我們還需要融合它的功能、性能、材料和各個部件，我們對里面的部件提出高的要求，像我們的關(guān)節(jié)要求它速度要快，體積要小，重量要輕一樣，高功率密度依然是我們現(xiàn)在面臨的一個挑戰(zhàn)。

 

 

 

第二是這個系統(tǒng)，它是一個不穩(wěn)定系統(tǒng)，大多數(shù)時間是單腳支撐。如果是跑步雙腳通向，和地面接觸的空間和時間也都非常的小，而我們的穩(wěn)定控制主要發(fā)生在小的時間里面，使得它的穩(wěn)定控制很難。

 

 

 

現(xiàn)在很多的機器人都實現(xiàn)了穩(wěn)定行走，是不是能夠到一個真實的環(huán)境里面適應(yīng)各種環(huán)境的擾動，去適應(yīng)作業(yè)的過程中間由于手臂的用力而帶來的擾動，保持穩(wěn)定性以及作業(yè)的準(zhǔn)確性，這都是它的難點。

 

 

 

第三，作為一種通用的形態(tài)，它必須要在各種環(huán)境里面執(zhí)行各種任務(wù)，這對它的智能性提出了更高的要求，這也是人工智能領(lǐng)域中間的一個發(fā)展的重要的目標(biāo)，能夠?qū)崿F(xiàn)載人功能向通用人工智能發(fā)展。

 

 

 

《人形機器人創(chuàng)新發(fā)展指導(dǎo)意見》里明確了一個思想：以應(yīng)用來遷移，通過整機來帶動整個生態(tài)的發(fā)展。其中幾個核心，一個是包括部件、整機系統(tǒng)里的大腦、小腦以及我們要去支持這些研究開發(fā)研制的供應(yīng)鏈和工具鏈，由此來形成整個行業(yè)的應(yīng)用和生態(tài)建設(shè)。

 

 

 

我們從2000年開始機器人方面的研究，主要是關(guān)注機器人的智能性和智能的移動和操作。06年的時候，開始注意到了人形機器人。當(dāng)時，我們主要是以Robocup平臺進行技術(shù)積累，包括通過機器人的運動平衡控制來進行定位規(guī)劃，各種運動實施的生成，在國內(nèi)獲得多次冠軍。

 

 

 

我們在國家863項目的支持下研制成了2個跟多人對打的機器人，除了解決各種部件如何選擇合適的形態(tài)，如何進行集成，我們更主要的還是解決了它的智能控制，這也是國際上面第一個能夠在線的動態(tài)控制并且和快速的球進行擊打的人形機器人。

 

 

 

11年10月份成果發(fā)布以后，也是得到了國內(nèi)外的廣泛的關(guān)注。在這個系統(tǒng)里面，機器人行走的速度和穩(wěn)定性還是有問題的，只能實現(xiàn)1.2公里每小時的行走，以及在平整地面上實現(xiàn)行走。在打球的時候因為行走速度跟不上，主要是站立打球，用下肢來做平衡控制，所以從12年起我們主要是研究室內(nèi)外能夠快速穩(wěn)定行走的人形機器人。

 

 

 

在這里，我們研究了包括能夠立位控制關(guān)節(jié)、全身控制以及22年發(fā)布的能夠在室內(nèi)外快速穩(wěn)定行走的機器人。里面的部件關(guān)節(jié)如何來進行研制？包括高光密度的電機、有更大緊縮比的緊縮器以及形成高集成的一體化的關(guān)節(jié)。

 

 

 

另外一個技術(shù)就是復(fù)雜的運動建模和控制的問題。目前在國際上對于人形機器人行走的運動控制有三條技術(shù)路線，一個是從機理出發(fā)，對整機進行運動學(xué)和動力學(xué)的建模，然后進行設(shè)計，進行規(guī)劃控制。第二種是特斯拉展示的人的運動映射到機器人上面。第三個機理模型需要依賴模型的準(zhǔn)確性，對于復(fù)雜環(huán)境的適應(yīng)需要人的介入，研究強化學(xué)習(xí)的方法，我們在這三個方面都做了一些工作。

 

 

 

模型控制不講了，通過強化學(xué)習(xí)生成它各種的動作，然后用它的基本步態(tài)，來融合形成環(huán)境的適應(yīng)性，能夠自動選擇步態(tài)的組合。今年年初，我們也把這個方法進一步延伸應(yīng)用到了人形機器人上面，能夠?qū)崿F(xiàn)對一些不同的地面的適應(yīng)，這是通過強化學(xué)習(xí)的方法來形成的。

 

 

 

我們也在人機映射方面做了一系列的工作，怎么把人復(fù)雜的動作能夠快速映射到機器人上面去。最初，把人的雙臂和手的動作映射到一臺玉米機器人上面，解決了傳統(tǒng)的最優(yōu)化的映射，只能實現(xiàn)一些簡單的動作，需要優(yōu)化時間比較長。

 

 

 

我們在這里把最優(yōu)化和目前很熱的深度學(xué)習(xí)提出來了圖神經(jīng)網(wǎng)絡(luò)下最優(yōu)的學(xué)習(xí)方法，一個是大幅提升了它的動作的相似性，而且可以保證機器人的可執(zhí)行性和安全性，最主要實現(xiàn)了時間上大幅度的提升，快速把人的各種運動映射到機器人上面。我們也是利用現(xiàn)在提出來的語言視覺大模型，進一步提升我們動作的語義的保持。

 

 

 

人形機器人必不可免出現(xiàn)一些故障，一旦出現(xiàn)故障需要人介入它的維修，雖然它出了故障，我們依然能夠讓它依然保持一定作業(yè)的能力，這是我們獲得最佳論文獎的工作，假定任何一個關(guān)節(jié)壞了，它依然可以保證直線行走。

 

 

 

另外一個我們的工作還是放在機器人的智能上面。2000年開始，我們便一直做這方面大量工作，怎么讓傳統(tǒng)的機器人在封閉靜態(tài)的環(huán)境里面能夠像在動態(tài)的開放的環(huán)境里面一樣能夠長期自主的工作，以及從依賴人離線編寫的程序到自發(fā)逐步適應(yīng)更加豐富的環(huán)境和更加多樣的作業(yè)。

 

 

 

在這方面我們也發(fā)表了一系列的論文，在這里我簡要的介紹一下，一個是在移動方面，我們對于它的長期準(zhǔn)確的定位和導(dǎo)航做了一些工作。我們現(xiàn)在的一些技術(shù)已經(jīng)在多個領(lǐng)域里面有應(yīng)用驗證，包括變電站的巡檢機器人，制造業(yè)里面新型的AMR，實現(xiàn)復(fù)雜地形里對人的跟隨。我們也實現(xiàn)了產(chǎn)業(yè)轉(zhuǎn)化落地，新型物流機器人目前已經(jīng)在制造業(yè)里面大規(guī)模地應(yīng)用了。

 

 

 

在操作方面，我們從12年完成了打乒乓球的機器人以后，開始研究它如何能夠操作更多的對象。一個工作就是這種序列性的作業(yè)，能不能讓人去展示，然后直接的生成機器人程序，我們?nèi)俗鲆幌逻@個裝配，對于人的動作進行解析、理解，去解析出來它是用什么動作，操作了什么物體，達到了什么樣的效果，并且去解決我們感知的誤差到執(zhí)行的精度的要求。我們的感知誤差往往是毫米級的，能夠?qū)崿F(xiàn)準(zhǔn)確的未知的推理，然后實現(xiàn)程序自動的生成。我們實現(xiàn)了不同的手電筒、開關(guān)，包括機器人關(guān)節(jié)的這樣一個對人的學(xué)習(xí)，僅用幾分鐘的時間來生成。

 

 

 

剛才是有人類參照的，但是在開放性環(huán)境里面我們很難有人的參照，需要機器人能夠自主的決策，我們也解決了中間的評價以及能夠快速學(xué)習(xí)的問題。

 

 

 

對這種開放混雜場景，我們進一步引入了語言大模型和視覺大模型。大模型通過大量數(shù)據(jù)的訓(xùn)練，雖然里面包含了各種各樣的物體，但是它還是有很多的物體是檢測不了的。當(dāng)它堆點在一起的時候，它檢測的準(zhǔn)確性，定位的準(zhǔn)確性都是很低的，這直接導(dǎo)致機器人執(zhí)行的失敗。

 

 

 

在這種情況下，我們怎么能夠讓機器人通過它的行為逐步地收斂到正確的結(jié)果里面？我們就提出來了把語言大模型視覺大模型和機器人操作的模型去融合來進行學(xué)習(xí)，實現(xiàn)了在混雜場景下，通過它的操作，最后來完成我們要求的工作。

 

 

 

通過這樣一系列的，從強化學(xué)習(xí)、語言模型以及模仿的結(jié)合，我們可以讓機器人完成桌面的梳理，它會進行長序列的規(guī)劃生成，在最后來達到我們的制定的要求。

 

 

 

在機器人的伺服控制中，這種傳統(tǒng)的方法對于場景的變化，還是有一個局限性。我們用學(xué)習(xí)的方法的話它非常依賴于我們的數(shù)據(jù)。我們能夠?qū)崿F(xiàn)端到端的伺服控制，包括背景的變化，以及適應(yīng)傳感器在應(yīng)用過程當(dāng)中不小心把它碰動了，它的外參變化了，在這樣的擾動下，我們是不是依然能夠去適應(yīng)？以及如何適應(yīng)各種場景里面的紋理。

 

 

 

這個deepmind通過8個小時的訓(xùn)練可以達到9.98的成功率，我們用一個小時的訓(xùn)練能夠達到99.99%的成功率，而且它能夠適應(yīng)不同的接口以及各種形狀。

 

 

 

今年3月份，在浙江省寧波市政府的支持下，人形機器人創(chuàng)新中心正式啟動，領(lǐng)航者1號正式發(fā)布。我們在之前的基礎(chǔ)上進一步做了優(yōu)化改進，同時也更強調(diào)了賦予類人的學(xué)習(xí)和操作的能力。目前機器人的行走已經(jīng)完成了室內(nèi)平整地面的測試，在如何適應(yīng)各種場景，在執(zhí)行各種動作之間依然保證平衡控制以及如何進一步提高節(jié)拍等方面也在持續(xù)研究中。我們也研發(fā)了靈巧手，能夠?qū)崿F(xiàn)更快速度的操作。

 

 

 

人形機器人真正形成一個產(chǎn)品，還是有很多的工作要做。作為一個產(chǎn)品來講，它要實現(xiàn)高可靠性低成本。從整機來講，它的可靠性都是需要進一步降低成本，這依賴于我們的核心零部件，需要大家都圍繞人形機器人來做。

 

 

 

但是，動力部件的功率密度跟人形機器人真正實現(xiàn)靈巧運動還是有一定差距的。我們往往說力舉夠了，速度夠了，體積過大，這個人形機器人看著比較笨重，或者有一定的威脅感了，如何提升部件的性能，依然是我們面臨的問題，像我們的傳感器也是一樣的，怎么樣能夠在小體積下做到高精度的響應(yīng)也是我們面臨的問題。

 

 

 

第二個是運動控制。我們的人形機器人要能夠?qū)崿F(xiàn)各種靈巧的運動作業(yè)，運動控制是非常重要的基礎(chǔ)。我們現(xiàn)在在這方面已經(jīng)有了很好的基礎(chǔ)，各種技術(shù)路線也有突破，能夠去展示一定的能力。但是，我們會看到它對你的作業(yè)對象的適應(yīng)性、環(huán)境的適應(yīng)性還是非常的有限的。如何把機器人環(huán)境、任務(wù)融合起來發(fā)展，如何把技術(shù)路線打通，去推動這方面的發(fā)展，也依然需要我們?nèi)ヌ剿鳌?/div>