能鉆“狗洞”，還能跨欄。

 

 

　　現(xiàn)在市面上的機(jī)器狗大多還停留在原地踏步的階段，騰訊此次新升級(jí)的機(jī)器狗Max，還真的要跟真狗搶飯碗了。

 

 

 

　　本次研究新進(jìn)展由騰訊Robotics X機(jī)器人實(shí)驗(yàn)室?guī)?。該?shí)驗(yàn)成立于2018年，目前推出的機(jī)器人項(xiàng)目包括機(jī)器狗Max一代、二代、機(jī)器狗Jamoca、輪式機(jī)器人Ollie、自平衡自動(dòng)駕駛摩托車等。

 

　　2021年，騰訊正式發(fā)布首個(gè)軟硬件全自研多模態(tài)四足機(jī)器人機(jī)器狗Max，2022年，第二代四足機(jī)器人“Max”發(fā)布，這次的三代跟之前相比，關(guān)節(jié)自由度有了明顯提升。騰訊方表示，通過將前沿的預(yù)訓(xùn)練AI模型和強(qiáng)化學(xué)習(xí)技術(shù)應(yīng)用到機(jī)器人控制領(lǐng)域，讓這次機(jī)器狗Max的靈活性和自主決策能力得到大幅提升。

 

第二代四足機(jī)器人“Max”

 

　　通過引入預(yù)訓(xùn)練模型和強(qiáng)化學(xué)習(xí)技術(shù)，可以讓機(jī)器狗分階段進(jìn)行學(xué)習(xí)，有效地將不同階段的技能、知識(shí)積累并存儲(chǔ)下來，讓機(jī)器人在解決新的復(fù)雜任務(wù)時(shí)，不必重新學(xué)習(xí)，而是復(fù)用已經(jīng)學(xué)會(huì)的姿態(tài)、環(huán)境感知、策略規(guī)劃多個(gè)層面的知識(shí)，進(jìn)行“舉一反三”，靈活應(yīng)對(duì)復(fù)雜環(huán)境。

 

　　具體來看，在第一個(gè)預(yù)訓(xùn)練學(xué)習(xí)中，Robotics X實(shí)驗(yàn)室與騰訊游戲展開合作，使用游戲研發(fā)過程中的動(dòng)捕數(shù)據(jù)集，讓Max學(xué)會(huì)走、跑、跳、站立等動(dòng)作。

 

　　第二個(gè)預(yù)訓(xùn)練學(xué)習(xí)通過額外的網(wǎng)絡(luò)參數(shù)來將第一階段掌握的機(jī)器狗靈動(dòng)姿態(tài)與外界感知聯(lián)系在一起，使得機(jī)器狗能夠通過已經(jīng)學(xué)會(huì)的靈動(dòng)姿態(tài)來應(yīng)對(duì)外界環(huán)境，完成匍匐前進(jìn)、跨欄跑、障礙物跑酷穿梭等高難度動(dòng)作。

 

　　在第三階段的學(xué)習(xí)中，附加的網(wǎng)絡(luò)會(huì)獲取與復(fù)雜任務(wù)有關(guān)的信息，例如在游戲中，獲取對(duì)手的信息、旗子的信息，最終使得機(jī)器狗在策略側(cè)面能自主形成認(rèn)知。

 

　　為了測(cè)試Max所掌握的這些新技能，研究員受到障礙追逐比賽“World Chase Tag”的啟發(fā)，設(shè)計(jì)了一個(gè)雙狗障礙追逐的游戲。

 

　　在基于預(yù)訓(xùn)練好的模型下，機(jī)器狗通過深度強(qiáng)化學(xué)習(xí)，不僅學(xué)會(huì)了真狗的走、跑、跳、站立等動(dòng)作，還具備了一定的推理和決策能力。當(dāng)追擊者意識(shí)到自己在躲避者碰到旗子之前已經(jīng)無法追上它的時(shí)候，追擊者就會(huì)放棄追擊，而是在遠(yuǎn)離躲避者的位置徘徊，目的是為了等待下一個(gè)重置的旗子出現(xiàn)。

 

　　另外，當(dāng)追擊者即將抓到躲避者的最后時(shí)刻，它會(huì)跳起來向著躲避者做出一個(gè)“撲”的動(dòng)作，這些都是機(jī)器狗為了確保自己的勝利采取的主動(dòng)加速措施。

 

　　據(jù)介紹，游戲中機(jī)器狗的所有控制策略都是神經(jīng)網(wǎng)絡(luò)策略，在仿真中進(jìn)行學(xué)習(xí)并通過zero-shot transfer(零調(diào)整遷移），讓神經(jīng)網(wǎng)絡(luò)模擬人類的推理方式，來識(shí)別從未見過的新事物，并把這些知識(shí)部署到真實(shí)機(jī)器狗上。

 

 

　　騰訊方面表示，整個(gè)過程都在虛擬世界里進(jìn)行訓(xùn)練，不需進(jìn)行實(shí)機(jī)訓(xùn)練、調(diào)整。機(jī)器狗Max在未來將不停進(jìn)化、適應(yīng)，有望投入到搜尋、援救等緊急工作中。

 

　　目前，已有許多公司切入四足機(jī)器人領(lǐng)域。波士頓動(dòng)力以機(jī)器狗“Spot”而聞名，去年8月10日，小米首款仿生四足機(jī)器人CyberDog正式亮相，小鵬汽車生態(tài)企業(yè)鵬行智能去年9月7日也發(fā)布了全球首款可騎乘智能機(jī)器馬。另外，還有云深處、宇樹科技等一批本土初創(chuàng)企業(yè)。

 

　　預(yù)訓(xùn)練AI模型和深度強(qiáng)化學(xué)習(xí)技術(shù)為未來機(jī)器人解決其他復(fù)雜任務(wù)提供了一套通用的解決方案，為機(jī)器人走入現(xiàn)實(shí)生活，服務(wù)人類打下了堅(jiān)實(shí)的基礎(chǔ)。騰訊機(jī)器狗就是AI賦能機(jī)器人的生動(dòng)詮釋。

 

　　AI所造就的機(jī)器人，與傳統(tǒng)機(jī)器人最大的區(qū)別在于，AI機(jī)器人表現(xiàn)出一些與人類相似的智能特征，從原先的“自動(dòng)化”邁向了真正的“自主學(xué)習(xí)”。

 

　　從技術(shù)層面來說，四足機(jī)器人集成了動(dòng)力系統(tǒng)部件的仿生結(jié)構(gòu)設(shè)計(jì)、環(huán)境感知技術(shù)、自主控制技術(shù)、運(yùn)動(dòng)規(guī)劃、運(yùn)動(dòng)控制、SLAM等多種技術(shù)的先進(jìn)水平，隨著機(jī)器人性能和功能的提升，機(jī)器視覺也能被加在四足機(jī)器人身上?？梢灶A(yù)見的是，隨著計(jì)算機(jī)視覺、自動(dòng)控制、人工智能、步態(tài)規(guī)劃和能源供應(yīng)等技術(shù)的不斷進(jìn)步，“機(jī)器狗”的競(jìng)爭(zhēng)力將進(jìn)一步增強(qiáng)。