人工智能研究組織 OpenAI 在尋求構(gòu)建通用自學(xué)機(jī)器人方面取得了新的里程碑。該組織的機(jī)器人部門(mén)表示，其去年首次開(kāi)發(fā)的人形機(jī)器人手Dactyl已經(jīng)學(xué)會(huì)了單手解決魔方。OpenAI 將這一壯舉視為機(jī)器人附屬物的靈巧性和它自己的 AI 軟件的一次飛躍，這使得 Dactyl 能夠在面臨真正的物理挑戰(zhàn)之前使用虛擬模擬來(lái)學(xué)習(xí)新任務(wù)。

在展示 Dactyl 新才能的演示視頻中，我們可以看到機(jī)械手通過(guò)笨拙但準(zhǔn)確的動(dòng)作摸索著完成完整的立方體求解。這需要很多分鐘，但 Dactyl 最終能夠解決這個(gè)難題。在行動(dòng)中看到有點(diǎn)令人不安，這僅僅是因?yàn)檫\(yùn)動(dòng)看起來(lái)明顯不如人類(lèi)的流暢，并且與人類(lèi)速度在幾秒鐘內(nèi)解決立方體時(shí)顯示的令人眼花繚亂的速度和原始靈巧相比尤其脫節(jié)。

但對(duì)于 OpenAI 而言，Dactyl 的成就使其離更廣泛的人工智能和機(jī)器人行業(yè)備受追捧的目標(biāo)又近了一步：一個(gè)可以學(xué)習(xí)執(zhí)行各種現(xiàn)實(shí)世界任務(wù)的機(jī)器人，而無(wú)需進(jìn)行數(shù)月至數(shù)年的訓(xùn)練。真實(shí)世界的時(shí)間，無(wú)需專(zhuān)門(mén)編程。

圖片：OpenAI

“很多機(jī)器人可以非?？斓亟饽Х健penAI 的研究科學(xué)家兼機(jī)器人技術(shù)負(fù)責(zé)人彼得·韋林德 (Peter Welinder) 說(shuō)：“他們?cè)谀抢锼龅呐c我們?cè)谶@里所做的之間的重要區(qū)別在于，這些機(jī)器人是專(zhuān)門(mén)制造的。” “顯然，您無(wú)法使用相同的機(jī)器人或相同的方法來(lái)執(zhí)行另一項(xiàng)任務(wù)。OpenAI 的機(jī)器人團(tuán)隊(duì)有著截然不同的抱負(fù)。我們正在嘗試構(gòu)建一個(gè)通用機(jī)器人。類(lèi)似于人類(lèi)和我們的人手如何做很多事情，而不僅僅是一項(xiàng)特定的任務(wù)，我們正在嘗試構(gòu)建在其范圍內(nèi)更通用的東西。”

Welinder 引用了過(guò)去幾年中的一系列機(jī)器人，這些機(jī)器人使魔方求解遠(yuǎn)遠(yuǎn)超出了人類(lèi)手和頭腦的限制。2016 年，半導(dǎo)體制造商英飛凌開(kāi)發(fā)了一種機(jī)器人，專(zhuān)門(mén)用于以超人的速度解出魔方，并且該機(jī)器人在一秒內(nèi)就完成了。這打破了當(dāng)時(shí)低于 5 秒的人類(lèi)世界紀(jì)錄。兩年后，麻省理工學(xué)院開(kāi)發(fā)的機(jī)器在不到 0.4 秒的時(shí)間內(nèi)解出了一個(gè)立方體。2018 年底，一個(gè)名為 Human Controller 的日本 YouTube 頻道甚至使用連接到可編程伺服電機(jī)的 3D 打印核心開(kāi)發(fā)了自己的自解魔方。

多年來(lái)，機(jī)器已經(jīng)能夠以超人的速度解出魔方

換句話說(shuō)，為一項(xiàng)特定任務(wù)構(gòu)建并通過(guò)編程以盡可能高效地執(zhí)行該任務(wù)的機(jī)器人通常可以勝過(guò)人類(lèi)，而魔方求解是軟件早就掌握的東西。因此，開(kāi)發(fā)一個(gè)機(jī)器人來(lái)解決立方體，即使是一個(gè)人形機(jī)器人，就其本身而言并不是那么出色，在 Dactyl 運(yùn)行緩慢的情況下更是如此。

但是 OpenAI 的 Dactyl 機(jī)器人和為其提供動(dòng)力的軟件在設(shè)計(jì)和用途上與專(zhuān)用的立方體求解機(jī)大不相同。正如 Welinder 所說(shuō)，OpenAI 正在進(jìn)行的機(jī)器人工作并不旨在在狹窄的任務(wù)中取得出色的結(jié)果，因?yàn)檫@只需要您開(kāi)發(fā)更好的機(jī)器人并對(duì)其進(jìn)行相應(yīng)的編程。這可以在沒(méi)有現(xiàn)代人工智能的情況下完成。

相反，Dactyl 是作為一種自學(xué)機(jī)械手從頭開(kāi)始開(kāi)發(fā)的，可以像人類(lèi)一樣處理新任務(wù)。它使用軟件進(jìn)行訓(xùn)練，該軟件目前以一種基本的方式試圖復(fù)制數(shù)百萬(wàn)年的進(jìn)化，這些進(jìn)化幫助我們?cè)诤⑻釙r(shí)代就本能地學(xué)會(huì)使用我們的雙手。OpenAI 希望有朝一日能幫助人類(lèi)開(kāi)發(fā)出我們只能從科幻小說(shuō)中了解的類(lèi)人機(jī)器人，這些機(jī)器人可以在社會(huì)中安全地運(yùn)行而不會(huì)危及我們，并且可以在城市街道和工廠車(chē)間等混亂的環(huán)境中執(zhí)行各種任務(wù).

為了學(xué)習(xí)如何單手解決魔方，OpenAI 并沒(méi)有明確編程 Dactyl 來(lái)解決這個(gè)玩具；互聯(lián)網(wǎng)上的免費(fèi)軟件可以為您做到這一點(diǎn)。它還選擇不為手執(zhí)行單獨(dú)的動(dòng)作編程，因?yàn)樗Ｍ约罕鎰e這些動(dòng)作。取而代之的是，機(jī)器人團(tuán)隊(duì)為手部的底層軟件設(shè)定了解決混亂立方體的最終目標(biāo)，并使用現(xiàn)代人工智能——特別是一種稱(chēng)為強(qiáng)化學(xué)習(xí)的基于激勵(lì)的深度學(xué)習(xí)品牌——來(lái)幫助它走上自己解決這個(gè)問(wèn)題的道路。訓(xùn)練 AI 代理的相同方法是 OpenAI開(kāi)發(fā)其世界級(jí)Dota 2機(jī)器人的方式。

但直到最近，訓(xùn)練 AI 代理執(zhí)行虛擬任務(wù)（例如玩電腦游戲）比訓(xùn)練它執(zhí)行現(xiàn)實(shí)世界任務(wù)容易得多。那是因?yàn)榭梢约涌煊?xùn)練軟件在虛擬世界中做某事的速度，因此借助數(shù)千個(gè)高端 CPU 和超- 強(qiáng)大的 GPU 并行工作。

使用物理機(jī)器人執(zhí)行相同級(jí)別的訓(xùn)練來(lái)執(zhí)行物理任務(wù)是不可行的。這就是為什么 OpenAI 試圖開(kāi)創(chuàng)使用模擬環(huán)境代替現(xiàn)實(shí)世界的機(jī)器人訓(xùn)練新方法的原因，機(jī)器人行業(yè)幾乎沒(méi)有嘗試過(guò)這種方法。這樣，該軟件可以同時(shí)在許多不同的計(jì)算機(jī)上以更快的速度進(jìn)行廣泛的練習(xí)，希望它在開(kāi)始控制真正的機(jī)器人時(shí)保留這些知識(shí)。

OPENAI 的 DACTYL 機(jī)械手由 AI 軟件提供支持

由于訓(xùn)練限制和明顯的安全問(wèn)題，當(dāng)今商業(yè)使用的機(jī)器人不使用人工智能，而是使用非常具體的指令進(jìn)行編程。“過(guò)去采用的方法是使用非常專(zhuān)業(yè)的算法來(lái)解決任務(wù)，在這種情況下，您擁有機(jī)器人和您操作的環(huán)境的準(zhǔn)確模型，”Welinder 說(shuō)。“對(duì)于工廠機(jī)器人，您擁有非常精確的模型，并且您確切地知道您正在工作的環(huán)境。你確切地知道它將如何拾取特定的部分。”

這也是為什么目前的機(jī)器人遠(yuǎn)不如人類(lèi)多才多藝的原因。重新編程一個(gè)機(jī)器人需要大量的時(shí)間、精力和金錢(qián)來(lái)組裝汽車(chē)的一個(gè)特定部分或計(jì)算機(jī)組件來(lái)做其他事情。展示一個(gè)沒(méi)有經(jīng)過(guò)適當(dāng)訓(xùn)練的機(jī)器人，即使是涉及任何水平的人類(lèi)靈巧性或視覺(jué)處理的簡(jiǎn)單任務(wù)，它也會(huì)失敗。然而，借助現(xiàn)代人工智能技術(shù)，機(jī)器人可以像人類(lèi)一樣建模，這樣它們就可以使用對(duì)世界的同樣直觀理解來(lái)做任何事情，從開(kāi)門(mén)到煎雞蛋。至少，那是夢(mèng)想。

我們距離這種復(fù)雜程度還有幾十年的時(shí)間，人工智能社區(qū)在軟件方面取得的飛躍——比如自動(dòng)駕駛汽車(chē)、機(jī)器翻譯和圖像識(shí)別——還沒(méi)有完全轉(zhuǎn)化為下一代機(jī)器人。目前，OpenAI 只是試圖模仿人體某一部分的復(fù)雜性，并讓機(jī)器人模擬更自然地運(yùn)行。

這就是為什么 Dactyl 是一種以人手為模型的 24 關(guān)節(jié)機(jī)械手，而不是您在工廠中看到的爪形或鉗形機(jī)械手。對(duì)于支持 Dactyl 學(xué)習(xí)如何以人類(lèi)的方式利用所有這些關(guān)節(jié)的軟件，OpenAI 在嘗試物理立方體求解之前對(duì)其進(jìn)行了數(shù)千年的模擬訓(xùn)練。

圖片：OpenAI

“如果你在現(xiàn)實(shí)世界的機(jī)器人上訓(xùn)練東西，很明顯，無(wú)論你在學(xué)習(xí)什么，都是在你真正想要部署你的算法的東西上工作。這樣一來(lái)，就簡(jiǎn)單多了。但是今天的算法需要大量數(shù)據(jù)。要訓(xùn)
練一個(gè)真實(shí)世界的機(jī)器人，做任何復(fù)雜的事情，你需要多年的經(jīng)驗(yàn)，”韋林德說(shuō)。“即使對(duì)于人類(lèi)來(lái)說(shuō)，也需要幾年時(shí)間，而人類(lèi)經(jīng)過(guò)數(shù)百萬(wàn)年的進(jìn)化才能擁有操作手的學(xué)習(xí)能力。”

然而，在模擬中，Welinder 表示可以加速訓(xùn)練，就像玩游戲和其他作為 AI 基準(zhǔn)的流行任務(wù)一樣。“這需要數(shù)千年的時(shí)間來(lái)訓(xùn)練算法。但這只需要幾天時(shí)間，因?yàn)槲覀兛梢圆⑿谢?xùn)練。在訓(xùn)練這些算法時(shí)，您也不必?fù)?dān)心機(jī)器人會(huì)破壞或傷害某人，”他補(bǔ)充道。然而，研究人員過(guò)去在嘗試讓虛擬訓(xùn)練在物理機(jī)器人上工作時(shí)遇到了相當(dāng)大的麻煩。OpenAI 表示，它是第一批真正看到這方面進(jìn)展的組織之一。

當(dāng)給它一個(gè)真正的立方體時(shí)，Dactyl 會(huì)使用它的訓(xùn)練并自行解決它，它是在它從未接受過(guò)明確訓(xùn)練的各種條件下這樣做的。這包括用一只手戴上手套解決立方體，用它的兩個(gè)手指粘在一起，而 OpenAI 成員通過(guò)用其他物體戳它并用氣泡和五彩紙屑一樣的紙片噴灑它來(lái)不斷干擾它。

OPENAI 在現(xiàn)實(shí)世界中測(cè)試其技能之前使用模擬訓(xùn)練了 DACTYL 數(shù)千年

“我們發(fā)現(xiàn)，在所有這些擾動(dòng)中，機(jī)器人仍然能夠成功轉(zhuǎn)動(dòng)魔方。但它在訓(xùn)練中并沒(méi)有經(jīng)歷這些，” Welinder 的同伴 OpenAI 機(jī)器人團(tuán)隊(duì)負(fù)責(zé)人 Matthias Plappert 說(shuō)。“當(dāng)我們?cè)谖锢頇C(jī)器人上嘗試這個(gè)時(shí)，我們發(fā)現(xiàn)的魯棒性讓我們感到驚訝。”

這就是為什么 OpenAI 認(rèn)為 Dactyl 新獲得的技能對(duì)于機(jī)器人硬件和 AI 培訓(xùn)的進(jìn)步同等重要。即使是世界上最先進(jìn)的機(jī)器人，如行業(yè)領(lǐng)導(dǎo)者波士頓動(dòng)力公司開(kāi)發(fā)的類(lèi)人機(jī)器人和類(lèi)狗機(jī)器人，也無(wú)法自主運(yùn)行，它們需要大量針對(duì)特定任務(wù)的編程和頻繁的人工干預(yù)才能執(zhí)行基本動(dòng)作。

OpenAI 表示，Dactyl 是朝著有朝一日可能執(zhí)行體力勞動(dòng)或家務(wù)甚至與人類(lèi)一起工作的機(jī)器人邁出的一小步但至關(guān)重要的一步，而不是在封閉的環(huán)境中，沒(méi)有任何明確的程序來(lái)控制他們的行為。

在未來(lái)的愿景中，機(jī)器人學(xué)習(xí)新任務(wù)和適應(yīng)不斷變化的環(huán)境的能力將與人工智能的靈活性和物理機(jī)器的穩(wěn)健性同樣重要。“這些方法真正開(kāi)始證明，這些是處理我們生活的物理世界的所有固有復(fù)雜性和混亂的解決方案，”普拉珀特說(shuō)。