你也許不記得自己第一次玩超級馬里奧兄弟時的感受了，但是讓我們試著回想這個 8-bit 的游戲世界閃亮登場：淡藍色的天空，有紋路的石頭地面，一個矮胖的、紅色著裝的小人靜靜站在那里。他面朝右邊：你將他朝右推動。走幾步之后便會有一排磚頭在頭頂盤旋，上面盤旋著一堆「憤怒的蘑菇」。游戲手柄的另一個按鍵能夠讓那個小人兒跳起來，他的四個像素大的拳頭指向天空。然后呢？或許是把「向右」和「跳躍」動作結(jié)合起來。好了，驚喜不驚喜：他會用自己的頭部撞擊懸浮在空中的磚塊，磚塊會像裝了彈簧一樣迅速向上彎曲并且彈回，把小人兒彈向正在靠近的蘑菇的身上，將其迅速壓平。馬里奧輕輕地從被征服的蘑菇身上跳開。然后出現(xiàn)一個帶有問號的棕色的對話框，似乎在問，「現(xiàn)在呢？」

 

　　對于 20 世紀 80 年代長大的人來說，這個場景特別熟悉，但你可以在 Pulkit Agrawal 的YouTube 頻道上看到更年輕的玩家。加利福尼亞大學伯克利分校的計算機科學研究員Agrawal 正在研究天生的好奇心如何讓學習完成一個不熟悉的任務(wù)的過程更有效率——就像你第一次玩超級馬里奧兄弟一樣。重點是，Agrawal 的視頻中的新手玩家不是人類，甚至是沒有生命的。它就像馬里奧一樣，僅僅是一個軟件。但是這個軟件配備了 Agrawal 和他在伯克利人工智能研究實驗室（BAIR）的其他同事 Deepak Pathak, Alexei A. Efros 和Trevor Darrell 一起開發(fā)的實驗性機器學習算法。這個算法有一個讓人驚嘆的目標：讓機器具有好奇心。

 

　　Agrawal 說，「你可以把好奇心想象成是智能體內(nèi)部自動生成的一種獎勵，有了好奇心之后它們可以更進一步的探索這個世界」。這個內(nèi)部生成的獎勵信號在認知心理學中被稱為「內(nèi)在激勵」。這種感覺你或許在讀我寫的游戲描述時有間接的體會——就是一種想要看看視野之外有什么的欲望，或者想要走出你的能力范圍，去看一下到底會發(fā)生什么——這就是內(nèi)在激勵。

 

　　人類也會響應源于外界環(huán)境的外在激勵。這類例子包括你從工作中獲得的薪水、你必須在特定時點完成的需求等。計算機科學家利用一種類似的，被稱為「強化學習」的方法來訓練他們的算法：軟件程序在按照被期望的方式執(zhí)行任務(wù)的時候會得到「分數(shù)」，然而在以不被期望的方式執(zhí)行的時候會受到懲罰。

 

　　但是這種胡蘿卜加大棒的方法對機器學習而言是有局限性的，并且人工智能研究者開始將內(nèi)在激勵視為能夠高效靈活學習的軟件智能體的一項重要組成部分，也就是說，它們不太像脆弱的機器，而是更像人類和動物一樣。在人工智能中使用內(nèi)在激勵的方法受啟發(fā)于心理學和神經(jīng)生物學幾——以及那些有數(shù)十年歷史的原始人工智能研究，現(xiàn)在重新變得有用了起來。（「機器學習領(lǐng)域里無新鮮事?！?OpenAI 研究員 Rein Houthooft 如是說。）

 

　　這種智能體現(xiàn)在已經(jīng)可以被訓練用于視頻游戲中，但是開發(fā)「具有好奇心」的人工智能的吸引力超越任何現(xiàn)有工作。伯克利人工智能實驗室的聯(lián)合主管 Darrell 說，「你列舉一個你最喜歡的應用領(lǐng)域，我會給出一個例子」?！冈诩依?，我們希望自動化地清理房間、收拾東西。在物流領(lǐng)域，我們希望貨物能被自動化地搬運、完成各種操作。我們希望汽車能夠在復雜的環(huán)境中自動駕駛，我們希望救援機器人能夠在建筑里搜救需要幫助的人。在所有這些例子中，我們都在嘗試解決這個非常棘手的問題：你如何創(chuàng)造一臺能夠自己想明白要完成什么的任務(wù)機器？」

 

 

　　強化學習是讓 Google的 AlphaGo 軟件得以在圍棋中戰(zhàn)勝人類玩家的利器。在此之前，圍棋作為一款古老的直覺游戲，向來被認為是機器無法企及的。如何在特定的領(lǐng)域成功使用強化學習的細節(jié)是很復雜的，但是通用的思想是簡單的：給算法或者「智能體」一個獎勵函數(shù)，一個用數(shù)學方法定義的信號來追尋并最大化。然后把它自由地置于一個環(huán)境中，可以是任何的虛擬世界或者現(xiàn)實世界。隨著智能體在環(huán)境中運行，能夠增加獎勵函數(shù)的值的動作會被強化。只要有足夠多的重復——如果說計算機在某一件事上百分百勝過人類，那就是重復——智能體就會學會這個動作的模式或者策略，以最大化它的激勵函數(shù)。理想情況下，這些策略會導致智能體達到期望的最終狀態(tài)（例如在圍棋游戲中獲勝），在這個過程中程序員或者工程師不必在智能體進化的每一步都手動編碼。

 

　　換句話說，一個獎勵函數(shù)就是能夠讓配備了強化學習算法的智能體能夠鎖定目標的指導系統(tǒng)。目標定義得越是清晰，智能體就運行得越好——這就是為什么目前很多智能體都是在較老的視頻游戲上做測試的原因，因為這些游戲都有基于分數(shù)的明確獎勵制度。（游戲的塊狀的、二維的圖像也是研究者選擇它們的理由：因為游戲相對比較容易模仿，研究者可以快速地運行并測試他們的實驗。）

　　加州伯克利的計算機科學家Pulkit Agrawal

 

　　Agrawal 說，「然而現(xiàn)實世界中并沒有分數(shù)」。計算機科學家希望讓他們創(chuàng)造的智能體去探索一個不是預加載了可量化對象的世界。

 

　　此外，如果環(huán)境沒有快速并且有規(guī)則地提供顯式的激勵，那么智能體「就沒有一個用來判斷它是否做得正確的準則」，Houthooft 說。就像熱引導的導彈不能鎖定目標一樣，「它沒有任何自己通過環(huán)境引導自己的方法，所以只能亂飛」。

 

　　最后，即使是煞費苦心定義的激勵函數(shù)能夠指導智能體表現(xiàn)出不同凡響的智能行為——就像 AlphaGo 打敗頂級人類玩家一樣——這種激勵函數(shù)也不可能在未經(jīng)大量修訂的情況下遷移到任何其他情境中。并且，這種修改必須是人工完成的，確切地說這就是機器學習首先應該幫助人類完成的事。

 

　　除了像導彈一樣能夠可靠地命中目標的偽人工智能體之外，我們真正想要從人工智能獲得的更像是一種內(nèi)部引導能力?！改闶强梢宰约航o自己創(chuàng)造激勵的對吧？」Agrawal 說，「并不存在一個天天指導你做這件事要『加1』或者『減1』的神」。

 

 

　　Deepak Pathak 從未嘗試過給「好奇心」這么虛無縹緲的概念建模?！浮汉闷嫘摹灰辉~指的是『引導一個智能體在存在噪聲的環(huán)境中有效地探索的模型』」。隸屬于伯克利 Darrell的實驗室研究員 Pathak 如是說。

 

　　但是在 2106 年，Pathak 著迷于強化學習中的稀疏獎勵問題。含有強化學習技術(shù)的深度學習軟件最近在玩分數(shù)驅(qū)動的雅達利游戲（比如太空入侵者和打磚塊）中獲得了顯著的進步。但是在像超級馬里奧兄弟一樣的稍微復雜的游戲就超出人工智能的能力范圍了。因為在這些復雜的場景需要在時間和空間上朝著一個遙遠的目標前進，而且沒有一個明確的獎勵，更不用說學習并成功地執(zhí)行游戲中的組合動作（例如在奔跑中同時跳躍）。

 

　　Pathak、Agrawal、Darrell 以及 Efros 這群研究員給他們的智能體配備了他們稱之為內(nèi)在好奇模塊（ICM），這個模塊被設(shè)計用來讓游戲向前推進而不至于發(fā)生混亂。畢竟這個智能體并沒有關(guān)于如何玩超級馬里奧兄弟的先驗知識——事實上，它并不像一個新手玩家，更像一個新生的嬰兒。

　　加州大學伯克利分校計算機科學家 Deepak Pathak

 

　　事實上，Agrawal 和 Pathak 的靈感來自于 Alison Gopnik 和 Laura Schulz 兩人的工作，他們分別是伯克利和麻省理工學院的發(fā)展心理學家，其研究表明嬰兒和幼兒天生就喜歡與那些最讓他們吃驚的對象，而不是那些最適用于完成某種外在目標的對象一起玩耍?！笇和倪@種好奇心的一個『解釋』是，他們建立了一個對于已知世界的模型，然后進行實驗以了解更多未知的部分，」 Agrawal 說。這些“實驗”可以是任何能夠產(chǎn)生令智能體（在這里指嬰兒）感到不尋?；蛞馔獾慕Y(jié)果的過程。孩子可能剛開始會通過隨意擺動四肢而產(chǎn)生新的感覺（這一過程被稱為「motor babbling」，牙牙學語），然后發(fā)展出更協(xié)調(diào)的行為，比如咀嚼玩具或敲擊一堆積木，來觀察會發(fā)生什么。

 

　　在 Agrawal 和 Pathak 所構(gòu)建的這個以驚訝感來驅(qū)動好奇心的機器學習算法中，人工智能第一次從數(shù)學的角度表示出超級馬里奧兄弟當前視頻幀的樣子。然后，它會預測該游戲在隨后幾個幀的樣子，這一技術(shù)已經(jīng)在深度學習系統(tǒng)的現(xiàn)有能力之內(nèi)了。然而 Pathak 和 Agrawal 的 ICM 走得更遠。它可以生產(chǎn)一個由此預測模型的錯誤率來定義的內(nèi)在獎勵信號。錯誤率越高，即驚訝程度越大，其內(nèi)部獎勵函數(shù)的值就越大。換句話說，如果驚訝感等同于認識到有些事沒有按照預期發(fā)生——即意識到犯錯了——那么 Pathak 和  Agrawal 的系統(tǒng)就會得到驚訝所帶來的獎勵。

 

　　這種內(nèi)部生成的信號在游戲中將智能體吸引到未被開發(fā)的狀態(tài)：通俗地說，它對自己所未知的東西感到好奇。隨著智能體的學習——隨著其預測模型的錯誤率越來越低——來自 ICM 的獎勵信號將減少，從而鼓勵智能體去探索其它更令人驚訝的情況?！高@是一個加快探索過程的辦法，」Pathak 說。

 

　　這種反饋循環(huán)還允許人工智能快速地將自我從幾乎一無所知的無知狀態(tài)中引導出來。剛開始，智能體會對游戲人物所能表現(xiàn)出的任何基本動作產(chǎn)生好奇：按右鍵會將馬里奧往右推，然后停下；連續(xù)按右鍵會將馬里奧一直往右推；按上鍵使他彈到空中，然后又落下；按下鍵沒有效果。這種模擬的「牙牙學語」過程很快就能收斂到一些有用的動作，從而讓智能體繼續(xù)后面的游戲，即使該智能體對這一游戲毫無了解。

 

　　例如，由于按下鍵總是沒有任何反應，從而智能體很快學會了完美地預測該動作的效果，這種預測準確度的提升讓與下鍵相關(guān)聯(lián)的由好奇心提供的獎勵信號變?nèi)?。然而按上鍵則有各種不可預知的效果：有時馬里奧是筆直上升，有時是弧線上升；有時短跳，有時長跳；有時他再也不會從上方下來（比如他碰巧在障礙物上著陸）。所有這些結(jié)果在智能體的預測模型中都被記錄為錯誤，從而帶來 ICM 的獎勵信號，這會使得主體不斷地嘗試該操作。向右移（幾乎總是揭示更多游戲世界）也有類似的好奇吸引效應。繼續(xù)向前和向右的沖動可以清楚地在 Agrawal 的演示視頻里看到：幾秒鐘內(nèi)，人工智能控制的馬里奧開始像一個多動癥兒童那樣向右跳，帶來更多不可預知的影響（比如撞上一塊盤旋的磚，或不小心壓扁一只蘑菇），所有這些都會驅(qū)動進一步的探索行為。

 

　　「通過使用這種好奇心，智能體能夠?qū)W習去做所有探索世界所需要做的事情，比如跳和殺死敵人，」Agrawal 解釋說，「它甚至不會因為掉血而受到懲罰。但它會學習去避免掉血，因為不死就意味著能夠最大限度地去探索。它在自我強化，而不是從該游戲中得到強化?！?/div>