好奇心，是人和人工智能最顯著的差異之一。從我們睜開雙眼看這個世界開始，我們就在努力的了解著周圍的一切，我們了解世界的方式很多樣；一開始是試圖把所有東西放進(jìn)嘴巴里，到后來我們走遍了這世界的每一個角落。
這也是生命中最美妙的東西，在滿足好奇心的過程中，我們獲得了快樂。人類了解一切，不是為了完成某一個目標(biāo)，而僅僅是一種來自本能的沖動。
可人工智能所做的，只有根據(jù)既定目標(biāo)進(jìn)行學(xué)習(xí)、搜索和計(jì)算。掃地機(jī)器人會探索周圍環(huán)境，可這不是因?yàn)楹闷?，而是為了建立房間中的SLAM以完成工作。這也是強(qiáng)人工智能不會出現(xiàn)的證據(jù)之一：人類自己都沒弄明白“意識”為何會存在，更沒法將“本能”加在人工智能頭上。
不過在現(xiàn)有技術(shù)下，我們能否讓人工智能做出類似好奇的行為呢？比如給予無意義的探索行為一些獎勵，或者是把探索行為和完成工作相結(jié)合進(jìn)行評分。
答案是可以。
好奇心幫助人工智能成為更棒的水管工
還記得我們第一次玩超級瑪麗的時候嗎？或許我們中很多人玩的都是小霸王學(xué)習(xí)機(jī)里的超級瑪麗式英語學(xué)習(xí)軟件。不管是什么，進(jìn)入游戲的第一時間，我們通常都是試一試手柄上的每一個按鍵是做什么的，然后跳來跳去，嘗試觸碰游戲里的每一個小方塊。這就是好奇心最基本的表現(xiàn)。
那么人工智能在玩超級瑪麗時是怎樣的呢？通常情況下是應(yīng)用了增強(qiáng)學(xué)習(xí)算法，用正負(fù)反饋機(jī)制幫助人工智能快速通關(guān)。踩死一只烏龜，獲得正向反饋，掉入懸崖，獲得反向反饋。問題時，只要能夠繼續(xù)過關(guān)，人工智能很難學(xué)會新的動作，這也就造成了遇到新的關(guān)卡時，人工智能常常需要耗費(fèi)很大力氣才能通過。
在一篇關(guān)于人工智能好奇心的論文中提到，人工智能利用傳統(tǒng)的增強(qiáng)學(xué)習(xí)方法訓(xùn)練，在超級瑪麗的游戲過程中，人工智能卡在了游戲的30%處，因?yàn)槿斯ぶ悄苄枰竭^一個坑，而想要越過那個坑，需要15到20個特定順序的按鍵操作。由于在墜落進(jìn)坑里時已經(jīng)獲得了反向反饋，人工智能常常在坑的位置止步不前。
上述論文的作者，來自UC Berkeley的研究團(tuán)隊(duì)提出了一種新的思路，為人工智能加入了內(nèi)部好奇心構(gòu)型。以自監(jiān)督的方式，預(yù)測自身行動會造成何種結(jié)果，并將這種算法稱作自監(jiān)督預(yù)測算法。
當(dāng)外部反饋減少時，內(nèi)部好奇心構(gòu)型會激勵人工智能通過探索環(huán)境去檢驗(yàn)自我對于行動的預(yù)測。結(jié)果是，采取內(nèi)部好奇心構(gòu)型的人工智能不會盲目重復(fù)那些有正向反饋的動作，而是開始了解游戲環(huán)境，把握整體游戲進(jìn)程。最終戰(zhàn)勝了那個坑。
好奇心不僅會害死貓，還會讓人工智能得多動癥
接下來，在DeepMind計(jì)算機(jī)科學(xué)家Hester和德州大學(xué)奧斯汀分校的Peter Stone的研究中，同樣的概念被進(jìn)一步的具象化。
在強(qiáng)化學(xué)習(xí)的基礎(chǔ)上，他們開發(fā)了一種名為TEXPLORE-VANIR的算法。和自監(jiān)督預(yù)測算法不同的是，TEXPLORE-VANIR為人工智能設(shè)立了內(nèi)部獎勵機(jī)制，當(dāng)人工智能探索環(huán)境時，即使這種行為對達(dá)到最終目標(biāo)沒有好處，人工智能也會因?yàn)闇p少了外部環(huán)境的未知性而獲得來自內(nèi)部的正向反饋。同時，在探索環(huán)境中發(fā)現(xiàn)了新事物時，人工智能也會獲得正向反饋。
這么聽起來，是不是很人類的好奇心非常相像了？
并且TEXPLORE-VANIR也讓人工智能的好奇心不再止步于游戲中。在關(guān)于機(jī)器人工作的實(shí)驗(yàn)中，面臨多項(xiàng)工作安排，TEXPLORE-VANIR算法能讓機(jī)器人表現(xiàn)更好。原因是面臨多項(xiàng)工作時，普通深度學(xué)習(xí)算法會讓機(jī)器人不斷重復(fù)某一項(xiàng)工作中的動作，因?yàn)闄C(jī)器人曾經(jīng)在完成這一項(xiàng)工作時獲得過正向反饋，當(dāng)其他工作出現(xiàn)時，它還是會重復(fù)那些讓自己獲得過正向反饋的動作。這樣一來，就會浪費(fèi)很多時間。
當(dāng)人類表現(xiàn)出過度好奇時，會有怎樣的結(jié)果？最常見的，注意力無法集中，常常將手頭的工作半途而廢。同樣，人工智能擁有好奇心后也會有同樣的表現(xiàn)。搭載TEXPLORE-VANIR算法的機(jī)器人在一項(xiàng)給門開鎖的任務(wù)上表現(xiàn)較差，就是常常因?yàn)楹闷娑ヌ剿鳝h(huán)境，導(dǎo)致任務(wù)完成的延遲。甚至有學(xué)者稱，這是人工智能的“多動癥”。
這樣看來，如何平衡內(nèi)部和外部的反饋將是如何讓人工智能好奇心發(fā)揮作用的最大問題。
沒有好奇心的人工智能只是機(jī)器？
我們更關(guān)心的是，讓人工智能擁有好奇心這件事究竟有什么用？是為了他們在游戲中更好的打敗我們？還是讓他們在執(zhí)行任務(wù)時分心而變得低效？或者說讓他們更接近人類，可以更好的打敗我們？
（電影超能查派中的人工智能自己研發(fā)出了如何轉(zhuǎn)移意識，超越了電影中人類現(xiàn)有的科技水平）
首先，好奇心會讓人工智能在學(xué)習(xí)時更加高效。減少對外部環(huán)境反饋的依賴，意味著對已有數(shù)據(jù)的利用率更高。比如在機(jī)械手臂試圖抓起物品時，常常是把可能抓起物品姿勢都嘗試一遍，直到把物品抓起來。對于人來說，這是根本不能接受的低效，可換到了一個充著電的機(jī)器上，似乎就沒人在意了?？尚Φ氖牵斯ぶ悄鼙緫?yīng)該替人類完成重復(fù)勞作的工作，結(jié)果卻是用更多的人工智能重復(fù)勞作，代替人類的重復(fù)勞作?？捎辛撕闷嫘?，人工智能可以先對環(huán)境、環(huán)境中的物體進(jìn)行初步的了解，然后再加以行動，而不是無腦的用暴力窮舉解決問題。
其次，好奇心可以讓人工智能更好的適應(yīng)現(xiàn)實(shí)應(yīng)用環(huán)境，畢竟現(xiàn)實(shí)和游戲或者實(shí)驗(yàn)不一樣，沒人會為人工智能的每個動作打分。當(dāng)缺少外部環(huán)境反饋時，好奇心驅(qū)使的內(nèi)部反饋就可以發(fā)揮很大作用。只有可以自我驅(qū)動的AI，才能在真正意義上幫助到人類，發(fā)現(xiàn)那些我們在設(shè)立目標(biāo)時沒有發(fā)現(xiàn)的事，而不是像所有機(jī)器一樣根據(jù)指令行動。
看到這里，是不是加重了對人工智能的恐懼？別擔(dān)心，大多數(shù)有關(guān)好奇心的算法目前還都停留在實(shí)驗(yàn)階段，一是上文提過的，由于無法平衡內(nèi)部反饋和外部反饋，好奇心常常會降低人工智能的工作效率。畢竟100%的專注，是所有機(jī)器的優(yōu)勢。第二則是，傳統(tǒng)深度學(xué)習(xí)的“蘿卜加大棒”政策已經(jīng)能滿足當(dāng)下很多人工智能的應(yīng)用。暴力窮舉雖然低效，但是十分有效。
但我們相信，不管以何種形式，未來的人工智能一定會出現(xiàn)類似好奇心的機(jī)制，在更了解這個世界的前提下，更好的服務(wù)人類。
