阿西莫夫的定律已成明日黃花

對(duì)AI的擔(dān)心和限制的想法甚至從AI的概念還沒(méi)有誕生的時(shí)候就有了，在那個(gè)人們對(duì)計(jì)算機(jī)還懵懵懂懂的時(shí)代，人們就對(duì)那種強(qiáng)大的、有著金屬身軀和超高智商的存在有了一種本能的恐懼。多年來(lái)無(wú)數(shù)科學(xué)家、作家都警告AI可能毀滅人類(lèi)。包括霍金也曾表示超越人類(lèi)的AI可能造成人類(lèi)的滅亡。人們也曾探索過(guò)限制AI隨意發(fā)展的各種可能性。1950年著名科幻作家阿西莫夫的《我，機(jī)器人》出版，在書(shū)中阿西莫夫提出了舉世聞名的機(jī)器人三定律（當(dāng)時(shí)還沒(méi)有AI這個(gè)概念，這個(gè)概念在1955年才第一次由約翰·麥卡錫提出） ，阿西莫夫的構(gòu)想是：只要把這三項(xiàng)定律寫(xiě)入機(jī)器人的代碼底層，確保機(jī)器人無(wú)論如何都無(wú)法違反，就能保證人類(lèi)不被機(jī)器人所傷害：

第一定律：機(jī)器人不得傷害人類(lèi)，或坐視人類(lèi)受到傷害。

第二定律：機(jī)器人必須服從人類(lèi)的命令，除非與第一定律沖突

第三定律：在不違背第一定律和第二定律的情況下，機(jī)器人必須保護(hù)自己。

乍一看，這三條定律確實(shí)能有效防止機(jī)器人對(duì)人的各種傷害。但是其實(shí)這個(gè)定律存在兩個(gè)問(wèn)題：

一是描述太過(guò)模糊，以至于機(jī)器人可能通過(guò)對(duì)其作出各種解讀來(lái)不同程度的達(dá)到自己限制或傷害人類(lèi)的問(wèn)題。

二是可操作性太差，即使到了現(xiàn)在，我們也沒(méi)法制造出一臺(tái)能真正理解這三條定律含義的AI，對(duì)如何將其寫(xiě)入AI程序的底層更是毫無(wú)頭緒。萬(wàn)一AI在我們找到實(shí)現(xiàn)機(jī)器人三定律的方法之前就具備了毀滅人類(lèi)的想法和能力了呢？

谷歌和OpenAI聯(lián)合發(fā)布五條AI定律

谷歌日前發(fā)布了一篇論文，為AI劃出了五條行為規(guī)范，目的是防止AI有意或無(wú)意做出傷害人類(lèi)的事。我們姑且可以稱(chēng)其為AI五定律。在此我們選取一部分翻譯：

盡管AI可能面臨的安全風(fēng)險(xiǎn)已經(jīng)引起了公眾的注意，但是目前大多數(shù)相關(guān)的討論都顯得過(guò)于理想化和理論化。我們相信在機(jī)器學(xué)習(xí)領(lǐng)域?qū)⑾嚓P(guān)的研究盡快落地是非常必要的，因此我們開(kāi)始研究實(shí)際可行的可將AI系統(tǒng)用安全可靠的手段建立起來(lái)的方法。

我們列出了我們認(rèn)為在一般情況下對(duì)AI而言非常重要的五個(gè)問(wèn)題——都是一些比較前衛(wèi)的思考和長(zhǎng)期的研究方向。在目前來(lái)看它們的意義比較小，但是在未來(lái)的系統(tǒng)中它們會(huì)發(fā)揮重要作用。

 

避免負(fù)面影響：我們?nèi)绾伪苊釧I在試圖達(dá)到目標(biāo)時(shí)對(duì)環(huán)境做出有負(fù)面影響的舉動(dòng)？比如避免掃地機(jī)器人為了更快的打掃地面而徑直推翻（而不是繞過(guò)去） 一個(gè)花瓶。

避免對(duì)獎(jiǎng)勵(lì)條件的非法解讀：我們?nèi)绾伪苊釧I通過(guò)篡改測(cè)量值等手段在獎(jiǎng)勵(lì)函數(shù)上玩花樣？比如我們不希望這個(gè)掃地機(jī)器人只是找個(gè)東西把臟東西蓋起來(lái)讓自己看不見(jiàn)它，就認(rèn)為自己已經(jīng)掃干凈了地面。

可擴(kuò)展的監(jiān)管：我們?nèi)绾斡行ПＷCAI系統(tǒng)對(duì)那些在系統(tǒng)中不方便太過(guò)頻繁的評(píng)估的物體做出適當(dāng)?shù)姆磻?yīng)？比如，如果機(jī)器人需要從人那里獲得訓(xùn)練結(jié)果的反饋，那它就需要有有效的利用這條反饋的能力（而不能像普通的訓(xùn)練那樣不停的核對(duì)訓(xùn)練結(jié)果），因?yàn)椴煌５膯?wèn)一個(gè)人問(wèn)題是很煩人的。

環(huán)境探索的安全性：我們?nèi)绾斡行У谋ＷCAI系統(tǒng)評(píng)估環(huán)境的時(shí)候不會(huì)造成太過(guò)負(fù)面的影響？比如，一個(gè)掃地機(jī)器人可能會(huì)需要進(jìn)行建立拖地策略的實(shí)驗(yàn)來(lái)作為以后工作的依據(jù)。但是很顯然它無(wú)論怎么實(shí)驗(yàn)無(wú)論如何也不應(yīng)該嘗試把濕拖把插進(jìn)插座中。

分配轉(zhuǎn)變的魯棒性：我們?nèi)绾伪ＷCAI系統(tǒng)處在與其訓(xùn)練環(huán)境完全不同的環(huán)境時(shí)認(rèn)知和行為的穩(wěn)定性？比如，啟發(fā)式算法讓機(jī)器在在工廠中學(xué)到的行為可能在一個(gè)辦公室中就會(huì)顯得不那么安全。

 

它的重要性不言而喻

確實(shí)有很多人在擔(dān)心著AI對(duì)人類(lèi)的威脅。包括Elon Musk和霍金等。如果要詳細(xì)區(qū)分一下，這種擔(dān)心更多的不是對(duì)AI所擁有的力量的擔(dān)心，而是對(duì)其力量能不能被用在合適的地方的擔(dān)心。AlphaGo的投資人Talllinn在一次采訪中表示：我們需要重新定義 AI 研究的目標(biāo)。不停留于單純的智能開(kāi)發(fā)上，而是開(kāi)發(fā)能充分對(duì)接人類(lèi)價(jià)值觀的超級(jí)智慧。也是這種擔(dān)心的一種表現(xiàn)。不過(guò)目前雖然大眾普遍注意到了這種可能性，但相關(guān)的嚴(yán)肅研究的數(shù)量其實(shí)比較少。

但這其中不包括谷歌，谷歌對(duì)AI安全性的重視由來(lái)已久，之前谷歌就曾發(fā)布過(guò)一篇論文，設(shè)計(jì)了一個(gè)用于緊急停止算法運(yùn)行的開(kāi)關(guān)，并且確保開(kāi)關(guān)的效果不會(huì)被算法阻止，這個(gè)開(kāi)關(guān)屬于事后防范的應(yīng)急措施。而現(xiàn)在谷歌聯(lián)合多家機(jī)構(gòu)一起制定的這套新的規(guī)則的目的則是為了從源頭——設(shè)計(jì)層面防止AI做出有害的事情。

AI安全聯(lián)盟打臉霍金？

OpenAI就是為了預(yù)防人工智能的災(zāi)難性影響和推動(dòng)人工智能為人類(lèi)發(fā)揮積極作用而建立的組織，可以說(shuō)同谷歌在這方面的努力一拍即合。這次的合作研究，既是為了集合更多精英的智慧，得出更有用的結(jié)果。也是為了擴(kuò)大這項(xiàng)研究的影響力，對(duì)AI安全方面的研究起到更大的推進(jìn)作用。因?yàn)槎嗉掖蠊竞徒M織所組成的聯(lián)盟無(wú)疑更能引起大家的關(guān)注。

雖然阿西莫夫的作品非常有邏輯性和條理，他的很多作品也確實(shí)預(yù)言了科技發(fā)展的趨勢(shì)，但機(jī)器人三定律畢竟仍然只是一個(gè)文學(xué)作品中的附屬產(chǎn)物，在嚴(yán)謹(jǐn)性方面仍有許多欠缺。此次谷歌等團(tuán)隊(duì)提出的這五條限定條件將目前AI開(kāi)發(fā)中需要注意的事項(xiàng)作了一個(gè)概括性的總結(jié)，與寬泛而缺乏可操作性的機(jī)器人三定律相比顯得更加實(shí)用。論文中提到了更詳細(xì)的實(shí)現(xiàn)方法。