2014年，SpaceX的首席執(zhí)行官埃隆·馬斯克發(fā)了一條推特：“博斯特羅姆的《超級智能》值得一讀，對人工智能一定要萬分小心，它可能比核彈還危險。”同一年，劍橋大學宇宙學家霍金對BBC說：“開發(fā)完整的人工智能可能導致人類滅亡。”微軟創(chuàng)始人之一比爾·蓋茨也曾警惕地表示：“我是對超級智能感到擔憂的那一派。”
2008年，計算機科學家埃利澤·尤得庫斯基在《全球災難風險》中刻畫了AI滅世的場景：“AI的智力從阿米巴一路上升到村里的笨蛋那個級別，然后止步于人類天才的水平，這樣的可能性有多大？”他自己的回答是：“從物理上說，我們有可能造出一臺運算速度百萬倍于人腦的計算機。如果人腦加速到這個水平，那么從前需要思考一年的問題，現在31秒之內就能解決。而這就意味著，外界才過八個半小時，內心就已經感覺經歷了近千年的思考時間。”尤得庫斯基認為，現在不為這個問題著想，以后就來不及了：“AI的時間觀念和你我不同，等到你的神經元想好‘我該做點什么’時，你就已經輸了。”
這派想法的代表是牛津大學哲學家尼克·博斯特羅姆在《超級智能》一書中提出的所謂“回形針量產機”的思維實驗：人類設計了一臺AI來造回形針，它在耗盡了最初的原料之后，就開始竭力搜索一切可用的材料，包括人類身上的那些。博斯特羅姆在2003年的一篇論文中寫道，只要這個頭一開，AI就會“先將整個地球耗盡，甚至進一步利用周圍更大范圍內的所有材料，把它們都改造成一部部生產回形針的裝置。”用不了多久，整個宇宙就只剩下回形針和生產回形針的機器了。
我對這個設想持懷疑的態(tài)度。第一，這個末日場景需要滿足一連串條件才能實現，中間任何一個環(huán)節(jié)出錯，末日的戲碼都無法上演。英國西英格蘭大學的電氣工程教授艾倫·溫菲爾德在2014年的一篇文章中這樣寫道：“假如我們造出了和人類相當的AI，假如這部AI明白了自身的工作原理，又假如它能將自己改進成具有超級智能的AI，再假如這個超級AI出于無意或惡意開始消耗資源，還要假如我們沒能拔掉它的插頭？到那時，我們才可能遇到麻煩。這風險不是沒有，只是概率甚微。”
第二，AI的研發(fā)其實要比預測的緩慢得多，其中每一個步驟，人類都有時間叫停。就像谷歌董事長埃里克·施密特在回復馬斯克和霍金時所說的那樣：“你們覺得人類會注意不到嗎？注意到之后，不會去關掉那些電腦嗎？”谷歌的DeepMind公司已經發(fā)展出了一個關閉AI的開關，它被戲稱為“緊急紅按鈕”，可以在AI意圖造反時按下。百度首席科學家吳恩達也表示（針對馬斯克的話），有人“還沒登上火星，就開始擔憂火星上的人口問題了。”
第三，AI滅世論的依據往往是天然智能和人工智能之間的錯誤類比。2015年，哈佛大學的實驗心理學家斯蒂芬·平克在回答Edge網站年度問題“你對會思考的機器有什么看法”時，對這一點做了說明：“AI災難論者都在智能的概念中投射了狹隘的大男子心態(tài)。他們假定智力超越人類的機器人會制定出罷免主人或是統(tǒng)治世界的目標。”但實際上，平克指出，人工智能同樣可能“沿著女性的路線進化：既能熟練地解決問題，又沒有消滅無辜者或主宰人類文明的欲望。”
第四，電腦“想做”某事的說法（比如想把世界變成回形針）意味著電腦有了情緒，但是就像科普作家邁克爾·喬羅斯特指出的那樣：“一旦AI對某事有了向往，它就進入了一個獎賞與懲罰的世界，比如它會知道，做了壞事就要受到我們的懲罰。”
考慮到歷史上的末日預言還沒有一個應驗，再加上AI幾十年來的發(fā)展一向平緩，我們應該有充裕的時間建立一套安全體系，以防止AI毀滅世界的事情發(fā)生。
