我提倡將AI“裝進(jìn)盒子里”，簡單地說，就是把它關(guān)進(jìn)監(jiān)獄，放在一個可控的環(huán)境里，比如當(dāng)你研究一種電腦病毒時，可以把它放在孤立的系統(tǒng)中，這個系統(tǒng)無法接入互聯(lián)網(wǎng)，所以你可以在安全的環(huán)境中了解它的行為。

 

　　亞姆博爾斯基是美國路易斯威爾大學(xué)工程學(xué)院計算機(jī)工程和計算機(jī)科學(xué)系的教授，也是網(wǎng)絡(luò)安全實驗室（Cyber Security Lab）的創(chuàng)始人兼現(xiàn)任主管，同時也是多部著作的作者，其中包括《人工超級智能：一種未來方法》（Artificial Superintelligence: A Futuristic Approach）。亞姆博爾斯基最感興趣的領(lǐng)域是AI安全和網(wǎng)絡(luò)安全，他是100多部著作的作者，研究已被全球數(shù)以千計的科學(xué)家引用。

 

 

　　【問】：你所在的陣營認(rèn)為，我們必須對AI保持謹(jǐn)慎，因為它可能會對我們的生存構(gòu)成威脅。你是怎么想的？你如何看待這個世界？

 

　　亞姆博爾斯基：AI和其他任何技術(shù)都沒有太大不同，任何先進(jìn)的技術(shù)都可以用于善良或邪惡的目的，AI的主要區(qū)別在于，它不僅僅是一個工具，它實際上是個獨立的代理，可以做出自己的決定，所以，如果你看看其他獨立代理的安全狀況，比如動物，我們不太擅長確保比特犬不會發(fā)生意外。

 

　　但我們有些方法可以做到這一點，我們可以把它們拴起來，把它們關(guān)進(jìn)籠子里，但是如果動物最終決定發(fā)起攻擊，它依然會決定攻擊，這種情況與先進(jìn)的AI非常相似，我們努力讓它變得安全、有益，但由于我們無法控制決策的各個方面，它可能會以多種方式傷害我們。

 

　　【問】：你描述它的方式，你的語言暗示了AI有意志，你是在暗示這種智力是有意識和自我意識的嗎？

 

　　亞姆博爾斯基：意識和自我意識在科學(xué)中是毫無意義的概念，這是我們無法發(fā)現(xiàn)或衡量的，我們不要談?wù)撃切┦虑?。我要說的是，具體的威脅將來自以下幾個方面：一是設(shè)計上的錯誤，就像任何軟件一樣，你會遇到電腦錯誤，你的價值觀與人類價值觀不一致，二是有目的的設(shè)計帶有惡意的AI，有些人想要傷害別人，比如黑客、末日邪教意思瘋狂的人，他們會故意設(shè)計出一套智能系統(tǒng)來執(zhí)行摧毀和殺戮任務(wù)，軍隊就是個很好的例子，他們資助了很多研發(fā)殺手機(jī)器人的研究，這就是他們所做的，以上只是一些簡單的例子，AI會為了作惡而決定做些邪惡的事情嗎？不，它會決定故意做些傷害人類的事情嗎？很有可能。

 

　　【問】：如你所知，我們建立AI的初衷有很大不同，你為什么你會如此認(rèn)為？

 

　　亞姆博爾斯基：預(yù)測未來是出了名的困難。我不認(rèn)為自己在這個領(lǐng)域有優(yōu)勢，所以我尊重別人的意見。像雷伊·庫茲韋爾（Ray Kurzweil）這樣的人，他們一生都在構(gòu)建這些預(yù)測曲線，指數(shù)曲線。由于他是谷歌的工程總監(jiān)，我認(rèn)為他對這項技術(shù)有很深的了解，如果他說2045年是“奇點”誕生的時刻，我可能也會相信。人們有不同的理由做出預(yù)測，這與我們在股市、賭馬場或其他任何東西上有不同賭博模式的原因差不多。不同的專家給不同的變量賦予不同的權(quán)重。

 

　　【問】：你提倡將AI“裝進(jìn)盒子里”這是什么意思，你會怎么做？

 

　　亞姆博爾斯基：簡單地說，就是把它關(guān)進(jìn)監(jiān)獄，放在一個可控的環(huán)境里。我們已經(jīng)在對電腦病毒實行類似的做法，當(dāng)你研究一種電腦病毒時，可以把它放在孤立的系統(tǒng)中，這個系統(tǒng)無法接入互聯(lián)網(wǎng)，所以你可以在安全的環(huán)境中了解它的行為。你控制環(huán)境，控制輸入和輸出，你就能知道它是如何工作的，它做了什么，有多危險。

 

　　這同樣適用于情報軟件。你不想僅僅通過在互聯(lián)網(wǎng)上發(fā)布它來運(yùn)行測試，看看會發(fā)生什么。你想要控制培訓(xùn)數(shù)據(jù)的輸入，這是非常重要的。我們看到過許多非常糟糕的系統(tǒng)，比如最近微軟的聊天軟件Chat在沒有任何控制的情況下發(fā)布出來，而用戶為它提供了非常糟糕的數(shù)據(jù)。因此，出于這個原因，我提倡使用協(xié)議，以便AI研究人員可以在安全的環(huán)境中測試他們的軟件。這是很有意義的。

 

　　【問】：當(dāng)你想到智慧涵蓋的巨大范圍時，從最簡單的生物到我們?nèi)祟?，是否可以用個恰當(dāng)?shù)念惐葋砻枋龀壷悄艿闹悄芑潭龋勘热?，?dāng)我的貓把一只老鼠放在后廊上時，貓所知道的一切都在表明：我喜歡那只死老鼠，對吧？它的全部世界觀就是“我想要它”。它根本就不具備理解“我為什么不要”的能力。你認(rèn)為，AI會變得足夠先進(jìn)，以至于我們甚至不能用同樣的語言進(jìn)行交流嗎，只是因為它是完全不同的東西？

 

　　亞姆博爾斯基：最終可能會這樣。當(dāng)然，一開始我們會從低于人類的AI起步，慢慢地它的智能會達(dá)到人類的水平，很快它就會以指數(shù)級的速度增長，直到它變成超級智能。就像你說的那樣，我們可能無法理解它在做什么以及為何去做，甚至無法與它進(jìn)行有意義的交流。

 

 

　　【問】：你們已經(jīng)啟動了一個新的研究領(lǐng)域，叫做知識分子學(xué)（Intellectology）。你能談?wù)勀鞘鞘裁矗銥槭裁匆菢幼鰡?？為什么你認(rèn)為科學(xué)中有缺失的部分？

 

　　亞姆博爾斯基：當(dāng)然可以。似乎有很多不同的科學(xué)子領(lǐng)域，它們都在研究智力的不同方面：我們?nèi)绾魏饬恐橇?、?gòu)建智力、人類智力與非人類智能、動物、外星人以及不同物種之間的交流等。法醫(yī)學(xué)告訴我們，我們可以觀察一個人工制品，并試圖推斷出它背后的工程技術(shù)。制造這種古物所需的最低智力是多少？

 

　　把所有這些不同的領(lǐng)域整合起來，建立統(tǒng)一一的術(shù)語和工具，這樣它們就可以被重新利用，并對每個領(lǐng)域都帶來好處，這似乎是有意義的。例如，我非常關(guān)注AI技術(shù)發(fā)展。研究這種類型的智力和研究人類的智力是不同的，這就是很多錯誤的來源，假設(shè)人類的驅(qū)動力、渴望以及需求將被轉(zhuǎn)移。

 

　　這一觀點認(rèn)為，宇宙中存在著各種不同的思想，這是這個領(lǐng)域的一部分。我們需要明白，就像我們的星球不是宇宙的中心一樣，我們的智慧也不是宇宙中可能存在的思想的中心。我們只是一個可能的數(shù)據(jù)點，將其推廣到人類價值觀之外是很重要的。

 

　　【問】：所以它被稱為“智力學(xué)”。對于什么是智力，我們并沒有一致的定義。你是從哪里開始研究的，也是從“何為智力”嗎？如果是的話，到底什么是智力？

 

　　亞姆博爾斯基：的確如此，DeepMind的一位聯(lián)合創(chuàng)始人曾發(fā)表過一篇非常好的論文，該論文對100種不同的智力定義進(jìn)行了調(diào)查，并試圖將它們結(jié)合起來。這一組合聽起來后就像是：智能是在多種環(huán)境中為實現(xiàn)你的目標(biāo)而進(jìn)行優(yōu)化的能力。你可以說這種能力在任何情況下都能獲勝，這是相當(dāng)普遍的。

 

　　如果你是個大學(xué)生，想要獲得一個好成績，這種能力可以幫你。如果你是另一個星球上試圖生存下來的外星人，它也能幫助你。關(guān)鍵是，如果我對這種情況進(jìn)行思考，最終這種能力會讓我在所有領(lǐng)域中學(xué)會做得更好。

 

　　例如，我們看到了AI能夠?qū)W習(xí)多個視頻游戲，并且表現(xiàn)非常出色。所以，這是一般智力的開始，至少在人工系統(tǒng)中是這樣。它們顯然還沒有達(dá)到人類的水平，但它們已經(jīng)開始變得足夠普遍，我們可以在所有這些情況下迅速學(xué)會如何應(yīng)對它們。我認(rèn)為，這是對智力的一個非常有用的定義，一個我們可以理解并應(yīng)用的定義。

 

　　【問】：在你的書《人工超級智能》中，你曾提到的一件事是，讓機(jī)器人相信人類是神。你會怎么做，為什么會這樣？這個想法是從哪里來的？

 

　　亞姆博爾斯基：我對人們提出的建議進(jìn)行了調(diào)查，這是其中的一個建議。我認(rèn)為它來自于神學(xué)領(lǐng)域，我認(rèn)為它毫無用處，但我提到它是為了列出人們提出的所有觀點。我和同事們曾發(fā)起“關(guān)于處理超級智能系統(tǒng)可能解決方案”的調(diào)查，我們查閱了大約三百篇論文。我認(rèn)為這是其中之一。

 

　　【問】：什么是AI完整性理論（AI Completeness Theory）？

 

　　亞姆博爾斯基：我們認(rèn)為有些問題屬于根本問題。如果你能解決其中一個問題，你可以解決任何問題。研究這些問題對于了解AI進(jìn)展以及我們是否達(dá)到了這樣的水平是很有用的。因此，在我的一篇文章中，我將圖靈測試看作是一個基本的AI完整性問題。如果你能通過圖靈測試，你就會像人類一樣聰明。

 

　　不受限制的測試，顯然不是5分鐘的測試，或者今天做的任何事情。如果這是可能的，那么你可以解決所有其他的問題。你可以幫助改進(jìn)計算機(jī)視覺、翻譯甚至是電腦編程。

 

　　【問】：你也寫關(guān)于機(jī)器倫理和機(jī)器人權(quán)利的文章。你能簡要解釋下嗎？

 

　　亞姆博爾斯基：關(guān)于機(jī)器倫理，基本上每個人都試圖提出一個特定的道德理論，并認(rèn)為其是正確的，我們應(yīng)該實施它，而不去考慮它如何影響每個不同意這個理論的人。幾千年來，哲學(xué)家們一直試圖提出一個共同的倫理框架。當(dāng)然，我們不會在未來幾年取得成功。

 

　　所以，我的論點是，我們甚至不應(yīng)該嘗試去選擇一個正確的倫理理論。這不是一個能讓我們所有人都快樂的解決方案。每種道德理論都存在這樣或那樣的問題，眾所周知的問題，如果有這樣的權(quán)力體系要實施道德框架，那將會造成很多問題，造成很多傷害。

 

　　關(guān)于機(jī)器人的權(quán)利，我反對給予它們平等的權(quán)利、人權(quán)和投票權(quán)。理由很簡單。這并不是因為我討厭機(jī)器人，而是因為它們幾乎可以無限“繁殖”。你可以擁有一萬億份任何軟件的拷貝，幾乎即時就可以獲得，如果每個軟件都有投票權(quán)，那基本上就意味著人類沒有任何權(quán)利。意味著我們自己放棄了人權(quán)。因此，任何提議賦予機(jī)器人這種公民權(quán)利的人，本質(zhì)上都是反對人權(quán)的。

 

 

　　【問】：“紅點測試”（或稱鏡子測試）可以在動物睡著的時候，在它們的額頭上放一個點，如果它站起來，在鏡子里看到它，并試圖擦去它，意味著它知道鏡子里的那個東西是它自己，它有自我的概念。這是個很難通過的測試，但這是一項科學(xué)測試。所以，自我意識是一個科學(xué)的想法，AI會有這樣的想法嗎？

 

　　亞姆博爾斯基：我們曾發(fā)表過相關(guān)論文，盡管仍在接受審查的過程，它對所有已知的意識測試進(jìn)行了調(diào)查，我想應(yīng)該包括自我意識。所有的人都在測量不同的意識關(guān)聯(lián)。在你舉的例子，的確，動物們可以認(rèn)出是鏡子里的它們，所以我們認(rèn)為這也意味著它們和我們有相似的意識。

 

　　但對于機(jī)器人來說卻不是這樣。我可以給一個機(jī)器人編程，讓它識別一個紅點，然后在5分鐘內(nèi)假設(shè)它在自己的額頭上。無論如何，這并不能保證它擁有任何意識或自我意識的屬性。這基本上證明了我們可以探測到紅點。

 

　　【問】：但你所要說的是，我們需要對AI的自我意識進(jìn)行不同的測試，而你最初說AI的自我意識是個荒謬的問題。

 

　　亞姆博爾斯基：我不知道自我意識的定義是什么。如果你說的是一些非物質(zhì)的、精神上的自我意識的東西，我不確定它是做什么的，或者為什么它對我們來說是有用的。

 

　　【問】：那我再問一個不同的問題吧。感覺是一個經(jīng)常被誤用的詞。它通常被用來代表智慧，但它的意思是“能夠感知某些東西”，通常是疼痛。所以，“有知覺的東西”這個問題真的很重要。感覺的概念，我們把它放在權(quán)利的旁邊，因為我們說：“如果什么東西能感覺到疼痛，它就有權(quán)利不被折磨。”這難道不等同于AI嗎？我們不應(yīng)該問：“它能感覺到疼痛嗎？”如果可以的話，你不能說：“哦，是的，它應(yīng)該能夠投票選出領(lǐng)導(dǎo)人。”但你不能折磨它。那將是一件合情合理的事，一件符合道德規(guī)范的事情，一件合乎道德的事情。

 

　　亞姆博爾斯基：我很贊同這個觀點。我們不應(yīng)該折磨任何人，包括任何強(qiáng)化學(xué)習(xí)者，或者類似的東西。據(jù)我所知，有兩篇關(guān)于電腦疼痛主題的論文，它們都認(rèn)為AI現(xiàn)在不具備知覺能力。

 

　　【問】：疼痛是不容易測量的，或者電腦現(xiàn)在不可能感覺到疼痛？

 

　　亞姆博爾斯基：對我們來說，用電腦來感知疼痛是不可能的。沒有人知道如何去做，如何開始。這和我們說的模式識別不同，我們知道如何開始，并且得出些結(jié)果，準(zhǔn)確率在10%左右，所以我們努力達(dá)到15%、40%甚至是90%。至于人工感知疼痛，沒有人知道如何開始。你要為此寫的第一行代碼是什么？沒有任何線索。

 

　　對于人類來說，我們假設(shè)其他人感到疼痛是因為我們能感到疼痛，我們也有類似的硬件。但是，你無法通過一個測試來衡量一個人的痛苦程度。這就是為什么我們給病人看十張不同的尖叫臉的照片，然后問他們：“嗯，你離這種程度的痛苦有多遠(yuǎn)，或者那個？”這完全是一種非科學(xué)的測量方法。

 

　　對人類來說，很明顯我們知道疼痛，因為我們能夠感受到，所以類似的設(shè)計也必須經(jīng)歷這些。對于機(jī)器，我們無法知道它們的感受。據(jù)我所知，沒有人能夠說：“好吧，我給機(jī)器編程了，所以它能感覺到疼痛，因為這就是我們使用的設(shè)計。”對于如何實現(xiàn)這樣的東西，目前還沒有任何想法。

 

　　【問】：讓我們假設(shè)這是真的，并會持續(xù)很長時間。從某種意義上說，如果你獲得了人權(quán)，意味著人類是有自我意識的，然后，你就會變得睿智，這就是智慧。所以，我們有一個自我，那個自我能被感覺到。有一種觀點認(rèn)為，即使是為了獲得智慧，為了獲得超級智能，也沒有辦法將其他所有的東西都砍掉，而只去獲取智慧。有些人說你不能那樣做，因為所有其他的東西都是智力的組成部分。但聽起來你可能不同意這一點。如果是這樣，為什么會如此呢？

 

　　亞姆博爾斯基：我不同意這種看法，因為我們有很多人都不是典型的神經(jīng)細(xì)胞。例如，沒有經(jīng)歷任何痛苦的人。他們是人，他們很聰明，他們當(dāng)然有完整的權(quán)利，但他們從不感到痛苦。所以這個例子顯然不是真的，為了達(dá)到人類的智力水平，你必須能感受到痛苦。人類有很多不同的變體，例如，沒有視覺思維模式。他們用語言思考，而不是像我們大多數(shù)人那樣。所以，即使這樣也會消失。

 

　　我們似乎沒有一套有本質(zhì)的屬性，那就是人類必須被認(rèn)為是人類。有些人的智力很低，可能有嚴(yán)重的智力缺陷。但他們?nèi)匀皇侨恕Ｋ?，有非常不同的?biāo)準(zhǔn)，a）獲得人權(quán)，b）擁有所有這些特性。

 

　　【問】：你主張把AI關(guān)進(jìn)“監(jiān)獄”。這種“我們需要把它鎖起來，在我們還沒來得及做之前”的觀點，在你看來，實現(xiàn)它的最好方法是什么？

 

　　亞姆博爾斯基：如果我認(rèn)為沒有必要，我就不會這么做了。我們確實需要適當(dāng)?shù)陌踩珯C(jī)制。我們有一些好的想法，比如如何讓這些系統(tǒng)更安全，但所有這些都需要進(jìn)行測試。軟件需要測試。在你運(yùn)行它之前，在你發(fā)布它之前，你需要一個測試環(huán)境。這是毫無爭議的。

 

　　【問】：你如何看待OpenAI計劃，即我們在構(gòu)建這個項目時，我們應(yīng)該分享并將其開源，這樣就能保持完全透明，而壞的參與者就不會得到通用人工智能（AGI）？你對此有何看法？

 

　　亞姆博爾斯基：這有助于在人與人之間傳播力量，所以沒有一個人能獲得所有的權(quán)力，而是很多人都能獲得權(quán)力。但與此同時，它也增加了危險，因為所有的瘋子，所有的精神病患者，現(xiàn)在都能接觸到尖端的AI技術(shù)，他們可以用它來做任何他們想要做的事情。所以，我們還不清楚它到底是有益還是有害。人們對OpenAI的看法分歧很大。

 

　　【問】：你不看好人類在這個星球上繼續(xù)占主導(dǎo)地位的前景嗎？我記得伊隆·馬斯克（Elon Musk）曾說過這樣的話：“我們之所以身在高層，唯一的原因是我們是最聰明的，如果我們不再是最聰明的人，我們就無法占據(jù)這樣的地位。”聽起來你好像也有類似的想法。

 

　　亞姆博爾斯基：當(dāng)然，是的。套用比爾·喬伊（Bill Joy）的話說：未來也許不需要我們。

 

　　【問】：你會怎么做？

 

　　亞姆博爾斯基：這幾乎涉及到我所有的研究。我想弄清楚的是，AI控制問題，控制智能代理問題是否是可以解決的。很多人都在研究這個問題，但我們從未真正確定它是可行的。我對自己的理論和其他學(xué)科的研究結(jié)果都有一定的局限性?？雌饋?，智力和可控性是負(fù)相關(guān)的。一個系統(tǒng)越智能，我們對它的控制就越少。

 

　　嬰兒的智商很低，我們幾乎可以完全控制他們。但隨著他們長大，當(dāng)他們變成青少年時，他們變得更聰明，但我們失去了越來越多的控制權(quán)。而超級智能系統(tǒng)幾乎是我們無法控制的。

 

 

　　【問】：現(xiàn)在，讓我們回過頭來，看看AI的當(dāng)前現(xiàn)狀以及它的影響。關(guān)于AI有很多爭論，更不用說被稱為“AGI”的東西，關(guān)于自動化，它將取代人類，并將會催生一個無法就業(yè)的群體以及引起社會動蕩。你對此有何看法？你對人類的近期前景有什么看法？

 

　　亞姆博爾斯基：的確會出現(xiàn)這些現(xiàn)象。我們肯定會有很多人失去工作。我正準(zhǔn)備為會計師會議做演講，我有個壞消息要告訴他們，大概94%的會計師會在未來20年失去他們的工作。這就是現(xiàn)實。幸運(yùn)的是，聰明的人會找到更好的工作和其他工作。但對很多人來說，他們沒有受過教育，或者沒有認(rèn)知能力，他們在這種經(jīng)濟(jì)中不再具有競爭力，我們將會看到無條件的基本收入，無條件的基本資產(chǎn)等新機(jī)制來阻止革命爆發(fā)。

 

　　【問】：AI的發(fā)展速度要比機(jī)器人快得多，因為機(jī)器人具有所有這些物理上的限制，而且在18個月的時間里，它的性能無法翻倍。作為一個整體，你認(rèn)為腦力工作會比體力工作更危險嗎？

 

　　亞姆博爾斯基：最重要的是，你的工作有多少重復(fù)性。如果你做的事情總是重復(fù)性的，不管是身體上的還是精神上的，被自動化取代將不可避免。如果你總是在做一些比較新奇的事情，那么現(xiàn)在這就接近了AI的完整性。盡管事情并非完全如此發(fā)展，但在這個方向上，取得進(jìn)展要困難得多。

 

　　【問】：在過去250年時間里，我們經(jīng)歷了技術(shù)革命，可以說，它可以和AI革命相提并論。我們擁有機(jī)械化，用工業(yè)電氣化，蒸汽的普及，所有這些似乎都是非常具有顛覆性的技術(shù)。所以，關(guān)于這一點的理論是，當(dāng)我們開發(fā)一種新工具的時候，人們就會采用它，并用它來提高自己的生產(chǎn)率，這就是為什么你的失業(yè)率永遠(yuǎn)不會超過4%到9%的原因。在你看來，這種邏輯有什么問題？

 

　　亞姆博爾斯基：你將工具和代理搞混了。AI不是一種工具，而是一種獨立的媒介，它可以將人類作為工具，而不是反過來。所以，舉例來說，我們有以前的奇點，不管是文化的還是工業(yè)的，它們都是錯的。你在將蘋果和土豆進(jìn)行對比。顯然，它們沒有什么共同之處。

 

　　【問】：電話總機(jī)接線員，或者是旅游代理商，或者是股票經(jīng)紀(jì)人，或者打字機(jī)維修工。這些都是被科技取代的工作，不管你在技術(shù)上說了什么，都不會改變這個簡單的事實?？萍汲霈F(xiàn)了，它顛覆了就業(yè)世界的規(guī)律，然而，失業(yè)率永遠(yuǎn)不會上升。請幫助我理解為什么AI會再次變得不同。

 

　　亞姆博爾斯基：當(dāng)然可以。假設(shè)你有一份工作，需要將屋頂固定在房子上，或者類似的東西。所以，我們給你一個新工具，現(xiàn)在你可以有一把射釘槍了。有了這個工具，你的效率提高了十倍，所以你的9個朋友失去了工作。你在使用工具。“射釘槍”永遠(yuǎn)不會決定成立一家建筑公司，并自己創(chuàng)業(yè)然后炒了你。

 

　　我們正在開發(fā)的技術(shù)從根本上是不同的。它是一種代理。它有能力自我提升，我指的是未來的AI，而不是今天AI。它能跨領(lǐng)域?qū)W習(xí)。它和人類一樣聰明。所以，它有能力取代你。你會成為這個混合系統(tǒng)的瓶頸。你不再拿射釘槍了。你對這個系統(tǒng)沒有任何貢獻(xiàn)。

 

　　因此，我們很容易看到所有的工作都將完全自動化。通常的邏輯是，被自動化取代的工作已就會消失，但是現(xiàn)在我們有了這個新工作，我們不知道如何對其實行自動化，所以你可以得到一份新工作，也許更好的工作，對這種先進(jìn)的技術(shù)進(jìn)行控制。但如果每項工作都是自動化的，根據(jù)定義，你有100%的失業(yè)率。但事實并非如此，你仍然有工作可做，甚至非常體面的工作，因為人類想要的是人類制造的藝術(shù)品，或者是手工制品，昂貴的奢侈品，但它們只是市場的一小部分。

 

　　如果AI在任何領(lǐng)域都比人類做得更好，人類就沒有競爭力，所以我們所有人都將失去工作。有些人會更早失去工作，如果AI有人類水平的智慧，沒有任何不能被自動化取代的工作。

 

　　【問】：所以，你的論點是，將來AI的能力超過我們時，即使是相對較小的幅度，每一項新工作，它們都會比我們更快地學(xué)習(xí)，因此，就好像你永遠(yuǎn)找不到用武之地那樣。對系統(tǒng)來說，你總是多余的。

 

　　亞姆博爾斯基：沒錯。而且，新的工作崗位最初不會是為人類操作員設(shè)計的。首先，它們會為機(jī)器而簡化，這樣我們就不會有任何競爭優(yōu)勢了。例如，現(xiàn)在我們的汽車是為人類設(shè)計的。如果你想在車上加入自動駕駛功能，它必須要與車輪和剎車踏板等部件兼容，讓它實現(xiàn)轉(zhuǎn)換。

 

　　然而，如果從一開始，你就設(shè)計它與機(jī)器一起工作。你建造智能道路、智能標(biāo)志，人類在任何時候都將不具有競爭力。從來沒有一個入口點能讓一個人有更好的答案。

 

　　【問】：似乎你有一個核心的假設(shè)，那就是最終人類的大腦將成為機(jī)器，我們可以復(fù)制這臺機(jī)器，它將完成人類機(jī)器所能做到的一切，甚至更好。有人可能會說，這是一種非科學(xué)的飛躍。你用我們不理解的東西舉例，它有我們不理解的緊急屬性，有我們不明白的意識，你會說：“哦，是的，100%肯定我們能超越自己的智慧。”凱文·凱利（Kevin Kelly）稱這種現(xiàn)象為“貨物崇拜”。就像這個想法：哦，好吧，如果我們只是做些類似的東西，它會比我們更聰明。它帶有一些完全不科學(xué)的味道。你會怎么說？

 

　　亞姆博爾斯基：首先，機(jī)器在幾乎所有領(lǐng)域都比我們更聰明。無論你在談?wù)撌裁?，玩游戲，投資股票市場……以及當(dāng)前我們知道自己在做什么的任何領(lǐng)域，似乎機(jī)器都已經(jīng)處于人類的水平，或者很快就會超越我們，因此，認(rèn)為這種趨勢將會持續(xù)下去并不顯得瘋狂。這種情況已經(jīng)持續(xù)了很多年。

 

　　我不需要完全理解這個系統(tǒng)要比那個系統(tǒng)做得更好。我不知道鳥類是如何誕生的。我不知道鳥類體內(nèi)的細(xì)胞是如何工作的。這似乎很復(fù)雜。但是，我乘飛機(jī)去歐洲，而不是鳥。

 

　　我們不知道孩子們是如何學(xué)習(xí)的，兩歲的孩子如何能成為完整的AGI。所以，在我們知道自己在做什么的領(lǐng)域里，比如在比賽（國際象棋）中擊敗人類方面，許多公司花費了數(shù)百萬美元資金，還有無數(shù)人為之努力奮斗。然后你終于能得到一臺比人類更擅長下國際象棋的電腦了，而這只是一個小游戲。

 

　　在遙遠(yuǎn)的未來，為什么這不可能是真的，沒有理由懷疑。但就像我說的，我不會對這個日期做出預(yù)測。我要指出的是，如果你能選擇人類活動的某個特定領(lǐng)域，你就可以解釋他們在這一領(lǐng)域所做的事情，這不是什么隨機(jī)的迷幻效果，而是“這就是他們在做的事情”，然后你必須解釋為什么計算機(jī)永遠(yuǎn)無法做到這一點。

 

 

　　【問】：假設(shè)所有這一切都將發(fā)生，以循序漸進(jìn)的方式進(jìn)行，電腦會超越我們，淘汰我們，我知道你沒有預(yù)測日期，但我們可以將事情發(fā)展的順序粗略地進(jìn)行排列。我從人們那里得到的最常見的問題是：“我應(yīng)該學(xué)什么技能？”我的孩子們應(yīng)該學(xué)習(xí)什么，為了有意義，還是將來能找到工作？

 

　　亞姆博爾斯基：這直接涉及到我關(guān)于AI完整性的論文?；旧?，被自動化取代的工作是什么？是做AI研究的人，正在推動機(jī)器學(xué)習(xí)進(jìn)步的人。當(dāng)機(jī)器可以自動完成這些任務(wù)時，也就無需人類承擔(dān)其他工作了。但這可能是人類最后從事的工作。

 

　　所以，一定要學(xué)習(xí)計算機(jī)科學(xué)，學(xué)習(xí)機(jī)器學(xué)習(xí)，學(xué)習(xí)AI。任何能在這些領(lǐng)域幫助你的東西（數(shù)學(xué)、物理），都會對你有好處。不要選擇這樣的專業(yè)：在你畢業(yè)的時候，我們發(fā)現(xiàn)這類工作已經(jīng)被自動化所取代。

 

　　【問】：這很有趣，投資大亨馬克·庫班（Mark Cuban）曾說，他并不一定進(jìn)入這個領(lǐng)域，但他對這個領(lǐng)域有很多有趣的想法。他說，如果他能重新選擇，他會去學(xué)習(xí)哲學(xué)，而不是從事技術(shù)工作，因為技術(shù)工作實際上可能是機(jī)器最容易取代的事情。這是它們“自己的后院”。但是，從某種意義上說，越抽象的工作，計算機(jī)就需要越長的時間才能完成它。你如何看？

 

　　亞姆博爾斯基：我同意這種說法。這是一份很棒的工作，如果你能在世界上的數(shù)百份工作中找到這樣的一份工作，那就說去做吧。但市場規(guī)模很小，競爭激烈，而機(jī)器學(xué)習(xí)的市場卻呈指數(shù)級增長。它的薪酬很高，你可以加入進(jìn)來。

 

　　【問】：給我們介紹下你正在做的其他事情，或者你即將發(fā)表的一些激動人心的東西。

 

　　亞姆博爾斯基：就像我說的，我正關(guān)注我們在AI安全領(lǐng)域所能做的事情的局限性。我正在研究的一個問題是可驗證性。在數(shù)學(xué)證明和計算機(jī)軟件中，什么是可以被科學(xué)驗證的？嘗試編非常好的軟件，沒有漏洞，這是計算機(jī)科學(xué)、計算機(jī)安全、網(wǎng)絡(luò)安全的“圣杯”。這方面有很多很好的工作，但似乎我們能得到的好處有限。我們可以移除大部分的錯誤，但通常無法修復(fù)所有漏洞。

 

　　如果你有一個系統(tǒng)，每秒鐘可做十億個決定，而有十億分之一的幾率會出錯，那么這些錯誤就會迅速累積。此外，幾乎沒有關(guān)于如何在新領(lǐng)域中對AI軟件和系統(tǒng)學(xué)習(xí)能力進(jìn)行驗證的成功工作。我們所知道的所有驗證工作都是針對某種確定性軟件和特定領(lǐng)域的。

 

　　我們可以開發(fā)飛機(jī)自動駕駛軟件之類的東西，并能很好地驗證它，但它并不是具有學(xué)習(xí)和自我提升能力的東西。這是一個非常難以開放的研究領(lǐng)域。

 

　　【問】：你曾提到第一個AGI是無價的，對吧？它的價值高達(dá)數(shù)萬億美元。

 

　　亞姆博爾斯基：沒錯。它基本上可以提供各種各樣的免費勞動服務(wù)，無論是身體上的還是認(rèn)知上的，它可以帶來巨大的經(jīng)濟(jì)利益，但如果在創(chuàng)造這種福利的過程中，它會摧毀人性，我不確定在那種情況下，金錢對你是否是有價值的。

 

　　【問】：你曾有過很多假設(shè)。你的工作似乎是要弄清楚，我們?nèi)绾卧诓蛔屪约罕罎⒌那闆r下進(jìn)入這個未來？你能給我一個樂觀的前景預(yù)測嗎，我們能通過它來解決這個問題嗎？你覺得那是什么樣子？如果可以的話，讓我們以樂觀的態(tài)度結(jié)束這次對話。

 

　　亞姆博爾斯基：我不確定自己有什么好消息與大家分享?？雌饋硭坪跏情L期的，對我們來說，一切看起來都很黯淡。要么我們將與機(jī)器合并，最終成為一個將被移除的瓶頸；要么機(jī)器將接管一切，我們將變得非常依賴于它們，它們來決定如何處理我們。

 

　　這可能是一種合理的存在，機(jī)器對我們有利，也可能更糟。但是，除了外部的災(zāi)難性變化阻止了這項技術(shù)的發(fā)展，我沒有看到一個很好的前景，比如我們負(fù)責(zé)操控那些類似上帝的機(jī)器，并開始在天堂生活。這似乎不太可能。

 

　　【問】：所以，當(dāng)你聽說太陽耀斑爆發(fā)卻沒有影響到地球的時候，你坐在那里會想：“?。∥艺嫦Ｍ鼡糁辛宋覀?，把這些東西都炸了。它會給人類爭取40年的時間來恢復(fù)。”你可以按下一個按鈕，發(fā)出巨大的電磁脈沖，然后摧毀所有的電子設(shè)備，這是最好的假設(shè)嗎？你會按下按鈕嗎？

 

　　亞姆博爾斯基：我不主張施行任何恐怖主義行為，無論是自然還是人為的，但如果人們足夠聰明地開發(fā)出這種技術(shù)，他們也應(yīng)該能夠理解可能帶來的后果，并采取相應(yīng)的行動，這似乎是個好主意。