我提倡將AI“裝進盒子里”，簡單地說，就是把它關進監(jiān)獄，放在一個可控的環(huán)境里，比如當你研究一種電腦病毒時，可以把它放在孤立的系統(tǒng)中，這個系統(tǒng)無法接入互聯(lián)網(wǎng)，所以你可以在安全的環(huán)境中了解它的行為。

 

　　亞姆博爾斯基是美國路易斯威爾大學工程學院計算機工程和計算機科學系的教授，也是網(wǎng)絡安全實驗室（Cyber Security Lab）的創(chuàng)始人兼現(xiàn)任主管，同時也是多部著作的作者，其中包括《人工超級智能：一種未來方法》（Artificial Superintelligence: A Futuristic Approach）。亞姆博爾斯基最感興趣的領域是AI安全和網(wǎng)絡安全，他是100多部著作的作者，研究已被全球數(shù)以千計的科學家引用。

 

 

　　【問】：你所在的陣營認為，我們必須對AI保持謹慎，因為它可能會對我們的生存構成威脅。你是怎么想的？你如何看待這個世界？

 

　　亞姆博爾斯基：AI和其他任何技術都沒有太大不同，任何先進的技術都可以用于善良或邪惡的目的，AI的主要區(qū)別在于，它不僅僅是一個工具，它實際上是個獨立的代理，可以做出自己的決定，所以，如果你看看其他獨立代理的安全狀況，比如動物，我們不太擅長確保比特犬不會發(fā)生意外。

 

　　但我們有些方法可以做到這一點，我們可以把它們拴起來，把它們關進籠子里，但是如果動物最終決定發(fā)起攻擊，它依然會決定攻擊，這種情況與先進的AI非常相似，我們努力讓它變得安全、有益，但由于我們無法控制決策的各個方面，它可能會以多種方式傷害我們。

 

　　【問】：你描述它的方式，你的語言暗示了AI有意志，你是在暗示這種智力是有意識和自我意識的嗎？

 

　　亞姆博爾斯基：意識和自我意識在科學中是毫無意義的概念，這是我們無法發(fā)現(xiàn)或衡量的，我們不要談論那些事情。我要說的是，具體的威脅將來自以下幾個方面：一是設計上的錯誤，就像任何軟件一樣，你會遇到電腦錯誤，你的價值觀與人類價值觀不一致，二是有目的的設計帶有惡意的AI，有些人想要傷害別人，比如黑客、末日邪教意思瘋狂的人，他們會故意設計出一套智能系統(tǒng)來執(zhí)行摧毀和殺戮任務，軍隊就是個很好的例子，他們資助了很多研發(fā)殺手機器人的研究，這就是他們所做的，以上只是一些簡單的例子，AI會為了作惡而決定做些邪惡的事情嗎？不，它會決定故意做些傷害人類的事情嗎？很有可能。

 

　　【問】：如你所知，我們建立AI的初衷有很大不同，你為什么你會如此認為？

 

　　亞姆博爾斯基：預測未來是出了名的困難。我不認為自己在這個領域有優(yōu)勢，所以我尊重別人的意見。像雷伊·庫茲韋爾（Ray Kurzweil）這樣的人，他們一生都在構建這些預測曲線，指數(shù)曲線。由于他是谷歌的工程總監(jiān)，我認為他對這項技術有很深的了解，如果他說2045年是“奇點”誕生的時刻，我可能也會相信。人們有不同的理由做出預測，這與我們在股市、賭馬場或其他任何東西上有不同賭博模式的原因差不多。不同的專家給不同的變量賦予不同的權重。

 

　　【問】：你提倡將AI“裝進盒子里”這是什么意思，你會怎么做？

 

　　亞姆博爾斯基：簡單地說，就是把它關進監(jiān)獄，放在一個可控的環(huán)境里。我們已經(jīng)在對電腦病毒實行類似的做法，當你研究一種電腦病毒時，可以把它放在孤立的系統(tǒng)中，這個系統(tǒng)無法接入互聯(lián)網(wǎng)，所以你可以在安全的環(huán)境中了解它的行為。你控制環(huán)境，控制輸入和輸出，你就能知道它是如何工作的，它做了什么，有多危險。

 

　　這同樣適用于情報軟件。你不想僅僅通過在互聯(lián)網(wǎng)上發(fā)布它來運行測試，看看會發(fā)生什么。你想要控制培訓數(shù)據(jù)的輸入，這是非常重要的。我們看到過許多非常糟糕的系統(tǒng)，比如最近微軟的聊天軟件Chat在沒有任何控制的情況下發(fā)布出來，而用戶為它提供了非常糟糕的數(shù)據(jù)。因此，出于這個原因，我提倡使用協(xié)議，以便AI研究人員可以在安全的環(huán)境中測試他們的軟件。這是很有意義的。

 

　　【問】：當你想到智慧涵蓋的巨大范圍時，從最簡單的生物到我們?nèi)祟?，是否可以用個恰當?shù)念惐葋砻枋龀壷悄艿闹悄芑潭?？比如，當我的貓把一只老鼠放在后廊上時，貓所知道的一切都在表明：我喜歡那只死老鼠，對吧？它的全部世界觀就是“我想要它”。它根本就不具備理解“我為什么不要”的能力。你認為，AI會變得足夠先進，以至于我們甚至不能用同樣的語言進行交流嗎，只是因為它是完全不同的東西？

 

　　亞姆博爾斯基：最終可能會這樣。當然，一開始我們會從低于人類的AI起步，慢慢地它的智能會達到人類的水平，很快它就會以指數(shù)級的速度增長，直到它變成超級智能。就像你說的那樣，我們可能無法理解它在做什么以及為何去做，甚至無法與它進行有意義的交流。

 

 

　　【問】：你們已經(jīng)啟動了一個新的研究領域，叫做知識分子學（Intellectology）。你能談談那是什么，你為什么要那樣做嗎？為什么你認為科學中有缺失的部分？

 

　　亞姆博爾斯基：當然可以。似乎有很多不同的科學子領域，它們都在研究智力的不同方面：我們?nèi)绾魏饬恐橇Α嫿ㄖ橇?、人類智力與非人類智能、動物、外星人以及不同物種之間的交流等。法醫(yī)學告訴我們，我們可以觀察一個人工制品，并試圖推斷出它背后的工程技術。制造這種古物所需的最低智力是多少？

 

　　把所有這些不同的領域整合起來，建立統(tǒng)一一的術語和工具，這樣它們就可以被重新利用，并對每個領域都帶來好處，這似乎是有意義的。例如，我非常關注AI技術發(fā)展。研究這種類型的智力和研究人類的智力是不同的，這就是很多錯誤的來源，假設人類的驅(qū)動力、渴望以及需求將被轉移。

 

　　這一觀點認為，宇宙中存在著各種不同的思想，這是這個領域的一部分。我們需要明白，就像我們的星球不是宇宙的中心一樣，我們的智慧也不是宇宙中可能存在的思想的中心。我們只是一個可能的數(shù)據(jù)點，將其推廣到人類價值觀之外是很重要的。

 

　　【問】：所以它被稱為“智力學”。對于什么是智力，我們并沒有一致的定義。你是從哪里開始研究的，也是從“何為智力”嗎？如果是的話，到底什么是智力？

 

　　亞姆博爾斯基：的確如此，DeepMind的一位聯(lián)合創(chuàng)始人曾發(fā)表過一篇非常好的論文，該論文對100種不同的智力定義進行了調(diào)查，并試圖將它們結合起來。這一組合聽起來后就像是：智能是在多種環(huán)境中為實現(xiàn)你的目標而進行優(yōu)化的能力。你可以說這種能力在任何情況下都能獲勝，這是相當普遍的。

 

　　如果你是個大學生，想要獲得一個好成績，這種能力可以幫你。如果你是另一個星球上試圖生存下來的外星人，它也能幫助你。關鍵是，如果我對這種情況進行思考，最終這種能力會讓我在所有領域中學會做得更好。

 

　　例如，我們看到了AI能夠?qū)W習多個視頻游戲，并且表現(xiàn)非常出色。所以，這是一般智力的開始，至少在人工系統(tǒng)中是這樣。它們顯然還沒有達到人類的水平，但它們已經(jīng)開始變得足夠普遍，我們可以在所有這些情況下迅速學會如何應對它們。我認為，這是對智力的一個非常有用的定義，一個我們可以理解并應用的定義。

 

　　【問】：在你的書《人工超級智能》中，你曾提到的一件事是，讓機器人相信人類是神。你會怎么做，為什么會這樣？這個想法是從哪里來的？

 

　　亞姆博爾斯基：我對人們提出的建議進行了調(diào)查，這是其中的一個建議。我認為它來自于神學領域，我認為它毫無用處，但我提到它是為了列出人們提出的所有觀點。我和同事們曾發(fā)起“關于處理超級智能系統(tǒng)可能解決方案”的調(diào)查，我們查閱了大約三百篇論文。我認為這是其中之一。

 

　　【問】：什么是AI完整性理論（AI Completeness Theory）？

 

　　亞姆博爾斯基：我們認為有些問題屬于根本問題。如果你能解決其中一個問題，你可以解決任何問題。研究這些問題對于了解AI進展以及我們是否達到了這樣的水平是很有用的。因此，在我的一篇文章中，我將圖靈測試看作是一個基本的AI完整性問題。如果你能通過圖靈測試，你就會像人類一樣聰明。

 

　　不受限制的測試，顯然不是5分鐘的測試，或者今天做的任何事情。如果這是可能的，那么你可以解決所有其他的問題。你可以幫助改進計算機視覺、翻譯甚至是電腦編程。

 

　　【問】：你也寫關于機器倫理和機器人權利的文章。你能簡要解釋下嗎？

 

　　亞姆博爾斯基：關于機器倫理，基本上每個人都試圖提出一個特定的道德理論，并認為其是正確的，我們應該實施它，而不去考慮它如何影響每個不同意這個理論的人。幾千年來，哲學家們一直試圖提出一個共同的倫理框架。當然，我們不會在未來幾年取得成功。

 

　　所以，我的論點是，我們甚至不應該嘗試去選擇一個正確的倫理理論。這不是一個能讓我們所有人都快樂的解決方案。每種道德理論都存在這樣或那樣的問題，眾所周知的問題，如果有這樣的權力體系要實施道德框架，那將會造成很多問題，造成很多傷害。

 

　　關于機器人的權利，我反對給予它們平等的權利、人權和投票權。理由很簡單。這并不是因為我討厭機器人，而是因為它們幾乎可以無限“繁殖”。你可以擁有一萬億份任何軟件的拷貝，幾乎即時就可以獲得，如果每個軟件都有投票權，那基本上就意味著人類沒有任何權利。意味著我們自己放棄了人權。因此，任何提議賦予機器人這種公民權利的人，本質(zhì)上都是反對人權的。

 

 

　　【問】：“紅點測試”（或稱鏡子測試）可以在動物睡著的時候，在它們的額頭上放一個點，如果它站起來，在鏡子里看到它，并試圖擦去它，意味著它知道鏡子里的那個東西是它自己，它有自我的概念。這是個很難通過的測試，但這是一項科學測試。所以，自我意識是一個科學的想法，AI會有這樣的想法嗎？

 

　　亞姆博爾斯基：我們曾發(fā)表過相關論文，盡管仍在接受審查的過程，它對所有已知的意識測試進行了調(diào)查，我想應該包括自我意識。所有的人都在測量不同的意識關聯(lián)。在你舉的例子，的確，動物們可以認出是鏡子里的它們，所以我們認為這也意味著它們和我們有相似的意識。

 

　　但對于機器人來說卻不是這樣。我可以給一個機器人編程，讓它識別一個紅點，然后在5分鐘內(nèi)假設它在自己的額頭上。無論如何，這并不能保證它擁有任何意識或自我意識的屬性。這基本上證明了我們可以探測到紅點。

 

　　【問】：但你所要說的是，我們需要對AI的自我意識進行不同的測試，而你最初說AI的自我意識是個荒謬的問題。

 

　　亞姆博爾斯基：我不知道自我意識的定義是什么。如果你說的是一些非物質(zhì)的、精神上的自我意識的東西，我不確定它是做什么的，或者為什么它對我們來說是有用的。

 

　　【問】：那我再問一個不同的問題吧。感覺是一個經(jīng)常被誤用的詞。它通常被用來代表智慧，但它的意思是“能夠感知某些東西”，通常是疼痛。所以，“有知覺的東西”這個問題真的很重要。感覺的概念，我們把它放在權利的旁邊，因為我們說：“如果什么東西能感覺到疼痛，它就有權利不被折磨。”這難道不等同于AI嗎？我們不應該問：“它能感覺到疼痛嗎？”如果可以的話，你不能說：“哦，是的，它應該能夠投票選出領導人。”但你不能折磨它。那將是一件合情合理的事，一件符合道德規(guī)范的事情，一件合乎道德的事情。

 

　　亞姆博爾斯基：我很贊同這個觀點。我們不應該折磨任何人，包括任何強化學習者，或者類似的東西。據(jù)我所知，有兩篇關于電腦疼痛主題的論文，它們都認為AI現(xiàn)在不具備知覺能力。

 

　　【問】：疼痛是不容易測量的，或者電腦現(xiàn)在不可能感覺到疼痛？

 

　　亞姆博爾斯基：對我們來說，用電腦來感知疼痛是不可能的。沒有人知道如何去做，如何開始。這和我們說的模式識別不同，我們知道如何開始，并且得出些結果，準確率在10%左右，所以我們努力達到15%、40%甚至是90%。至于人工感知疼痛，沒有人知道如何開始。你要為此寫的第一行代碼是什么？沒有任何線索。

 

　　對于人類來說，我們假設其他人感到疼痛是因為我們能感到疼痛，我們也有類似的硬件。但是，你無法通過一個測試來衡量一個人的痛苦程度。這就是為什么我們給病人看十張不同的尖叫臉的照片，然后問他們：“嗯，你離這種程度的痛苦有多遠，或者那個？”這完全是一種非科學的測量方法。

 

　　對人類來說，很明顯我們知道疼痛，因為我們能夠感受到，所以類似的設計也必須經(jīng)歷這些。對于機器，我們無法知道它們的感受。據(jù)我所知，沒有人能夠說：“好吧，我給機器編程了，所以它能感覺到疼痛，因為這就是我們使用的設計。”對于如何實現(xiàn)這樣的東西，目前還沒有任何想法。

 

　　【問】：讓我們假設這是真的，并會持續(xù)很長時間。從某種意義上說，如果你獲得了人權，意味著人類是有自我意識的，然后，你就會變得睿智，這就是智慧。所以，我們有一個自我，那個自我能被感覺到。有一種觀點認為，即使是為了獲得智慧，為了獲得超級智能，也沒有辦法將其他所有的東西都砍掉，而只去獲取智慧。有些人說你不能那樣做，因為所有其他的東西都是智力的組成部分。但聽起來你可能不同意這一點。如果是這樣，為什么會如此呢？

 

　　亞姆博爾斯基：我不同意這種看法，因為我們有很多人都不是典型的神經(jīng)細胞。例如，沒有經(jīng)歷任何痛苦的人。他們是人，他們很聰明，他們當然有完整的權利，但他們從不感到痛苦。所以這個例子顯然不是真的，為了達到人類的智力水平，你必須能感受到痛苦。人類有很多不同的變體，例如，沒有視覺思維模式。他們用語言思考，而不是像我們大多數(shù)人那樣。所以，即使這樣也會消失。

 

　　我們似乎沒有一套有本質(zhì)的屬性，那就是人類必須被認為是人類。有些人的智力很低，可能有嚴重的智力缺陷。但他們?nèi)匀皇侨?。所以，有非常不同的標準，a）獲得人權，b）擁有所有這些特性。

 

　　【問】：你主張把AI關進“監(jiān)獄”。這種“我們需要把它鎖起來，在我們還沒來得及做之前”的觀點，在你看來，實現(xiàn)它的最好方法是什么？

 

　　亞姆博爾斯基：如果我認為沒有必要，我就不會這么做了。我們確實需要適當?shù)陌踩珯C制。我們有一些好的想法，比如如何讓這些系統(tǒng)更安全，但所有這些都需要進行測試。軟件需要測試。在你運行它之前，在你發(fā)布它之前，你需要一個測試環(huán)境。這是毫無爭議的。

 

　　【問】：你如何看待OpenAI計劃，即我們在構建這個項目時，我們應該分享并將其開源，這樣就能保持完全透明，而壞的參與者就不會得到通用人工智能（AGI）？你對此有何看法？

 

　　亞姆博爾斯基：這有助于在人與人之間傳播力量，所以沒有一個人能獲得所有的權力，而是很多人都能獲得權力。但與此同時，它也增加了危險，因為所有的瘋子，所有的精神病患者，現(xiàn)在都能接觸到尖端的AI技術，他們可以用它來做任何他們想要做的事情。所以，我們還不清楚它到底是有益還是有害。人們對OpenAI的看法分歧很大。

 

　　【問】：你不看好人類在這個星球上繼續(xù)占主導地位的前景嗎？我記得伊隆·馬斯克（Elon Musk）曾說過這樣的話：“我們之所以身在高層，唯一的原因是我們是最聰明的，如果我們不再是最聰明的人，我們就無法占據(jù)這樣的地位。”聽起來你好像也有類似的想法。

 

　　亞姆博爾斯基：當然，是的。套用比爾·喬伊（Bill Joy）的話說：未來也許不需要我們。

 

　　【問】：你會怎么做？

 

　　亞姆博爾斯基：這幾乎涉及到我所有的研究。我想弄清楚的是，AI控制問題，控制智能代理問題是否是可以解決的。很多人都在研究這個問題，但我們從未真正確定它是可行的。我對自己的理論和其他學科的研究結果都有一定的局限性?？雌饋恚橇涂煽匦允秦撓嚓P的。一個系統(tǒng)越智能，我們對它的控制就越少。

 

　　嬰兒的智商很低，我們幾乎可以完全控制他們。但隨著他們長大，當他們變成青少年時，他們變得更聰明，但我們失去了越來越多的控制權。而超級智能系統(tǒng)幾乎是我們無法控制的。

 

 

　　【問】：現(xiàn)在，讓我們回過頭來，看看AI的當前現(xiàn)狀以及它的影響。關于AI有很多爭論，更不用說被稱為“AGI”的東西，關于自動化，它將取代人類，并將會催生一個無法就業(yè)的群體以及引起社會動蕩。你對此有何看法？你對人類的近期前景有什么看法？

 

　　亞姆博爾斯基：的確會出現(xiàn)這些現(xiàn)象。我們肯定會有很多人失去工作。我正準備為會計師會議做演講，我有個壞消息要告訴他們，大概94%的會計師會在未來20年失去他們的工作。這就是現(xiàn)實。幸運的是，聰明的人會找到更好的工作和其他工作。但對很多人來說，他們沒有受過教育，或者沒有認知能力，他們在這種經(jīng)濟中不再具有競爭力，我們將會看到無條件的基本收入，無條件的基本資產(chǎn)等新機制來阻止革命爆發(fā)。

 

　　【問】：AI的發(fā)展速度要比機器人快得多，因為機器人具有所有這些物理上的限制，而且在18個月的時間里，它的性能無法翻倍。作為一個整體，你認為腦力工作會比體力工作更危險嗎？

 

　　亞姆博爾斯基：最重要的是，你的工作有多少重復性。如果你做的事情總是重復性的，不管是身體上的還是精神上的，被自動化取代將不可避免。如果你總是在做一些比較新奇的事情，那么現(xiàn)在這就接近了AI的完整性。盡管事情并非完全如此發(fā)展，但在這個方向上，取得進展要困難得多。

 

　　【問】：在過去250年時間里，我們經(jīng)歷了技術革命，可以說，它可以和AI革命相提并論。我們擁有機械化，用工業(yè)電氣化，蒸汽的普及，所有這些似乎都是非常具有顛覆性的技術。所以，關于這一點的理論是，當我們開發(fā)一種新工具的時候，人們就會采用它，并用它來提高自己的生產(chǎn)率，這就是為什么你的失業(yè)率永遠不會超過4%到9%的原因。在你看來，這種邏輯有什么問題？

 

　　亞姆博爾斯基：你將工具和代理搞混了。AI不是一種工具，而是一種獨立的媒介，它可以將人類作為工具，而不是反過來。所以，舉例來說，我們有以前的奇點，不管是文化的還是工業(yè)的，它們都是錯的。你在將蘋果和土豆進行對比。顯然，它們沒有什么共同之處。

 

　　【問】：電話總機接線員，或者是旅游代理商，或者是股票經(jīng)紀人，或者打字機維修工。這些都是被科技取代的工作，不管你在技術上說了什么，都不會改變這個簡單的事實?？萍汲霈F(xiàn)了，它顛覆了就業(yè)世界的規(guī)律，然而，失業(yè)率永遠不會上升。請幫助我理解為什么AI會再次變得不同。

 

　　亞姆博爾斯基：當然可以。假設你有一份工作，需要將屋頂固定在房子上，或者類似的東西。所以，我們給你一個新工具，現(xiàn)在你可以有一把射釘槍了。有了這個工具，你的效率提高了十倍，所以你的9個朋友失去了工作。你在使用工具。“射釘槍”永遠不會決定成立一家建筑公司，并自己創(chuàng)業(yè)然后炒了你。

 

　　我們正在開發(fā)的技術從根本上是不同的。它是一種代理。它有能力自我提升，我指的是未來的AI，而不是今天AI。它能跨領域?qū)W習。它和人類一樣聰明。所以，它有能力取代你。你會成為這個混合系統(tǒng)的瓶頸。你不再拿射釘槍了。你對這個系統(tǒng)沒有任何貢獻。

 

　　因此，我們很容易看到所有的工作都將完全自動化。通常的邏輯是，被自動化取代的工作已就會消失，但是現(xiàn)在我們有了這個新工作，我們不知道如何對其實行自動化，所以你可以得到一份新工作，也許更好的工作，對這種先進的技術進行控制。但如果每項工作都是自動化的，根據(jù)定義，你有100%的失業(yè)率。但事實并非如此，你仍然有工作可做，甚至非常體面的工作，因為人類想要的是人類制造的藝術品，或者是手工制品，昂貴的奢侈品，但它們只是市場的一小部分。

 

　　如果AI在任何領域都比人類做得更好，人類就沒有競爭力，所以我們所有人都將失去工作。有些人會更早失去工作，如果AI有人類水平的智慧，沒有任何不能被自動化取代的工作。

 

　　【問】：所以，你的論點是，將來AI的能力超過我們時，即使是相對較小的幅度，每一項新工作，它們都會比我們更快地學習，因此，就好像你永遠找不到用武之地那樣。對系統(tǒng)來說，你總是多余的。

 

　　亞姆博爾斯基：沒錯。而且，新的工作崗位最初不會是為人類操作員設計的。首先，它們會為機器而簡化，這樣我們就不會有任何競爭優(yōu)勢了。例如，現(xiàn)在我們的汽車是為人類設計的。如果你想在車上加入自動駕駛功能，它必須要與車輪和剎車踏板等部件兼容，讓它實現(xiàn)轉換。

 

　　然而，如果從一開始，你就設計它與機器一起工作。你建造智能道路、智能標志，人類在任何時候都將不具有競爭力。從來沒有一個入口點能讓一個人有更好的答案。

 

　　【問】：似乎你有一個核心的假設，那就是最終人類的大腦將成為機器，我們可以復制這臺機器，它將完成人類機器所能做到的一切，甚至更好。有人可能會說，這是一種非科學的飛躍。你用我們不理解的東西舉例，它有我們不理解的緊急屬性，有我們不明白的意識，你會說：“哦，是的，100%肯定我們能超越自己的智慧。”凱文·凱利（Kevin Kelly）稱這種現(xiàn)象為“貨物崇拜”。就像這個想法：哦，好吧，如果我們只是做些類似的東西，它會比我們更聰明。它帶有一些完全不科學的味道。你會怎么說？

 

　　亞姆博爾斯基：首先，機器在幾乎所有領域都比我們更聰明。無論你在談論什么，玩游戲，投資股票市場……以及當前我們知道自己在做什么的任何領域，似乎機器都已經(jīng)處于人類的水平，或者很快就會超越我們，因此，認為這種趨勢將會持續(xù)下去并不顯得瘋狂。這種情況已經(jīng)持續(xù)了很多年。

 

　　我不需要完全理解這個系統(tǒng)要比那個系統(tǒng)做得更好。我不知道鳥類是如何誕生的。我不知道鳥類體內(nèi)的細胞是如何工作的。這似乎很復雜。但是，我乘飛機去歐洲，而不是鳥。

 

　　我們不知道孩子們是如何學習的，兩歲的孩子如何能成為完整的AGI。所以，在我們知道自己在做什么的領域里，比如在比賽（國際象棋）中擊敗人類方面，許多公司花費了數(shù)百萬美元資金，還有無數(shù)人為之努力奮斗。然后你終于能得到一臺比人類更擅長下國際象棋的電腦了，而這只是一個小游戲。

 

　　在遙遠的未來，為什么這不可能是真的，沒有理由懷疑。但就像我說的，我不會對這個日期做出預測。我要指出的是，如果你能選擇人類活動的某個特定領域，你就可以解釋他們在這一領域所做的事情，這不是什么隨機的迷幻效果，而是“這就是他們在做的事情”，然后你必須解釋為什么計算機永遠無法做到這一點。

 

 

　　【問】：假設所有這一切都將發(fā)生，以循序漸進的方式進行，電腦會超越我們，淘汰我們，我知道你沒有預測日期，但我們可以將事情發(fā)展的順序粗略地進行排列。我從人們那里得到的最常見的問題是：“我應該學什么技能？”我的孩子們應該學習什么，為了有意義，還是將來能找到工作？

 

　　亞姆博爾斯基：這直接涉及到我關于AI完整性的論文?；旧希蛔詣踊〈墓ぷ魇鞘裁?？是做AI研究的人，正在推動機器學習進步的人。當機器可以自動完成這些任務時，也就無需人類承擔其他工作了。但這可能是人類最后從事的工作。

 

　　所以，一定要學習計算機科學，學習機器學習，學習AI。任何能在這些領域幫助你的東西（數(shù)學、物理），都會對你有好處。不要選擇這樣的專業(yè)：在你畢業(yè)的時候，我們發(fā)現(xiàn)這類工作已經(jīng)被自動化所取代。

 

　　【問】：這很有趣，投資大亨馬克·庫班（Mark Cuban）曾說，他并不一定進入這個領域，但他對這個領域有很多有趣的想法。他說，如果他能重新選擇，他會去學習哲學，而不是從事技術工作，因為技術工作實際上可能是機器最容易取代的事情。這是它們“自己的后院”。但是，從某種意義上說，越抽象的工作，計算機就需要越長的時間才能完成它。你如何看？

 

　　亞姆博爾斯基：我同意這種說法。這是一份很棒的工作，如果你能在世界上的數(shù)百份工作中找到這樣的一份工作，那就說去做吧。但市場規(guī)模很小，競爭激烈，而機器學習的市場卻呈指數(shù)級增長。它的薪酬很高，你可以加入進來。

 

　　【問】：給我們介紹下你正在做的其他事情，或者你即將發(fā)表的一些激動人心的東西。

 

　　亞姆博爾斯基：就像我說的，我正關注我們在AI安全領域所能做的事情的局限性。我正在研究的一個問題是可驗證性。在數(shù)學證明和計算機軟件中，什么是可以被科學驗證的？嘗試編非常好的軟件，沒有漏洞，這是計算機科學、計算機安全、網(wǎng)絡安全的“圣杯”。這方面有很多很好的工作，但似乎我們能得到的好處有限。我們可以移除大部分的錯誤，但通常無法修復所有漏洞。

 

　　如果你有一個系統(tǒng)，每秒鐘可做十億個決定，而有十億分之一的幾率會出錯，那么這些錯誤就會迅速累積。此外，幾乎沒有關于如何在新領域中對AI軟件和系統(tǒng)學習能力進行驗證的成功工作。我們所知道的所有驗證工作都是針對某種確定性軟件和特定領域的。

 

　　我們可以開發(fā)飛機自動駕駛軟件之類的東西，并能很好地驗證它，但它并不是具有學習和自我提升能力的東西。這是一個非常難以開放的研究領域。

 

　　【問】：你曾提到第一個AGI是無價的，對吧？它的價值高達數(shù)萬億美元。

 

　　亞姆博爾斯基：沒錯。它基本上可以提供各種各樣的免費勞動服務，無論是身體上的還是認知上的，它可以帶來巨大的經(jīng)濟利益，但如果在創(chuàng)造這種福利的過程中，它會摧毀人性，我不確定在那種情況下，金錢對你是否是有價值的。

 

　　【問】：你曾有過很多假設。你的工作似乎是要弄清楚，我們?nèi)绾卧诓蛔屪约罕罎⒌那闆r下進入這個未來？你能給我一個樂觀的前景預測嗎，我們能通過它來解決這個問題嗎？你覺得那是什么樣子？如果可以的話，讓我們以樂觀的態(tài)度結束這次對話。

 

　　亞姆博爾斯基：我不確定自己有什么好消息與大家分享?？雌饋硭坪跏情L期的，對我們來說，一切看起來都很黯淡。要么我們將與機器合并，最終成為一個將被移除的瓶頸；要么機器將接管一切，我們將變得非常依賴于它們，它們來決定如何處理我們。

 

　　這可能是一種合理的存在，機器對我們有利，也可能更糟。但是，除了外部的災難性變化阻止了這項技術的發(fā)展，我沒有看到一個很好的前景，比如我們負責操控那些類似上帝的機器，并開始在天堂生活。這似乎不太可能。

 

　　【問】：所以，當你聽說太陽耀斑爆發(fā)卻沒有影響到地球的時候，你坐在那里會想：“??！我真希望它擊中了我們，把這些東西都炸了。它會給人類爭取40年的時間來恢復。”你可以按下一個按鈕，發(fā)出巨大的電磁脈沖，然后摧毀所有的電子設備，這是最好的假設嗎？你會按下按鈕嗎？

 

　　亞姆博爾斯基：我不主張施行任何恐怖主義行為，無論是自然還是人為的，但如果人們足夠聰明地開發(fā)出這種技術，他們也應該能夠理解可能帶來的后果，并采取相應的行動，這似乎是個好主意。