1965年，I. J. Good首次提出了“智能爆炸”的概念，這個(gè)概念跟人工智能（AI）有關(guān)：

 

　　姑且把超級(jí)智能定義為一臺(tái)遠(yuǎn)遠(yuǎn)超越任何人（不管他有多聰明）所有的智力活動(dòng)的機(jī)器。既然設(shè)計(jì)機(jī)器也是這些智力活動(dòng)之一，那么一臺(tái)超智機(jī)器也可以設(shè)計(jì)出比自己更好的機(jī)器；這樣一來(lái)無(wú)疑將出現(xiàn)“智能爆炸”，而人的智能將會(huì)被遠(yuǎn)遠(yuǎn)拋在身后。因此，鑒于這臺(tái)機(jī)器足夠溫順可告訴我們?nèi)绾巫屗幵谖覀兊目刂浦?，第一臺(tái)超智機(jī)器將成為人類(lèi)所需的最后一項(xiàng)發(fā)明。

 

　　數(shù)十年后，“智能爆炸”——也就是導(dǎo)致“超智”突然崛起，人類(lèi)意外滅絕的概念已經(jīng)在AI社區(qū)落地生根。知名的商界領(lǐng)袖把它當(dāng)作比核戰(zhàn)爭(zhēng)和氣候變化還要重大的風(fēng)險(xiǎn)來(lái)宣揚(yáng)。普通的機(jī)器學(xué)習(xí)研究生也認(rèn)可這一點(diǎn)。在2015年面向AI研究人員的一項(xiàng)調(diào)查中，29%的受訪(fǎng)者回答說(shuō)智能爆炸的發(fā)生“有可能”或者“高度可能”。另有21%者認(rèn)為有非常大的可能性。

 

　　這些論斷的基本前提是，在不久的將來(lái)，第一個(gè)“種子AI”將會(huì)被創(chuàng)造出來(lái)，這個(gè)AI會(huì)有稍微超過(guò)人類(lèi)的一般問(wèn)題解決能力。這個(gè)種子AI會(huì)開(kāi)始設(shè)計(jì)更好的AI，開(kāi)啟一個(gè)可馬上讓人類(lèi)智能望塵莫及的遞歸自我改進(jìn)循環(huán)，在很短的時(shí)間內(nèi)就超過(guò)了人類(lèi)好幾個(gè)量級(jí)。這一理論的支持者還把智能看成是某種超級(jí)力量，賦予其持有者塑造環(huán)境的近乎超自然的能力——比方說(shuō)，就像我們?cè)诳苹秒娪啊冻?yàn)駭客》中所看到的一樣。超級(jí)智能因此將意味著近乎全能，并且會(huì)對(duì)人類(lèi)構(gòu)成生存威脅。

 

　　這種科幻小說(shuō)的敘述手法助長(zhǎng)了危險(xiǎn)的、具有誤導(dǎo)性的有關(guān)AI風(fēng)險(xiǎn)與對(duì)AI監(jiān)管需求的公眾辯論。但我認(rèn)為智能爆炸是不可能的——智能爆炸的看法來(lái)自于對(duì)智能的本質(zhì)與遞歸式自我改進(jìn)系統(tǒng)有著很深的誤解。在本文中我會(huì)試著以對(duì)智能系統(tǒng)和遞歸系統(tǒng)的具體觀察為基礎(chǔ)提出我的觀點(diǎn)。

 

 

　　就像產(chǎn)生于1960、1970年代的眾多早期理論一樣，智能爆炸背后的推理有點(diǎn)強(qiáng)詞奪理：該理論把“智能”看成是一個(gè)跟環(huán)境脫節(jié)的、完全抽象的概念，并且忽視了有關(guān)智能系統(tǒng)和遞歸自我改進(jìn)系統(tǒng)的已有證據(jù)。其實(shí)未必就是這樣的。畢竟嘛，我們都生活在一個(gè)滿(mǎn)是智能系統(tǒng)和自我改進(jìn)系統(tǒng)（包括我們自己）的星球上，所以完全可以去觀察這些系統(tǒng)并從中去了解，進(jìn)而回答這個(gè)問(wèn)題，而不是憑空想出毫無(wú)證據(jù)的循環(huán)論證。

 

　　要想討論智能及其可能的自我改進(jìn)屬性，我們首先應(yīng)該介紹一點(diǎn)必要的背景和上下文。當(dāng)我們?cè)谟懻撝悄艿臅r(shí)候我們?cè)谟懻撌裁茨?？?duì)智能本身的精確定義就是一個(gè)挑戰(zhàn)了。智能爆炸的說(shuō)法等同于體現(xiàn)在智能代理個(gè)體（目前的人腦、或者未來(lái)的電子大腦）身上的、有著一般問(wèn)題解決能力的智能。當(dāng)然這還不是全部，所以我們不妨把這個(gè)定義作為起點(diǎn)，然后在此基礎(chǔ)上再慢慢拓展。

 

 

　　我認(rèn)為智能爆炸理論的第一個(gè)問(wèn)題是未能認(rèn)識(shí)到智能是一個(gè)更大的系統(tǒng)的必要組成部分——以為智能是“密封起來(lái)的大腦”，獨(dú)立于環(huán)境就能做出任意智能的東西來(lái)。大腦不過(guò)是一團(tuán)生物組織罷了，它本身本來(lái)就沒(méi)什么智能的。除了大腦以外，你的身體和感覺(jué)——你的感覺(jué)運(yùn)動(dòng)的環(huán)境賦使——這些都是思維必不可少的部分。你的環(huán)境是你的智能的基本部分。人類(lèi)文化是你的智能的基本部分。畢竟，這些是你所有想法的來(lái)源。你不能夠把智能跟表達(dá)智能的上下文脫離。

 

　　尤其是并不存在所謂的“一般”智能這樣的東西。就抽象意義而言，我們是通過(guò)“沒(méi)有免費(fèi)午餐”定理了解到這一點(diǎn)——這個(gè)定理說(shuō)的是沒(méi)有一個(gè)問(wèn)題解決算法能夠比搜索空間的純隨機(jī)搜索算法更優(yōu)。（對(duì)于所有可能的問(wèn)題，任意給定兩個(gè)算法A、A’，如果A在某些問(wèn)題上的表現(xiàn)比A’好，那么A在其他問(wèn)題的表現(xiàn)就一定比A'差，反之亦然。也就是說(shuō)，任意兩個(gè)算法A、A’對(duì)所有問(wèn)題的平均表現(xiàn)度量是完全一樣的）如果智能是個(gè)問(wèn)題解決算法的話(huà)，那么只能針對(duì)特定問(wèn)題來(lái)理解它。說(shuō)得更具體一點(diǎn)，就經(jīng)驗(yàn)來(lái)看，我們觀察到的所有已知的智能系統(tǒng)都是高度專(zhuān)門(mén)化的。我們目前所開(kāi)發(fā)的AI的智能都是專(zhuān)門(mén)用來(lái)處理相當(dāng)狹隘的任務(wù)的——比如下圍棋的，或者把圖像分成1萬(wàn)個(gè)已知類(lèi)別的。章魚(yú)的智能時(shí)候?qū)ｉT(mén)用來(lái)處理章魚(yú)所面臨的問(wèn)題的。人的智能是專(zhuān)門(mén)用來(lái)處理人所面臨的問(wèn)題的。

 

　　如果我們把剛剛形成的人腦放到章魚(yú)的身體里面，然后讓它生活在海底會(huì)發(fā)生什么事情呢？它甚至能不能學(xué)會(huì)運(yùn)用自己有8條腿的軀體呢？它能不能活幾天下來(lái)呢？我們無(wú)法進(jìn)行這樣的實(shí)驗(yàn)，但是我們的確知道人類(lèi)和動(dòng)物的認(rèn)知發(fā)展是由硬編碼的、先天的動(dòng)力驅(qū)動(dòng)形成的。人體天生就有一套預(yù)置的反射行為以及固有的學(xué)習(xí)模板來(lái)推動(dòng)早期的感覺(jué)運(yùn)動(dòng)發(fā)展，而這個(gè)跟人類(lèi)感覺(jué)運(yùn)動(dòng)空間的結(jié)構(gòu)是緊密關(guān)聯(lián)的。大腦已經(jīng)把有手能抓東西，有嘴能吃東西，會(huì)轉(zhuǎn)動(dòng)的腦袋上面有眼睛能用于在視覺(jué)上跟蹤對(duì)象（前庭眼球反射）的軀體概念硬編碼進(jìn)去了，這些感覺(jué)需要人類(lèi)智能開(kāi)始去控制人體。比方說(shuō)Chomsky（喬姆斯基）就曾經(jīng)令人信服地提出，非常高級(jí)的人類(lèi)認(rèn)知特點(diǎn)，比如發(fā)展出語(yǔ)言的能力，就是天生的。

 

　　類(lèi)似地，為了學(xué)習(xí)如何運(yùn)用章魚(yú)軀體并且在章魚(yú)的環(huán)境下生存，你也可以想象章魚(yú)也有自己的一套必要的、硬編碼進(jìn)去的認(rèn)知基元。人腦是高度針對(duì)人類(lèi)環(huán)境的，這屬于一種天生的專(zhuān)門(mén)化，這種專(zhuān)門(mén)化的范疇可能要延伸到社會(huì)行為、語(yǔ)言以及常識(shí)，而章魚(yú)的大腦類(lèi)似地也會(huì)高度針對(duì)章魚(yú)的行為。人類(lèi)嬰兒的大腦哪怕嫁接到章魚(yú)身體也很有可能無(wú)法對(duì)其獨(dú)特的感覺(jué)運(yùn)動(dòng)空間進(jìn)行充分控制，會(huì)很快死掉?，F(xiàn)在你可就沒(méi)那么聰明了，超級(jí)大腦先生。

 

　　如果我們把一個(gè)人放到一個(gè)不具備眾所周知的人類(lèi)文化的環(huán)境里面去會(huì)怎樣呢？一群狼撫養(yǎng)長(zhǎng)大的森林王子毛克利（Mowgli the man-cub）長(zhǎng)大后會(huì)不會(huì)比他的犬科兄弟更聰明呢？或者跟我們一樣聰明？如果我們用嬰兒愛(ài)因斯坦替換嬰兒毛克利的話(huà)，他會(huì)不會(huì)自學(xué)成才想出宇宙的大理論呢？經(jīng)驗(yàn)證據(jù)相對(duì)比較缺乏，但是就我們所知，在脫離人類(lèi)文化的自然環(huán)境下長(zhǎng)大的小孩并不能形成任何的人類(lèi)智能。在野外撫養(yǎng)的野孩子從一開(kāi)始就其實(shí)就變成了動(dòng)物，就會(huì)回歸文明也不再能養(yǎng)成人類(lèi)行為或者語(yǔ)言。在南非，由猴子撫養(yǎng)的Saturday Mthiyane 5歲時(shí)被人發(fā)現(xiàn)后，直到成人都一直保持著猴子的行為——跳躍和走路都是四腳著地，不會(huì)說(shuō)人話(huà)，并且拒絕吃煮過(guò)的食物。至少在形成期跟人類(lèi)有過(guò)部分接觸的野孩子往往運(yùn)氣好點(diǎn)，可以接受再教育，盡管罕有逐步發(fā)展成心智健全人的情況。

 

　　如果智能跟特定的感覺(jué)運(yùn)動(dòng)形式、特定的環(huán)境、特定的撫養(yǎng)方式，以及需要解決的特定問(wèn)題存在著根本聯(lián)系的話(huà)，那你就不能指望僅僅通過(guò)調(diào)整自己的大腦來(lái)隨意增加一個(gè)智能體的智能——不像你可以通過(guò)加快傳送帶的速度來(lái)提高工廠(chǎng)生產(chǎn)線(xiàn)的吞吐量。智能的發(fā)展只能來(lái)自于智力、感覺(jué)運(yùn)動(dòng)的形式及其環(huán)境的共同進(jìn)化。如果大腦的引擎是你解決問(wèn)題能力的定義因子，那么那些智商遠(yuǎn)超出人類(lèi)智能正常范圍的罕見(jiàn)人類(lèi)將生活在遠(yuǎn)遠(yuǎn)超出正常生活的范圍，他們將可以解決以前被認(rèn)為是無(wú)法解決的問(wèn)題，并且會(huì)占領(lǐng)世界——就像有些人害怕比人類(lèi)聰明的AI會(huì)干的事情一樣。實(shí)際上，具有特殊認(rèn)知能力的天才往往過(guò)著極其平凡的生活，他們當(dāng)中很少有人能夠取得任何顯赫的成就。在Terman里程碑式的《天才的遺傳研究》中，他注意到他的那些天賦異稟的研究對(duì)象當(dāng)中，大部分都會(huì)追求“像警察、海員、打字員以及檔案管理員這樣不咋的職業(yè)”。目前智商高于150的大概有700萬(wàn)人——其認(rèn)知能力要高于99.9％的人——但大部分都不是你在新聞里看到的人。在那些真正想要控制世界的人當(dāng)中，幾乎很難看到有誰(shuí)是智力超常的；據(jù)說(shuō)，希特勒是一名高中輟學(xué)生，曾兩次試圖進(jìn)入維也納藝術(shù)學(xué)院而未果。

 

　　最終在難題上取得突破的人往往結(jié)合了環(huán)境、性格、教育、智能等因素，通過(guò)逐步改進(jìn)前人的工作而取得突破。成功——表現(xiàn)智能——是因?yàn)槌浞值哪芰φ糜錾狭艘粋€(gè)很好的問(wèn)題。這些杰出的問(wèn)題解決者當(dāng)中的大多數(shù)甚至都不算聰明絕頂——他們的技能似乎專(zhuān)注于特定領(lǐng)域，在自身領(lǐng)域之外通常并沒(méi)有展現(xiàn)出超過(guò)平均水平的能力。有些人的成就更大是因?yàn)樗麄兪歉玫膱F(tuán)隊(duì)成員，要么就是更加果敢更有職業(yè)道德，或者想象力更豐富。有些人正好生活在合適的環(huán)境下，在合適的時(shí)機(jī)進(jìn)行了一場(chǎng)合適的對(duì)話(huà)。智能從根本上來(lái)說(shuō)是情境化的（注：天時(shí)地利人和缺一不可）。

 

 

　　智能不是超能力；超常智能本身并不能讓你對(duì)自身境遇擁有相應(yīng)比例的支配力。不過(guò)盡管存在一定爭(zhēng)議，原始的認(rèn)知能力（以IQ衡量）相同的一群人與其社會(huì)成就接近平均水平的那部分存在相關(guān)性，這倒是有據(jù)可查的事實(shí)。這在Terman的研究中首先得到了證實(shí)，后來(lái)又得到了其他人的佐證——比方說(shuō)，Strenze在2006年進(jìn)行的一項(xiàng)范圍很廣的元分析發(fā)現(xiàn)，智商與社會(huì)經(jīng)濟(jì)成功之間存在明顯的相關(guān)性，盡管這種相關(guān)性稍弱一點(diǎn)。因此，從統(tǒng)計(jì)分析來(lái)看，一個(gè)智商為130的人要比智商為70的人更有可能處理好各種生活問(wèn)題——盡管這一點(diǎn)在個(gè)人層面上從來(lái)都沒(méi)有確保如此——不過(guò)突破了某一點(diǎn)之后，這種相關(guān)性就被打破了。并沒(méi)有跡象表明智商為170的人在某一領(lǐng)域的影響力就會(huì)大于智商為130的人。實(shí)際上上，許多最有影響力的科學(xué)家智商往往在120或者130左右——費(fèi)曼據(jù)說(shuō)是126，跟別人一起發(fā)現(xiàn)了DNA的James Watson為124，這跟普通科學(xué)家的水平是完全一樣的。與此同時(shí)，智商在170或以上的人目前在世的大約有5萬(wàn)人，但這些人當(dāng)中又有多少個(gè)能解決任何重大問(wèn)題呢，哪怕重要程度只有Watson教授解決的那個(gè)的十分之一也行？

 

　　為什么超過(guò)一定的閾值后原始認(rèn)知能力在現(xiàn)實(shí)世界中的效用就會(huì)停滯不前了呢？這指向了一個(gè)直觀的事實(shí)：成就高需要有足夠的認(rèn)知能力，但是問(wèn)題解決目前的瓶頸是表現(xiàn)出來(lái)的智能，而不是潛在的認(rèn)知能力本身。瓶頸是我們的環(huán)境。決定了我們的智能表現(xiàn)如何的環(huán)境，對(duì)我們的大腦能夠做什么施加了嚴(yán)格的約束——它限制著我們長(zhǎng)大有聰明，限制著我們能夠如何有效地利用我們形成的智能，限制著我們能解決什么問(wèn)題。所有的證據(jù)都表明，我們現(xiàn)在的環(huán)境，就像此前20萬(wàn)年前的人類(lèi)歷史和史前史一樣，并不允許高智商的人充分發(fā)揮和利用他們的認(rèn)知潛能。一萬(wàn)年前的一個(gè)潛力巨大的人可能是在一個(gè)低復(fù)雜度的環(huán)境中被撫養(yǎng)成人的，他可能只會(huì)說(shuō)一門(mén)語(yǔ)言，其單詞量不超過(guò)5000，一輩子可能都沒(méi)人教他書(shū)寫(xiě)，能接觸的知識(shí)非常有限，幾乎不會(huì)遇到什么認(rèn)知挑戰(zhàn)。對(duì)于大多數(shù)現(xiàn)代人來(lái)說(shuō)目前情況要好一些，但是沒(méi)有跡象表明我們的環(huán)境機(jī)會(huì)目前超過(guò)了我們的認(rèn)知潛能。

 

　　不知道為什么，我對(duì)愛(ài)因斯坦大腦的重量和腦回的興趣，總比不上我對(duì)那些幾乎肯定要在棉田和血汗工廠(chǎng)生老病死的同等天才的關(guān)注

 

　　——Stephen Jay Gould

 

　　一個(gè)在叢林中長(zhǎng)大的聰明人不過(guò)是一頭不長(zhǎng)毛的猿人罷了。類(lèi)似地，把有著超人大腦的AI放到人體，然后處在現(xiàn)代世界的環(huán)境下，未必就能發(fā)展出比一位聰明的當(dāng)代人更強(qiáng)的能力。如果能的話(huà)，那么超高智商的人類(lèi)就早就已經(jīng)展現(xiàn)出相應(yīng)超常水平的個(gè)人成就了；他們將會(huì)對(duì)自己的環(huán)境取得超長(zhǎng)水平的控制，并且解決重大的懸而未決的問(wèn)題——但其實(shí)他們并沒(méi)有。

 

　　我們的智能大部分不在于大腦，而是具體體現(xiàn)在我們的文明之中

 

　　我們大腦能形成多大的智能不僅取決于我們的身體、感覺(jué)和環(huán)境，更關(guān)鍵的是，我們的生物大腦只不過(guò)是我們智能整體的一小部分。認(rèn)知假肢包圍著我們，插入到我們的大腦，并拓展了大腦解決問(wèn)題的能力。你的智能手機(jī)，你的筆記本電腦，Google搜索，你在學(xué)校學(xué)會(huì)的認(rèn)知工具，書(shū)本，其他人，數(shù)學(xué)符號(hào)，編程，這些都是認(rèn)知假肢。不過(guò)在所有認(rèn)知假肢中最基本當(dāng)然是語(yǔ)言本身——語(yǔ)言在本質(zhì)上屬于一個(gè)認(rèn)知操作系統(tǒng)，沒(méi)有語(yǔ)言我們沒(méi)法思考那么太遠(yuǎn)。這些東西不僅僅是提供給大腦使用的知識(shí)，而且其實(shí)是外在的認(rèn)知過(guò)程，是運(yùn)行思考和問(wèn)題解決算法的非生物手段——這種手段超越了時(shí)空，更重要的是超越了個(gè)體。我們的認(rèn)知能力主要體現(xiàn)在這些認(rèn)知假肢，而不是我們的大腦。

 

　　我們是自己的工具。個(gè)人本身并沒(méi)有太多的用處——再?gòu)?qiáng)調(diào)一次，人不過(guò)是用雙腳走路的猿罷了。是幾千年以來(lái)不斷積累的知識(shí)和外部系統(tǒng)，也就是所謂的“文明”，讓我們超越了動(dòng)物性。當(dāng)科學(xué)家取得突破時(shí)，其大腦進(jìn)行的思考過(guò)程只不過(guò)是方程式的一小部分罷了——研究人員把大量的問(wèn)題解決過(guò)程都交給了計(jì)算機(jī)、其他研究人員、論文筆記、以及數(shù)學(xué)符號(hào)等。他們之所以能夠取得成功，是因?yàn)樗麄冋驹诹司奕说募绨蛏?。他們自己的工作不過(guò)是成千上萬(wàn)人在幾十年的時(shí)間跨度內(nèi)進(jìn)行的問(wèn)題解決過(guò)程的最后一個(gè)子程序罷了。他們自己的認(rèn)知工作的重要性可能并不比芯片上的一個(gè)晶體管的工作大多少。

 

 

　　大量證據(jù)表明，個(gè)人大腦本身無(wú)法設(shè)計(jì)出超越自身的更強(qiáng)智能。這個(gè)說(shuō)法純粹是出于經(jīng)驗(yàn)主義：在出現(xiàn)又消失的幾十億人腦當(dāng)中，并沒(méi)有哪一個(gè)做到過(guò)。顯然，一個(gè)人的智能一輩子也無(wú)法設(shè)計(jì)出智能，否則的話(huà)，經(jīng)過(guò)數(shù)十億次的試驗(yàn)之后這件事早就應(yīng)該可以了。

 

　　不過(guò)，在這幾千年的時(shí)間里，這數(shù)十億的大腦卻不斷積累知識(shí)，發(fā)展出外在的智能處理過(guò)程，實(shí)現(xiàn)了一個(gè)系統(tǒng)——文明——最終形成了比一個(gè)人更智能的人工智能。創(chuàng)造出超人AI的是整個(gè)文明，而不是你我或任何個(gè)人。這個(gè)過(guò)程牽涉到無(wú)數(shù)人，所經(jīng)歷的時(shí)間跨度遠(yuǎn)非你我可以理解。這個(gè)過(guò)程牽涉到了比生物智能甚至多得多的外部智能——書(shū)本、計(jì)算機(jī)、數(shù)學(xué)、科學(xué)、互聯(lián)網(wǎng)等。在個(gè)人層面上，我們不過(guò)是文明的載體罷了，我們只是在之前工作的基礎(chǔ)上做事情，然后傳遞我們的發(fā)現(xiàn)。我們只是文明運(yùn)行的問(wèn)題解決算法的一個(gè)一閃而過(guò)的晶體管。

 

　　在經(jīng)過(guò)幾個(gè)世紀(jì)的共同發(fā)展后，未來(lái)的超人AI是否有能力發(fā)展出比自己更強(qiáng)的AI來(lái)呢？不能，我們當(dāng)中沒(méi)有一個(gè)人可以。回答說(shuō)“能”就是公然藐視我們所知道的一切——再次地，請(qǐng)記住沒(méi)有人或者任何已知的智能體曾設(shè)計(jì)出來(lái)過(guò)比自己更聰明的東西。我們所做的是逐步地、共同地開(kāi)發(fā)出比我們自身更強(qiáng)大的，問(wèn)題解決的外部系統(tǒng)。

 

　　不過(guò)，就像人類(lèi)和人類(lèi)迄今所開(kāi)發(fā)出來(lái)的其他智能系統(tǒng)一樣，未來(lái)的AI將會(huì)為我們的文明做出貢獻(xiàn)，而我們的文明反過(guò)來(lái)又會(huì)用它們來(lái)不斷擴(kuò)展所發(fā)展出來(lái)的AI的能力。從這個(gè)意義上來(lái)說(shuō)，AI與計(jì)算機(jī)、書(shū)或語(yǔ)言本身并沒(méi)有區(qū)別：它是為我們的文明賦能的技術(shù)。因此如果說(shuō)超人AI的出現(xiàn)意味著奇點(diǎn)的話(huà)，這個(gè)奇點(diǎn)的意義跟計(jì)算機(jī)，書(shū)或語(yǔ)言的出現(xiàn)并沒(méi)有什么兩樣。文明會(huì)發(fā)展人工智能，然后不斷前進(jìn)。文明最終將超越我們的現(xiàn)狀，就像它超越了我們一萬(wàn)年前的狀況那樣。這是一個(gè)漸進(jìn)性的進(jìn)程，而不是突然轉(zhuǎn)變。

 

　　智能爆炸——也就是一個(gè)問(wèn)題解決能力超越人類(lèi)的“種子AI”出現(xiàn)后會(huì)導(dǎo)致突然的、遞歸性、逃逸式的智能改進(jìn)循環(huán)，它的基本前提是錯(cuò)誤的。我們的問(wèn)題解決能力（尤其是我們?cè)O(shè)計(jì)AI的能力）已經(jīng)在不斷改進(jìn)，因?yàn)檫@些能力主要不是局限在我們的生物大腦里面，而是存在于我們外部的共同工具里面。這個(gè)遞歸循環(huán)已經(jīng)運(yùn)作了很長(zhǎng)一段時(shí)間，但是“更好的大腦”的崛起并不會(huì)對(duì)其產(chǎn)生實(shí)質(zhì)性的影響——這種影響并沒(méi)有比任何之前的智能增強(qiáng)技術(shù)的作用大。我們的大腦本身用來(lái)都不是AI設(shè)計(jì)過(guò)程的瓶頸。

 

　　這種情況下你也許會(huì)問(wèn)，難道文明本身不是自我改進(jìn)大腦的逃逸手段嗎？我們的文明難道沒(méi)有出現(xiàn)智能爆發(fā)嗎？沒(méi)有，關(guān)鍵是文明級(jí)的智能改進(jìn)循環(huán)僅僅導(dǎo)致了我們的問(wèn)題解決能力的，可測(cè)量的、線(xiàn)性的進(jìn)展。并沒(méi)有出現(xiàn)爆發(fā)的現(xiàn)象?？墒菫槭裁茨?？難道X的遞歸改進(jìn)在數(shù)學(xué)上不會(huì)導(dǎo)致X的指數(shù)增長(zhǎng)嗎？不會(huì)——簡(jiǎn)單來(lái)說(shuō)，因?yàn)閺?fù)雜的現(xiàn)實(shí)世界系統(tǒng)里面沒(méi)有一個(gè)可以簡(jiǎn)單建模為 `X（t + 1） = X（t） * a, a > 1`。沒(méi)有一個(gè)系統(tǒng)存在于真空之中，智能和文明尤其不可能。

 

 

　　當(dāng)智能系統(tǒng)開(kāi)始優(yōu)化自己的智能時(shí)，我們用不著猜測(cè)會(huì)不會(huì)發(fā)生“爆炸”。其實(shí)大多數(shù)系統(tǒng)恰恰就是遞歸自我改進(jìn)的。這樣的系統(tǒng)在我們周?chē)缺冉允恰Ｋ晕覀兺耆宄祟?lèi)系統(tǒng)在各種情況以及在不同的時(shí)間尺度上是如何工作的。你自己就是一個(gè)遞歸自我改進(jìn)系統(tǒng)：自學(xué)讓你自己變得更聰明，反過(guò)來(lái)又讓你更高效地自我教育。同樣地，人類(lèi)文明在更長(zhǎng)的時(shí)間尺度范圍都在遞歸改進(jìn)自我。機(jī)電系統(tǒng)是遞歸自我改進(jìn)的——更好的制造機(jī)器人可以制造更好的制造機(jī)器人。軍事帝國(guó)是遞歸遞歸自我擴(kuò)張的——你的帝國(guó)越大，用于擴(kuò)張帝國(guó)的軍事手段就越大。個(gè)人投資是遞歸自我改進(jìn)——你越有錢(qián)，你就可以賺更多的錢(qián)。例子到處都是。

 

　　比方說(shuō)我們可以看看軟件。編寫(xiě)軟件顯然可以為軟件編寫(xiě)賦能：首先，我們編寫(xiě)編譯器，后者就可以執(zhí)行“自動(dòng)化編程”，然后我們利用編譯器開(kāi)發(fā)新語(yǔ)言來(lái)實(shí)現(xiàn)更強(qiáng)大的編程范式。我們利用這些語(yǔ)言去開(kāi)發(fā)更高級(jí)的工具——調(diào)試器、IDE、代碼校驗(yàn)工具（linters）、bug預(yù)測(cè)工具等。在未來(lái)，軟件甚至能夠自己寫(xiě)軟件。

 

　　但這種遞歸自我改進(jìn)的最后結(jié)果是什么呢？你用你的軟件能夠比去年多寫(xiě)2倍的代碼嗎？明年你能不能在此基礎(chǔ)上再翻2番呢？盡管我們已經(jīng)為軟件的制作投入指數(shù)級(jí)的努力，軟件的用處無(wú)疑是以一種可衡量的、線(xiàn)性的節(jié)奏在改進(jìn)的。幾十年來(lái)，軟件開(kāi)發(fā)者的數(shù)量一直呈指數(shù)性的發(fā)展，而軟件運(yùn)行所在的晶體管的數(shù)量也成指數(shù)增長(zhǎng)，遵循著摩爾定律。但我們的計(jì)算機(jī)只是比2012、或者2002甚至1992年的變得更有用了一點(diǎn)。

 

　　可為什么會(huì)這樣呢？這主要是因?yàn)檐浖挠杏眯愿臼芟抻趹?yīng)用的上下文——這跟智能是由智能自我表達(dá)所處的上下文所定義并被其限制非常像。軟件只是一個(gè)更大的過(guò)程——我們的經(jīng)濟(jì)、我們的生活的一個(gè)齒輪——就像我們的大腦只是一個(gè)更大的過(guò)程——人類(lèi)文化的一個(gè)齒輪一樣。這個(gè)上下文對(duì)軟件潛在的最大有用性施加了嚴(yán)苛的限制，這一點(diǎn)跟我們的環(huán)境對(duì)任何個(gè)體（哪怕有著天賦異稟的大腦的個(gè)體）能變得多聰明施加了嚴(yán)格的限制非常像。

 

　　除了上下文的硬性約束之外，即使系統(tǒng)的一部分具有遞歸自我改進(jìn)的能力，系統(tǒng)的其他部分也不可避免地會(huì)成為瓶頸。遞歸自我改進(jìn)會(huì)引起逆反過(guò)程的擠壓——在軟件中，這個(gè)過(guò)程是資源消耗、功能蠕變、UX問(wèn)題等。如果是個(gè)人投資，你個(gè)人的開(kāi)支率就是這樣一個(gè)逆反過(guò)程——你擁有的錢(qián)越多，你要花的錢(qián)就越多。如果是智能，系統(tǒng)間的通信就是底層模塊改進(jìn)時(shí)的剎車(chē)板——有著更智能部件的大腦在協(xié)調(diào)它們時(shí)會(huì)遇到更多的麻煩；一個(gè)有著更聰明個(gè)人的社會(huì)在人際關(guān)系和溝通上的投入要多得多。智商很高的人更可能患上特定的精神疾病，這也許并不是巧合。過(guò)去的軍事帝國(guó)在超過(guò)一定的規(guī)模后就會(huì)土崩瓦解，也許并非偶然。指數(shù)性發(fā)展會(huì)遇到指數(shù)級(jí)的阻力。

 

　　科學(xué)進(jìn)步就是一個(gè)值得關(guān)注的具體例子，因?yàn)樗诟拍钌吓c智能本身非常接近——作為一個(gè)問(wèn)題解決系統(tǒng)，科學(xué)非常接近與逃逸的超人AI?？茖W(xué)當(dāng)然是一個(gè)遞歸自我改進(jìn)系統(tǒng)，因?yàn)榭茖W(xué)的進(jìn)步導(dǎo)致了科學(xué)的發(fā)展——無(wú)論是實(shí)驗(yàn)室硬件（例如量子物理導(dǎo)致激光的誕生，這反過(guò)來(lái)又使得量子物理實(shí)驗(yàn)成為可能），概念工具（如新定理、新理論），認(rèn)知工具（如數(shù)學(xué)符號(hào)），軟件工具等使得科學(xué)家能夠更好地協(xié)作（如互聯(lián)網(wǎng)）……

 

　　然而，現(xiàn)代科學(xué)的進(jìn)步卻還是線(xiàn)性的，這是可以看出來(lái)的。我在2012年的一篇題為《奇點(diǎn)沒(méi)有到來(lái)》的文章中詳細(xì)描寫(xiě)了這一現(xiàn)象。1950—2000年期間我們?cè)谖锢韺W(xué)方面沒(méi)有比1900—1950年期間取得了更大進(jìn)展——不過(guò)我們可以說(shuō)做得一樣好?，F(xiàn)在數(shù)學(xué)的發(fā)展速度并不比1920年快得多。數(shù)十年來(lái)，基本上在左右指標(biāo)上醫(yī)學(xué)科學(xué)正在取得線(xiàn)性的進(jìn)步。盡管我們?cè)诳茖W(xué)領(lǐng)域投入了指數(shù)級(jí)的努力——研究人員的數(shù)量每15到20年就要翻一番，而這些研究人員用于提高生產(chǎn)力的計(jì)算機(jī)速度也在呈指數(shù)式的發(fā)展。

 

　　為什么會(huì)這樣？是什么樣的瓶頸和對(duì)抗性的反作用力延緩了科學(xué)的遞歸自我改進(jìn)？太多了，我甚至都數(shù)不過(guò)來(lái)。這里只列出了少數(shù)。重要的是，這些因素每一個(gè)也適用于遞歸自我改進(jìn)的AI。

 

　　隨著時(shí)間的推移，在特定領(lǐng)域從事科學(xué)研究的難度呈指數(shù)式上升——這個(gè)領(lǐng)域的創(chuàng)始人已經(jīng)把最容易取得的成果收割掉了，在之后要想取得可比的影響力需要的努力呈指數(shù)式增長(zhǎng)。在信息論方面，沒(méi)有一個(gè)研究人員所取得的進(jìn)展能跟香農(nóng)在1948年的論文那樣相提并論。

 

　　隨著一個(gè)領(lǐng)域變得越來(lái)越大，研究人員之間共享和協(xié)調(diào)的難度也呈指數(shù)式上升。想要跟上如潮水般的新發(fā)布文章變得越來(lái)越困難。記住，一個(gè)有N個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)連接數(shù)可是N * （N - 1） / 2 。

 

　　隨著科學(xué)知識(shí)的拓展，投入到教育和培訓(xùn)的時(shí)間和精力在不斷增多，研究人員的研究領(lǐng)域也變得越來(lái)越狹窄。

 

　　實(shí)際上，系統(tǒng)瓶頸、收益遞減以及對(duì)抗反應(yīng)最終會(huì)擠壓我們周?chē)羞f歸過(guò)程的遞歸自我改進(jìn)。自我改進(jìn)確實(shí)能帶來(lái)進(jìn)展，但是這種進(jìn)展往往是線(xiàn)性的，或者充其量是S曲線(xiàn)式的。你投資的第一筆“種子美元”通常不會(huì)帶來(lái)“財(cái)富爆炸”；相反，投資回報(bào)與支出增加之間的平衡往往能讓你的儲(chǔ)蓄隨時(shí)間轉(zhuǎn)移而大致呈線(xiàn)性增長(zhǎng)。這還只是一個(gè)復(fù)雜度要比自我改進(jìn)的頭腦低好幾個(gè)數(shù)量級(jí)的系統(tǒng)。

 

　　類(lèi)似地，第一個(gè)超人AI也只不過(guò)是朝著看得見(jiàn)的、線(xiàn)性的進(jìn)步階梯邁出的又一步罷了，而這個(gè)階梯我們?cè)诤芫靡郧熬鸵呀?jīng)在爬住了。

 

 

　　智能的拓展只能來(lái)自于（生物或數(shù)字）大腦、感知運(yùn)動(dòng)功能、環(huán)境以及文化的共同進(jìn)化，光靠調(diào)整封閉環(huán)境下的大腦的零部件是不行的。這類(lèi)的共同演進(jìn)已經(jīng)經(jīng)過(guò)了無(wú)數(shù)個(gè)年代，而且隨著智能朝著日益數(shù)字化的基體而繼續(xù)演進(jìn)。既然這一進(jìn)程會(huì)以大致線(xiàn)性的節(jié)奏推進(jìn)，“智能爆炸”也就不會(huì)發(fā)生。