Alan Winfield：嗯，我不完全同意這個(gè)觀點(diǎn)。我的意思是，我們的確認(rèn)為我們知道自己在做什么，但這很可能是一種幻覺(jué)，只是不管怎樣，我們都會(huì)堅(jiān)持下去。

問(wèn)：這是一個(gè)很好的切入點(diǎn)，所以，你指的是我們本能地做某件事，然后我們的大腦就會(huì)開始思考我為什么要這樣做，然后它會(huì)逆轉(zhuǎn)這兩件事的順序然后說(shuō)，“是我決定這么做的。這就是我為什么要這么做的原因。”

Alan Winfield：我的意思是，這可能正確，也可能不正確。但我真正想說(shuō)的是，當(dāng)你談?wù)撊祟惖男袨?，目?biāo)，動(dòng)機(jī)等等時(shí)，你真正看到的是一個(gè)非同尋常的、多層次過(guò)程的最頂層，我們不能真正理解整個(gè)過(guò)程。我的意思是，在較低層次的過(guò)程之間，存在巨大的鴻溝，這些也是我們所不能理解的，換句話說(shuō)，就是單個(gè)神經(jīng)元之間的相互作用，以及意識(shí)的涌現(xiàn)性，主觀經(jīng)驗(yàn)，知覺(jué)等等。

這個(gè)過(guò)程有很多個(gè)層次，而最頂層，也就是人類的行為，也是通過(guò)語(yǔ)言和文化來(lái)調(diào)節(jié)的，我們不能忽略這一點(diǎn)。你和我在一百萬(wàn)年前可能就不會(huì)有這樣的對(duì)話了。重點(diǎn)是，我們現(xiàn)在可以思考和討論的東西，如果沒(méi)有這個(gè)特殊的、存在于大多數(shù)人類的頭腦中的文化體系，我們就不能討論這些了。

我們是社會(huì)性的動(dòng)物，這是另一種涌現(xiàn)性。先有意識(shí)的涌現(xiàn)性，然后是心智，然后形成了社會(huì)的涌現(xiàn)性，到最后就是文化的涌現(xiàn)性。在這中間的某個(gè)地方，存在著語(yǔ)言。所以，當(dāng)你開始問(wèn)像“是的，但是這樣一個(gè)涌現(xiàn)性系統(tǒng)怎么能有目標(biāo)，有任務(wù)呢？”這樣的問(wèn)題時(shí)，我認(rèn)為很難分離出其中的某一個(gè)方面。也許，現(xiàn)代人類在這個(gè)特定的文化中確實(shí)擁有——也許更確切地說(shuō)——我們認(rèn)為的目標(biāo)和動(dòng)機(jī)，但是誰(shuí)知道這真正是什么呢？我想我們可能不需要向前追溯幾十或幾百代人，去發(fā)現(xiàn)我們的目標(biāo)和動(dòng)機(jī)和大多數(shù)動(dòng)物沒(méi)有什么不同，而這些動(dòng)物只是為了填飽肚子，為了生存。

問(wèn)：所以，讓我們從大腦到思想再追溯到意識(shí)。也許在一百萬(wàn)年前，你是對(duì)的，但有些人會(huì)堅(jiān)持認(rèn)為，當(dāng)我們有意識(shí)之后，本質(zhì)上，那就是我們開始變得主動(dòng)，開始有目標(biāo)和意圖的時(shí)候。所以，我會(huì)問(wèn)你一個(gè)無(wú)法回答的問(wèn)題，你認(rèn)為意識(shí)是如何產(chǎn)生的？

Alan Winfield：我當(dāng)然認(rèn)為這是一種涌現(xiàn)特性，但我認(rèn)為這是一種很好的適應(yīng)性特征，而且我認(rèn)為意識(shí)的出現(xiàn)只是一場(chǎng)偶然。但我認(rèn)為這是一種有價(jià)值的適應(yīng)，因此，在我們的進(jìn)化史上——可能是最近的進(jìn)化歷史——有些人開始喜歡引人注目，喜歡作為主體，享受在這個(gè)世界上作為獨(dú)立個(gè)體的主觀體驗(yàn)，我懷疑他們比他們的同類有更強(qiáng)的適應(yīng)性，而其他人沒(méi)有這種特點(diǎn)。

我認(rèn)為意識(shí)的出現(xiàn)與人類之間的交際行為密切相關(guān)。我認(rèn)為，為了成為社會(huì)性動(dòng)物，我們必須有心智理論。要想成為一個(gè)成功的社會(huì)動(dòng)物，你需要能夠駕馭人際關(guān)系和社會(huì)等級(jí)制度的復(fù)雜性，以及等級(jí)排序等等。

我們知道，黑猩猩在我們所謂的“權(quán)術(shù)主義智慧（Machiavellian intelligence）”方面確實(shí)相當(dāng)老練。換句話說(shuō)，有了這種社會(huì)智慧，你會(huì)故意地，操縱你的行為以獲得一些社會(huì)優(yōu)勢(shì)。換句話說(shuō)，我假裝想要了解你，不是因?yàn)槲艺娴南肓私饽?，而是因?yàn)槲抑滥愫湍硞€(gè)人是朋友，而我真的很想和她做朋友。這就是權(quán)術(shù)主義智慧。黑猩猩似乎很擅長(zhǎng)這一方面，而且可能和我們?nèi)祟愐粯由瞄L(zhǎng)。

為了能夠擁有這種權(quán)術(shù)主義智慧，就需要有心智理論。心智理論意味著你對(duì)自己的同類有一個(gè)非常復(fù)雜的概念?，F(xiàn)在，我認(rèn)為，反過(guò)來(lái)，是由于我們有復(fù)雜的身體，難以控制的身體，因此，我們，在我們的進(jìn)化史上的早期，開始有相當(dāng)復(fù)雜的身體自我形象。換句話說(shuō)，也就是一個(gè)內(nèi)部的模擬，或者稱之為，一個(gè)我們自己身體的內(nèi)部模型。

當(dāng)然，擁有自己的身體模型的美妙之處在于，你也會(huì)自動(dòng)擁有一個(gè)同類的模型。所以，我認(rèn)為，是由于一種自我模式的引導(dǎo)，讓我們有了心智理論。然后，我想，一旦你有了心智理論——我不知道從什么時(shí)候開始——我們就可以開始相互模仿，換句話說(shuō)，就是做社會(huì)學(xué)習(xí)。

我認(rèn)為社會(huì)學(xué)習(xí)是現(xiàn)代思想進(jìn)化的又一個(gè)巨大的進(jìn)步。我的意思是，社會(huì)學(xué)習(xí)比個(gè)人學(xué)習(xí)更有力量。然后這種傳遞知識(shí)的能力會(huì)從祖先傳給后代，特別是在人們發(fā)明了寫作、符號(hào)和語(yǔ)言之后，寫作當(dāng)然是很久以后的事了，但是我認(rèn)為所有這些都是必要的，但也許還不足以滿足產(chǎn)生意識(shí)的先決條件。我的意思是，這很有趣，我不知道你是否知道朱利安·杰恩斯的書。

問(wèn)：當(dāng)然知道《二分心智》，直到公元前500年我們才有自我意識(shí)，而希臘諸神和神諭的興起，只是因?yàn)槲覀円庾R(shí)到了我們已經(jīng)失去了過(guò)去在頭腦中能夠聽到的聲音。

Alan Winfield：我認(rèn)為這是一個(gè)激進(jìn)的假設(shè)。沒(méi)有多少人相信這個(gè)觀點(diǎn)。但我認(rèn)為這是非常有趣的，這種觀點(diǎn)認(rèn)為現(xiàn)代的意識(shí)可能是最新的一種適應(yīng)性，記錄了從荷馬史詩(shī)時(shí)代以來(lái)的歷史。所以，我認(rèn)為，可能永遠(yuǎn)不會(huì)有人知道意識(shí)是如何進(jìn)化的。就像很多自然歷史一樣，我們只能有“原來(lái)如此”的故事，我們只能有可信度或高或低的假設(shè)。

但我堅(jiān)決相信產(chǎn)生意識(shí)的關(guān)鍵的先決條件是內(nèi)部模型。Dan Dennett提出過(guò)一個(gè)概念框架，他稱之為“Tower of Generate-and-Test”，基于這個(gè)概念的生物都能非常復(fù)雜的方法來(lái)產(chǎn)生并測(cè)試關(guān)于它們接下來(lái)采取什么行動(dòng)的假設(shè)。其中的波普式造物（Popperian creatures）理論，提到生物有一種神奇的創(chuàng)新，它能夠在做某件事之前想象出其行動(dòng)的結(jié)果。因此，他們可以意識(shí)到某個(gè)行為是糟糕的，并決定不去嘗試，因?yàn)檫@很可能是非常危險(xiǎn)的。

他還提出，波普式造物的一個(gè)子類就是格列高利式造物（Gregorian creatures），這一類型下的生物發(fā)明了思維工具，比如語(yǔ)言，因此有了這種額外的非凡的能力，可以從其它生物那里相互學(xué)習(xí)。我認(rèn)為，社會(huì)學(xué)習(xí)和心智理論在意識(shí)的出現(xiàn)中是很重要的。當(dāng)然，我也會(huì)大膽地說(shuō)，我認(rèn)為獨(dú)居的動(dòng)物并不具備你和我所擁有的那種意識(shí)。

問(wèn)：所以，也就是說(shuō)，我們不知道意識(shí)是怎么來(lái)的，并且你剛才說(shuō)我們可能永遠(yuǎn)也不會(huì)知道。但實(shí)際問(wèn)題還要棘手得多，因?yàn)槲覀儾恢赖牟粌H僅是意識(shí)的由來(lái)，我們也沒(méi)有任何科學(xué)來(lái)闡釋我們是如何感覺(jué)到某種東西的，我們又怎么能體驗(yàn)到一些東西而不是僅僅感覺(jué)到它呢？那么，你認(rèn)為我們的“主觀體驗(yàn)”到底是什么呢？

Alan Winfield：這是一個(gè)非常復(fù)雜的問(wèn)題。我之前提到的只是一個(gè)非常小的前提條件，我不是說(shuō)這就是“什么是意識(shí)”的答案。有一些關(guān)于意識(shí)的有趣理論。比如說(shuō)，我很喜歡托馬斯·梅辛格（Thomas Metzinger）的理論，我認(rèn)為至少對(duì)我來(lái)說(shuō)是一個(gè)非常有吸引力的意識(shí)理論，因?yàn)樗墙⒃趦?nèi)部自我模型的基礎(chǔ)上的，我已經(jīng)指出我對(duì)自我模型很感興趣，而且對(duì)他提出的自我模型的概念很感興趣。

現(xiàn)在，正如你所說(shuō)的，我們的誤解中存在著巨大的鴻溝，我們甚至都不知道應(yīng)該問(wèn)什么問(wèn)題，更不用說(shuō)回答了，但我認(rèn)為我們正在慢慢地靠近真相。我認(rèn)為人類在意識(shí)研究方面正在取得進(jìn)步。我的意思是，安尼爾·賽斯（Anil Seth）在這方面的研究也非常有趣。

問(wèn)：很多時(shí)候，當(dāng)人們看到人類的大腦時(shí)，他們會(huì)說(shuō)，“嗯，我們不理解它的原因是因?yàn)樗幸磺|個(gè)神經(jīng)元。”然而，人們已經(jīng)努力了二十年，將線蟲的302個(gè)神經(jīng)元取出來(lái)，并試著創(chuàng)造一種數(shù)字化的生活，將其模型化，盡管我們能復(fù)制出一個(gè)擁有300個(gè)神經(jīng)元的大腦，我們根本不能理解大腦是如何工作的。甚至有些人認(rèn)為單個(gè)神經(jīng)元可能和超級(jí)計(jì)算機(jī)一樣復(fù)雜。你怎么看？為什么我們不能理解線蟲的大腦是如何工作的呢？

Alan Winfield：當(dāng)然，“理解”是一個(gè)多層次的東西。在某種程度上，我們能夠理解線蟲的神經(jīng)系統(tǒng)是如何工作的。我的意思是，我們可以理解，這是真的。但是，和所有的科學(xué)一樣，“理解”或者科學(xué)模型在某種程度上是抽象的。如果你想深入了解，提高理解的程度，我想這就是開始遇到困難的時(shí)候。

因?yàn)檎缒闼f(shuō)的，當(dāng)我們用計(jì)算機(jī)模擬線蟲時(shí)，我們不能以完全的保真度模擬出每一個(gè)單獨(dú)的神經(jīng)元。為什么不能呢？不僅因?yàn)樗浅?fù)雜，還因?yàn)槲覀冞€不能完全理解一個(gè)生物神經(jīng)元的所有內(nèi)部過(guò)程。但這并不意味著我們不能，在一些有用的、有意義的抽象層面上，弄清楚對(duì)某一特定感覺(jué)器官的刺激將會(huì)導(dǎo)致某一特定的連鎖反應(yīng)，于是會(huì)導(dǎo)致肌肉的抽搐。我們當(dāng)然可以做到這一點(diǎn)。

除了人類，誰(shuí)還擁有意識(shí)？

問(wèn)：你寫了一篇名為Robots with Internal Models: A Route to Self-Aware and Hence, Safer Robots的論文，你在剛才也提到過(guò)內(nèi)部模型。你在論文中反復(fù)提到三個(gè)術(shù)語(yǔ)。第一個(gè)是自我意識(shí)（self-awareness）。你提到了蓋洛普的紅點(diǎn)測(cè)試，這個(gè)測(cè)試可以證明“我就是我自己”。我可以在鏡子里看到一個(gè)人額頭上有一個(gè)紅點(diǎn)，我知道那是我，我會(huì)試著把它從我的額頭上抹去。這就是自我意識(shí)的概念。第二個(gè)術(shù)語(yǔ)是感覺(jué)（sentience），當(dāng)然它經(jīng)常被誤用，感覺(jué)當(dāng)然是指能夠感知一些東西，通常是感覺(jué)疼痛。第三個(gè)是意識(shí)（consciousness），也就是，“我經(jīng)歷過(guò)某件事。”自我意識(shí)是否意味著感覺(jué)，而感覺(jué)是否意味著有意識(shí)？或者自我意識(shí)只是自我意識(shí)，不是感覺(jué)或意識(shí)？

Alan Winfield：我不認(rèn)為這是絕對(duì)的。換句話說(shuō)，我認(rèn)為所有這些都是有一定程度的。我的意思是，即使是簡(jiǎn)單的動(dòng)物也要有一些有限的自我意識(shí)。我認(rèn)為最簡(jiǎn)單的一種自我意識(shí)，就是所有動(dòng)物都需要能夠分辨出自己和其它動(dòng)物不同。如果不能分辨出自己和其它動(dòng)物之間的區(qū)別，那么它會(huì)很難在這個(gè)世界上生存。

現(xiàn)在，我認(rèn)為這是一種非常有限的自我意識(shí)，盡管我不會(huì)因?yàn)槟切┑图?jí)動(dòng)物能夠區(qū)分自己和其它動(dòng)物之間的區(qū)別，就說(shuō)它們有感覺(jué)或意識(shí)。所以，我認(rèn)為這些東西都是有程度的。

意識(shí)也是分程度的，毋庸置疑，人類的某些屬性是獨(dú)特的。我們幾乎肯定是地球上唯一能夠思考“思考”這件事的動(dòng)物。也就是反身的能力，能夠自己給自己提出問(wèn)題。

但是，即使黑猩猩可能不能思考“思考”這件事本身，我認(rèn)為它是有意識(shí)的。它們顯然有很多其它的意識(shí)屬性。不僅是黑猩猩，還有其它動(dòng)物，能夠很明顯地感覺(jué)到疼痛，或者感到悲傷，感到難過(guò)。當(dāng)某個(gè)動(dòng)物家族的成員死亡或被殺死時(shí)，其它動(dòng)物的反應(yīng)能夠證明它們有意識(shí)。而且有很多動(dòng)物，我們幾乎本能地感覺(jué)到它們有很高程度的意識(shí)。海豚就是一個(gè)例子。而最令人費(fèi)解的動(dòng)物，是章魚。

問(wèn)：那么植物呢？植物是否有自我意識(shí)、感覺(jué)、知覺(jué)或意識(shí)？

Alan Winfield：這個(gè)問(wèn)題問(wèn)得好。當(dāng)然，植物是有智慧的。這里用“智能（intelligence）”這個(gè)詞可能更合適。但是，這也許只是一種有限形式的自我意識(shí)，一種非常有限的感覺(jué)，因?yàn)閺哪撤N意義上說(shuō)，植物確實(shí)能感知周圍的環(huán)境。植物，樹木，顯然對(duì)鄰近植物或害蟲的攻擊有一定的感知和反應(yīng)，而且似乎能夠作出反應(yīng)，保護(hù)自己和周圍的同種個(gè)體。

所以，植物的行為，植物的智慧，是非常復(fù)雜的，才剛剛開始被我們理解。我有一個(gè)朋友，Danny Chamovitz，他是以色列特拉維夫大學(xué)的生物學(xué)家，他寫了一本關(guān)于植物智能的很棒的書，非常值得一讀。

問(wèn)：你不可能把人類大腦放到顯微鏡下然后說(shuō)，“這些東西是有意識(shí)的。”所以，我想，詹姆斯·洛夫洛克（蓋亞假說(shuō)的提出者）會(huì)注意到——我不知道他在這個(gè)問(wèn)題上的立場(chǎng)是什么——地球自身在狹窄的范圍內(nèi)控制了如此多的屬性。我再問(wèn)你一個(gè)問(wèn)題?；ヂ?lián)網(wǎng)呢？互聯(lián)網(wǎng)是否有可能實(shí)現(xiàn)某種意識(shí)或自我意識(shí)？我的意思是，它肯定有足夠的處理器。

Alan Winfield：我想也許這個(gè)問(wèn)題的答案，我只是剛剛才思考這個(gè)問(wèn)題，我認(rèn)為答案是否定的。我不認(rèn)為互聯(lián)網(wǎng)是自我意識(shí)。我認(rèn)為，這與我不認(rèn)為地球或者這個(gè)星球有自我意識(shí)是同一個(gè)原因，盡管它，正如你說(shuō)的，是一個(gè)驚人的自我調(diào)節(jié)系統(tǒng)。但我認(rèn)為，自我意識(shí)和感知能力，以及對(duì)其它事物的意識(shí)，不僅需要高度互聯(lián)的網(wǎng)絡(luò)，它們還需要正確的體系結(jié)構(gòu)。

我們的大腦，我們的神經(jīng)系統(tǒng)，不是隨機(jī)連接的網(wǎng)絡(luò)。它們有自己的體系結(jié)構(gòu)，而且是進(jìn)化了的體系結(jié)構(gòu)。當(dāng)然，它不僅進(jìn)化了，而且還受到了社會(huì)的制約。我的意思是，我一直在說(shuō)，你們和我能進(jìn)行這次談話的唯一原因是因?yàn)槲覀児餐?，共享一個(gè)文化，一個(gè)文化環(huán)境，而它本身就是高度進(jìn)化的。所以，我認(rèn)為意識(shí)的出現(xiàn)，與溝通、語(yǔ)言以及最終出現(xiàn)的文化是不可分離的。

我認(rèn)為，互聯(lián)網(wǎng)不可能有自我意識(shí)，是因?yàn)樗鼪](méi)有正確的架構(gòu)，而不是因?yàn)樗鼪](méi)有足夠的處理器和連接。它顯然有這些，但它與我認(rèn)為是必要的體系結(jié)構(gòu)沒(méi)有聯(lián)系——從某種意義上來(lái)說(shuō)，動(dòng)物神經(jīng)系統(tǒng)的架構(gòu)不是隨機(jī)的。這顯然是真的，不是嗎？如果你隨機(jī)地連接一千億個(gè)神經(jīng)元，并不能得到一個(gè)人類大腦。

問(wèn)：我覺(jué)得你可以說(shuō)互聯(lián)網(wǎng)的主干和節(jié)點(diǎn)是一個(gè)有機(jī)的結(jié)構(gòu)，但是我同意你的觀點(diǎn)。所以，我想我要講的是如果我們制造出一種有自我意識(shí)的，可以感知這個(gè)世界的機(jī)器，那么我們?nèi)绾沃浪凶晕乙庾R(shí)呢？

Alan Winfield：我認(rèn)為這確實(shí)是一個(gè)問(wèn)題，我們很難知道。其中的一種倫理風(fēng)險(xiǎn)，特別是大腦模擬，在某種意義上說(shuō)，是一種特殊的人工智能，我們可能會(huì)不知不覺(jué)地制造出一臺(tái)機(jī)器，它實(shí)際上有著非凡的主觀性，甚至更令人擔(dān)憂的，它可能正經(jīng)歷著痛苦。換句話說(shuō)，一個(gè)東西正在經(jīng)歷痛苦。最糟糕的是，正如你說(shuō)的，我們甚至可能不知道它正在經(jīng)歷這樣的痛苦。

問(wèn)：比如我的掃地機(jī)器人突然意識(shí)到了它自己，我們也冒著最終制造一個(gè)龐大的數(shù)字奴隸種族的風(fēng)險(xiǎn)，對(duì)吧？在我們的意志中，我們所做的一切，都是為了感受和感知世界。

Alan Winfield：嗯，是的，機(jī)器人作為奴隸的道德問(wèn)題是另一個(gè)問(wèn)題。我們不要混淆它。從某種意義上說(shuō)，在機(jī)器人的道德問(wèn)題上我不怎么困擾，因?yàn)樗鼈儧](méi)有感覺(jué)和意識(shí)，它們?cè)诘赖律系囊?，我不?huì)說(shuō)完全沒(méi)有，但它們?cè)诘赖律系囊蠛艿汀?/p>

自動(dòng)駕駛汽車發(fā)生交通事故 人類需要對(duì)此負(fù)責(zé)

問(wèn)：當(dāng)機(jī)器人倫理問(wèn)題，或者人工智能倫理問(wèn)題出現(xiàn)，人們會(huì)說(shuō)這是我們必須考慮的一個(gè)直接的例子——除了在戰(zhàn)爭(zhēng)中是否應(yīng)該使用這些設(shè)備之外——每個(gè)人都知道的例子是，自動(dòng)駕駛汽車是應(yīng)該開車沖下懸崖還是撞向一個(gè)人？有一家自動(dòng)駕駛汽車制造商站出來(lái)說(shuō)：“我們會(huì)保護(hù)司機(jī)。我們就是這么做的。”作為一個(gè)機(jī)器人倫理學(xué)家，你覺(jué)得應(yīng)該如何解決這個(gè)問(wèn)題，這個(gè)孤立的，真實(shí)的世界問(wèn)題？

Alan Winfield：我認(rèn)為道德困境的問(wèn)題，尤其是“電車難題”，在現(xiàn)實(shí)生活中是非常非常罕見的。我的意思是，像你我這樣的人，我猜你平時(shí)會(huì)經(jīng)常開車，而且你可能已經(jīng)開了很多年的車，你遇到過(guò)多少次電車難題呢？答案是從來(lái)沒(méi)有過(guò)。

問(wèn)：但是你知道在事故中汽車確實(shí)有可能會(huì)碾壓到行人。

Alan Winfield：承擔(dān)責(zé)任的并不一定是程序員，但確實(shí)是人類。我的觀點(diǎn)——我對(duì)此持非常強(qiáng)硬的態(tài)度——是人類，而不是機(jī)器人，應(yīng)該承擔(dān)責(zé)任，此處的機(jī)器人包括人工智能在內(nèi)。因此，無(wú)論無(wú)人駕駛汽車是如何編程的，它都不能承擔(dān)責(zé)任。我認(rèn)為這是一個(gè)絕對(duì)的基礎(chǔ)，至少目前是這樣的。在幾百年以后，也許情況會(huì)稍微有不同，但是，現(xiàn)在，我持一個(gè)非常簡(jiǎn)單的觀點(diǎn)——機(jī)器人和AI都不應(yīng)該負(fù)責(zé)，應(yīng)該負(fù)責(zé)的只有人類。

那么現(xiàn)在，一輛無(wú)人駕駛汽車應(yīng)該遵守什么道德規(guī)范呢？我認(rèn)為這是一個(gè)社會(huì)問(wèn)題。當(dāng)然，這并不取決于程序員的設(shè)計(jì)，甚至是制造商的決定。我認(rèn)為這必須是一個(gè)社會(huì)問(wèn)題。所以，你是對(duì)的，當(dāng)我們有無(wú)人駕駛汽車時(shí)，仍然會(huì)有事故發(fā)生，當(dāng)然事故會(huì)發(fā)生得比較少，但偶爾還是會(huì)有，人們?nèi)匀豢赡軙?huì)在車禍中喪生，也就是無(wú)人駕駛汽車犯錯(cuò)誤的時(shí)候。

現(xiàn)在，我們需要做幾件事。我認(rèn)為，我們需要能夠找出為什么無(wú)人駕駛汽車出了問(wèn)題，這意味著無(wú)人駕駛汽車需要安裝類似在飛機(jī)上安裝的飛行數(shù)據(jù)記錄器，我稱之為“道德黑匣子（ethical black box）”。我們需要有監(jiān)管機(jī)構(gòu)，這意味著制造商有義務(wù)將這些黑匣子安裝到無(wú)人駕駛汽車上；事故調(diào)查人員有權(quán)威和權(quán)力，能夠查看這些“道德黑匣子”中的數(shù)據(jù)，找出問(wèn)題出在哪里。

但是，即使這些監(jiān)管全部到位，我覺(jué)得，一定還是會(huì)有一些偶然的事故，其唯一的解決辦法就是將道德標(biāo)準(zhǔn)應(yīng)用到無(wú)人駕駛汽車中。但是，如果我們確實(shí)把無(wú)人駕駛汽車的行為與道德規(guī)范相匹配，那么這些倫理道德需要由整個(gè)社會(huì)來(lái)決定，這樣我們就能共同承擔(dān)起那些發(fā)生事故和人們受到傷害的少數(shù)案例的責(zé)任。

問(wèn)：Weizenbaum是著名的ELIZA聊天機(jī)器人的發(fā)明者，如果你輸入，“我有個(gè)問(wèn)題”，它會(huì)說(shuō)，“你有什么問(wèn)題？”“我和我的父母有矛盾，”“你和你的父母有什么矛盾？”就像這樣繼續(xù)下去。Weizenbaum寫了這個(gè)程序，然后他注意到人們對(duì)聊天機(jī)器人產(chǎn)生了情感上的依戀，盡管他們知道這只是一個(gè)簡(jiǎn)單的程序。他區(qū)分了決定和選擇的概念。他說(shuō)，“機(jī)器人應(yīng)該做決定。這是一種計(jì)算機(jī)操作。但它們永遠(yuǎn)不應(yīng)該做選擇。選擇是人類應(yīng)該做的。”你認(rèn)為他這種說(shuō)法對(duì)嗎，你對(duì)這種區(qū)別有什么看法？他認(rèn)為，人希望機(jī)器有同理心，這從根本上就是錯(cuò)誤的，因?yàn)檫@樣做沒(méi)有高估機(jī)器的能力，而是貶低了人類。

Alan Winfield：是的，我當(dāng)然堅(jiān)決認(rèn)為，如果我們用機(jī)器人作為個(gè)人助理或者聊天機(jī)器人，顧問(wèn)或者伙伴，無(wú)論是什么，都需要在一個(gè)非常嚴(yán)格的道德框架內(nèi)完成這些，確保沒(méi)有人被欺騙，沒(méi)有人被剝削。我能想到的一個(gè)關(guān)于欺騙的例子就是，在使用聊天機(jī)器人時(shí)，相信你真的是在和一個(gè)人說(shuō)話，或者，即使你意識(shí)到你不是在和一個(gè)人說(shuō)話，也相信這個(gè)系統(tǒng)，相信機(jī)器在照顧你，機(jī)器對(duì)你有感情。

我當(dāng)然不會(huì)堅(jiān)決認(rèn)為我們永遠(yuǎn)也不應(yīng)該有這種伙伴系統(tǒng)，因?yàn)槲艺J(rèn)為在某些情況下，毫無(wú)疑問(wèn)，它們是有價(jià)值的。比如說(shuō)，機(jī)器人寵物。當(dāng)可能患有癡呆癥的老人進(jìn)入療養(yǎng)院時(shí)，他們所經(jīng)歷的最大的創(chuàng)傷之一就是把他們的寵物丟在一旁。我和一個(gè)在養(yǎng)老院工作的人交流過(guò)，他說(shuō)，那些老年癡呆患者，表示希望他們住的地方有機(jī)器人寵物。

現(xiàn)在，這些老年人可能會(huì)意識(shí)到，機(jī)器人寵物并不是真正的動(dòng)物，但是，在某種意義上，他們?nèi)匀豢赡軙?huì)覺(jué)得這個(gè)機(jī)器人很在意它們。我認(rèn)為這是可以的，因?yàn)槲艺J(rèn)為，和欺騙造成的心理傷害相比，更重的是機(jī)器人寵物對(duì)治療的益處。

但我想說(shuō)的是，我認(rèn)為我們需要強(qiáng)有力的道德框架，指導(dǎo)方針和規(guī)定，保證弱勢(shì)群體，尤其是兒童，殘疾人，老年人尤其是可能患有癡呆癥的老人，不會(huì)被肆無(wú)忌憚的制造商或設(shè)計(jì)師設(shè)計(jì)出的看似有感情的系統(tǒng)所利用。

問(wèn)：關(guān)于科幻小說(shuō)你怎么看？你是否會(huì)覺(jué)得任何科幻小說(shuō)、電影或電視節(jié)目中的情形“啊，這可能會(huì)發(fā)生"？

Alan Winfield：我讀過(guò)很多科幻小說(shuō)，當(dāng)然不是所有都會(huì)發(fā)生，但很多時(shí)候我希望或者喜歡看到其中一些能夠發(fā)生。通常最好的科幻小說(shuō)都是反烏托邦的，但這也沒(méi)關(guān)系，因?yàn)楹玫目苹眯≌f(shuō)就像一個(gè)思想實(shí)驗(yàn)，不過(guò)我也喜歡烏托邦式的幻想。而且我更喜歡Iain M.Banks的The Culture系列中的AI烏托邦——在這個(gè)世界里，有很多極其聰明的，非常神秘的人工智能，但是，盡管如此，它們是善良和仁慈的，會(huì)照顧那些貧窮的人。我有點(diǎn)喜歡他這個(gè)想法。