很多AI將改變?nèi)祟惉F(xiàn)代生活，例如優(yōu)步的無人駕駛汽車，Yosinski的程序是一個(gè)深度神經(jīng)網(wǎng)絡(luò)，其架構(gòu)或多或少受到了大腦的啟發(fā)。正如人類大腦一樣，這個(gè)程序很難從外部理解：它是一個(gè)黑箱。

 

　　這一特殊的AI能通過大量的標(biāo)注圖像被訓(xùn)練，從而識(shí)別像斑馬線、消防車、安全帶等物體。但它能夠識(shí)別Yosinski和攝像頭前面的記者嗎？Yosinski放大了其中一個(gè)AI的獨(dú)立計(jì)算節(jié)點(diǎn)（神經(jīng)元），從而查看是什么引發(fā)了其響應(yīng)。

 

　　兩個(gè)幽靈般的白色橢圓狀物體浮動(dòng)在屏幕上。這個(gè)神經(jīng)元似乎已經(jīng)學(xué)會(huì)了如何探測(cè)人臉輪廓。他說：“它會(huì)對(duì)你我的面部做出反應(yīng)，也會(huì)對(duì)不同大小、不同顏色的人臉做出反應(yīng)。”

 

　　不過，沒有人訓(xùn)練這種網(wǎng)絡(luò)識(shí)別人臉。在訓(xùn)練圖像中，人類不被標(biāo)注，但是網(wǎng)絡(luò)確實(shí)在學(xué)習(xí)識(shí)別人臉，也許是與人臉一同出現(xiàn)的物體，比如領(lǐng)帶、牛仔帽。該網(wǎng)絡(luò)如此復(fù)雜，以至于人類無法理解其做出的決策。

 

　　而Yosinski的探索雖然指明了部分道路，但總體狀況依然不清楚。他說：“我們有令人驚嘆的模型，但實(shí)際上并不理解它們，而且這種情況在逐年惡化。”

 

　　深度學(xué)習(xí)似乎每個(gè)月都會(huì)擴(kuò)展至另外一個(gè)學(xué)科領(lǐng)域。它們能預(yù)測(cè)合成有機(jī)分子的最佳方式，可以探測(cè)與自閉癥相關(guān)的基因，甚至改變了科學(xué)本身的進(jìn)展方式。AI無往不利，但卻留給理論科學(xué)家一個(gè)憂慮：模型為什么會(huì)如此？

 

　　闡釋該難題正激勵(lì)著學(xué)界和業(yè)界的新一代研究者。一些工具無需深入即可探測(cè)AI；一些是可以媲美神經(jīng)網(wǎng)路的替代算法，有更高的透明度；一些則繼續(xù)使用更多的深度學(xué)習(xí)來窺探黑匣子。它們加起來成了一門新學(xué)科，Yosinski稱之為“人工智能神經(jīng)科學(xué)”。

 

　　Marco Ribeiro是西雅圖市華盛頓大學(xué)的一名畢業(yè)生，試圖通過一種被稱為“反事實(shí)探針”的神經(jīng)科學(xué)工具打開黑匣子。其想法是通過聰明的方式改變AI的輸入以查看有哪些變化以及如何影響輸出。

 

　　例如，Ribeiro的程序LIME會(huì)把一個(gè)影評(píng)標(biāo)注為積極，并對(duì)文字稍作修改以創(chuàng)造新變體。接著這些變體被輸入黑匣子以查看其是否依然被標(biāo)注為積極。結(jié)果顯示LIME可以辨別詞語（或者部分圖像、分子結(jié)構(gòu)，再或者任意類型的數(shù)據(jù)）這在AI的最初判斷中至關(guān)重要。

 

　　不過，LIME等新反事實(shí)方法似乎每月都會(huì)出現(xiàn)。但谷歌計(jì)算機(jī)學(xué)家Mukund Sundararajan發(fā)明了另一種探查方法，它無需對(duì)網(wǎng)絡(luò)進(jìn)行數(shù)千次測(cè)試——如果你正在嘗試?yán)斫夂芏鄾Q策，這絕對(duì)是一個(gè)福利。

 

　　Sundararajan團(tuán)隊(duì)并不是通過隨機(jī)調(diào)變輸入，而是引入一個(gè)空白的引文—— 一張純黑圖像或者一個(gè)代替文本的零排列數(shù)組，并將其一步一步推向測(cè)試的實(shí)例轉(zhuǎn)化。通過在網(wǎng)絡(luò)中運(yùn)行每一步，他們觀察其確定的跳躍，并通過軌跡推論出對(duì)于預(yù)測(cè)的重要特征。

 

　　Sundararajan對(duì)比了這一過程，找出了辨識(shí)其所在的玻璃墻空間的關(guān)鍵特征：杯子、桌子、椅子和電腦的標(biāo)準(zhǔn)組合。“我可以給出無數(shù)理由。”隨著你慢慢調(diào)暗燈光，當(dāng)燈光變得非常暗淡，只有最大的原因才凸顯出來。這些轉(zhuǎn)化允許Sundararajan比Ribeiro的變體捕捉到更多的網(wǎng)路決策。

 

　　但是更深的、未解答的問題依然存在，Sundararajan說。

 

　　這一問題并非只來自科學(xué)。根據(jù)歐盟的一項(xiàng)指令，那些部署持續(xù)影響大眾的算法的公司必須在來年對(duì)其模型的內(nèi)在機(jī)制做出解釋。美國(guó)國(guó)防高級(jí)研究計(jì)劃署也正在向“可解釋AI”的新計(jì)劃投入7000萬美元，試圖解釋用于無人機(jī)和情報(bào)挖掘作業(yè)的深度學(xué)習(xí)。谷歌機(jī)器學(xué)習(xí)研究者M(jìn)aya Gupta也表示，打開黑匣子的驅(qū)動(dòng)同樣來自硅谷內(nèi)部。

 

　　Gupta于2012年加入谷歌，當(dāng)時(shí)詢問過AI工程師的關(guān)注問題，她發(fā)現(xiàn)精度并不是他們唯一關(guān)心的。工程師們告訴Gupta:“我們并不確定網(wǎng)絡(luò)在做什么，我們不太信任它。”

 

 

　　今天的神經(jīng)網(wǎng)絡(luò)要比之前復(fù)雜得多，但其本質(zhì)是相同的。一端是數(shù)以百萬計(jì)的雜亂數(shù)據(jù)（比如狗的照片）。這些數(shù)據(jù)會(huì)被輸入具有十幾個(gè)或更多層的網(wǎng)絡(luò)中，其中的神經(jīng)形式連接會(huì)響應(yīng)數(shù)據(jù)中的特征。每一層都會(huì)把內(nèi)容抽象一點(diǎn)，最后一層解釋出最終判斷，如從梗犬中辨別出臘腸犬。

 

　　一開始，系統(tǒng)或許十分笨拙。但每次結(jié)果都會(huì)與標(biāo)記好的狗圖片進(jìn)行對(duì)比。在一種被稱為反向傳播的過程里，結(jié)果會(huì)通過網(wǎng)絡(luò)向前發(fā)送。這一過程會(huì)重復(fù)數(shù)百萬次，直到整個(gè)網(wǎng)絡(luò)學(xué)會(huì)識(shí)別不同品種的狗。“使用現(xiàn)代技術(shù)和大膽的嘗試，你可以讓它們真正地工作起來。”微軟雷德蒙德研究院計(jì)算機(jī)科學(xué)家Rich Caruana說。然而，這種神秘而靈活的力量也讓網(wǎng)絡(luò)變成了黑匣子。

 

　　Gupta對(duì)于處理黑匣子問題有不同的策略：她嘗試?yán)@開這些問題。幾年前，Gupta開始了一個(gè)名為GlassBox的項(xiàng)目。她的目標(biāo)是將工程化的可預(yù)測(cè)性納入神經(jīng)網(wǎng)絡(luò)進(jìn)而對(duì)其進(jìn)行解釋。她的指導(dǎo)原則就是單調(diào)性，即變量之間的相關(guān)性問題。

 

　　Gupta將這些單調(diào)性關(guān)系嵌入到被稱為插值查詢表的蔓生數(shù)據(jù)庫(kù)中。本質(zhì)上這個(gè)查詢表就像高中三角函數(shù)查值表一樣。但是該插值查詢表不是一個(gè)維度上的十多個(gè)條目，它在多個(gè)維度上有數(shù)百萬的條目。她將這些表寫入神經(jīng)網(wǎng)絡(luò)中，因此有效地添加了一個(gè)額外的可預(yù)測(cè)性的層級(jí)計(jì)算知識(shí)，神經(jīng)網(wǎng)絡(luò)也將變得更可控。

 

　　不過，有時(shí)候，人們必須承受黑匣子的困惑。因此理論研究者開始追尋深度學(xué)習(xí)可解釋性的第三條道路。他們說解釋深度學(xué)習(xí)的方法可以是簡(jiǎn)單地進(jìn)行更深度的學(xué)習(xí)，而不是尋求理解神經(jīng)網(wǎng)絡(luò)或避開它。

 

　　打開黑匣子

 

　　跟很多AI開發(fā)者一樣，作為亞特蘭大佐治亞理工學(xué)院娛樂智能實(shí)驗(yàn)室的負(fù)責(zé)人，Mark Riedl用上世紀(jì)80年代的電子游戲測(cè)試其作品。青蛙過河是他最喜歡的游戲之一：玩家讓青蛙穿過車流，到達(dá)彼岸的池塘。訓(xùn)練一個(gè)網(wǎng)絡(luò)進(jìn)行專家級(jí)的青蛙過河游戲其實(shí)非常容易，但是解釋AI在其中所做的事卻很難。

 

　　Riedl沒有對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行探究，而是讓人類受試者去玩這個(gè)游戲，并且通過讓人們實(shí)時(shí)發(fā)聲描述他們的策略。Riedl在游戲代碼中記錄了那些玩家的評(píng)論：“噢，有一輛車沖我來了，我需要往前跳。”Riedl訓(xùn)練了第二個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)語言進(jìn)行翻譯，把代碼譯為英文。

 

　　然后他把這個(gè)轉(zhuǎn)譯網(wǎng)絡(luò)及初始的游戲網(wǎng)絡(luò)進(jìn)行連接，生成了一個(gè)可以進(jìn)行表達(dá)的綜合性AI，當(dāng)它停在小路上時(shí)，AI會(huì)說，“在移動(dòng)之前我正在等待打開一個(gè)洞。”當(dāng)被卡在屏幕邊緣時(shí)，AI也會(huì)沮喪，咒罵和抱怨。

 

　　Riedl把此方法叫做“合理化”，他設(shè)計(jì)這種方法幫助用戶理解家庭機(jī)器人、自動(dòng)駕駛汽車等機(jī)器。“如果我們不能質(zhì)疑它們?yōu)槭裁催@么做，并讓它們給出合理的回答，那人們只能把AI束之高閣。”Riedl說道。但那些解釋又引起另外一個(gè)問題，他補(bǔ)充道：“在人類失去信任之前，合理化會(huì)錯(cuò)到何種程度？”

 

　　像Riedl一樣，Yosinski也已經(jīng)使用了第二個(gè)AI系統(tǒng)幫助其理解第一個(gè)系統(tǒng)。

 

　　首先，Yosinski更新了分類器來生成圖片，而不是對(duì)圖片進(jìn)行標(biāo)注。然后，他和同事給它進(jìn)行靜態(tài)著色，并且通過它給請(qǐng)求對(duì)象發(fā)送信號(hào)，比如“更多火山”。最終，他們假設(shè)，網(wǎng)絡(luò)會(huì)把噪聲融入火山框圖中。而且，AI和人類看見的東西是不同的。

 

　　接下來，這個(gè)隊(duì)伍對(duì)它的圖片使用了生成對(duì)抗網(wǎng)絡(luò)（GAN）。就這樣，在圖像的訓(xùn)練數(shù)據(jù)集中，“生成器”學(xué)習(xí)生成圖像的規(guī)則，并能創(chuàng)造合成型圖像。第二個(gè)“對(duì)抗網(wǎng)絡(luò)”會(huì)試圖檢測(cè)圖像結(jié)果是真是假，促使生成器再一次進(jìn)行嘗試。這個(gè)反復(fù)過程最終會(huì)生成包含人眼可識(shí)別特征的粗略圖像。

 

　　該GAN現(xiàn)在能夠綁定到任何解決圖像問題的網(wǎng)絡(luò)。Yosinski已經(jīng)使用它來識(shí)別網(wǎng)絡(luò)中的問題，為任意圖像編寫描述。但Yosinski說，這只是個(gè)開端，還有大片的空白需要彌補(bǔ)。