大數(shù)據(jù)文摘出品

編譯：江澤斌、韋振琛、錢天培

在過(guò)去十年間，無(wú)數(shù)個(gè)人工智能解決方案在各大企業(yè)得到部署。

智能受眾評(píng)測(cè)系統(tǒng)、智能財(cái)務(wù)合規(guī)系統(tǒng)、智能人員招聘系統(tǒng)，不一而足。

這期間，在企業(yè)客戶卻也始終存在一種懷疑態(tài)度：AI系統(tǒng)做出的產(chǎn)品部署是否真的值得被信賴呢？

在我看來(lái)，這也是企業(yè)人工智能要著力攻克的下一個(gè)難題。

錯(cuò)誤的客戶流失預(yù)測(cè)會(huì)使企業(yè)失去一個(gè)重要的客戶，而錯(cuò)誤的金融交易分類會(huì)使企業(yè)蒙受資金損失。實(shí)際上，客戶對(duì)人工智能模型的精確度不是特別在意，他們更擔(dān)心的是數(shù)據(jù)科學(xué)家們無(wú)法解釋的一個(gè)問(wèn)題：“我如何相信它做出的決策？”

AI系統(tǒng)--我如何信任它們？

在大多數(shù)支持AI的數(shù)字化轉(zhuǎn)型中，客戶喜歡讓他們的系統(tǒng)擁有AI的能力以實(shí)現(xiàn)某些商業(yè)價(jià)值主張。另一方面，大多數(shù)數(shù)據(jù)科學(xué)家則追求使用最流行的算法(如DNN/GAINS/DRN等)。遺憾的是，他們都忘記了在決策制定過(guò)程中的問(wèn)責(zé)機(jī)制和信任機(jī)制中存在著一個(gè)關(guān)鍵因素。

在現(xiàn)實(shí)生活中，每一個(gè)決策，無(wú)論是由機(jī)器還是低級(jí)員工又或是首席執(zhí)行官做出的，為了達(dá)到提高整體的業(yè)務(wù)水平的目的，都要通過(guò)定期的審查，來(lái)解釋他們的決定。這就產(chǎn)生了人工智能的新興分支，稱為“可解釋的人工智能”(XAI)。

什么是可解釋的AI(XAI)?

XAI是人工智能的一個(gè)新興分支，用于解釋人工智能所做出的每一個(gè)決策背后的邏輯。下圖是對(duì)一個(gè)完整AI決策流程的簡(jiǎn)單描述。

除了對(duì)上述問(wèn)題提供解決方案之外，XAI還具有更深層的業(yè)務(wù)優(yōu)勢(shì)，例如：

• 改善AI模型的性能。因?yàn)閄AI的解釋有助于找到數(shù)據(jù)和特征行為中的問(wèn)題。
• 更好的決策部署。因?yàn)閄AI的解釋為中間人提供了額外的信息和信心，使其可以可以明智而果斷地行動(dòng)。
• 提供一種控制感。因?yàn)锳I系統(tǒng)的所有者清楚地知道其AI系統(tǒng)行為和邊界的杠桿。
• 提供一種安全感。因?yàn)槊恳粋€(gè)決定都需要通過(guò)安全指南，且對(duì)違規(guī)行為還會(huì)發(fā)出警告。
• 與利益相關(guān)者建立信任關(guān)系。他們可以清晰看到每一個(gè)決策背后的邏輯推理。
• 可監(jiān)控由于訓(xùn)練數(shù)據(jù)偏差導(dǎo)致的道德問(wèn)題和違規(guī)。
• 提供更好的機(jī)制來(lái)遵循組織內(nèi)的問(wèn)責(zé)要求，以進(jìn)行審計(jì)和其他目的。
• 更好地遵守監(jiān)管要求(比如《通用數(shù)據(jù)保護(hù)條例》GDPR)，其中要求一個(gè)系統(tǒng)必須具有“解釋權(quán)”。

AI系統(tǒng)部署中的角色

要實(shí)現(xiàn)可解釋AI，我認(rèn)為關(guān)鍵不在于工具和技術(shù)，而在于人類在這些人工智能系統(tǒng)中所扮演的角色。從廣義上講，我們可以用三個(gè)方面定義他們：

訓(xùn)練者--訓(xùn)練系統(tǒng)達(dá)到預(yù)期的功能行為

解釋者-解釋系統(tǒng)做出的決定

維護(hù)者-維持AI系統(tǒng)對(duì)業(yè)務(wù)KPI的效用

訓(xùn)練者

客戶語(yǔ)言訓(xùn)練師

*教AI系統(tǒng)體會(huì)言外之意，例如檢測(cè)諷刺

智能機(jī)器交互建模師

*學(xué)會(huì)員工行為，例如，一個(gè)AI系統(tǒng)可以從會(huì)計(jì)行為中學(xué)習(xí)如何自動(dòng)匹配支出款項(xiàng)和發(fā)票。

*世界觀訓(xùn)練師

使AI系統(tǒng)擁有全球化的觀點(diǎn)。當(dāng)做決定時(shí)不同文化的觀點(diǎn)都要被考慮，比如判斷一個(gè)算法是否“公平”

解釋者

*背景設(shè)計(jì)師

根據(jù)業(yè)務(wù)背景，正在處理的任務(wù)，或個(gè)人或?qū)I(yè)或文化等因素的不同設(shè)計(jì)更好的決策。

*透明度分析師

對(duì)使用不同類型的AI算法的不透明度(以及對(duì)業(yè)務(wù)的相應(yīng)影響)進(jìn)行分類，并對(duì)該信息庫(kù)存進(jìn)行維護(hù)

*AI落地策略

決定是否對(duì)特定的應(yīng)用部署AI系統(tǒng)(或是應(yīng)用傳統(tǒng)的規(guī)則引擎和腳本)

維護(hù)者

*自動(dòng)化倫理分析師

評(píng)估智能機(jī)器的非經(jīng)濟(jì)影響，包括正面和負(fù)面的

*自動(dòng)化經(jīng)濟(jì)分析師

評(píng)估性能不良機(jī)器的成本

*機(jī)器關(guān)系管理者

"推廣"在業(yè)務(wù)中表現(xiàn)良好的算法，并“降級(jí)”性能較差的算法

對(duì)于訓(xùn)練者和維護(hù)者的角色來(lái)說(shuō)，他們有大量的工具可以使用。但對(duì)解釋者來(lái)說(shuō)，情況就不那么樂(lè)觀了。人工智能/機(jī)器學(xué)習(xí)算法在本質(zhì)上是著名的黑箱理論的一種，因?yàn)樗幕谟?xùn)練數(shù)據(jù)的大量非線性性質(zhì)的權(quán)重和偏差的學(xué)習(xí)機(jī)制。因此，解釋者的任務(wù)變得異常艱難。

XAI--關(guān)鍵維度

XAI有三個(gè)關(guān)鍵維度：合理的，可追蹤的，可理解的。

合理的AI：能夠理解每個(gè)預(yù)測(cè)背后的推理。

可追蹤的AI：追蹤預(yù)測(cè)過(guò)程的能力，可從數(shù)學(xué)算法的邏輯到數(shù)據(jù)的本質(zhì)。

可理解的AI：完全理解做出AI決策所基于的模型。

XAI-設(shè)計(jì)原則

將XAI從概念轉(zhuǎn)化為部署AI解決方案的8個(gè)原則如下

設(shè)計(jì)

一個(gè)著眼于社會(huì)影響力的AI

定義

數(shù)據(jù)集的出處，使用和保護(hù)標(biāo)準(zhǔn)

測(cè)試

系統(tǒng)發(fā)布前要進(jìn)行全面測(cè)試

使用

使用透明

監(jiān)控

發(fā)布后要嚴(yán)格監(jiān)控

培訓(xùn)

工作能力培訓(xùn)和再培訓(xùn)

保護(hù)

隱私數(shù)據(jù)

構(gòu)建

審計(jì)算法的工具和標(biāo)準(zhǔn)

XAI-主要技巧

XAI有兩個(gè)主要技巧：

已知模型技巧：在這里有兩類技巧。第一類技巧旨在解釋現(xiàn)有的ML算法，第二類技巧則旨在研究新的白盒模型，以獲得完全解釋的能力。

未知模型技巧：通過(guò)入侵操作模型而在操作模型之外工作。一種稱為L(zhǎng)IME的技術(shù)主要用于估計(jì)決策的局部邊界。

我在過(guò)去的經(jīng)歷中廣泛使用了LIME庫(kù)，加上自然語(yǔ)言生成技術(shù)，為維護(hù)者和操作者進(jìn)行了敘述。

下面給出了當(dāng)下算法精確度和可解釋性的關(guān)系圖

XAI的未來(lái)：

XAI領(lǐng)域有很好的發(fā)展前景，可以幫助企業(yè)解決AI的不足。例如：

精確的模型：XAI可同時(shí)支持維護(hù)者和訓(xùn)練者改進(jìn)他們的模型，并使其持續(xù)下去。

值得信賴的模型：當(dāng)XAI使得AI內(nèi)部工作透明化時(shí)，XAI將有助于建立企業(yè)和其他監(jiān)管行業(yè)的信心。

自然語(yǔ)言解釋：XAI將通過(guò)自然語(yǔ)言(語(yǔ)音或文本)來(lái)解釋它的決定，而不是通過(guò)分析表或復(fù)雜的儀表盤。這會(huì)要求自然語(yǔ)言解釋與XAI的啟發(fā)式探索結(jié)合起來(lái)使用。

對(duì)抗性使用(濫用)：XIA的LIME技術(shù)和深度學(xué)習(xí)的GAIN技術(shù)，可以用于在外部破譯給定的AI模型。這將導(dǎo)致組織需要使用政策和法規(guī)以及多層安全措施來(lái)保護(hù)其AI模型。

與機(jī)器協(xié)作：XAI將建立起信任的橋梁，使人類能夠在方方面面中適應(yīng)并習(xí)慣與機(jī)器智能一起工作。