機器學習算法的應用越來越廣泛，比如信用卡申請，醫(yī)療診斷，個性化推薦，廣告和求職等領域，但究竟如何使用機器算法，對大多數(shù)人來說依然是個迷。不過，這個謎底可能即將揭曉，來自卡耐基·梅隆大學的研究人員開發(fā)了全新的評估方法，能夠充分了解機器算法流程。
在做決策的時候，一個人的年齡、性別、或是受教育水平是否起到關鍵作用？某些因素的特別組合是否也會影響決策？根據(jù)卡納基·梅隆大學的計算機科學和電子計算機工程專業(yè)助理教授Anupam Datta表示，該校開發(fā)的量化輸入影響（Quantitative Input Influence,QII）系統(tǒng)能夠對影響最終決策的每一個因素進行權重評估。
“隨著算法決策系統(tǒng)的使用增多，對算法透明度的需求也有所增加，當人們意識到這些系統(tǒng)有可能會引起一些種族主義問題，性別歧視問題，或是其他對社會產(chǎn)生危害的問題。”Datta說道。
“一些公司已經(jīng)開始提供透明度報告，但是，支持這些報告形成的計算基礎似乎還非常落后，”他補充說，“我們的目標，就是要開發(fā)一套評估方法，針對每一個對系統(tǒng)產(chǎn)生影響的因素，評估它們的影響程度，使之能夠幫助企業(yè)生成透明度報告。”
之所以要生成這些透明度報告，是因為要對某些特殊事件作出回應，比如為什么你的個人貸款會被銀行拒絕，或者為什么警察會對某個人進行詳細審查，又或醫(yī)生需要對某個病人給出特殊診斷或治療。當然啦，也有些組織會前瞻性地使用這種方式去評估人工智能系統(tǒng)是否按照預期執(zhí)行相關操作；甚至政府監(jiān)管機構可以利用它來判斷某個決策制定系統(tǒng)是否不恰當?shù)仄缫暳艘徊糠秩后w。
本月23-25日，Datta和計算機科學專業(yè)博士生Shayak Sen，計算機科學學院博士后研究員Yair Zick在加州圣何塞市舉辦的IEEE安全與隱私會議上展示了他們在QII系統(tǒng)上的報告。
據(jù)Datta透露，生成這些QII系統(tǒng)評估報告，需要QII系統(tǒng)訪問相關機器學習系統(tǒng)，但是QII系統(tǒng)不會分析評估對象系統(tǒng)的內(nèi)部代碼和其他內(nèi)部運作情況。此外，它還需要對最先訓練機器學習系統(tǒng)的輸入數(shù)據(jù)集有一定了解。
QII評估系統(tǒng)的一個突出功能，就是它可以解釋很大一類機器學習系統(tǒng)做出的決策。在這個過程中，之前的工作成為了一個重要主體，采用了一個互補的解決方案，重新設計的機器學習系統(tǒng)會做更多解釋，有時也會失去預測精準度。
在評估機器學習系統(tǒng)影響時，QII會仔細考慮相關輸入項。舉個例子，假設一個幫助搬家公司做出招聘決策的機器學習系統(tǒng)，那么兩個輸入項是和招聘決策正相關的，一個是應聘者的性別，另一個是舉起重物的能力。此時，透明度評估會去看這個機器學習系統(tǒng)在判斷舉重能力和性別做招聘決策時，是否會有實質性影響，并且在整個過程中，是否會有歧視應聘者的成分存在。
“這就是為什么我們在定義QII的時候要考慮因果關系評估，”Sen說道，“粗略來看，在上面舉的例子中，評估某個特定個體性別的影響，我們會保持舉重能力為一個固定值，然后再通過改變性別來看機器學習系統(tǒng)做出的最終決策是否會發(fā)生變化。”
在評估機器學習系統(tǒng)是否會有高影響力的時候，觀察單個因素可能會比較片面，QII系統(tǒng)評估還可以量化一組輸入，綜合考慮這些因素帶來的共同影響，比如年齡和收入，然后看集合中的每個輸入產(chǎn)生的邊際影響。一個獨立輸入項可能會成為多重影響集合的一部分，之前應用在收入分配和投票的原則博弈倫聚合影響力評估方法，將用來計算輸入項的平均邊際影響。
“為了獲得這些影響力評估的一種感覺，不妨可以考慮下美國總統(tǒng)選舉，”Zick說道，“加利福尼亞州和德克薩斯州在選舉中影響力很大，因為他們的選民很多，但賓夕法尼亞州和俄亥俄州卻是最有權力的兩個州，因為他們一直都是選舉搖擺州。我們的影響力聚合評估就是同時考慮到這兩種類似的力量。”
針對一些標準機器學習算法，研究人員測試了他們的評估方法，這些機器學習算法都是應用于訓練決策系統(tǒng)的，上面運行的都是真實的數(shù)據(jù)集。他們發(fā)現(xiàn)，相比于許多場景下的標準關聯(lián)評估，比如預測策略和預測收入的示例應用程序，QII評估系統(tǒng)在許多情況下能提供更好的解釋。
現(xiàn)在，他們正在尋求與工業(yè)伙伴合作，這樣他們可以在機器學習系統(tǒng)上大范圍部署QII評估系統(tǒng)。
