首先,現(xiàn)有深度學(xué)習(xí)技術(shù)的知識(shí)建模存在不可解釋的缺陷,損害了深度學(xué)習(xí)技術(shù)的可信性。由于深度模型的高度復(fù)雜性和不透明性,人類無法直觀地理解深度模型建模的知識(shí)及如何利用這些知識(shí)做出決策。因此,人類無法判斷深度模型所建模的知識(shí)是否正確和可靠,導(dǎo)致無法對(duì)深度模型的決策抱有完全的信任。該缺陷阻礙了深度學(xué)習(xí)在傳統(tǒng)行業(yè)的廣泛普及,例如丹麥一家醫(yī)院發(fā)現(xiàn),機(jī)器人醫(yī)生在許多病例上與醫(yī)院的腫瘤醫(yī)生意見相左,并且無法解釋其決策是合理的。為此,醫(yī)院最終棄用了該機(jī)器人醫(yī)生項(xiàng)目。

 

　　此外,現(xiàn)有深度學(xué)習(xí)技術(shù)的對(duì)抗魯棒性和泛化能力等表達(dá)能力存在缺陷,導(dǎo)致深度模型的可靠性與安全性受到了廣泛質(zhì)疑。對(duì)抗魯棒性問題是指攻擊者可利用微不可查的攻擊,造成模型失靈,導(dǎo)致難以預(yù)見的后果。例如,現(xiàn)有研究發(fā)現(xiàn),攻擊者可以通過在路標(biāo)指示牌上貼極小的貼紙,使得自動(dòng)駕駛系統(tǒng)將“停止”路標(biāo)錯(cuò)誤地識(shí)別為“通行”路標(biāo)。泛化能力問題是指即使深度模型能夠在訓(xùn)練場景中表現(xiàn)優(yōu)秀,卻在真實(shí)應(yīng)用場景中性能大打折扣的問題。例如,在簡單的仿真交通場景下表現(xiàn)良好的自動(dòng)駕駛系統(tǒng),卻在城市內(nèi)真實(shí)的復(fù)雜道路交通場景下(如惡劣天氣、目標(biāo)高度遮擋等)頻頻出錯(cuò)。

 

　　對(duì)抗魯棒性和泛化能力等表達(dá)能力的缺陷,導(dǎo)致了深度學(xué)習(xí)技術(shù)在應(yīng)用領(lǐng)域中尤其是自動(dòng)駕駛、智能醫(yī)療等容錯(cuò)率低的關(guān)鍵應(yīng)用中的潛在安全隱患。前人研究尚無法解決上述系統(tǒng)性缺陷,往往通過盲目地調(diào)整深度模型中的大量參數(shù),以期在多次經(jīng)驗(yàn)性嘗試中,僥幸取得一個(gè)表達(dá)能力(如對(duì)抗魯棒性、泛化能力)相對(duì)更優(yōu)的模型。如何從理論層面出發(fā),針對(duì)性地設(shè)計(jì)或優(yōu)化深度模型,保證深度模型表達(dá)能力的可靠性、安全性與可控性,仍然是整個(gè)深度學(xué)習(xí)領(lǐng)域的瓶頸性難題。

 

　　可信人工智能,是關(guān)系到人工智能長遠(yuǎn)發(fā)展的關(guān)鍵問題。然而,可信人工智能的大多數(shù)現(xiàn)有研究仍停留在經(jīng)驗(yàn)性算法的層面,如可視化深度模型,即展示深度模型所建模的知識(shí)/特征的客觀形象;或發(fā)展各種經(jīng)驗(yàn)性方法提升深度模型的魯棒性、泛化性、公平性等。

 

　　現(xiàn)有研究對(duì)可信人工智能領(lǐng)域中幾大關(guān)鍵性、根本性的瓶頸問題卻少有涉及與探索。這些問題可被總結(jié)為兩個(gè)關(guān)鍵共性問題:如何嚴(yán)謹(jǐn)?shù)亟忉屔疃饶Ｐ退５闹R(shí),以確保深度模型的透明性和可信性?如何探索深度模型表達(dá)能力的理論本質(zhì),從而針對(duì)性地指引深度模型的設(shè)計(jì)與優(yōu)化,從根本上解決深度模型在表達(dá)能力上的缺陷?

 

　　針對(duì)上述瓶頸性問題,我們的科研團(tuán)隊(duì)基于博弈交互理論提出了一套統(tǒng)一的理論體系,做出了一些突破性的嘗試。

 

　　針對(duì)第一個(gè)問題,該體系首先回答了什么是深度模型所建模的知識(shí)點(diǎn)。具體地,將深度模型所建模的知識(shí),數(shù)學(xué)定義為人類可理解、效用可量化的一類符號(hào)化推理規(guī)則,并通過多條公理性質(zhì)驗(yàn)證該符號(hào)化規(guī)則的嚴(yán)謹(jǐn)性。進(jìn)一步,該體系回答了深度模型如何利用知識(shí)做出決策。在理論層面將深度模型的最終決策,精準(zhǔn)地解釋為深度模型所建模的眾多知識(shí)的效用之和。該體系統(tǒng)一了14種對(duì)深度模型知識(shí)的經(jīng)驗(yàn)性解釋方法的內(nèi)在機(jī)理,揭示了這些算法的公共本質(zhì),證明了該理論體系的通用性。

 

　　針對(duì)第二個(gè)問題,該體系初步探索了什么是決定深度模型表達(dá)能力的本質(zhì)因素。第二個(gè)問題是深度學(xué)習(xí)理論的根本問題之一,極富挑戰(zhàn)性。深度模型的表達(dá)能力受眾多指標(biāo)(如深度神經(jīng)網(wǎng)絡(luò)的層數(shù)、參數(shù)數(shù)量等)的復(fù)雜影響。同時(shí),這些指標(biāo)往往是綜合性指標(biāo),蘊(yùn)含了許多與表達(dá)能力無關(guān)的冗余因素。因此很難從這些復(fù)雜的綜合性因素中,提取出影響深度模型表達(dá)能力的本質(zhì)因素。

 

　　為解決此問題,該體系采用了一種新穎的解決思路。該體系發(fā)現(xiàn)和證明了12種提升對(duì)抗遷移性算法具有相同的內(nèi)在機(jī)理,總結(jié)了多種經(jīng)驗(yàn)性的對(duì)抗攻擊算法的內(nèi)在規(guī)律,一定程度上揭示了決定深度模型對(duì)抗遷移性、對(duì)抗魯棒性的本質(zhì)因素。

 

　　在未來的五到十年里,可信人工智能將成為人工智能領(lǐng)域的核心議題之一。它的發(fā)展,有望引領(lǐng)人工智能從當(dāng)前的工程性技術(shù),逐步發(fā)展為具有堅(jiān)實(shí)理論基礎(chǔ)的科學(xué)。如何全面實(shí)現(xiàn)透明可解釋、可控可靠、責(zé)任明晰的可信人工智能,仍需要科技工作者們的大量研究與探索。

　　張拳石,上海交通大學(xué)約翰霍普克羅夫特計(jì)算機(jī)科學(xué)中心長聘教軌副教授,博士生導(dǎo)師,入選國家級(jí)海外高層次人才引進(jìn)計(jì)劃,獲ACM China新星獎(jiǎng)。他于2014年獲得日本東京大學(xué)博士學(xué)位,于2014-2018年在加州大學(xué)洛杉磯分校(UCLA)從事博士后研究,主要研究方向包括機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺。其研究工作主要發(fā)表在計(jì)算機(jī)視覺、人工智能、機(jī)器學(xué)習(xí)等不同領(lǐng)域的頂級(jí)期刊和會(huì)議上(包括IEEE T-PAMI、ICML、ICLR、CVPR、ICCV、AAAI、KDD、ICRA等)。近年來,張拳石在神經(jīng)網(wǎng)絡(luò)可解釋性方向取得了多項(xiàng)具有國際影響力的創(chuàng)新性成果。張拳石承擔(dān)了ICPR 2020的領(lǐng)域主席,CCF-A類會(huì)議IJCAI 2020和IJCAI 2021的可解釋性方向的Tutorial,并先后擔(dān)任了AAAI 2019,CVPR 2019,ICML 2021大會(huì)可解釋性方向的分論壇主席。