李飛飛表示，無論是動物智能還是機器智能，視覺都是非常重要的技術(shù)。視覺是人腦中最為復(fù)雜的系統(tǒng)，占有大腦中50%的認(rèn)識單位。視覺反應(yīng)速度非常快，只需要150微秒。這使得圖像識別技術(shù)變得非常重要但又十分復(fù)雜。

 

　　過去8年時間，圖像識別的錯誤率降低了10倍。2012年對GPU和深度識別技術(shù)的了解讓這一領(lǐng)域?qū)崿F(xiàn)了突破。但是，在一個圖集中，要獲得數(shù)據(jù)和物體之前關(guān)系的信息依然很難，目前所能做的工作都十分有限。李飛飛所在實驗室正在為攻克這一領(lǐng)域展開新的研究。

 

　　她列舉了一張圖中的算法，這種算法可以預(yù)測不同物體之間的空間關(guān)系，進行對比，了解這種對稱的關(guān)系，然后了解物體之間的動作，以及它們的之間位置關(guān)系。物體之間還能有什么樣的數(shù)據(jù)集，提供一個標(biāo)簽，進行短句子描述。進行進一步了解視覺世界，而不僅僅是一系列的物體名稱，實驗室正在做相關(guān)量化研究。

 

　　以下是李飛飛演講實錄，enjoy：

 

　　今天我給大家?guī)淼氖亲罱囊恍┭芯克悸?，今天我的演講內(nèi)容是關(guān)于視覺智能，動物世界當(dāng)中有很多物種，而且有一種非常了不起，絕大多數(shù)動物都有眼睛，因此視覺是最為重要的一種感觀的方法和認(rèn)知方法，這是在動物的大腦當(dāng)中，幫助動物在世界當(dāng)中生存下來進行溝通，去操控和生存。

 

　　所以我們無論是討論動物智能或者是機器智能的話，視覺是非常重要的基石。世界上所存在的這些系統(tǒng)當(dāng)中，最為了解的一點是我們所知道的人類視覺系統(tǒng)。所以在5億多年前的時候，這個進化已經(jīng)不斷地讓我們的視覺系統(tǒng)不斷地發(fā)展，使得我們的視覺系統(tǒng)非常重要的去理解這個世界，而且這是我們大腦當(dāng)中最為復(fù)雜的系統(tǒng)，而且有50%的大腦當(dāng)中的這些認(rèn)知的單位，都有著最為復(fù)雜、最為高級的感知系統(tǒng)，所以能夠讓我們知道人類的視覺系統(tǒng)非常了不起。

 

　　這是認(rèn)知心理學(xué)家做過的一個最為著名的一個實驗，這也就是告訴大家人類的視覺體系有多么了不起，大家看一下這個視頻，你的任務(wù)是如果看到一個人的話就舉手，這是一個智商測試。所以每個圖景的時間是非常短的，也就是1/10秒，不僅這樣，而且讓大家看一個人的話，并沒有告訴你是什么樣的人，或者他站在哪里，什么樣的姿勢，穿什么樣的衣服，然而大家仍然能很快地識別出這個人。

 

　　1996年的時候，Newl（音譯）教授學(xué)生證明出視覺認(rèn)知能力是人類大腦當(dāng)中最為了不起的能力，因為速度非?？欤掖蟾攀?50微秒，在150微秒之內(nèi)，我們的大腦能夠區(qū)別非常復(fù)雜的圖像。會把非常復(fù)雜的含動物和不含動物的圖像區(qū)別出來，那個時候計算機沒有接近人類的，這種工作激勵著計算機科學(xué)家，希望解決最為基本的問題就是圖像識別問題。

 

　　過了20年到現(xiàn)在，計算機領(lǐng)域和專家也在這個問題上發(fā)明了幾代技術(shù)，這個就是我們所了解到的這些圖集，當(dāng)然也取得了非常大的進展和進步。這張圖表是給大家總結(jié)一下，在過去的幾年當(dāng)中，在分類挑戰(zhàn)當(dāng)中一些標(biāo)志性的項目，橫軸是時間年份，左邊縱軸指的是分類錯誤。我們能夠看到它的錯誤是降低了10倍。8年的時間里錯誤率就降低了十倍，所以這八年當(dāng)中經(jīng)歷了非常大的革命。

 

　　2012年的時候了解了GPU技術(shù)，以及深度識別技術(shù)，幫助世界了解在深層學(xué)習(xí)革命的一個發(fā)展，所以非常令人激動的領(lǐng)域，尤其過去幾十年在人工智能的研究。作為科學(xué)家就會想一下在這個圖集之外，還可以做到什么。

 

　　通過一個例子告訴大家，兩張圖片，包括一個動物和一個人，通過圖像識別來看這兩個圖非常相似，但是他們的故事卻是非常不同的，當(dāng)然你肯定不想在右邊的圖的場景當(dāng)中，我們在這就會出現(xiàn)一個非常重要的問題，就是人們能夠做的，這也是最為重要、最為基礎(chǔ)的一點圖像識別功能，就是識別圖像物體之間的關(guān)系，首先這個輸入是圖像本身，但是我們所輸出的信息包括物體的位置以及物體之間的關(guān)系。當(dāng)然這個領(lǐng)域有一些前期工作，但是絕大多數(shù)工作都是比較有限的。獲得數(shù)據(jù)和物體之間的關(guān)系信息比較有限。

 

　　最近我們的實驗當(dāng)中做了這樣一項工作，開始新的研究，預(yù)測根據(jù)深度學(xué)習(xí)，以及視覺化語言模式了解不同物體之間的關(guān)系。

 

　　這張圖的算法能夠預(yù)測不同物體之間的空間關(guān)系，進行對比，了解這種對稱的關(guān)系，然后了解他們之間的動作，以及他們的之間位置關(guān)系。所以這就是一個更為豐富的方法，了解我們的視覺世界，而不僅僅是一系列的物體名稱，這是我們所做出的一些量化研究。說明我們的工作在不斷地進展和取得進步的。

 

　　一年前的時候，我們知道這個領(lǐng)域發(fā)展非?？?，就是關(guān)于計算機圖像識別方面。我們也知道有很多新的研究已經(jīng)超過了我們的研究成果。

 

　　我們可以看一下，在他們之間的關(guān)系是什么，而且在這個圖像當(dāng)中不同物體的關(guān)系，能夠讓我們?nèi)ジM一步了解這個問題，就是在物體之間還會有什么樣的數(shù)據(jù)集。最開始我們知道有這個形象，非常有限的信息，比如這是一個物體，COCO進一步學(xué)習(xí)，提供一個標(biāo)簽，進行短句子描述，視覺數(shù)據(jù)信息是非常復(fù)雜和非常多的，

 

　　根據(jù)途徑出來一些問答，經(jīng)過三年的研究，我們發(fā)現(xiàn)可以有更為豐富的方法來描述這些內(nèi)容，通過這些不同的標(biāo)簽，描述這些物體，包括他們的性質(zhì)、屬性以及關(guān)系，然后通過這樣的一個圖譜建立起他們之間的聯(lián)系。可以在這看一下這個內(nèi)容。這樣一個數(shù)據(jù)庫當(dāng)中，包括上千個標(biāo)簽，包括屬性和關(guān)系，還有句子、問答信息，在我們這樣一個信息庫當(dāng)中，能夠非常精確地讓我們來進行更加精確的研究，而不僅僅知道物體識別本身。

 

　　我們?nèi)绾蝸砣ナ褂眠@樣的圖表呢？我們做過的一個工作，就是我們看一下這個場景的搜索，大家無論在百度還是在Google搜索中，搜索過圖像或者圖集，比如可以輸入穿西裝的男性，可以展現(xiàn)出很多的圖，如果輸入可愛的小狗的話，有很多類似的圖會出現(xiàn)，這一點非常好。同時看一下他們解決了什么問題呢？是否解決了圖像搜索的問題呢？我們輸入一個句子，男性穿著西裝，抱著可愛的小狗，瞬間結(jié)果不是特別好了。絕大多數(shù)搜索引擎的這種算法，在搜索圖像的時候，可能很多還是僅僅使用物體本身的信息，他們只是簡單地了解這個圖有什么物體，但是這是不夠的。

 

　　如果我想搜索一個坐在椅子上的男性的話，如果物體本身給我們一個人形象或者椅子形象再能加上更多的屬性，加上更多的信息，這個結(jié)果就會更好一些。

 

　　2015年的時候，我們開始去探索一種新的呈現(xiàn)方法，我們可以去輸入非常長的描述性的段落，放到大型的數(shù)據(jù)庫當(dāng)中，然后來把它和我們的圖像進行對比，我們通過這種算法能夠幫助我們進行很好的搜索，這就遠(yuǎn)遠(yuǎn)地超過了我們在今天的這個圖像搜索技術(shù)當(dāng)中所看到的結(jié)果。

 

　　這個看起來非常好，但是大家會有一個問題，在哪里能夠找到這些場景圖像呢？確實非常復(fù)雜，而且很難幫助我們構(gòu)建起一個場景圖，所以我們是手動地去構(gòu)建這樣一個場景，這個過程將會非常繁雜，所以我們下一步的工作，我們就是希望能夠出現(xiàn)自動地產(chǎn)生場景圖的一個技術(shù)。所以我們有這樣一個自動的系統(tǒng)，當(dāng)然是通過這種迭代的信息傳遞的模式，而且使用這種深度學(xué)習(xí)的呈現(xiàn)方法，當(dāng)然太細(xì)節(jié)的內(nèi)容在這不給大家講了，但是要給大家傳遞的一個重要信息。我們今年夏天的時候的一個成果就是我們這個方法在場景圖這方面的搜索成果是比現(xiàn)行的激活技術(shù)要更好的。

 

　　通過這樣一種場景圖，會給我們提供一個四層的過程，而且讓我們更好地了解場景信息，但是還是不夠的。而且實際上到現(xiàn)在為止，我們僅僅探索了認(rèn)知心理學(xué)家所討論的一個概念，人們在一眼之中能夠看到什么樣的內(nèi)容，有什么樣的概念，人們只要看一眼就能看出整個圖像當(dāng)中的故事，所以我們要去看一下，這種只看一下圖就能夠了解它主要信息的能力是什么呢？在我之前，曾經(jīng)做過一個研究，就是希望人們能夠告訴我們，你看到了這個圖的時候看到了什么內(nèi)容，所以這是我們的實驗場景，實驗人員坐在電腦屏幕面前，給它非常簡短地看一些圖像，然后很快地去看另外的一個圖像，去遮蓋之前留下的印象。他們需要打印出自己所看到的所有內(nèi)容，做這個工作給他們付10美元，現(xiàn)在不給大家一小時10美元，大家可以實驗一下這個感覺，如果你是參加我的實驗人員的話。

 

　　在這個圖當(dāng)中其實很快能夠被一張簡單的途徑去蓋掉，很短的呈現(xiàn)時間，只有27微妙，27微妙相當(dāng)于是1/40秒，簡單圖形的時間是半秒的時間，是更長的，人們還是能夠很好地理解場景信息，基本上是很短的時間。如果我給的實驗費用更高的話，大家甚至能做的更好。在這個語言當(dāng)中有非常豐富的元素，不僅僅看到圖像當(dāng)中的物體是什么，他們的關(guān)系是什么，而且有更多的內(nèi)容。

 

　　2015年開始，我們有另外一個概念，叫做LSTM，他們希望把語言之間關(guān)系建立起來，我們在電腦當(dāng)中給他們一個圖像，能夠描述，穿橙色工作服的工人站在路上工作，或者穿黑色T恤的男士在彈吉他，不僅僅用簡短的句子描述圖形，所以后來進行進一步的工作，就是深度捕獲?？疵總€短句，描述一個部分，然后描述圖像的場景。

 

　　除了這個之外，我們今年所做的工作，我們希望把這些圖像要用這些短語，讓它成為小短的句子，成為一個小段落，給了更多的內(nèi)容，而且和認(rèn)知心理學(xué)家所做的實驗當(dāng)中，人類的描述結(jié)果是非常接近的。但是我們并沒有只停于這里，在上個周的ICCB的上面展示了一個視頻，非常豐富的研究區(qū)域，很多網(wǎng)絡(luò)上的視頻，有各種各樣的數(shù)據(jù)形式，了解這些視頻是非常重要的。在里面可以描述更長故事的片段，用同樣的模型可以這樣做，可以把時間的元素加入到里面。

 

　　這就是一個例子，大家可以看一下，可以看到視頻是在進行著的，我們也可以去描述每一個部分是怎么樣的。

 

　　這是另外一個例子，也是描述了這個演員正在做的這些事情，差不多大家能明白什么意思了。

 

　　另外一個部分，除了簡單的認(rèn)知以外就是推理，推理可以讓我們能夠回到人工智能的最初，在20世紀(jì)七八十年代的時候，人工智能的先驅(qū)們，用了很多推理，斯坦福大學(xué)的一個教授也是把他的研究稱為一個塊狀的世界，這里面涉及到很多的深度推理。藍(lán)色還是不錯的，喜歡這些藍(lán)色的塊狀，不喜歡紅色的塊狀，不喜歡支撐三角形的東西，到底喜歡不喜歡灰色的盒子呢？所以這里有很多推理需要去做的，然后夠得出一個正確的答案。

 

　　當(dāng)然時間過得很快，不能講的特別詳細(xì)，但是我們在實驗室里也是用了這些簡單的工具，來描述這樣一個分塊狀的世界。這里面也有很多的問答列表，每個問答列表都是涉及到推理的過程當(dāng)中，最關(guān)鍵的一些環(huán)節(jié)，包括空間的一些關(guān)系，一些邏輯關(guān)系，在這里面也有一些問答例子。

 

　　去年，我們也是把這些智能的問答集做成了這樣一個系統(tǒng)，人類能做多少，機器能做多少，在準(zhǔn)確上面的一個對比。我們到底怎么能夠做得更好呢？這也是最近我們做的一個工作，在ICCB發(fā)表的。我們用了一個新的程序去做，在我們的算法里面，我們把這些問題輸入進來，然后把程序進行一些協(xié)調(diào)，還有執(zhí)行的引擎，用預(yù)測的一些程序進行執(zhí)行的處理。通過這樣一個算法，我們可以看到這些學(xué)習(xí)的準(zhǔn)確率。

 

　　有哪些學(xué)習(xí)模塊呢？首先判斷到底這些物體形狀怎么樣，這些紫色是什么樣的，這是一個更加復(fù)雜的，就是在灰色的這些模塊旁邊，有多少發(fā)光的這些物體？得出的結(jié)果是2。

 

　　我給大家分享的就是一系列的工作，有哪些能夠超越我們視覺的一些途徑，其實我們在了解到場景，還有其他的一些要素，對于整個的認(rèn)知會產(chǎn)生什么樣的影響，除了這個情景、視覺、語言，還有很多推理等等，這些都是很重要的。

 

　　最后，用這張圖來結(jié)束，這是20周大的一個小女孩，隨著她的認(rèn)知世界的發(fā)展，她通過很多游戲，她也可以通過畫畫以及各種玩具，來和世界建立認(rèn)知，這是認(rèn)知視覺的智能，對于我們的理解、交流、協(xié)作、互動等等，視覺智能都是非常非常關(guān)鍵的，讓我們開始探索這個世界。