另外一點(diǎn)是，神經(jīng)系統(tǒng)是有分層的（比如視覺系統(tǒng)有 V1, V2 等等分層），但是層數(shù)不可能像現(xiàn)在的大型神經(jīng)網(wǎng)絡(luò)一樣動(dòng)不動(dòng)就成百上千層（而且生物學(xué)上也不支持如此，神經(jīng)傳導(dǎo)速度很慢，不像用 GPU 計(jì)算神經(jīng)網(wǎng)絡(luò)一層可能在微秒量級(jí)，生物系統(tǒng)傳導(dǎo)一次一般在 ms 量級(jí)，這么多層數(shù)不可能支持我們現(xiàn)在這樣的反應(yīng)速度，并且同步也存在問題）。

 

　　但是有趣的是，目前大多數(shù)研究指出，大腦皮層中普遍存在一種稱為 Cortical minicolumn 的柱狀結(jié)構(gòu)，其內(nèi)部含有上百個(gè)神經(jīng)元，并存在分層。這意味著人腦中的一層并不是類似現(xiàn)在神經(jīng)網(wǎng)絡(luò)的一層，而是有復(fù)雜的內(nèi)部結(jié)構(gòu)。

 

　　不過 Hinton 也沒有料到后來 CNN 發(fā)展的如此火，他當(dāng)時(shí)的這篇論文沒有怎么受到關(guān)注。這幾年他也沒有繼續(xù)關(guān)注這個(gè)問題，因?yàn)?CNN，LSTM, NTM 等等問題太多太有趣。

 

　　不過到現(xiàn)在，CNN 的發(fā)展似乎到了一個(gè)瓶頸：特別大，特別深的網(wǎng)絡(luò)；容易被對(duì)抗樣本欺騙；仍然需要大量訓(xùn)練數(shù)據(jù)；無監(jiān)督學(xué)習(xí)方面進(jìn)展很少。

 

　　Hinton 在題主給的視頻中重新分析了一下目前 CNN 的問題，主要集中在 Pooling 方面（我認(rèn)為可以推廣到下采樣，因?yàn)楝F(xiàn)在很多 CNN 用卷積下采樣代替 Pooling 層）。Hinton 認(rèn)為，過去人們對(duì) Pooling 的看法是能夠帶來 invariance 的效果，也就是當(dāng)內(nèi)容發(fā)生很小的變化的時(shí)候（以及一些平移旋轉(zhuǎn)），CNN 仍然能夠穩(wěn)定識(shí)別對(duì)應(yīng)內(nèi)容。

 

　　Hinton 覺得這是一個(gè)錯(cuò)誤的方向。他給出了一個(gè)心理學(xué)實(shí)驗(yàn)的例子，這個(gè)例子要求判斷兩個(gè) R 是否是一樣的，僅僅因?yàn)樾D(zhuǎn)導(dǎo)致不同：

　?。◣缀跛校┤说淖龇ㄊ窍乱庾R(shí)的旋轉(zhuǎn)左側(cè)的 R，“看” 它們是否重合。

 

　　但是按照 CNN 的 invariance 的想法完全不是這么做。如果你對(duì)訓(xùn)練神經(jīng)網(wǎng)絡(luò)有經(jīng)驗(yàn)，你可能會(huì)想到我們?cè)谧鰣D像預(yù)處理和數(shù)據(jù)拓增的時(shí)候，會(huì)把某些圖片旋轉(zhuǎn)一些角度，作為新的樣本，給神經(jīng)網(wǎng)絡(luò)識(shí)別。這樣 CNN 能夠做到對(duì)旋轉(zhuǎn)的 invarience，并且是 “直覺上” 的 invariance，根本不需要像人那樣去旋轉(zhuǎn)圖片，它直接就 “忽視” 了旋轉(zhuǎn)，因?yàn)槲覀兿Ｍ鼘?duì)旋轉(zhuǎn) invariance。

 

　　CNN 同樣強(qiáng)調(diào)對(duì)空間的 invariance，也就是對(duì)物體的平移之類的不敏感（物體不同的位置不影響它的識(shí)別）。這當(dāng)然極大地提高了識(shí)別正確率，但是對(duì)于移動(dòng)的數(shù)據(jù)（比如視頻），或者我們需要檢測(cè)物體具體的位置的時(shí)候，CNN 本身很難做，需要一些滑動(dòng)窗口，或者 R-CNN 之類的方法，這些方法很反常（幾乎肯定在生物學(xué)中不存在對(duì)應(yīng)結(jié)構(gòu)），而且極難解釋為什么大腦在識(shí)別靜態(tài)圖像和觀察運(yùn)動(dòng)場(chǎng)景等差異很大的視覺功能時(shí)，幾乎使用同一套視覺系統(tǒng)。

 

　　因此 Hinton 認(rèn)為，人腦做到的是 equivariance ，也就是能夠檢測(cè)到平移、選轉(zhuǎn)等等各種差異，但是能夠 “認(rèn)識(shí)” 到他們?cè)谀承┮曈X問題場(chǎng)景下是相同的，某些場(chǎng)景下應(yīng)該有所區(qū)別，而不是像 CNN 一樣為了追求單一的識(shí)別率，用 invariance 掩蓋這些差異。

 

　　于是 Hinton 重新開始關(guān)注 Capsules 的問題，希望從中有所突破，解決之前深度學(xué)習(xí)中的很多問題。如果確實(shí)能夠解決這些問題，Hinton 有勇氣完全拋棄之前的體系結(jié)構(gòu)，從 0 開始。

 

　　這是 Hinton 最近被 NIPS 接受的關(guān)于 Capsules 論文 Dynamic Routing between Capsules （未發(fā)表） https://research.google.com/pubs/pub46351.html 。其在 MNIST 上非常成功，識(shí)別率達(dá)到了新高，同時(shí)解決了 CNN 難以識(shí)別重疊圖像等問題。

 

　　注：上文中 equivalence 改為了 equivariance，這是更準(zhǔn)確的說法

 

 

　　雖然現(xiàn)在只有論文摘要，以及 Hinton 最近的視頻，我們還是可以分析一下 Hinton 的想法和追求：

 

 

　　按照 Hinton 的說法， Capsule 是一組神經(jīng)元，這組神經(jīng)元的激發(fā)向量可以代表對(duì)應(yīng)于一類實(shí)體（比如一個(gè)物體，或者一個(gè)物體的部件）的實(shí)例參數(shù)（ instantiation parameters ）。這個(gè)說法非常像 Hinton 曾經(jīng)提的 “專家積”（Products of Experts）[1] 的概念，他用這個(gè)概念解釋著名的對(duì)比散度（contrastive divergence）算法 [2]。更為人熟知的是 Andrew Y. Ng 的關(guān)于自動(dòng)從視頻中識(shí)別貓臉的實(shí)驗(yàn) [3]，這些實(shí)驗(yàn)都暗示了某個(gè)神經(jīng)元可以代表代表某些物體實(shí)例（祖母細(xì)胞假說）。但是我們知道，某個(gè)神經(jīng)元自身是個(gè)簡單的數(shù)學(xué)變換，其自身不能起到?jīng)Q定性的作用。CNN 等能夠自動(dòng)抽取圖像特征等等性質(zhì)已經(jīng)為人熟知，但是到底是哪些神經(jīng)元或者哪些結(jié)構(gòu)起了作用？這個(gè)很難回答?，F(xiàn)代大多數(shù)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是相對(duì)整體且比較粗糙的，很難解釋其內(nèi)部的具體作用機(jī)制，因此我們常常把神經(jīng)網(wǎng)絡(luò)稱為 “黑盒模型”。現(xiàn)在有了 Capsule 后，我們或許可以以 Capsule 為單位分析得出每個(gè) Capsule 具體的作用，這樣可解釋性要強(qiáng)很多。

 

　　注：從視頻中看 Hinton 所說的 instantiation parameters 應(yīng)該是指表征以下內(nèi)容的參數(shù)：

 

　　1. 某類物體出現(xiàn)的概率

 

　　2. 物體的一般姿態(tài) （generalized pose），包括位置，方向，尺寸，速度，顏色等等

 

 

　　這是 Hinton 在視頻中重點(diǎn)提到的，也是很多機(jī)器學(xué)習(xí)專家關(guān)心的東西。現(xiàn)在的神經(jīng)網(wǎng)絡(luò)缺乏某種 “推斷” 的機(jī)制，更多是目標(biāo)函數(shù)最大化下的函數(shù)擬合。我們知道網(wǎng)絡(luò)能夠正確分類某個(gè)圖片，但是為什么？圖片中什么部分或者條件才導(dǎo)致網(wǎng)絡(luò)得出這個(gè)結(jié)論？如果分類出錯(cuò)了，又是什么具體的部分或者條件誤導(dǎo)了它？這些我們都不是非常清楚，大部分時(shí)候僅僅靠調(diào)參提高結(jié)果。而論文中 Dynamic Routing，就是希望能夠形成一種機(jī)制，讓網(wǎng)絡(luò)能夠?qū)⑦m合 Capsule_A 處理的內(nèi)容，路由到 Capsule_A 讓其處理。這樣就形成了某種推斷鏈。 “找到最好的（處理）路徑等價(jià)于（正確）處理了圖像” ，Hinton 這樣解釋。

 

　　Hinton 指出，原先的 Pooling，類似于靜態(tài)的 routing，僅僅把上面的結(jié)果原地交給下面一層的神經(jīng)元。（下面圖片中 Dynamic Routing 僅供示意，具體實(shí)現(xiàn)要看發(fā)表出來的論文）

 

　　這點(diǎn)也是 Hinton 強(qiáng)調(diào)的（原話似乎是 A human does not know so much labels）。Hinton 估計(jì)有在 Capsule 基礎(chǔ)上做無監(jiān)督研究的意向，在之前的 [4] 中 Hinton 已經(jīng)用 Capsule 實(shí)現(xiàn)了自編碼器。

 

　　如何看待 Hinton 重新提出的 Capsule ?

 

　　首先這個(gè)工作成功或者不成功都是很正常的，就算 Capsule 真的會(huì)成為以后的趨勢(shì)，Hinton 也未必這么快找到正確的訓(xùn)練算法；就算 Hinton 找到了正確的訓(xùn)練算法，也沒有人能夠保證，Capsules 的數(shù)量不到人腦中 mini-columns 數(shù)量的時(shí)候，能夠起達(dá)到人類的識(shí)別率（何況現(xiàn)在 CNN 雖然問題很多，但是識(shí)別率很多已經(jīng)超過人類了）。

 

　　另外看之前的關(guān)于 Capsules 的論文 [4]，其中的結(jié)果在 2011 年還是不錯(cuò)的，但是相比近年來的 CNN 就差多了，這恐怕也是 Capsules 隨后沒有火起來的原因。很多人都吐槽現(xiàn)在深度學(xué)習(xí)各種各樣的問題，需要大量調(diào)參，但是每次調(diào)參都能有一大批人在論文發(fā)表 deadline 前調(diào)到想要的效果，這個(gè)也不得不服??；不服你用 SIFT 給你一年調(diào)到一樣的效果試試？

 

　　或許最糟的結(jié)果是，如同分布式存儲(chǔ)中著名的 CAP 理論（又叫 Brewer's theorem）所述，一致性，可用性和分片性三者不能同時(shí)滿足；或許對(duì)于機(jī)器學(xué)習(xí)，正確率，可解釋性，因果性也不能同時(shí)滿足（最好的模型必然最難理解）。Hinton 晚年試圖突破深度學(xué)習(xí)就像愛因斯坦晚年試圖統(tǒng)一電磁力和引力一樣，是注定無法成功的。不過相信 Hinton 仍然愿意等下去，畢竟從反向傳播提出，到深度學(xué)習(xí)的火爆，Hinton 已經(jīng)堅(jiān)守了 30 年了。

 

　　評(píng)論中有人提到，人工神經(jīng)網(wǎng)絡(luò)不必非要按照生物的路子走。我想 Hinton 重提 Capsule 的原因不只是因?yàn)?Capsule 在生物學(xué)上有支持，而是其有可以實(shí)施 dynamic routing 算法等的優(yōu)良性質(zhì)，Hinton 在其上看到了一些可能的突破點(diǎn)。

 

　　最早的神經(jīng)網(wǎng)絡(luò)作為感知機(jī)出現(xiàn)的時(shí)候是按照 Hebb's rule 學(xué)習(xí)的，可以說是非常生物了。正是 Hinton 和 LeCun 搞出脫離生物模型的反向傳播算法，以及 Hinton 后來基于熱力學(xué)統(tǒng)計(jì)做的玻爾茲曼機(jī)和受限玻爾茲曼機(jī)以及配套的對(duì)比散度算法，才有了深度學(xué)習(xí)的今天。