亞馬遜家的Prime Air無(wú)人機(jī)可以把爆米花送到你手中，其實(shí)Yelp家的EAT24機(jī)器人或許也可以在某一天做到。

 

　　日前，網(wǎng)友@Ryan Lawler發(fā)Twitter消息爆料稱，美國(guó)大眾點(diǎn)評(píng)網(wǎng)Yelp旗下的EAT24機(jī)器人正在舊金山附件的任務(wù)區(qū)內(nèi)取景。也就是說(shuō)，該機(jī)器人還處于測(cè)試中，還沒(méi)有開始正式工作。

 

　　我們通常都會(huì)學(xué)習(xí)前輩或大牛的經(jīng)典作品，而引用次數(shù)自然也成為了論文的一個(gè)重要標(biāo)桿。在GitHub上，@Terryum整理了一份精心編寫的論文推薦列表，其中包含了在深度學(xué)習(xí)領(lǐng)域中引用次數(shù)最多的前100篇論文（自2012年起）。囿于篇幅限制，雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))整理編譯了理解/泛化/遷移領(lǐng)域的七篇論文，并增加了論文的概要，方便讀者快速了解。

 

　　有一些深度學(xué)習(xí)論文，無(wú)論它們屬于哪個(gè)應(yīng)用領(lǐng)域，都值得仔細(xì)研習(xí)。文章在精不在多，雷鋒網(wǎng)提供的這些文章，都被認(rèn)為是值得一讀的優(yōu)秀論文。

 

　　背景

 

　　除此列表之外，還有一些優(yōu)秀的深度學(xué)習(xí)論文推薦列表，比如《Deep Vision》,《Awesome Recurrent neural networks》和《Deep Learning Papers Reading Roadmap》。其中《Deep Learning Papers Reading Roadmap》是一個(gè)適合深度學(xué)習(xí)初學(xué)者的論文推薦列表，包含了很多重要的論文，被很多深度學(xué)習(xí)的研究者所喜愛，但是想要讀完其中包含的所有論文還是有一定難度的。正如我在介紹中提到的一樣，任何應(yīng)用領(lǐng)域的開創(chuàng)性工作都會(huì)讓我們受益匪淺。因此，我將介紹前一百篇深度學(xué)習(xí)論文，作為概述深度學(xué)習(xí)研究的起點(diǎn)。

 

　　評(píng)選標(biāo)準(zhǔn)

 

　　入選論文的發(fā)表年份限于2012年至2016年間

 

　　每當(dāng)一篇新的論文入選此列表(通常從《More  Papers from 2016》選擇)，那么就會(huì)有另一篇論文被淘汰，確保始終只提供前100篇論文。（選擇淘汰論文的工作與選擇加入的工作同樣重要）

 

　　有一些沒(méi)有入選的重要論文，將會(huì)在《More than Top 100》中陳列

 

　　對(duì)于2012年前或者近六個(gè)月發(fā)表的論文，請(qǐng)參考《New Papers and Old papers》

 

　　(引用標(biāo)準(zhǔn))

 

　　按論文發(fā)表的時(shí)間：

 

　　<6 個(gè)月: 新論文（經(jīng)討論決定）

 

　　2016年 : 引用次數(shù)大于60次或者入選了《More Papers from 2016》

 

　　2015年 : 引用次數(shù)大于200次

 

　　2014年 : 引用次數(shù)大于400次

 

　　2013年 : 引用次數(shù)大于600次

 

　　2012年 : 引用次數(shù)大于800次

 

　　~2012年 : 舊論文（經(jīng)討論決定）

 

　　注意：我們優(yōu)先選擇學(xué)術(shù)領(lǐng)域而不是應(yīng)用領(lǐng)域的開創(chuàng)性論文，入選的論文影響力相對(duì)較大，也更加適用于其他研究匱乏的學(xué)術(shù)領(lǐng)域，因此有些滿足評(píng)選標(biāo)準(zhǔn)的論文沒(méi)有被選中，而有些選中了。

 

　　論文集目前包括以下幾個(gè)分類：理解/泛化/遷移、最優(yōu)化/訓(xùn)練技巧、無(wú)監(jiān)督學(xué)習(xí)/生成模型等十個(gè)子類，本篇文章只簡(jiǎn)單對(duì)理解/泛化/遷移的論文進(jìn)行介紹。

 

　　理解/ 泛化/ 遷移

 

　　對(duì)于大型的機(jī)器學(xué)習(xí)任務(wù)，通常在訓(xùn)練階段和應(yīng)用階段會(huì)使用相似的模型。為了使特征提取更容易，我們?cè)敢庥?xùn)練一個(gè)相對(duì)復(fù)雜的模型，甚至是訓(xùn)練幾個(gè)模型的集合。一旦這樣的集合模型訓(xùn)練完成，使用一種叫做“壓縮”的技術(shù)把復(fù)雜模型的知識(shí)轉(zhuǎn)化到一個(gè)較小的模型中以便應(yīng)用模型使用。Caruana曾經(jīng)提出過(guò)一種將一個(gè)大的模型集合轉(zhuǎn)化為小的單一模型的方法，來(lái)自谷歌的Geoffrey Hinton, Oriol Vinyals和Jeff Dean三位技術(shù)專家合著了《Distilling the knowledge in a neural network 》，他們改善了Caruana的方法，應(yīng)用了一種不同的壓縮方法并在MNIST數(shù)據(jù)集上取得了驚人的成績(jī)。論文表明，把集合模型中的知識(shí) “壓縮” 到單一模型中可以顯著地改善一種頻繁使用的商業(yè)系統(tǒng)的聲學(xué)模型。

 

 

 

　　深度神經(jīng)網(wǎng)絡(luò) (DNN) 在分類圖片物體的問(wèn)題上達(dá)到了近乎人類的程度，很多人會(huì)有疑問(wèn)，計(jì)算機(jī)視覺(jué)和人類視覺(jué)究竟有何不同？ Anh Nguyen, Jason Yosinski和 Jeff Clune在《Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images 》一文中提出了DNN和人類視覺(jué)的差異，文章認(rèn)為，在面對(duì)人類完全不能辨認(rèn)的圖片時(shí)，DNN很容易被糊弄。文中通過(guò)進(jìn)化算法或者梯度下降方法來(lái)處理圖片，實(shí)驗(yàn)顯示，即使對(duì)于人類無(wú)法辨別的圖片，DNN依然能夠呈現(xiàn)很高的置信度。其中，處理過(guò)后的MNIST數(shù)據(jù)集，DNN的辨別置信度達(dá)到了99%，而辨別ImageNet數(shù)據(jù)集的置信度則相對(duì)較低些。

 

 

 

　　很多深度神經(jīng)網(wǎng)絡(luò)在分類自然圖片時(shí)都表現(xiàn)出了同一種奇怪的現(xiàn)象，它們?cè)诘谝粚泳W(wǎng)絡(luò)層學(xué)習(xí)的特征與Gabor 濾波器和Color blobs很像，無(wú)論選擇怎樣的數(shù)據(jù)集和損失函數(shù)，似乎這樣的第一層特征都會(huì)出現(xiàn)，具有普遍性。另外，我們知道訓(xùn)練的網(wǎng)絡(luò)最后一層的特征與選擇的數(shù)據(jù)集和訓(xùn)練任務(wù)緊密相關(guān)，具有特殊性。網(wǎng)絡(luò)層的特征在訓(xùn)練過(guò)程中會(huì)由一般轉(zhuǎn)變?yōu)樘厥?，但是目前這種轉(zhuǎn)變過(guò)程還沒(méi)有研究的很透徹。由Jason Yosinski, Jeff Clune, Yoshua Bengio和Hod Lipson合著的《How transferable are features in deep neural networks? 》通過(guò)實(shí)驗(yàn)量化了深度卷積神經(jīng)網(wǎng)絡(luò)每一層中的神經(jīng)元的普遍性和特殊性。實(shí)驗(yàn)表明，有兩個(gè)因素會(huì)造成遷移特征的性能下降：高層特征本身的特殊性；由于在協(xié)同工作的相鄰網(wǎng)絡(luò)層之間進(jìn)行分割造成的優(yōu)化困難。另外，實(shí)驗(yàn)觀察了這兩個(gè)因素在不同遷移方式下的表現(xiàn)，量化了因訓(xùn)練任務(wù)不同而改變的遷移差異性變化，結(jié)果表明，即使是從完全不同的訓(xùn)練任務(wù)遷移過(guò)來(lái)的特征，表現(xiàn)的性能都要優(yōu)于隨機(jī)設(shè)置權(quán)重的網(wǎng)絡(luò)。另外，實(shí)驗(yàn)表明，即使是進(jìn)行微調(diào)參，使用遷移的特征還是可以提高泛化性能，這可以作為提高深度神經(jīng)網(wǎng)絡(luò)性能的有效手段。

 

 

 

　　已有研究表明從卷積神經(jīng)網(wǎng)絡(luò)中提取出的通用描述符是非常有用的，從CNN網(wǎng)絡(luò)中學(xué)習(xí)到的通用特征，可以成功應(yīng)用于其他的識(shí)別任務(wù)?！禖NN Features off-the-shelf: an Astounding Baseline for Recognition》再次證明了這一點(diǎn)，論文作者Ali Sharif Razavian等進(jìn)行了一系列實(shí)驗(yàn)，使用已有的OverFeat網(wǎng)絡(luò)加上簡(jiǎn)單的分類器SVM，來(lái)處理不同種類的識(shí)別任務(wù)，包括物體對(duì)象識(shí)別，場(chǎng)景識(shí)別，精細(xì)分類，屬性檢測(cè)，圖像檢索，OverFeat+SVM在這些任務(wù)上都表現(xiàn)出了非常優(yōu)異的性能。結(jié)果表明，卷積網(wǎng)絡(luò)獲得的特征可作為大多數(shù)視覺(jué)識(shí)別任務(wù)的首選。

 

 

 

　　CNN模型的訓(xùn)練過(guò)程，相當(dāng)于在擁有大量標(biāo)簽過(guò)的圖片樣本的情況下，估算百萬(wàn)個(gè)參數(shù)的值。CNN的這一性質(zhì)使得它無(wú)法在訓(xùn)練數(shù)據(jù)有限的情況下使用，由Maxime Oquab, Leon Bottou，Ivan Laptev，Josef Sivic等人合著的《Learning and transferring mid-Level image representations using convolutional neural networks 》展現(xiàn)了使用大規(guī)模標(biāo)簽數(shù)據(jù)集和CNN模型訓(xùn)練過(guò)的圖片表征，可以有效地應(yīng)用到其他的視覺(jué)識(shí)別任務(wù)上。論文設(shè)計(jì)了一種方法，在ImageNet數(shù)據(jù)集訓(xùn)練過(guò)的網(wǎng)絡(luò)層可以重用，用于計(jì)算PASCAL數(shù)據(jù)集的中層圖片表征。

 

 

　　來(lái)自紐約大學(xué)的Matthew D. Zeiler和Rob Fergus合著了《Visualizing and Understanding Convolutional Networks》，這篇論文解釋了為什么很多CNN模型在ImageNet上表現(xiàn)優(yōu)異并介紹了如何提升這些模型的性能。論文引入了一種新的可視化技術(shù)展示中間層特征函數(shù)和分類器的操作?？梢暬沟梦覀兛梢哉业竭@些在ImageNet分類基準(zhǔn)中比Krizhevsky模型表現(xiàn)更好的模型結(jié)構(gòu)。

 

 

　　對(duì)于一個(gè)大的, 固定的物體的識(shí)別任務(wù)，在全監(jiān)督學(xué)習(xí)中訓(xùn)練過(guò)的深度卷積網(wǎng)絡(luò)的激勵(lì)層提取出來(lái)的特征，是否能夠在新的通用任務(wù)中再利用?《DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition》一文討論了這個(gè)問(wèn)題。論文中調(diào)查并可視化了不同任務(wù)的深度卷積特征的語(yǔ)義聚類，比較了不同網(wǎng)絡(luò)層次的效果來(lái)定義固定特征。報(bào)告的新成果明顯優(yōu)異于目前在視覺(jué)任務(wù)挑戰(zhàn)中表現(xiàn)的最優(yōu)水平。

 

　　某種程度上，這一測(cè)試也說(shuō)明，我們距離用機(jī)器人送外賣的日子似乎不遠(yuǎn)了。以后，EAT24可能會(huì)成為用戶的外賣機(jī)器人。

 

　　對(duì)此，Yelp并未置評(píng)。

 

　　網(wǎng)友疑問(wèn)多多

 

　　自網(wǎng)上關(guān)于EAT24外賣機(jī)器人的照片流出后，就引起了眾多網(wǎng)友的熱烈討論。很多網(wǎng)友認(rèn)為，這會(huì)讓舊金山發(fā)生大擁堵。

 

　　還有網(wǎng)友認(rèn)為這不現(xiàn)實(shí)。如果用這些機(jī)器人送外賣，他們的“存活率”不會(huì)高在哪里。想想帝都那些被破壞的自行車，這些載著美食的小巧外賣機(jī)器人能逃過(guò)美國(guó)人的魔爪，尤其是那些流浪漢？這樣看來(lái)，這位網(wǎng)友說(shuō)的還是蠻有道理的。

 

　　另外，對(duì)這些外賣機(jī)器人的監(jiān)管也存在很大的問(wèn)題。如果這些外賣機(jī)器人大批上路后，與行人、車輛發(fā)生摩擦，該如何解決？

 

　　據(jù)報(bào)道，EAT24的這些機(jī)器人是由Marble公司提供。該公司由一群來(lái)自蘋果、谷歌等公司的電氣工程師創(chuàng)建。

 

　　提供更好的服務(wù)？

 

　　2004年，Yelp成立于美國(guó)舊金山。2012年，公司在紐交所上市。目前，Yelp已經(jīng)成長(zhǎng)為美國(guó)最大的點(diǎn)評(píng)網(wǎng)站。

 

　　與中國(guó)的點(diǎn)評(píng)網(wǎng)站類似，Yelp網(wǎng)站也提供包括美食、購(gòu)物、酒店、旅游等各種服務(wù)。同時(shí)，用戶可以在網(wǎng)站上對(duì)商戶打分、評(píng)論、交流等。

 

　　從Yelp的財(cái)報(bào)來(lái)看，2014年Q1-2016年Q4，公司的營(yíng)收一直從7640萬(wàn)美元漲到1.95億美元。從收入結(jié)構(gòu)來(lái)看，主要由廣告營(yíng)收、交易營(yíng)收、品牌營(yíng)收、訂閱及其他服務(wù)構(gòu)成。其中，廣告營(yíng)收是公司最主要的收入來(lái)源。2016年Q4，廣告營(yíng)收占總營(yíng)收的90.60%。從這一數(shù)據(jù)來(lái)看，公司收入單一，而且嚴(yán)重依賴廣告收入。

 

　　雖然公司目前的營(yíng)收增長(zhǎng)情況良好，但其面臨的壓力不少。尤其是在廣告業(yè)務(wù)方面，公司不僅要應(yīng)對(duì)傳統(tǒng)的廣告公司，還要面對(duì)Groupon、Foursquare等公司的競(jìng)爭(zhēng)。而且后者基于團(tuán)購(gòu)和LBS的服務(wù)更受消費(fèi)者青睞。但Yelp推出的Yelp Deals團(tuán)購(gòu)服務(wù)卻遭遇了挫折，這也成為投資人不看好公司的原因之一。

 

　　另外，公司的基本盈利模式就是在向廣告主“兜售”客戶。然而從財(cái)報(bào)中來(lái)看，2016年Q3-Q4，公司的PC端、移動(dòng)端、APP端、國(guó)際頁(yè)面端的月平均訪用戶問(wèn)量都出現(xiàn)下滑。這對(duì)公司來(lái)說(shuō)確實(shí)不是一個(gè)好消息。

 

　　為了公司的長(zhǎng)遠(yuǎn)發(fā)展，這需要其拿出更好的服務(wù)來(lái)吸引用戶。而從垂直領(lǐng)域的營(yíng)收情況來(lái)看，來(lái)自本地、餐飲領(lǐng)域的收入占比最多。在2016年Q4，這一占比分別達(dá)到30%和15%。而近幾年，公司的收購(gòu)也主要圍繞這兩大領(lǐng)域展開。

 

　　目前，公司已經(jīng)完成6筆收購(gòu)。其中，2015年2月，公司花費(fèi)1.34億美元收購(gòu)了食品訂購(gòu)與速遞公司EAT24。這意味著公司正式進(jìn)軍外賣領(lǐng)域，而且這也是公司最大的一筆收購(gòu)案。

 

　　據(jù)報(bào)道，在當(dāng)時(shí)的Eat24平臺(tái)上，擁有2萬(wàn)家的餐飲服務(wù)商，覆蓋1500多座城市。這次收購(gòu)，不僅可以為Yelp對(duì)接更多的餐飲服務(wù)商，而且可以為公司帶來(lái)更多的營(yíng)收。

 

　　然而，隨著行業(yè)競(jìng)爭(zhēng)的加劇，各家公司都在不斷創(chuàng)新服務(wù)，如通過(guò)無(wú)人機(jī)等來(lái)送食物。在未來(lái)，通過(guò)機(jī)器人來(lái)送外賣或許就是一個(gè)很常態(tài)的事情。在這種情況下，如果EAT24不做創(chuàng)新，那么就會(huì)有DoorDash 或Postmates來(lái)做。