Xavier Amatriain，曾經(jīng)是研究員，現(xiàn)在帶領(lǐng)ML和工程團隊

 

　　更新于周一。我曾經(jīng)帶領(lǐng)Quora工程師團隊研究ML/ NLP問題，而Nikhil Dandekar曾在微軟、Foursquare和Quora從事機器學習的相關(guān)工作。

 

　　2016年可以說是“機器學習炒作”的一年。幾乎每個人都在研究機器學習，要么就正打算收購研究機器學習的創(chuàng)業(yè)公司。

 

　　目前來看，“炒作”的原因有很多。你能相信自Google宣布開放采購Tensor Flow才只有一年？TF已經(jīng)成為一個非常成熟的項目，應(yīng)用于多個領(lǐng)域，從藥物發(fā)現(xiàn)到音樂制作都有所涉及。Google并不是唯一一家將自己的ML軟件開源的公司。微軟開源了CNTK，百度推出了PaddlePaddle，亞馬遜剛剛宣布他們將在新的AWS ML平臺上推出MXNet。Facebook同時在維護兩個深度學習的框架：Torch和Caffe。另一方面，Google也支持非常成功的Keras。

 

　　2016年機器學習和人工智能的主要進展是什么？

 

　　除了“炒作”，很多公司也開始支持機器學習開源項目，2016年還出現(xiàn)了機器學習的大量應(yīng)用，這在幾個月前是難以想象的。讓我印象特別深刻的是Wavenet生成的音頻的質(zhì)量。因為過去我也曾經(jīng)研究過類似的問題，所以我對如此高的音頻質(zhì)量會感到驚異。當然還有唇語閱讀的最新進展，視頻識別的偉大應(yīng)用，這些應(yīng)用在不久的將來可能是非常有用的（但也可能是可怕的）。還有Google在機器翻譯方面取得的巨大進步。

 

　　事實上，在過去一年中，機器翻譯并不是機器學習語言技術(shù)中唯一有趣的進步。最近，一些結(jié)合深層順序網(wǎng)絡(luò)和邊信息以產(chǎn)生更豐富語言模型的方法也很有意思。在“神經(jīng)知識語言模型”中，Bengio的團隊將知識圖與RNN結(jié)合，在《大規(guī)模NLP任務(wù)的上下文LSTM模型》中，DeepMind開始轉(zhuǎn)向研究LSTM模型。在建模語言模型的注意力和記憶方面也有許多有趣的成果，比如說在今年ICML中出現(xiàn)的《向我問任何事：NLP的動態(tài)內(nèi)存網(wǎng)絡(luò)》。

 

 

　　此外，我應(yīng)該提及一下2016年在巴塞羅那的NIPS。但很遺憾，我錯過了在我家鄉(xiāng)舉辦的會議。據(jù)我所知，會議上兩個最熱門的話題可能是生成式對抗網(wǎng)絡(luò)（包括Ian Goodfellow非常受歡迎的教程）和概率模型與深度學習的組合。

 

　　我還想說一下我的專業(yè)領(lǐng)域的一些進步：推薦系統(tǒng)。當然，深度學習也影響了這一領(lǐng)域。雖然我仍然不建議將DL作為推薦系統(tǒng)的默認方法，但研究推薦系統(tǒng)是如何大規(guī)模地在實際中應(yīng)用，甚至應(yīng)用在Youtube這樣的產(chǎn)品上還是非常有趣的。也就是說，在該領(lǐng)域有一些有趣的研究與深度學習無關(guān)。今年，ACM Recsys的最佳論文獎授予《用于Top－N推薦的本地項目模型》，這是使用初始無監(jiān)督聚類步驟對稀疏線性方法（即SLIM）的有趣擴展。此外，《用于CTR預(yù)測的現(xiàn)場感知因子分解機器》描述了Criteo CTR預(yù)測Kaggle挑戰(zhàn)的獲勝方法，在ML工具包中，分解機器仍然是一個很好的工具。

 

　　關(guān)于機器學習在過去12個月里的影響和進步的例子，我還能列舉幾個段落。請注意，我甚至還沒有列出任何關(guān)于圖像識別或深加強學習領(lǐng)域的相關(guān)突破，或具體的應(yīng)用，如自動駕駛汽車、聊天機器人或游戲，這些都是在2016年取得的巨大進步。更不要說關(guān)于機器學習是否可能對社會有負面影響的爭論，以及關(guān)于算法偏差和公平性的討論等。

 

　　更新：

 

　　我還應(yīng)該說明，大多數(shù)這些進展可能在幾年前由Schmidhuber出版。但是，至少在今年才刊登在《紐約時報》上！

 

　　Tapabrata Ghosh，深度學習不是炒作。我知道…

 

　　寫于上周六

 

　　我能想到的有：AlphaGo、基于RL的神經(jīng)弓搜索、learning to play in a day、wavenet、pixelCNN ／ RNN、即插即用生成網(wǎng)絡(luò)、StackGAN。我覺得我說得不全，希望其他人能幫我補充一下。

 

　　Corrin Lakeland，在Loyalty工作

 

　　寫于周一

 

　　深度信念網(wǎng)絡(luò)在2016年發(fā)展飛速。之前它很難在實踐中應(yīng)用，但現(xiàn)在多個免費圖書館和教程使得它的應(yīng)用變得非常容易。

 

　　例如，TensorFlow技術(shù)是2015年下半年發(fā)布的，但在整個2016年，公司對該技術(shù)進行了完善。還有，OpenAI最近發(fā)布了平臺“Universe”。

 

　　Andy Kamath，我喜歡機器學習

 

　　寫于周二

 

　　雖然我要說的這個進展不是在2016年，而是在2015年（11月），但我認為它同樣重要。

 

　　Tensorflow開源了。TF是一個機器學習系統(tǒng)，它負責大部分（如果不是全部）Google的ML系統(tǒng)。它在2015年11月5日開源，數(shù)百萬數(shù)據(jù)科學家因此獲得了一個強大的深度學習工具。

 

　　我認為這個進展是最重要的，因為存儲庫現(xiàn)在是Github上排名前20的最有名的存儲庫，擁有超過4萬顆星和18700個請求。事實上，這樣驚人的實用程序是人工智能和機器學習的世界性標志之一，現(xiàn)在它能公開可用是一個相當大的進步。