2018年，一切可能都會發(fā)生戲劇性的變化。
深度學習在2017年取得的那些不可思議的突破，將在2018年全面爆發(fā)。去年大量研究工作將轉(zhuǎn)移到日常的軟件應用中。
跟去年一樣，我也將對2018年的深度學習發(fā)展方向展開預測。
1、多數(shù)深度學習硬件創(chuàng)業(yè)公司都將失敗
許多深度學習硬件創(chuàng)業(yè)公司將在2018年最終交付他們的芯片。這些都是半成品，因為他們會忘記提供優(yōu)秀的軟件來支持這些新解決方案。這些公司的DNA都在于硬件。不幸的是，在深度學習領域，軟件同樣重要。這些創(chuàng)業(yè)公司大多不懂軟件，也不了解開發(fā)軟件的成本。這些公司可能會提供芯片，但卻沒有任何東西會在這些芯片上運行。
采用收縮陣列解決方案是一種較易達成的目標，目前已經(jīng)被采用，所以我們不會像在2017年那樣看到很多10倍規(guī)模的性能升級。研究人員不僅會用這些Tensor Core進行推理，還可以加快訓練速度。
英特爾的解決方案將繼續(xù)推遲，可能會令人失望。記錄表明，英特爾無法在2017年年中發(fā)布這款產(chǎn)品，誰也無法預測該公司何時能推出這款產(chǎn)品。如果為時已晚，那就只能變成一顆啞彈。
谷歌將繼續(xù)憑借TPU的開發(fā)給世界帶來驚喜。谷歌或許會進入硬件業(yè)務，將其知識產(chǎn)權(quán)授權(quán)給其他半導體廠商。如果它繼續(xù)成為除了英偉達以外唯一一個真正的參與者，這種做法將很有意義。
2、元學習將成為新的SGD
2017年，元學習領域涌現(xiàn)出很多意義重大的研究。隨著研究界對元學習的理解整體得到提升，傳統(tǒng)的隨機梯度下降法（SGD）將被邊緣化，轉(zhuǎn)向更有效的方法，將更具爆發(fā)性和探索性的搜索方法結(jié)合起來。
無監(jiān)督學習的進步將會逐步加快，但主要將受到元學習算法的推動。
3、生成模型推動新型建模
生成模型將具備更多的科學探索意義。目前的多數(shù)研究都是生成圖像和語音。然而，我們應該看到這種方法融合到一些工具之中，用來為復雜的系統(tǒng)建模。其中一個領域是用深度學習建立經(jīng)濟模型。
4、通過自我對局來自動化創(chuàng)建知識
能夠從頭自學的AlphaGo Zero和AlphaZero是一場巨大的飛躍。在我看來，這跟深度學習的出現(xiàn)擁有同等程度的影響力。深度學習發(fā)現(xiàn)了通用函數(shù)近似器。而自學則發(fā)現(xiàn)了通用的知識創(chuàng)造。
預計自學式機器學習還將取得很多進展。
5、有直覺的機器將填補語義鴻溝
這是我最大膽的一項預測。我們將填補有直覺的機器與理性機器之間的語義鴻溝。對偶過程理論（包括兩個認知機器，一個沒有模型，另外一個有模型）將在我們開發(fā)新的人工智能的過程中成為更加流行的概念。人工直覺的概念不再是一個邊緣概念，而是會在2018年成為更為人普遍接受的理念。
6、可解釋性無法實現(xiàn)——我們只能偽造
可解釋性有兩個問題。較為人所知的問題在于，解釋有很多規(guī)則，人類不可能全部掌握。第二個問題不太為人所知，那就是機器會創(chuàng)造很多人類完全陌生且無法解釋的概念。我們已經(jīng)在AlphaGo Zero和AlphaZero的策略中看到這種現(xiàn)象。人類認為這種舉動超出常規(guī)，但它們或許只是沒有能力理解這種行為背后的邏輯而已。
我認為，這是個無法解決的問題。相反，機器將很擅長“偽造解釋”。簡單來說，可解釋的機器的目標是理解人類感到舒適的那些解釋，或者人類在直覺層面能夠理解的解釋。然而，在多數(shù)情況下，都無法對人類完全解釋清楚。
我們需要通過“偽造解釋”來提高深度學習的可解釋性。
7、深度學習研究信息將會大量減少
2017年，人們已經(jīng)很難跟上深度學習研究進度。ICLR 2018大會上提交的論文約有4000篇。研究人員需要一天閱讀10篇論文才能跟上這次大會的進度。
該問題在這一領域還在惡化，因為理論框架在這一過程中都很管用。要在理論上取得進步，就需要找到更先進的數(shù)學方法，讓我們能夠更好地展開分析。這并不容易，原因在于多數(shù)深度學習研究人員都沒有合適的數(shù)學背景，無法理解這些系統(tǒng)的復雜性。深度學習需要研究人員擁有復雜的理論基礎，但這種研究人員實際上卻很少。
由于論文數(shù)量太多，加之糟糕的理論層出不窮，導致我們陷入了如今這個令人不悅的狀態(tài)。
通用人工智能的通用路線圖也有所缺失。理論很薄弱，因此我們能做的就是創(chuàng)造一份路線圖，上面配有很多與人類認知有關(guān)的里程碑。我們只有一個來自認知心理學的純理論框架。這種情況很糟糕，因為這些領域的實踐證據(jù)很匱乏。
深度學習研究論文的數(shù)量可能在2018年增長三四倍。
8、通過教學環(huán)境實現(xiàn)工業(yè)化
想要讓深度學習的發(fā)展更可預測、更易控制，就需要發(fā)展更加具體的教學環(huán)境。我之前有過詳細闡述。如果你想知道教學技術(shù)最為粗糙的表現(xiàn)形式，只需要看看深度學習網(wǎng)絡是如何訓練的即可。我們都會在這一領域看到更多進步。
預計將有更多公司披露他們的內(nèi)部基礎架構(gòu)，從而揭示他們是如何大規(guī)模部署深度學習的。
9、對話式認知崛起
我們評估通用人工智能的方法過于陳舊。需要通過一種新的范式來解決現(xiàn)實世界的復雜動態(tài)。我們未來一年應該看到這一領域出現(xiàn)更多進展。我將在3月1日和2日在阿姆斯特丹的Information Energy 2018大會上探討這種新的對話式認知范式。
10、我們要求對人工智能的使用符合道德標準。
將有越來越多的人要求人工智能的使用遵守道德標準。人們目前越發(fā)意識到自動化失控后產(chǎn)生的惡劣后果。Facebook、Twitter、谷歌、亞馬遜等平臺上使用的簡單的自動化技術(shù)都會產(chǎn)生意想不到的社會影響。
在部署那些能夠預測人類行為的機器時，我們需要理解其中的倫理道德問題。面部識別就是一項比較危險的功能。能夠生成以假亂真的媒體資料的算法會成為大問題。整個社會都應該要求人工智能為社會的整體利益考慮，而不能加劇社會的不平等。
預計未來一年將看到更多關(guān)于人工智能倫理問題的討論。然而，應該不會有新的監(jiān)管措施出臺。政策制定者還需要再過幾年才能真正理解人工智能對社會的影響。我不認為他們會停止斗爭，解決社會面臨的真正問題。美國人口受到很多安全問題的影響，但我們并沒有看到新的立法來解決這些嚴重問題。所以，不要奢望這些問題一夜之間得到解決。
為影響做好準備
2018年很重要，我們都應該系好安全帶，迎接即將到來的重大影響。
