人工智能前景可期 六大領(lǐng)域亟需密切關(guān)注

 

　　人工智能在過(guò)去的十年里取得了令人嘆為觀止的進(jìn)步，例如自動(dòng)駕駛汽車(chē)、語(yǔ)音識(shí)別和語(yǔ)音合成。在此背景之下，人工智能這一話題越來(lái)越多地出現(xiàn)在同事和家人的閑談之間，人工智能技術(shù)已經(jīng)滲透到他們生活的角角落落。與此同時(shí)，流行媒體幾乎每天也在報(bào)道人工智能和技術(shù)巨頭們，介紹他們?cè)谌斯ぶ悄茴I(lǐng)域的長(zhǎng)期戰(zhàn)略。一些投資者和企業(yè)家渴望了解如何從這個(gè)新領(lǐng)域挖掘價(jià)值，大多數(shù)人還是絞盡腦汁思考究竟人工智能會(huì)改變什么。此外，各國(guó)政府也正在努力應(yīng)對(duì)自動(dòng)化給社會(huì)帶來(lái)的影響（如奧巴馬總統(tǒng)的離職演講）。

 

　　其中，人工智能的六大領(lǐng)域在未來(lái)可能對(duì)數(shù)字產(chǎn)品和數(shù)字服務(wù)產(chǎn)生重要的影響。作者一一列舉了這六個(gè)方向，解釋了它們的重要性，目前的應(yīng)用場(chǎng)景，并列舉出正在使用的公司和研究機(jī)構(gòu)。

 

　　強(qiáng)化學(xué)習(xí)

 

　　強(qiáng)化學(xué)習(xí)是一種通過(guò)實(shí)驗(yàn)和錯(cuò)誤來(lái)學(xué)習(xí)的方法，它受人類(lèi)學(xué)習(xí)新技能的過(guò)程啟發(fā)。在典型的強(qiáng)化學(xué)習(xí)案例中，代理者通過(guò)觀察當(dāng)前所處的狀態(tài)，進(jìn)而采取行動(dòng)使得長(zhǎng)期獎(jiǎng)勵(lì)的結(jié)果最大化。每執(zhí)行一次動(dòng)作，代理者都會(huì)收到來(lái)自環(huán)境的反饋信息，因此它能判斷這次動(dòng)作帶來(lái)的效果是積極的還是消極的。在這個(gè)過(guò)程中，代理者需要平衡根據(jù)經(jīng)驗(yàn)尋找最佳策略和探索新策略?xún)煞矫?，以期?shí)現(xiàn)最終的目標(biāo)。

 

 

　　Google的DeepMind團(tuán)隊(duì)在Atari游戲和圍棋對(duì)抗中都運(yùn)用了強(qiáng)化學(xué)習(xí)的技術(shù)。在真實(shí)場(chǎng)景中，強(qiáng)化學(xué)習(xí)有被用來(lái)提高Google數(shù)據(jù)中心的能源利用率。強(qiáng)化學(xué)習(xí)技術(shù)為這套冷卻系統(tǒng)節(jié)省了約40%的能耗。強(qiáng)化學(xué)習(xí)有一個(gè)非常重要的優(yōu)勢(shì)，它的代理者能以低廉的代價(jià)模擬生成大量的訓(xùn)練數(shù)據(jù)。相比有監(jiān)督的深度學(xué)習(xí)任務(wù)，這個(gè)優(yōu)勢(shì)非常明顯，節(jié)省了一大筆人工標(biāo)注數(shù)據(jù)的費(fèi)用。

 

　　應(yīng)用：包括城市道路的自動(dòng)駕駛；三維環(huán)境的導(dǎo)航；多個(gè)代理者在同樣的環(huán)境中交互和學(xué)習(xí)等

 

　　主要研究人員： Pieter abbeel （OpenAI）， David Silver, Nando de Freitas, Raia Hadsell （Google DeepMind）， Carl Rasmussen （Cambridge）， Rich Sutton （Alberta）， John Shawe-Taylor （UCL） 等

 

　　技術(shù)公司代表： Google DeepMind, Prowler.io, Osaro, MicroPSI, Maluuba/Microsoft, NVIDIA, Mobileye等

 

　　生成模型

 

　　不同于用來(lái)完成分類(lèi)和回歸任務(wù)的判別模型，生成模型從訓(xùn)練樣本中學(xué)到一個(gè)概率分布。通過(guò)從高維的分布中采樣，生成模型輸出與訓(xùn)練樣本類(lèi)似的新樣本。這也意味著，若生成模型的訓(xùn)練數(shù)據(jù)是臉部的圖像集，那么訓(xùn)練后得到的模型也能輸出類(lèi)似于臉的合成圖片。細(xì)節(jié)內(nèi)容可以參考Ian Goodfellow的文章。他提出的生成對(duì)抗模型（GAN）的結(jié)構(gòu)當(dāng)下在學(xué)術(shù)界非常的火熱，因?yàn)樗o無(wú)監(jiān)督學(xué)習(xí)提供了一種新思路。GAN結(jié)構(gòu)用到了兩個(gè)神經(jīng)網(wǎng)絡(luò)：一個(gè)是生成器，它負(fù)責(zé)將隨機(jī)輸入的噪聲數(shù)據(jù)合成為新的內(nèi)容（比如合成圖片），另一個(gè)是判別器，負(fù)責(zé)學(xué)習(xí)真實(shí)的圖片并判斷生成器生成的內(nèi)容是否以假亂真。對(duì)抗訓(xùn)練可以被認(rèn)為是一類(lèi)游戲，生成器必須反復(fù)學(xué)習(xí)用隨機(jī)噪音數(shù)據(jù)合成有意義的內(nèi)容，直到判別器無(wú)法區(qū)分合成內(nèi)容的真?zhèn)巍＿@套框架正在被擴(kuò)展應(yīng)用到許多數(shù)據(jù)模式和任務(wù)中。

 

　　應(yīng)用：仿真時(shí)間序列的特征（例如，在強(qiáng)化學(xué)習(xí)中規(guī)劃任務(wù)）；超分辨率圖像；從二維圖像復(fù)原三維結(jié)構(gòu)；小規(guī)模標(biāo)注數(shù)據(jù)集的泛化；預(yù)測(cè)視頻的下一幀；生成自然語(yǔ)言的對(duì)話內(nèi)容；藝術(shù)風(fēng)格遷移；語(yǔ)音和音樂(lè)的合成

 

　　技術(shù)公司代表： Twitter Cortex, Adobe, Apple, Prisma, Jukedeck, Creative.ai, Gluru, Mapillary, Unbabel

 

　　主要研究人員： Ian Goodfellow （OpenAI）， Yann LeCun 和 Soumith Chintala （Facebook 人工智能研究院）， Shakir Mohamed 和 A?ron van den Oord （Google DeepMind）等等

 

　　記憶網(wǎng)絡(luò)

 

　　為了讓人工智能系統(tǒng)像人類(lèi)一樣能夠適應(yīng)各式各樣的環(huán)境，它們必須持續(xù)不斷地掌握新技能，并且記住如何在未來(lái)的場(chǎng)景中應(yīng)用這些技能。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)很難掌握一系列的學(xué)習(xí)任務(wù)。這項(xiàng)缺點(diǎn)被科學(xué)家們稱(chēng)作是災(zāi)難性遺忘。其中的難點(diǎn)在于當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)針對(duì)A任務(wù)完成訓(xùn)練之后，若是再訓(xùn)練它解決B任務(wù)，則網(wǎng)絡(luò)模型的權(quán)重值不再適用于任務(wù)A。

 

　　目前，有一些網(wǎng)絡(luò)結(jié)構(gòu)能夠讓模型具備不同程度的記憶能力。其中包括長(zhǎng)短期記憶網(wǎng)絡(luò)（一種遞歸神經(jīng)網(wǎng)絡(luò)）可以處理和預(yù)測(cè)時(shí)間序列；DeepMind團(tuán)隊(duì)的微神經(jīng)計(jì)算機(jī)，它結(jié)合了神經(jīng)網(wǎng)絡(luò)和記憶系統(tǒng)，以便于從復(fù)雜的數(shù)據(jù)結(jié)構(gòu)中學(xué)習(xí)；漸進(jìn)式神經(jīng)網(wǎng)絡(luò)，它學(xué)習(xí)各個(gè)獨(dú)立模型之間的側(cè)向關(guān)聯(lián)，從這些已有的網(wǎng)絡(luò)模型中提取有用的特征，用來(lái)完成新的任務(wù)。

 

　　應(yīng)用：訓(xùn)練能夠適應(yīng)新環(huán)境的代理者；機(jī)器人手臂控制任務(wù)；自動(dòng)駕駛車(chē)輛；時(shí)間序列預(yù)測(cè)（如金融市場(chǎng)、視頻預(yù)測(cè)）；理解自然語(yǔ)言和預(yù)測(cè)下文。

 

　　技術(shù)公司代表： Google DeepMind, NNaisense, SwiftKey/Microsoft Research.

 

　　主要研究人員： Alex Graves, Raia Hadsell, Koray Kavukcuoglu （Google DeepMind）， Jürgen Schmidhuber （IDSAI）， Geoffrey Hinton （Google Brain/Toronto）

 

　　微數(shù)據(jù)學(xué)習(xí)微模型

 

　　一直以來(lái)深度學(xué)習(xí)模型都是需要堆積大量的訓(xùn)練數(shù)據(jù)才能達(dá)到最佳的效果。比如，某只參加ImageNet挑戰(zhàn)賽的團(tuán)隊(duì)使用了120萬(wàn)張分布于1000個(gè)類(lèi)別的人工標(biāo)注圖像訓(xùn)練模型。離開(kāi)大規(guī)模的訓(xùn)練數(shù)據(jù)，深度學(xué)習(xí)模型就不會(huì)收斂到最優(yōu)值，也無(wú)法在語(yǔ)音識(shí)別、機(jī)器翻譯等復(fù)雜的任務(wù)上取得好效果。數(shù)據(jù)量需求的增長(zhǎng)往往發(fā)生在用單個(gè)神經(jīng)網(wǎng)絡(luò)模型處理端到端的情況下，比如輸入原始的語(yǔ)音片段，要求輸出轉(zhuǎn)換后的文字內(nèi)容。這個(gè)過(guò)程與多個(gè)網(wǎng)絡(luò)協(xié)同工作各處理一步中間結(jié)果不同（比如，原始語(yǔ)音輸入→音素→詞→文本輸出）。如果我們想用人工智能系統(tǒng)解決訓(xùn)練數(shù)據(jù)稀缺的任務(wù)時(shí)，希望模型訓(xùn)練用到的樣本越少越好。當(dāng)訓(xùn)練數(shù)據(jù)集較小時(shí)，過(guò)擬合、異常值干擾、訓(xùn)練集和測(cè)試集分布不一致等問(wèn)題都會(huì)接踵而至。另一種方法是將在其它任務(wù)上訓(xùn)練好的模型遷移到新的任務(wù)中，這種方法被稱(chēng)為是遷移學(xué)習(xí)。

 

　　一個(gè)相關(guān)的問(wèn)題是用更少的模型參數(shù)建立更小的深學(xué)習(xí)架構(gòu)，而模型的效果卻保持最佳。這種技術(shù)的優(yōu)勢(shì)在于更高效的分布式訓(xùn)練過(guò)程，因?yàn)橛?xùn)練過(guò)程中需要傳輸?shù)膮?shù)減少了，并且能夠方便地將模型部署在內(nèi)存大小受限制的嵌入式硬件上。

 

　　應(yīng)用：訓(xùn)練淺層模型來(lái)模擬在大規(guī)模的已標(biāo)注訓(xùn)練數(shù)據(jù)集上訓(xùn)練得到的深度網(wǎng)絡(luò)模型；構(gòu)建效果相當(dāng)?shù)珔?shù)更少的模型結(jié)構(gòu)（如SqueezeNet）；機(jī)器翻譯

 

　　技術(shù)公司代表： Geometric Intelligence/Uber, DeepScale.ai, Microsoft Research, Curious AI Company, Google, Bloomsbury AI

 

　　主要研究人員： Zoubin Ghahramani （Cambridge）， Yoshua Bengio （Montreal）， Josh Tenenbaum （MIT）， Brendan Lake （NYU）， Oriol Vinyals （Google DeepMind）， Sebastian Riedel （UCL）

 

　　學(xué)習(xí)/推理硬件

 

　　促進(jìn)人工智能發(fā)展的催化劑之一就是圖形處理器（GPU）的升級(jí)，不同于CPU的順序執(zhí)行模式，GPU支持大規(guī)模的并行架構(gòu)，可以同時(shí)處理多個(gè)任務(wù)。鑒于神經(jīng)網(wǎng)絡(luò)必須用大規(guī)模（且高維度）數(shù)據(jù)集訓(xùn)練，GPU的效率遠(yuǎn)高于CPU。這就是為什么自從2012年第一個(gè)GPU訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型——AlexNet公布之后，GPU已經(jīng)成為名副其實(shí)的淘金鐵鍬。NVIDIA在2017年繼續(xù)領(lǐng)跑行業(yè)，領(lǐng)先于Intel、Qualcomm、AMD和后起之秀Google。

 

　　然而，GPU并非專(zhuān)為模型訓(xùn)練或預(yù)測(cè)而設(shè)計(jì)，它原本是用于視頻游戲的圖像渲染。GPU具有高精度計(jì)算的能力，卻遭遇內(nèi)存帶寬和數(shù)據(jù)吞吐量的問(wèn)題。這為Google之類(lèi)的大公司和許多小型創(chuàng)業(yè)公司開(kāi)辟了新領(lǐng)域，它們?yōu)楦呔S機(jī)器學(xué)習(xí)任務(wù)設(shè)計(jì)和制造處理芯片。芯片設(shè)計(jì)的改進(jìn)點(diǎn)包括更大的內(nèi)存帶寬，圖計(jì)算代替了向量計(jì)算（GPU）和矢量計(jì)算（CPU），更高的計(jì)算密度，更低的能源消耗。這些改進(jìn)令人感到興奮，因?yàn)樽罱K又反哺到使用者的身上：更快和更有效的模型訓(xùn)練→更好的用戶體驗(yàn)→用戶更多的使用產(chǎn)品→收集更大的數(shù)據(jù)集→通過(guò)優(yōu)化模型提高產(chǎn)品的性能。因此，那些訓(xùn)練和部署模型更快的系統(tǒng)占據(jù)顯著的優(yōu)勢(shì)。

 

　　應(yīng)用：模型的快速訓(xùn)練；低能耗預(yù)測(cè)運(yùn)算；持續(xù)性監(jiān)聽(tīng)物聯(lián)網(wǎng)設(shè)備；云服務(wù)架構(gòu)；自動(dòng)駕駛車(chē)輛；機(jī)器人

 

　　技術(shù)公司代表： Graphcore, Cerebras, Isocline Engineering, Google （TPU）， NVIDIA （DGX-1）， Nervana Systems （Intel）， Movidius （Intel）， Scortex

 

　　仿真環(huán)境

 

　　正如之前提到，為人工智能系統(tǒng)準(zhǔn)備訓(xùn)練數(shù)據(jù)很具有挑戰(zhàn)性。而且，若要將人工智能系統(tǒng)應(yīng)用到實(shí)際生活中，它必須具有適用性。因此，開(kāi)發(fā)數(shù)字環(huán)境來(lái)模擬真實(shí)的物理世界和行為將為我們提供測(cè)試人工智能系統(tǒng)適應(yīng)性的機(jī)會(huì)。這些環(huán)境給人工智能系統(tǒng)呈現(xiàn)原始像素，然后根據(jù)設(shè)定的目標(biāo)而采取某些行動(dòng)。在這些模擬環(huán)境中的訓(xùn)練可以幫助我們了解人工智能系統(tǒng)的學(xué)習(xí)原理，如何改進(jìn)系統(tǒng)，也為我們提供了可以應(yīng)用于真實(shí)環(huán)境的模型。

 

　　應(yīng)用：模擬駕駛；工業(yè)設(shè)計(jì)；游戲開(kāi)發(fā)；智慧城市

 

　　技術(shù)公司代表： Improbable, Unity 3D, Microsoft （Minecraft）， Google DeepMind/Blizzard, OpenAI, Comma.ai, Unreal Engine, Amazon Lumberyard

 

　　主要研究人員： Andrea Vedaldi （Oxford）