人工智能技術(shù)尤其是深度學(xué)習(xí)的興起，讓各大公司都注意到必須要填補(bǔ)的計(jì)算力鴻溝。越來(lái)越多的研究人員開(kāi)始重新思考計(jì)算的本質(zhì)，從人類大腦處理信息的方式獲得靈感，打造新的硬件體系結(jié)構(gòu)。

 

　　經(jīng)過(guò)多年的發(fā)展停滯，計(jì)算機(jī)再一次開(kāi)始演化，而其結(jié)果必將更加深遠(yuǎn)——加速人工智能，讓機(jī)器也能像人類一樣感知周圍的世界，能聽(tīng)會(huì)說(shuō)，能看會(huì)寫(xiě)，甚至更多。這是很多科學(xué)家多年的夢(mèng)想，如今正以現(xiàn)實(shí)的模樣向我們走來(lái)。

 

　　就在上周，《紐約時(shí)報(bào)》發(fā)表長(zhǎng)文，以《計(jì)算機(jī)正從人類大腦獲取設(shè)計(jì)線索》為題，展現(xiàn)了當(dāng)前AI芯片業(yè)界，重點(diǎn)寫(xiě)了谷歌、微軟等并非傳統(tǒng)芯片公司在專用芯片上的動(dòng)向。這種朝向?qū)Ｓ眯酒托掠?jì)算架構(gòu)的發(fā)展趨勢(shì)可能帶來(lái)人工智能的“寒武紀(jì)大爆炸”。

 

　　斯坦福大學(xué)前任校長(zhǎng)、計(jì)算機(jī)體系結(jié)構(gòu)宗師John Hennessy以谷歌母公司Alpahbet現(xiàn)任董事會(huì)成員的身份接受了NYT記者的采訪。Hennessy表示：“現(xiàn)有方法已經(jīng)不夠用了，大家在嘗試重新設(shè)計(jì)系統(tǒng)架構(gòu)。”

 

　　更新更復(fù)雜的系統(tǒng)，更小更專用的芯片，更低的能耗，更快的速度……將計(jì)算量擴(kuò)展到大量微小的低功耗芯片上，像人腦一樣運(yùn)行，新的技術(shù)正在不斷推進(jìn)計(jì)算機(jī)半導(dǎo)體的邊疆，正向Hennessy說(shuō)的那樣：“這將是一個(gè)巨大的變化”。

 

 

　　谷歌浩瀚的數(shù)據(jù)中心無(wú)疑是業(yè)界的風(fēng)向標(biāo)，這里發(fā)生的變化也預(yù)示著業(yè)內(nèi)其他行業(yè)的發(fā)展趨勢(shì)。在谷歌眾多的服務(wù)器中，仍然有一個(gè)中央處理器，但同時(shí)，也有大量的定制芯片一起參與工作，驅(qū)動(dòng)語(yǔ)音識(shí)別、圖像分類等人工智能應(yīng)用。

 

　　2011年的時(shí)候，谷歌做了一筆計(jì)算，如果每位用戶每天使用3分鐘他們提供的基于深度學(xué)習(xí)語(yǔ)音識(shí)別模型的語(yǔ)音搜索服務(wù)，他們就必須把現(xiàn)有的數(shù)據(jù)中心擴(kuò)大兩倍。

 

　　“我們需要另外一個(gè)谷歌。”Jeff Dean告訴谷歌基礎(chǔ)設(shè)施副總裁Urs H?lzle。

 

　　他們需要更強(qiáng)大、更高效的處理芯片。GPU是理想的深度學(xué)習(xí)芯片，谷歌也使用英偉達(dá)的GPU，但這還不夠，他們想要更快的速度，更高效的芯片。單個(gè)GPU耗能不會(huì)很大，但如果谷歌數(shù)百萬(wàn)臺(tái)服務(wù)器日夜不停運(yùn)行，那么耗能會(huì)變成一個(gè)嚴(yán)重問(wèn)題。

　　Jeff Dean是最早意識(shí)到谷歌需要自己的專用人工智能芯片的人之一。右邊是谷歌自己研發(fā)的專用芯片TPU。

 

　　谷歌在去年I/O大會(huì)上推出了自己的AI芯片——張量處理器TPU（第一代）。谷歌表示，盡管在一些應(yīng)用上利用率很低，初代TPU平均比那時(shí)候的GPU或CPU快15~30倍，性能功耗比（TOPS/Watt）高出約30~80倍。

 

　　今年5月I/O大會(huì)上，谷歌發(fā)布了第二代TPU，峰值性能達(dá)到180TFLOPS/s。第一代TPU只加速推理，但第二代TPU新增了訓(xùn)練的功能。不僅如此，谷歌的用戶還能通過(guò)專門(mén)的網(wǎng)絡(luò)，在云端利用TPU構(gòu)建機(jī)器學(xué)習(xí)的超級(jí)計(jì)算機(jī)。

 

　　在第二代TPU里，每個(gè)TPU都包含了一個(gè)定制的高速網(wǎng)絡(luò)，構(gòu)成了一個(gè)谷歌稱之為“TPU艙室”（TPU POD）的機(jī)器學(xué)習(xí)超級(jí)計(jì)算機(jī)。一個(gè)TPU艙室包含64個(gè)第二代TPU，最高可提供多達(dá)11.5千萬(wàn)億次浮點(diǎn)運(yùn)算，內(nèi)存400萬(wàn)兆字節(jié)，4倍快于當(dāng)時(shí)市面上最好的32臺(tái)GPU。

　　Cloud TPU 帶來(lái)的最大好處，則是谷歌的開(kāi)源機(jī)器學(xué)習(xí)框架 TensorFlow。TensorFlow 現(xiàn)在已經(jīng)是 Github 最受歡迎的深度學(xué)習(xí)開(kāi)源項(xiàng)目，Cloud TPU 出現(xiàn)以后，開(kāi)發(fā)人員和研究者使用高級(jí) API 編程這些 TPU，這樣就可以更輕松地在CPU、GPU 或 Cloud TPU 上訓(xùn)練機(jī)器學(xué)習(xí)模型，而且只需很少的代碼更改。

 

 

　　自上市以來(lái)的17年中，英偉達(dá)的股價(jià)一直在35美元間徘徊，其推出的Tegra系列處理器在智能手機(jī)領(lǐng)域也不溫不火。但從2015年開(kāi)始，英偉達(dá)股價(jià)飆漲，一掃移動(dòng)處理器市場(chǎng)的陰霾，歷史性的突破100美元（對(duì)應(yīng)市值600億美元左右），這得益于其在汽車和深度學(xué)習(xí)領(lǐng)域的深刻布局。

 

　　在自動(dòng)駕駛領(lǐng)域，英偉達(dá)在Tegra處理器的基礎(chǔ)上相繼推出了DRIVE PX和DRIVE PX2自動(dòng)駕駛汽車計(jì)算平臺(tái)，并開(kāi)始與特斯拉、奧迪、博世等車企合作開(kāi)發(fā)無(wú)人駕駛技術(shù)，在2017年CES上推出了搭載DRVIE PX2的英偉達(dá)BB8無(wú)人駕駛原型車。

 

　　圖像處理是GPU誕生的舞臺(tái)，英偉達(dá)的 GPU 是支持深度學(xué)習(xí)算法加速的處理器中當(dāng)仁不讓的佼佼者。英偉達(dá)在2008年推出了基于ARM和Geforce的移動(dòng)處理器Tegra，隨后由于這一處理器系列在圖像處理方面的巨大優(yōu)勢(shì)，迅速占領(lǐng)了對(duì)圖像處理要求較高的游戲機(jī)和平板市場(chǎng)，并在隨后幾年中不斷更新升級(jí)。

 

　　卡耐基梅隆大學(xué)的lan Lane教授曾表示："借助 GPU，預(yù)先錄制的語(yǔ)音或多媒體內(nèi)容的轉(zhuǎn)錄速度能夠大幅提升。與CPU軟件相比，我們執(zhí)行識(shí)別任務(wù)的速度超級(jí)高可提升33倍。"在機(jī)器學(xué)習(xí)領(lǐng)域，使用GPU提供的強(qiáng)大并行運(yùn)算能力去處理海量的學(xué)習(xí)數(shù)據(jù)，再用CPU完成其他的邏輯。Tegra系列處理器的優(yōu)質(zhì)特性讓英偉達(dá)成為眾多機(jī)器學(xué)習(xí)系統(tǒng)的首選。

 

 

　　2010年，微軟剛剛開(kāi)始使用機(jī)器學(xué)習(xí)算法來(lái)改進(jìn)Bing，通過(guò)分析人們使用該服務(wù)的方式來(lái)改善搜索結(jié)果。雖然這些算法要比后來(lái)重新設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)要求更低，但是仍在芯片環(huán)節(jié)遇到了困難：構(gòu)建像在Intel CPU上運(yùn)行Windows一樣的軟件，軟件無(wú)法重新編程芯片，因?yàn)樗挥羞B線才能執(zhí)行某些任務(wù)。

 

　　圣誕節(jié)期間，微軟研究院工程師道格·伯格（Doug Burger）與微軟的其他芯片研究人員合作，希望從硬件層面嘗試加速搜索引擎Bing。Burger和他的團(tuán)隊(duì)探索了幾個(gè)選擇，但最終采用了現(xiàn)場(chǎng)可編程門(mén)陣列FPGA：一種可以重新編程新工作的芯片，他們將這個(gè)項(xiàng)目稱之為Project Catapult。

 

　　使用FPGA，微軟可以改變芯片的工作方式。它可以對(duì)芯片進(jìn)行編程，以便執(zhí)行特定的機(jī)器學(xué)習(xí)算法。然后，它可以重新編程芯片真正的運(yùn)行邏輯，在其計(jì)算機(jī)網(wǎng)絡(luò)上發(fā)送數(shù)百萬(wàn)和數(shù)百萬(wàn)個(gè)數(shù)據(jù)包。它們基于同一個(gè)芯片，但行為方式可以不同。

 

　　2015年，微軟開(kāi)始大量安裝FPGA芯片。現(xiàn)在，加載到Microsoft數(shù)據(jù)中心的每個(gè)新服務(wù)器都包含其中一個(gè)可編程芯片。他們幫助用戶在搜索Bing時(shí)選擇結(jié)果，幫助Azure，以及云計(jì)算服務(wù)，跨越其底層機(jī)器網(wǎng)絡(luò)的信息。

 

　　在2016年秋天，微軟研究人員構(gòu)建出一個(gè)神經(jīng)網(wǎng)絡(luò)，幫助機(jī)器能夠比一般人類更準(zhǔn)確地識(shí)別口頭詞，由微軟的首位華人“全球技術(shù)院士”、首席語(yǔ)音科學(xué)家黃學(xué)東黃學(xué)東領(lǐng)導(dǎo)這個(gè)團(tuán)隊(duì)。在近期的產(chǎn)業(yè)標(biāo)準(zhǔn)Switchboard語(yǔ)音識(shí)別基準(zhǔn)測(cè)試中，微軟實(shí)現(xiàn)詞錯(cuò)率（WER）低至6.3%的這一技術(shù)突破，這比IBM達(dá)到的6.6%WER下降了0.3%，達(dá)到目前語(yǔ)音識(shí)別領(lǐng)域錯(cuò)誤率最低的水平。

 

　　在加利福尼亞帕洛阿爾托上空，他與老朋友黃仁勛一起吃飯慶祝。因?yàn)檫@背后的功臣來(lái)自于Nvidia提供的大量專業(yè)芯片培訓(xùn)語(yǔ)音識(shí)別服務(wù)，而不是普通的英特爾芯片。如果沒(méi)有做出這樣的改變，他們的突破是不可能的。

 

　　黃學(xué)東曾說(shuō)道：“如果我們沒(méi)有芯片的武器，這一進(jìn)展至少要延遲五年。”

　　微軟的黃學(xué)東（左）和Doug Burger是在公司內(nèi)容開(kāi)發(fā)專用芯片的領(lǐng)軍力量。

 

　　在計(jì)算能力方面，Ignite 2016 大會(huì)上，Burger與微軟CEO Satya Nadella 演示了FPGA加速機(jī)器翻譯示例。他們的總計(jì)算能力達(dá)到103萬(wàn)Tops，相當(dāng)于10萬(wàn)塊頂級(jí)GPU計(jì)算卡；功耗大約30W，僅增加了整個(gè)服務(wù)器功耗的十分之一。

 

　　今年8月，微軟將FPGA與云計(jì)算服務(wù)結(jié)合，推出 Project Brainwave低延遲深度學(xué)習(xí)云平臺(tái)。該平臺(tái)以英特爾（Intel）提供的Stratix 10現(xiàn)場(chǎng)可編程門(mén)陣列（FPGA）為基礎(chǔ)，除了內(nèi)建深度神經(jīng)網(wǎng)絡(luò)（DNN）加速引擎外，在軟件堆棧方面，還可支持Google的Tensorflow、微軟自家的Cognitive Toolkit等深度學(xué)習(xí)框架。

 

　　根據(jù)微軟官方測(cè)評(píng)顯示，當(dāng)使用英特爾的 Stratix 10 FPGA，Brainwave不需要任何batching就能在大型 GRU （gated recurrent unit）達(dá)到 39.5 Teraflops的性能。該系統(tǒng)為實(shí)時(shí)AI而設(shè)計(jì)，以極低的延遲在接收數(shù)據(jù)后立刻處理請(qǐng)求。

 

　　該系統(tǒng)為實(shí)時(shí) AI 而設(shè)計(jì)，它能以極低的延遲在接收數(shù)據(jù)后立刻處理請(qǐng)求。由于云基礎(chǔ)設(shè)施需要處理實(shí)時(shí)數(shù)據(jù)流，不管是搜索請(qǐng)求、視頻、傳感器數(shù)據(jù)流還是用戶交互，實(shí)時(shí) AI 正在變得越來(lái)越重要。

 

 

　　通用芯片并不能很好地適應(yīng)深度學(xué)習(xí)算法的要求，效率低，功耗大，成本高。各種神經(jīng)網(wǎng)絡(luò)算法需要專用芯片來(lái)保證其運(yùn)行效率。人工智能的浪潮，催生了 AI 專用芯片的大爆發(fā)。

 

　　無(wú)論是云端的運(yùn)算還是移動(dòng)端的運(yùn)算，都需要專門(mén)針對(duì) AI 算法設(shè)計(jì)的芯片，但這二者對(duì) AI 專用芯片的要求不同。云端要求 AI 芯片適應(yīng)多種神經(jīng)網(wǎng)絡(luò)架構(gòu)，同時(shí)能進(jìn)行高精度浮點(diǎn)運(yùn)算，峰值性能至少要達(dá)到Tflops（每秒執(zhí)行10^12次浮點(diǎn)數(shù)運(yùn)算）級(jí)別，對(duì)功耗沒(méi)有嚴(yán)苛要求；支持陣列式結(jié)構(gòu)以進(jìn)一步提高性能。

 

　　移動(dòng)端 AI 芯片對(duì)設(shè)計(jì)的要求截然不同。一個(gè)根本的要求是控制功耗，這就需要使用一些辦法（如網(wǎng)絡(luò)壓縮）來(lái)提升計(jì)算能效，同時(shí)盡可能少地降低計(jì)算性能和計(jì)算精度的損失。

 

　　各個(gè)廠商紛紛在這兩個(gè)方向上發(fā)力 AI 芯片的研發(fā)，當(dāng)然云端和移動(dòng)端也無(wú)法截然分開(kāi)。比如寒武紀(jì)，此前研發(fā)的寒武紀(jì)深度學(xué)習(xí)處理器是面向大規(guī)模神經(jīng)網(wǎng)絡(luò)和多種機(jī)器學(xué)習(xí)算法的，而 2016 年推出的寒武紀(jì)1A處理器（Cambricon-1A）則是面向智能手機(jī)、安防監(jiān)控、可穿戴設(shè)備、無(wú)人機(jī)和智能駕駛等各類終端設(shè)備的。

 

　　在云端，除了上文的英偉達(dá)，英特爾在收購(gòu) Altera 之后推出了基于FPGA的專用深度學(xué)習(xí)加速卡，更收購(gòu)了 Nervana，瞄準(zhǔn)為深度學(xué)習(xí)專門(mén)定做和優(yōu)化的 ASIC 芯片；收購(gòu)了 Movidius，其高性能視覺(jué)處理芯片將補(bǔ)足英特爾在移動(dòng)端 AI 芯片的缺失。另外還有 IBM 的類腦芯片 TrueNorth。當(dāng)然還有本文開(kāi)頭講到的谷歌 TPU。日前，百度又正式推出了 XPU，它是基于百度 FPGA 的新一代 AI 處理架構(gòu)，擁有GPU的通用性和FPGA的高效率和低能耗，對(duì)百度的深度學(xué)習(xí)平臺(tái)PaddlePaddle做了高度的優(yōu)化和加速。

 

　　在移動(dòng)端，谷歌、蘋(píng)果和三星等都在用專門(mén)的 AI 芯片構(gòu)建手機(jī)。微軟正在為增強(qiáng)現(xiàn)實(shí)耳機(jī)專門(mén)設(shè)計(jì)這樣的芯片。同時(shí)從科技巨頭谷歌到傳統(tǒng)車廠豐田，所有人都在進(jìn)行自動(dòng)駕駛汽車的研發(fā)，正需要能夠在移動(dòng)端良好運(yùn)行的 AI 芯片。

 

　　比如擅長(zhǎng)底層架構(gòu)改進(jìn)的蘋(píng)果，其最新發(fā)布的 Apple X 采用了定制的芯片來(lái)處理人工智能工作負(fù)載。這是一個(gè)雙核的“A11 生物神經(jīng)網(wǎng)絡(luò)引擎”（A11 bionic neural engine）芯片，每秒運(yùn)算次數(shù)最高可達(dá)6000億次。該芯片賦能的最重要的事情就是使 Face ID 身份認(rèn)證功能能夠快速識(shí)別人臉，從而解鎖 iPhone X 或進(jìn)行購(gòu)物。

 

　　芯片走向定制化，以滿足AI軟件的需求，在行業(yè)中已經(jīng)變成一股新的大趨勢(shì)。谷歌已經(jīng)設(shè)計(jì)了兩代芯片來(lái)處理數(shù)據(jù)中心的AI計(jì)算工作負(fù)載。 微軟也為未來(lái)版本的 HoloLens 混合現(xiàn)實(shí)頭盔開(kāi)發(fā)了一款A(yù)I芯片。在iPhone上安裝新的專用芯片意味著主芯片的工作量將會(huì)減少，從而提高電池壽命。 否則，例如，通過(guò)手機(jī)攝像頭進(jìn)行物體識(shí)別同時(shí)進(jìn)行視頻錄制時(shí)，可能會(huì)迅速地將電池消耗完。此外，在不久的將來(lái)， iPhone以外的更多移動(dòng)設(shè)備都可能包含針對(duì)AI的處理器。

 

　　又如華為。在德國(guó)IFA 2017舉辦期間，華為正式發(fā)布全球首款人工智能移動(dòng)計(jì)算平臺(tái)麒麟970。華為方面表示，這一帶有強(qiáng)大AI計(jì)算力的手機(jī)端移動(dòng)計(jì)算平臺(tái)，是業(yè)界首顆帶有獨(dú)立NPU（Neural Network Processing Unit）專用硬件處理單元的手機(jī)芯片。 創(chuàng)新性集成NPU專用硬件處理單元，創(chuàng)新設(shè)計(jì)了HiAI移動(dòng)計(jì)算架構(gòu)，其AI性能密度大幅優(yōu)于CPU和GPU。相較于四個(gè)Cortex-A73核心，處理相同AI任務(wù)，新的異構(gòu)計(jì)算架構(gòu)擁有約 50 倍能效和 25 倍性能優(yōu)勢(shì)，圖像識(shí)別速度可達(dá)到約2000張/分鐘。麒麟970高性能8核CPU，對(duì)比上一代能效提高20%。率先商用 Mali G72 12-Core GPU，與上一代相比，圖形處理性能提升20%，能效提升50%，可以更長(zhǎng)時(shí)間支持3D大型游戲的流暢運(yùn)行。

 

　　此外，中國(guó)也有幾家公司在進(jìn)行 AI 芯片的研發(fā)。此前騰訊發(fā)布的 AI 產(chǎn)業(yè)報(bào)告指出，AI 芯片作為產(chǎn)業(yè)核心，也是技術(shù)要求和附加值最高的環(huán)節(jié)，產(chǎn)業(yè)價(jià)值和戰(zhàn)略地位遠(yuǎn)遠(yuǎn)大于應(yīng)用層創(chuàng)新。而在這一點(diǎn)上，中國(guó)和美國(guó)的差距還很大。報(bào)告顯示，從基礎(chǔ)層的芯片企業(yè)數(shù)量來(lái)看，中國(guó)擁有14家，美國(guó)33家，中國(guó)僅為美國(guó)的42%。

 

　　國(guó)內(nèi)在 AI 芯片研發(fā)表現(xiàn)突出的企業(yè)，除上文介紹的寒武紀(jì)外，還有推出具備深度學(xué)習(xí)人工智能的嵌入式視頻采集壓縮編碼系統(tǒng)級(jí)芯片“星光智能一號(hào)”的中星微電子，致力于軟硬件一體化解決方案的地平線機(jī)器人，以及打造了“深度學(xué)習(xí)處理單元”（Deep Processing Unit，DPU）的深鑒科技。深鑒科技的目標(biāo)是以 ASIC 級(jí)別的功耗，達(dá)到優(yōu)于 GPU 的性能，目前第一批產(chǎn)品基于FPGA平臺(tái)。

 

　　美國(guó)國(guó)防部研究部門(mén) Darpa 的項(xiàng)目經(jīng)理吉爾·普拉特（Gill Pratt）表示，這種向?qū)I(yè)芯片和新的計(jì)算機(jī)架構(gòu)轉(zhuǎn)型的趨勢(shì)可能導(dǎo)致人工智能芯片的“寒武紀(jì)爆炸”。正如他所看到的那樣，將計(jì)算量擴(kuò)展到大量微小的低功耗芯片，以使機(jī)器可以像人類的大腦一樣運(yùn)行，這樣就有效地利用了能量。

 

 

　　所有這些向?qū)Ｓ眯酒倪w移都可能削弱芯片設(shè)計(jì)與制造巨頭英特爾的力量，并從根本上改變每年規(guī)模3350億美元的半導(dǎo)體產(chǎn)業(yè)市場(chǎng)。

 

　　今年7月，英特爾AIPG首席技術(shù)官Amir Khosrowshahi接受新智元專訪，表示接下來(lái)英特爾將有一系列針對(duì)AI的芯片產(chǎn)品推出。Amir表示，以谷歌TPU為代表的AI專用芯片“優(yōu)勢(shì)只是暫時(shí)的”，英特爾正在開(kāi)發(fā)比TPU第二代更好的芯片。同時(shí)，Amir強(qiáng)調(diào)，芯片或者說(shuō)處理器只是構(gòu)建成功機(jī)器學(xué)習(xí)解決方案很小的一方面，從生產(chǎn)到制造到銷售一整套流程，要配合才能成功。

 

　　不論如何，當(dāng)前芯片界正在掀起一股革命，雖然目前這種轉(zhuǎn)變主要還發(fā)生在支撐互聯(lián)網(wǎng)的龐大的數(shù)據(jù)中心，但其影響在更廣泛的行業(yè)內(nèi)滲透只是時(shí)間上的問(wèn)題。

 

　　未來(lái)，新的移動(dòng)芯片可以幫助設(shè)備自己在本地處理更多和更復(fù)雜的任務(wù)，從語(yǔ)音識(shí)別語(yǔ)，到人臉識(shí)別再到家庭機(jī)器人、無(wú)人駕駛汽車識(shí)別環(huán)境，響應(yīng)命令。

 

　　每臺(tái)設(shè)備或許都將擁有自己的大腦。