對于深度學習技術實現(xiàn)來說，F(xiàn)PGA無疑是具有重要潛質(zhì)的。在過去，玩得起FPGA的往往都是有著充足資金的大公司，因為FPGA首先硬件成本高，另外對于復雜算法的實現(xiàn)有太多限制。但是，F(xiàn)PGA相對于GPU有著獨特的優(yōu)勢：功耗低，實時性強，業(yè)界普遍看好其發(fā)展前景。

 

　　在國內(nèi)，2017年1月份，騰訊云和阿里云也相繼推出了FPGA云服務器產(chǎn)品。1月21日，阿里云發(fā)布異構計算解決方案：彈性GPU實例和FPGA解決方案。阿里云作為目前國內(nèi)云市場的領頭羊，這次發(fā)布針對深度學習技術的異構計算解決方案，無疑將助力國內(nèi)人工智能技術的前進。

 

　　此前報道過，英偉達首席科學家、斯坦福并發(fā) VLSI 架構小組的負責人William J. Dally曾說過，對于深度學習的硬件選擇，主要有三個不同領域要考慮，其中兩個就是：

 

　　數(shù)據(jù)中心的訓練。指的是任何深度學習系統(tǒng)需要做的第一步：調(diào)整神經(jīng)元之間的數(shù)百萬連接，讓神經(jīng)網(wǎng)絡來執(zhí)行分配的任務。對訓練來說，計算機往往需要以較高的精確度運算。

 

　　數(shù)據(jù)中心的推理。指的是基于云端、被訓練來處理特定任務的神經(jīng)網(wǎng)絡的連續(xù)運行。對于推理，精確度可以適當犧牲，換取更快的速度和更低的能耗。

 

　　而阿里云這次發(fā)布的彈性GPU實例和FPGA解決方案，就是分別針對這兩種任務要求所做的設計。

 

　　負責開發(fā)這套異構計算解決方案的，是阿里云的虛擬化平臺團隊。針對這套平臺方案，日前采訪了阿里云虛擬化平臺職位高級技術專家游亮，以下是采訪內(nèi)容。

 

　　1、為什么在這個時候推出阿里云異構計算解決方案？

 

　　其實阿里巴巴內(nèi)部的很多業(yè)務早已經(jīng)在異構計算的平臺上成功應用了，比如拍立淘、以圖搜圖、商品分類等，阿里已經(jīng)驗證了這套解決方案在阿里各業(yè)務線的加速作用，現(xiàn)在阿里云把這套解決方案通過云服務的形式輸出出去，也是把阿里的技術和經(jīng)驗輸出，讓業(yè)界能夠非常容易地享受到異構計算的便利性和高速性，幫助業(yè)界降低使用成本，提高業(yè)務性能。

 

　　當前人工智能、深度學習目前已經(jīng)成為業(yè)界一股強烈浪潮，對各行各業(yè)都將產(chǎn)生深遠的影響。而人工智能、深度學習對計算能力的需求相當?shù)母?，阿里云推出的異構計算同時包括GPU和FPGA的解決方案，擁有比傳統(tǒng)服務器強大得多的計算能力和每瓦計算能力，推異構計算解決方案也能夠滿足人工智能、深度學習對強大計算性能、計算能效以及計算實時性的需求，推動和加速整個人工智能、深度學習生態(tài)的迅速發(fā)展。

 

　　目前GPU和FPGA云服務器的邀測申請鏈接已經(jīng)放掛到官網(wǎng)了，在https://www.aliyun.com的產(chǎn)品->彈性計算下面，但是FPGA的還沒有，這一部分，我們的客戶可以通過聯(lián)系售后來獲得。

 

　　2、這套異構計算解決方案具體能解決哪些問題？詳細講講解決方案在AI領域的應用場景？

 

　　這套異構計算解決方案能夠解決機器學習、深度學習、虛擬桌面、渲染、圖形圖像處理、非線性編輯、視頻編解碼、基因分析、網(wǎng)絡分析、網(wǎng)絡安全、金融分析對計算能力、計算效能、計算實時性等方面的問題。

 

　　對于AI來說，這套解決方案能夠非常好地加速AI領域的訓練和預測/分類等問題，包括圖像識別、語音識別、視頻識別、視頻監(jiān)控、文字識別、人臉識別、車輛識別、自動駕駛、機器翻譯等AI的應用場景。GPU的解決方案比較擅長做AI領域的模型訓練，能夠達到非常高的批量計算能力，而FPGA的解決方案比較適合做AI領域的在線的預測/分類，能夠達到非常高的吞吐量和非常低的延遲。

 

　　3、請詳細談談彈性GPU實例？

 

　　“彈性”就是指會根據(jù)業(yè)務量去彈性伸縮，比如說你在線做圖片的預測分類，假設你日常業(yè)務只需要N10臺云服務器機器，某一天一個突發(fā)事件，讓你的業(yè)務爆發(fā)一倍，請求量突然增大，那現(xiàn)在彈性的支持就可以就很快創(chuàng)建出來增加的N臺云服務器，讓你的業(yè)務能夠平滑支持暴增的業(yè)務請求。然后當你的業(yè)務量下去之后，多余的云服務器支持就可以釋放掉。然后，計費也是按量來的，就是用多長時間就收多長時間的費用，實現(xiàn)客戶成本最大節(jié)約化。

 

　　這個彈性的范圍，可以參考阿里云上支撐的天貓業(yè)務。這個范圍內(nèi)的，我們都可以支撐。

 

　　4、你們的 FPGA 方案采用了Arria 10系列，在深度學習算法實現(xiàn)過程中，成本普通民眾能接受不？可以用低端的芯片實現(xiàn)嗎？

 

　　阿里云的FPGA方案面向用戶。普通FPGA開發(fā)者如果自己采購測試用的FPGA、開發(fā)板還有服務器，價格是非常之昂貴的。阿里云從芯片原廠、OEM統(tǒng)一采購芯片和機器，不需要經(jīng)過層層代理，大大降低采購成本，而且在云上提供按需使用的FPGA對于普通FPGA開發(fā)者來說，使用成本是極大降低的。

 

　　阿里云推出的FPGA方案，在定價上也會非常親民。因為，我們初期階段，主要目的不是為了賺取多少利潤，而是為了方便FPGA開發(fā)者開發(fā)，繁榮FPGA的生態(tài)環(huán)境，促進FPGA產(chǎn)業(yè)的發(fā)展。因為現(xiàn)在FPGA整個生態(tài)并不是很理想。第一個方面，就是開發(fā)人員不多，然后開發(fā)人員的質(zhì)量也參差不齊。FPGA之前面向的是非常小眾的市場，今后可能會面向更廣闊的市場，這個情況下，F(xiàn)PGA開發(fā)人員可能會跟不上需求；第二個方面，就是現(xiàn)有的FPGA開發(fā)工具不是非常的友好，而且像Verilog和VHDL這樣的開發(fā)語言，學習的門檻比較高。所以對開發(fā)者來說，要想開發(fā)出性能比較高的軟件，需要對FPGA了解非常深入才行，所以這個開發(fā)難度比較大。

 

　　但是，F(xiàn)PGA又是非常重要的，我們覺得FPGA今后在運營上，將會推動中國整個人工智能產(chǎn)業(yè)的前進。所以我們覺得阿里云有義務來承擔這個責任，去繁榮FPGA的生態(tài)環(huán)境。當然，這需要各界人士的通力合作，我們會著力去吸引包括FPGA芯片廠商、FPGA板卡廠商、FPGA的IP開發(fā)商、FPGA的工具開發(fā)商以及FPGA開發(fā)者到阿里云的這個云平臺上來等等，繁榮云上的FPGA生態(tài)，這樣建立起一個好的生態(tài)之后，大家也都能從這個生態(tài)中獲得合理的回報，然后大家才會有持續(xù)的動力，一起努力、共同協(xié)作建立一個圍繞FPGA的健康的、可持續(xù)發(fā)展的生態(tài)。

 

　　5、這套異構計算解決方案，如何適應不同領域的開發(fā)者需求？

 

　　阿里云計劃提供FPGA IP市場，所有第三方的商業(yè)應用都可以把自己的IP放到IP市場上來銷售給最終用戶，這些IP都是根據(jù)阿里云的標準來定制的。IP的開發(fā)、仿真、驗證和測試都可以非常方便、快速地在 FPGA 云計算實例上進行部署和運行。針對不同領域里的開發(fā)人員的具體需求，比如圖像識別CV領域，用CNN的IP比較多，語音識別NLP領域用DNN和LSTM的IP比較多，那么就可以通過提供豐富的IP市場這個IP市場調(diào)節(jié)大家的特定需求。

 

　　FPGA IP市場有利于第三方企業(yè)或者開發(fā)者來開發(fā)和銷售IP給最終用戶，有利于聚攏FPGA開發(fā)人氣，建立FPGA生態(tài)環(huán)境，第三方商業(yè)應用和最終用戶都能從中獲益。

 

　　6、這套異構計算解決方案在開發(fā)過程中遇到了哪些難題？怎么解決的？

 

　　這套解決方案在開發(fā)過程中遇到了很多前所未有難題。比如，如何在公共環(huán)境下保證用戶間的強隔離、怎么保證用戶的數(shù)據(jù)安全、怎么去支持遠程調(diào)試、怎么定義用戶的交互接口......等等這些問題。還有這當中最難的部分，就是如何“上云”，傳統(tǒng)的異構計算服務商不懂云上的虛擬化環(huán)境，提供的一些解決方案并不適用。

 

　　我們大概從1年多以前就已經(jīng)開始進行預研，那時亞馬遜的云計算實例都還沒有正式推出來。這方面可供學習的經(jīng)驗比較少，因為現(xiàn)在世界范圍內(nèi)能夠做這部分的廠商都是不多的，我們還是屬于比較領先的廠商，所以會遇到各種各樣的問題在這上面有很多坑。

 

　　我們經(jīng)過和合作伙伴深入合作、聯(lián)合開發(fā)和長時間的測試、驗證工作，最終解決了這些難題問題，沉淀了一些阿里云獨有的架構和設計，滿足高可用、彈性伸縮、用戶隔離、IP安全、故障恢復、監(jiān)控報警等服務化需求。

 

　　7、目前基于 FPGA 的深度學習算法實現(xiàn)，阿里的現(xiàn)狀如何？這套解決方案與其他基于 FPGA 的深度實現(xiàn)比較有什么優(yōu)勢？

 

　　目前阿里開發(fā)了基于FPGA的DNN、LSTM等深度學習算法的實現(xiàn)，和其他實現(xiàn)相比，阿里做了非常深入的優(yōu)化，在邏輯資源的使用上、時序的優(yōu)化上、對內(nèi)存帶寬的優(yōu)化上都做了非常深入和細致的調(diào)優(yōu)，相同器件上能夠達到更高的吞吐量和更低的延遲。

 

　　8、你們覺得這套方案還有哪些需要優(yōu)化和提高的地方？未來打算如何解決？

 

　　沒有一種固定架構能適應所有應用場景，異構計算解決方案優(yōu)勢在于可以組合多種不同類型實例為用戶定制專用架構，千人千面，阿里云愿意同更多特定行業(yè)進行合作，深度定制，共同為節(jié)省社會計算成本而努力，讓計算服務成為水電煤這樣隨時可用，隨處可用，人人可用的社會公共資源。