本周，谷歌在山景城舉辦了第一屆 TensorFlow 開(kāi)發(fā)者峰會(huì)。作為大會(huì)的一部分，TensorFlow 1.0 的正式版本被發(fā)布出來(lái)。一起來(lái)看看它都有哪些新特性：

更快

它運(yùn)算更快——TensorFlow 1.0 有十分驚人的速度。它快到什么程度呢？據(jù)谷歌表示，在使用八個(gè) GPU 的情況下，TensorFlow 1.0 在 Inception v3 的測(cè)試中有 7.3 倍的速度提升。在 64 個(gè)分布式 GPU 集群上運(yùn)行，Inception v3 的跑分增加了 58 倍。

 

不僅如此，XLA（Accelerated Linear Algebra，即加速線性代數(shù)） 還為未來(lái)進(jìn)一步的性能提升打下了基礎(chǔ)。TensorFlow 的官方網(wǎng)站 tensorflow.org，也上線了官方使用指南和秘訣，以幫助開(kāi)發(fā)者對(duì)模型進(jìn)行調(diào)參，達(dá)到最大的訓(xùn)練速度。另外，雷鋒網(wǎng)獲知，谷歌將發(fā)布針對(duì)幾大主流模型的實(shí)踐指導(dǎo)（更新版本），為如何最大化利用 TensorFlow 1.0 提供指導(dǎo)，相信不久之后就可以看到。

更靈活

它更加靈活—— TensorFlow 1.0 加入了新的高級(jí)別 API，還有 tf.layers, tf.metrics, and tf.losses 模塊。非常關(guān)鍵的是，谷歌宣布 TensorFlow 1.0 內(nèi)置了新的 tf.keras 模塊——后者使得 TensorFlow 為 Keras 提供“完全”兼容支持。這在之前就傳出過(guò)風(fēng)聲。作為一個(gè)在 ML 開(kāi)發(fā)者當(dāng)中廣為流傳的神經(jīng)網(wǎng)絡(luò)庫(kù)，Keras 的加入無(wú)疑讓 Tensorflow 的使用變得更加便利。

更穩(wěn)定

更適合商業(yè)化使用——TensorFlow 加強(qiáng)了 Python API 的穩(wěn)定性。這使得為它加入新特征變得更加容易，而不需要推翻已有的代碼。

MXNet作者李沐：工業(yè)界追求“how”，學(xué)術(shù)界重在“why”

在舊金山參加 AAAI 期間，經(jīng)余凱老師的引薦，雷鋒網(wǎng)AI科技評(píng)論來(lái)到了位于 Palo Alto 的亞馬遜AWS 辦公室與李沐見(jiàn)了一面。

在 AAAI 的演講中，Smola 拿 MXNet 的運(yùn)行速度與其它開(kāi)源平臺(tái)做對(duì)比，而在談話中李沐表示，自己并不愿意這樣簡(jiǎn)單粗暴地做對(duì)比，他也告訴員工們，如果其它公司邀請(qǐng)你們做分享，一般不要做對(duì)比，只談技術(shù)就好。

“我很理解大家愛(ài)看對(duì)比類的文章，但這是一個(gè)有偏見(jiàn)（biased）的做法。我們比別人快一兩倍，不是我們想表達(dá)的東西，而為什么快，做了哪些優(yōu)化，離我們的理想狀態(tài)還有哪些差距，這樣的總結(jié)可能對(duì)我來(lái)說(shuō)更有價(jià)值一些。”

作為在工業(yè)界與學(xué)術(shù)界都待過(guò)的大牛，李沐雖然現(xiàn)在對(duì)于兩個(gè)領(lǐng)域的研究側(cè)重頗有心得，但在四年前，他在投遞論文時(shí)也吃過(guò)不少虧，NIPS、IJCAI、JMLR、UAI、KDD連續(xù)被拒絕的他，心情非常郁悶。2013 年 8 月，他在微博上無(wú)奈地寫道：

“今年往nips投了篇分布式優(yōu)化的文章，自覺(jué)性能和通用性都可以beat掉度廠和谷歌的當(dāng)家機(jī)器學(xué)習(xí)系統(tǒng)。結(jié)果收了滿滿6頁(yè)的review 真是rebuttal不能啊，不報(bào)希望去nips普及大數(shù)據(jù)了。轉(zhuǎn)身投system會(huì)議去了....”

后來(lái)回顧這段歷程時(shí)，李沐感慨道：

“做產(chǎn)品和做學(xué)術(shù)研究是完全不同的東西。產(chǎn)品的導(dǎo)向是解決問(wèn)題的 how，效果好、簡(jiǎn)單好用、通用性強(qiáng)、資源消耗低、便于實(shí)踐，也就是東西要 work（應(yīng)用）。不同公司的側(cè)重點(diǎn)可能有些差異，比如百度對(duì)廣告的精準(zhǔn)性要求高一些，騰訊可能需要產(chǎn)品簡(jiǎn)單一些。而做學(xué)術(shù)研究時(shí)要寫清楚的是 why，最重要的是想法（idea），第二點(diǎn)是洞察（insight）, 也就是你能把這個(gè)事情做出深層的解釋，再接下來(lái)才是結(jié)果好不好。”

他認(rèn)為亞馬遜看重的是“有與無(wú)”的問(wèn)題，而不是“誰(shuí)”的問(wèn)題。

“亞馬遜靠的是機(jī)器時(shí)間（machine hour）賺錢，而不是靠軟件與平臺(tái)。因此，做社區(qū)的目的主要是為了把用戶量積累起來(lái)，而上面用的是什么開(kāi)源平臺(tái)，其實(shí)并不重要。”

南大教授周志華當(dāng)選AAAI 2019 程序主席，華人學(xué)者第一人

雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))從AAAI現(xiàn)任主席Subbarao Kambhampati處獲悉了AAAI 2019的程序主席人選，一位是密歇根大學(xué)教授Pascal Van Hentenryck，另一位是我們很熟悉的、來(lái)自中國(guó)南京大學(xué)計(jì)算機(jī)系的教授周志華，其作為華人學(xué)者擔(dān)任AAAI大會(huì)程序主席（Program Chair），這是AAAI創(chuàng)始以來(lái)第一次。周志華教授也成為了1980年AAAI大會(huì)創(chuàng)辦以來(lái)歐美之外國(guó)家的學(xué)者擔(dān)任AAAI大會(huì)程序主席的第一人。

周志華分別于1996年6月、1998年6月和2000年12月于南京大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系獲學(xué)士、碩士和博士學(xué)位，學(xué)成后一直在南大執(zhí)教。他曾在中國(guó)大陸取得所有學(xué)位，在海外最多只連續(xù)呆過(guò)兩個(gè)月，是徹頭徹尾的‘本土學(xué)者’。周志華教授是AAAI Fellow、 IEEE Fellow、 IAPR Fellow，2016年又新當(dāng)選ACM Fellow、AAAS Fellow，涵蓋了人工智能所有重要的學(xué)會(huì)，堪稱人工智能會(huì)士“大滿貫”得主。

最近幾年，AAAI把國(guó)際化當(dāng)成一個(gè)重要議題，越來(lái)越多來(lái)自美國(guó)之外的學(xué)者進(jìn)入常務(wù)組織機(jī)構(gòu)，而影響力日漸壯大的中國(guó)學(xué)者也會(huì)在AAAI里扮演更重要的角色。2016年，香港科技大學(xué)的楊強(qiáng)教授曾當(dāng)選AAAI Councilor，是華人學(xué)者第一次進(jìn)入AAAI執(zhí)行委員會(huì)。

不可否認(rèn)地，華人學(xué)者在大會(huì)中擔(dān)任越來(lái)越重要的角色，除了AAAI本身國(guó)際化的需求，也是華人學(xué)者在AI領(lǐng)域的影響力日漸提升的結(jié)果。Subbarao Kambhampati最后向雷鋒網(wǎng)透露，AAAI正在考慮2021年讓AAAI會(huì)議走出北美，雖然尚未有定論，但組委會(huì)正在討論深圳作為AAAI 2021主辦地點(diǎn)的可能性。

LipNet與ICLR評(píng)委互懟始末

ICLR 2017 4 月份馬上就要召開(kāi)，OpenReview 的結(jié)果也陸續(xù)出來(lái)。既然是一項(xiàng)學(xué)術(shù)會(huì)議，自然就涉及到論文的錄取與評(píng)審。其中，一篇早在去年就火遍各大媒體的論文遭到了拒絕，并引發(fā)了一場(chǎng)公開(kāi)辯駁。

去年 11 月的一篇論文——《LipNet: End-to-End Sentence-level Lipreading》，由牛津大學(xué)人工智能實(shí)驗(yàn)室、谷歌 DeepMind 和加拿大高等研究院 (CIFAR) 聯(lián)合發(fā)布，此文一出，很快便引來(lái)了眾多的關(guān)注，第一及第二作者 Yannis Assael 和 Breandan Shilingford 也是采訪不斷。

論文火到什么程度呢？Nvidia CEO 黃仁勛在 CES 2017 上提及了他們與牛津大學(xué)的 LipNet 團(tuán)隊(duì)有合作，研發(fā)讀唇深度學(xué)習(xí)網(wǎng)絡(luò)模型的應(yīng)用，并表示這一成果將應(yīng)用于 Nvidia 的協(xié)同駕駛技術(shù)上。

然而這篇論文，在今年就遭遇了 ICLR 的無(wú)情拒絕。其中與評(píng)委爭(zhēng)論得最為激烈的就是導(dǎo)師 Nando de Freitas，作為牛津大學(xué)機(jī)器學(xué)習(xí)教授，DeepMind 研究科學(xué)家，還是 CIFAR 的 Fellow，他直言評(píng)審的意見(jiàn)更新毫無(wú)價(jià)值，吐槽評(píng)審給出的修改意見(jiàn)簡(jiǎn)直是居高臨下，站著說(shuō)話不腰疼，完全是一派胡言！

而評(píng)審也是一點(diǎn)不手軟，最后給出的結(jié)論依然是拒絕。主要有2點(diǎn)評(píng)審意見(jiàn)：

1. 評(píng)審們非常重視論文的創(chuàng)新度及研究意義。

2. 經(jīng)過(guò)審閱，論文確實(shí)還沒(méi)有達(dá)到入選 ICLR 的標(biāo)準(zhǔn)。“論文是一篇應(yīng)用性論文，作者提出了第一個(gè)用機(jī)器學(xué)習(xí)實(shí)現(xiàn)端到端的語(yǔ)句層面唇讀技術(shù)。”

最后又總結(jié)了一番：

此文的缺點(diǎn)在于，在研究深度學(xué)習(xí)的相關(guān)應(yīng)用時(shí)，它并沒(méi)有做出巨大的技術(shù)貢獻(xiàn)，也沒(méi)有提出任何超出目前應(yīng)用領(lǐng)域的新見(jiàn)解。

論文里提及能將唇語(yǔ)的判別能力提升 10%，對(duì)于工業(yè)界也是一個(gè)很大的突破。不過(guò)，好的結(jié)果對(duì)工業(yè)界有用，但從研究的結(jié)果來(lái)說(shuō)，不一定就與突破劃上等號(hào)。就像李沐此前所提及的一樣，工業(yè)界追求的是「how」，而學(xué)術(shù)界看重的是「why」，產(chǎn)品與研究的方向完全不同，前者追求效果，能做出東西來(lái)就是勝利，而后者更看重創(chuàng)新。

谷歌工程師懟上Yann LeCun：你對(duì)Google Brain的評(píng)價(jià)完全是錯(cuò)的

最近，Google Brain的研究工程師Eric Jang在Quora上回答了“IBM、谷歌、Facebook、蘋果和微軟等幾家公司里，誰(shuí)在領(lǐng)導(dǎo)著AI研究的發(fā)展？”（Who is leading in AI research among big players like IBM, Google, Facebook, Apple and Microsoft?）這一問(wèn)題，短短時(shí)間便獲得了超過(guò)4000的閱讀量。之所以獲得這么廣泛的關(guān)注，一方面是因?yàn)镋ric Jang犀利的行文風(fēng)格，也因?yàn)樗苯訉?duì)原本Yann LeCun的回答做出了反駁。

Eric Jang把Deepmind排到第一位，Google Brain 、Facebook FAIR和OpenAI三者并列第二，百度和微軟研究院并列第三、蘋果第四、IBM位列第10位。他認(rèn)為Deepmind很大程度上是如今的第一名，因?yàn)樗麄儼l(fā)表的工作成果受到研究圈的高度重視，而且都涉及到了非常頂級(jí)的議題，比如深度增強(qiáng)學(xué)習(xí)、貝葉斯神經(jīng)網(wǎng)絡(luò)、機(jī)器人學(xué)、遷移學(xué)習(xí)等；也因他們從牛津大學(xué)和劍橋大學(xué)吸收了大量人才。

對(duì)于之前Yann LeCun對(duì)Google Brain在研究領(lǐng)域的評(píng)價(jià)“但是谷歌主要關(guān)注與應(yīng)用和產(chǎn)品開(kāi)發(fā)，而不是長(zhǎng)期的AI研究工作。”是錯(cuò)誤的。他說(shuō)道，Google Brain剛起步時(shí)的項(xiàng)目確實(shí)比較偏向工程，但是今天，Google Brain有很多員工都是專注于長(zhǎng)期的AI研究 ，而且是涉及所有可能的AI次級(jí)領(lǐng)域，這跟Facebook FAIR和Deepmind是類似的。

Facebook FAIR有16篇論文被ICLR 2017大會(huì)接收，其中有3篇被選為做現(xiàn)場(chǎng)論文展示。而實(shí)際上，Google Brain被ICLR 2017大會(huì)接收的論文數(shù)量還略略超過(guò)Facebook FAIR，總共有20篇，其中4篇被選為做現(xiàn)場(chǎng)論文展示。而這并沒(méi)有算上Deepmind和其它谷歌內(nèi)部團(tuán)隊(duì)的工作（比如搜索、VR、圖片）。論文接收數(shù)量并非一個(gè)很好的衡量尺度，但是他以此想反駁那些暗示Google Brain不善深度學(xué)習(xí)研究的暗示。

MIT黑科技：全新芯片將語(yǔ)音識(shí)別功耗降低99%

日前 ，MIT的研究人員開(kāi)發(fā)了一款專為自動(dòng)語(yǔ)音識(shí)別設(shè)計(jì)的低功耗芯片。據(jù)悉，他們開(kāi)發(fā)的芯片最高能將語(yǔ)音識(shí)別的功耗降低99%。

不管蘋果的Siri，谷歌的Google Assistant，還是亞馬遜的Alexa，智能語(yǔ)音助手正在越來(lái)越普及。但是，這些虛擬助手都需要依靠語(yǔ)音識(shí)別，而且需要常駐后臺(tái)保持開(kāi)啟狀態(tài)以隨時(shí)檢測(cè)語(yǔ)音命令，這必然會(huì)減少設(shè)備的續(xù)航時(shí)間。MIT的研究人員稱，手機(jī)上的語(yǔ)音識(shí)別功能的功率大約在1瓦特左右，而使用他們開(kāi)發(fā)的芯片能夠?qū)⒐β式档椭?.2~10毫瓦。

雷鋒網(wǎng)了解到，通常情況下，負(fù)責(zé)語(yǔ)音識(shí)別的芯片會(huì)一直在后臺(tái)運(yùn)行神經(jīng)網(wǎng)絡(luò)來(lái)檢測(cè)周圍所有的聲音，不管是人聲還是噪聲。而MIT的這款芯片增加了一個(gè)簡(jiǎn)單的“聲音探測(cè)”電路，它能夠識(shí)別人類的聲音，而且一旦檢測(cè)到人聲之后，就會(huì)激活更復(fù)雜的語(yǔ)音識(shí)別電路。這種方式就像給語(yǔ)音識(shí)別芯片加了一個(gè)協(xié)處理器，從而大幅降低了功耗。這意味著，未來(lái)就算是小型的電子設(shè)備也能用上先進(jìn)的語(yǔ)音識(shí)別系統(tǒng)和AI助手。

OpenAI最新研究：“對(duì)抗樣本”能輕易黑掉AI系統(tǒng)，如何抵御？

OpenAI發(fā)表最新研究，論述了AI安全領(lǐng)域的一大隱憂：“對(duì)抗樣本”，它可以輕易地讓機(jī)器學(xué)習(xí)系統(tǒng)產(chǎn)生誤判，這會(huì)對(duì)AI的應(yīng)用實(shí)踐產(chǎn)生影響。在這篇由“GANs”之父Ian Goodfellow領(lǐng)銜撰寫的文章里，OpenAI針對(duì)“對(duì)抗樣本”進(jìn)行了防御策略的實(shí)驗(yàn)，其中有兩種方法效果顯著，但也并不能解決根本問(wèn)題。

“對(duì)抗樣本”是攻擊者故意設(shè)計(jì)的，被用來(lái)輸入到機(jī)器學(xué)習(xí)模型里，引發(fā)模型出錯(cuò)的值，它就像是讓機(jī)器在視覺(jué)上產(chǎn)生幻覺(jué)一樣。

“對(duì)抗樣本”很有可能變得危險(xiǎn)。比如，攻擊者可以用貼紙或一幅畫制成一個(gè)“停止”指示牌的“對(duì)抗樣本”，以此來(lái)攻擊汽車，讓汽車將原本的“停止”指示牌誤理解“讓行”或其它指示牌，就像論文“Practical Black-Box Attacks against Deep Learning Systems using Adversarial Examples”討論的那樣。

“對(duì)抗樣本”展示出，就算是簡(jiǎn)單的現(xiàn)代算法，不論是監(jiān)督學(xué)習(xí)還是增強(qiáng)學(xué)習(xí)，就已經(jīng)可以不以設(shè)計(jì)者的意愿行事了，且是以令人驚訝的方式。

讓機(jī)器學(xué)習(xí)模型更穩(wěn)定的傳統(tǒng)技術(shù)，比如與權(quán)重衰減（weight decay）和dropout，通常不會(huì)對(duì)“對(duì)抗樣本”造成實(shí)際的防御。到目前，只有兩種方法有明顯防御效果：對(duì)抗訓(xùn)練（Adversarial training）和防御凈化（Defensive distillation），然而，如果攻擊者獲得更多的計(jì)算力，那么即使是這些特定算法，也會(huì)很容易就被攻克。

“對(duì)抗樣本”很難抵御，因?yàn)楹茈y為“對(duì)抗樣本”的制作過(guò)程構(gòu)建一個(gè)理論模型，也是因?yàn)樗鼈円髾C(jī)器學(xué)習(xí)模型為每一個(gè)可能的輸入值產(chǎn)生好的輸出結(jié)果。設(shè)計(jì)出抵抗強(qiáng)大、具有適應(yīng)性攻擊者的防御策略，是非常重要的研究領(lǐng)域。