AI 科技評(píng)論消息：昨日，據(jù)知乎網(wǎng)友爆料，亞馬遜AI李沐團(tuán)隊(duì)今年初至今已經(jīng)離開(kāi)6人了?？紤]到李沐團(tuán)隊(duì)一共20名正式員工，以及一個(gè)研究團(tuán)隊(duì)招新的嚴(yán)格要求和團(tuán)隊(duì)培養(yǎng)成本，6人離去對(duì)于一個(gè)團(tuán)隊(duì)來(lái)說(shuō)確實(shí)是一種重大的人員流失。

 

 

　　在知乎上，有兩種回應(yīng)，一種傾向于自然選擇，即類(lèi)似于末尾淘汰制，對(duì)于達(dá)不到培養(yǎng)要求的研究人員給予“勸退”，另一種傾向于“精英淘汰”，即學(xué)術(shù)領(lǐng)域的精英，一些真正德才兼?zhèn)涞木⑷瞬磐鶗?huì)遭冷遇、排擠甚至打擊、壓制。

 

　　由于熱度太大，面對(duì)大家的猜疑，李沐親自下場(chǎng)回答，他表示組織人員離開(kāi)是正常生陳代謝，有的人是因?yàn)橛X(jué)得新項(xiàng)目太挑戰(zhàn)，想換個(gè)環(huán)境；也有的人是因?yàn)閳F(tuán)隊(duì)要求開(kāi)展新項(xiàng)目之前，需要考慮到產(chǎn)品組的實(shí)際需求，導(dǎo)致某些人覺(jué)得資源使用不自由，所以離開(kāi)。

 

　　最近兩個(gè)月我們組確實(shí)有人離開(kāi)，在我看來(lái)是組織發(fā)展下的正常新城代謝。

 

　　1、最近做了一些思考，想象世界五年后是什么樣，從那里出發(fā)來(lái)重新考慮項(xiàng)目?jī)?yōu)先級(jí)。例如automl會(huì)不會(huì)是讓深度學(xué)習(xí)更加普及的一個(gè)主驅(qū)動(dòng)力，未來(lái)幾年有什么可以做的（高效的算法，高效的系統(tǒng)，成本更低的硬件，宣傳好結(jié)果來(lái)改變大家的看法）。我們定了兩個(gè)方向，作為我們的主攻方向。

 

　　2、之前我們跟工程組一起做了很多純工程項(xiàng)目。在我看來(lái)，我們應(yīng)該是做合作組不能做的（例如深度學(xué)習(xí)系統(tǒng)API設(shè)計(jì)，新系統(tǒng)開(kāi)發(fā)），而不是跟人搶項(xiàng)目。自然會(huì)有小伙伴做完這些項(xiàng)目后，覺(jué)得新項(xiàng)目太挑戰(zhàn)，想換個(gè)環(huán)境。

 

　　3、將我們的工作變成”essential“（amazon在疫情期間優(yōu)先派送essential的商品），這個(gè)一直是研究工作的一個(gè)難點(diǎn)。我們的做法是，開(kāi)始一個(gè)新的需要大量資源的研究項(xiàng)目前，先跟可能會(huì)用到的產(chǎn)品組聯(lián)系，看看他們的實(shí)際需求。這個(gè)改變會(huì)讓做先馬行空研究的小伙伴覺(jué)得不自由，從而可能離開(kāi)。

 

　　--- 5/17 更新 ---

 

　　沒(méi)料到大家如此熱心，所以補(bǔ)充幾點(diǎn)。

 

　　1、這也能上熱搜？這個(gè)是買(mǎi)的嗎？

 

　　2、人員離開(kāi)不是一件輕松的事情，特別是疫情期間。對(duì)每個(gè)主動(dòng)想走的人我都長(zhǎng)聊過(guò)，做了極大的挽留，例升職規(guī)劃，討論有挑戰(zhàn)的新項(xiàng)目。對(duì)于是請(qǐng)走的人，也是有公司第三方團(tuán)隊(duì)和第三方律師事務(wù)所進(jìn)行半年以上的評(píng)估和改進(jìn)嘗試。我們組發(fā)展了三年多，除了之前有位小伙伴想回家發(fā)展外，這是首次有人離開(kāi)，所以不奇怪引人關(guān)注。

 

　　3、過(guò)去一年一直在招能管理科學(xué)家團(tuán)隊(duì)的經(jīng)理，如果各位有興趣請(qǐng)私信我。另外，接下來(lái)我們會(huì)進(jìn)行大規(guī)模招聘，敬請(qǐng)期待。

 

　　4、MXNet處境。質(zhì)疑一直有，PyTorch和TensorFlow也確實(shí)強(qiáng)大。facebook和google可以花很大資源來(lái)支持開(kāi)源，不管是人力還是宣傳，而且可以強(qiáng)迫自己公司團(tuán)隊(duì)使用自家產(chǎn)品。MXNet的資源一直是別人的1/10，我們將資源都集中解決客戶(hù)問(wèn)題上（亞馬遜的準(zhǔn)則之一：客戶(hù)至上），很多項(xiàng)目我們并沒(méi)有宣傳。下面是幾個(gè)我們公開(kāi)的項(xiàng)目：

 

　　《動(dòng)手學(xué)深度學(xué)習(xí)》最早是作為MXNet文檔來(lái)做的，現(xiàn)在已經(jīng)被包括cmu/stanford/berkeley/mit等近100所高校作為教材使用。Nvidia創(chuàng)始人Jensen特意為此寫(xiě)了推薦語(yǔ)。

 

　　ResNeSt是GluonCV 0.7中的工作 https://github.com/dmlc/gluon-cv/releases/tag/v0.7.0 刷爆了各大榜單

 

　　GluonNLP把BERT的inference速度降到百萬(wàn)次不到一塊錢(qián)。

 

　　AutoGluon是我們?cè)赼utoml的首次嘗試，比我們知道的所有工作都要塊和準(zhǔn)。

 

　　MXNet的model zoo下載量在百萬(wàn)級(jí)別。

 

　　還有幾個(gè)大招在做，敬請(qǐng)期待接。

 

　　5、關(guān)于燒錢(qián)。我們最近的工作ResNeSt拿到了檢測(cè)和分割的多個(gè)第一，知乎上也有很多文章討論。至于說(shuō)花費(fèi)比較大，花費(fèi)更大的工作我們今年做了好幾個(gè)，只要能推動(dòng)技術(shù)進(jìn)步，我們會(huì)不切余力的投入。

 

　　1

 

　　網(wǎng)友評(píng)論：MXNet英雄落幕？

 

　　知乎中很多網(wǎng)友，包括前MXNet團(tuán)隊(duì)員工也表示，離職其實(shí)是因?yàn)镸XNet這兩年的發(fā)展比較慢，在PyTorch和TensorFlow的雙重夾擊下，實(shí)現(xiàn)突圍非常難。

 

　　例如，一位在MXNet項(xiàng)目上貢獻(xiàn)commit數(shù)量最多的貢獻(xiàn)者提到，他從MXNet團(tuán)隊(duì)離職的原因是，總體上MXNet ecosystem的蛋糕沒(méi)有做大，反而是越來(lái)越小。

 

　　本人2018年3月入職MXNet團(tuán)隊(duì)，自入職至今是在MXNet項(xiàng)目上貢獻(xiàn)commit數(shù)量最多的contributor，也是社區(qū)committer。同時(shí)，我也是近期從MXNet團(tuán)隊(duì)離職的成員之一，去向是亞馬遜內(nèi)部的其他team。

 

　　……

 

　　其實(shí)沐神待我也是不薄，并且我對(duì)MXNet這個(gè)項(xiàng)目也算是有一些感情的。在開(kāi)發(fā)之余，我也擔(dān)當(dāng)了MXNet生態(tài)系統(tǒng)一些PR blog的翻譯潤(rùn)色和校對(duì)工作，各位去翻一下的話(huà)應(yīng)該可以看到我的名字。盡管如此，我最終在近期選擇了離職主要是因?yàn)榭傮w上MXNet ecosystem的蛋糕沒(méi)有做大，反而是越來(lái)越小，如此一來(lái)team內(nèi)的上升空間也就縮小了。……

 

　　深度學(xué)習(xí)優(yōu)秀回答者 mileistone 也對(duì)MXNet越來(lái)越小的市場(chǎng)份額做出了評(píng)價(jià)：整個(gè)深度學(xué)習(xí)框架市場(chǎng)幾乎被TensorFlow和PyTorch瓜分，MXNet市場(chǎng)低占有率很低。

 

　　李沐團(tuán)隊(duì)技術(shù)實(shí)力很強(qiáng)，但是做的主要產(chǎn)品都沒(méi)打開(kāi)市場(chǎng)。而且這些產(chǎn)品有一些具備一定延續(xù)性，會(huì)互相影響。

 

　　比如基于MXNet的GluonCV、GluonNLP和Dive into Deep Learning，本來(lái)打算通過(guò)這三款產(chǎn)品來(lái)帶動(dòng)更多人進(jìn)入MXNet社區(qū)。

 

　　但是這三款產(chǎn)品都是維生素，而不是止疼藥；沒(méi)能解決深度學(xué)習(xí)框架的痛點(diǎn)，解決的是癢點(diǎn)。而與此同時(shí)，解決深度學(xué)習(xí)框架易用性這個(gè)痛點(diǎn)的PyTorch幾乎一夜之間崛起，現(xiàn)在可以跟TensorFlow分庭抗禮，整個(gè)深度學(xué)習(xí)框架市場(chǎng)幾乎被TensorFlow和PyTorch瓜分。

 

　　這種情況下，即使GluonCV和GluonNLP做得很棒，本身的市場(chǎng)價(jià)值卻因?yàn)镸XNet市場(chǎng)低占有率而拖累。所以情況就比較尷尬，MXNet市場(chǎng)占有率依舊低迷，依托其上開(kāi)發(fā)的GluonCV和GluonNLP既沒(méi)能改變這個(gè)現(xiàn)實(shí)，與此同時(shí)又受限于這個(gè)現(xiàn)實(shí)，無(wú)法發(fā)揮其潛力。

 

　　…… ……

 

　　另一位利益相關(guān)的亞麻員工表示，其實(shí)在公司內(nèi)部MXNet用的也很少。

 

　　我是device org的scientist，我們大組是專(zhuān)門(mén)做edge端的CV team，旗下的要維護(hù)研發(fā)的CV model相對(duì)比較多。別的公司聽(tīng)說(shuō)我做DL都會(huì)問(wèn)你們用不用MXNet 我只能含蓄得回答可以用但是沒(méi)人逼我們必須用 …… 實(shí)際上就是完全不用。

 

　　一位自稱(chēng)「野生MXNet“磚”家」的網(wǎng)友提到：MXNet發(fā)展的這兩三年，書(shū)寫(xiě)的很成功，但平臺(tái)本身仍然沒(méi)什么大的起色。另外，還細(xì)數(shù)了MXNet的眾多缺點(diǎn)。

 

　　......

 

　　MXNet平臺(tái)并不差，不管是功能還是性能有些地方都是可圈可點(diǎn)的，但實(shí)際體驗(yàn)中莫名其妙的晦澀的錯(cuò)誤、欠缺的算子、很多算子在cpu中運(yùn)行的速度甚至不如手?jǐn)]numpy、相較于torch更高的內(nèi)存占用（曾經(jīng)MXNet引以為傲的內(nèi)存低占用現(xiàn)在已經(jīng)沒(méi)有什么優(yōu)勢(shì)）、某個(gè)版本能用的Mirror到另一個(gè)版本就失效了、某個(gè)版本能用的custom numpy operator到了某個(gè)版本突然就出現(xiàn)bug了、某個(gè)版本horovod就是安裝不成功、某個(gè)版本auto mixed precision又突然出現(xiàn)錯(cuò)誤無(wú)法訓(xùn)練如此等等，的確給新手用戶(hù)不小的麻煩。

 

　　但這些不是不能解決的，可能是沒(méi)有被重視吧，而且因?yàn)楦?jìng)爭(zhēng)平臺(tái)也不是十全十美，所以平臺(tái)不是沒(méi)有機(jī)會(huì)，機(jī)會(huì)仍然存在。

 

　　......

 

　　最后，一位匿名用戶(hù)的題外話(huà)概括了現(xiàn)在MXNet面臨的處境：“沐神辛辛苦苦寫(xiě)的書(shū)，本想著推廣MXNet，最后一大堆同學(xué)放出了PyTorch實(shí)現(xiàn)版，著實(shí)慘233”。

 

　　2

 

　　框架沉浮，MXNet能否實(shí)現(xiàn)突圍？

 

　　2004年，李沐從上海交通大學(xué)計(jì)算機(jī)系 ACM 班畢業(yè)。ACM 班作為以培養(yǎng)計(jì)算機(jī)科學(xué)家而聞名的“特色班”，一開(kāi)始便為李沐的簡(jiǎn)歷奠定了引人關(guān)注的基調(diào)。2008年。李沐正式從上海交大碩士畢業(yè)后，暫時(shí)告別了求學(xué)生涯，前往香港科技大學(xué)任職。

 

　　2011年，大學(xué)期間就曾在中國(guó)IT界的“黃埔軍校”實(shí)習(xí)過(guò)的李沐，收到了百度拋給他的橄欖枝。2011 年只2012 年，他在百度擔(dān)任高級(jí)研究員的短短一年多時(shí)間里，創(chuàng)建了一套分布式機(jī)器學(xué)習(xí)廣告系統(tǒng)，為他的研究生涯又累積了不少工業(yè)界經(jīng)驗(yàn)。

 

　　2012年，他的人生軌跡迎來(lái)了又一個(gè)轉(zhuǎn)變，離開(kāi)百度前往CMU 深造。當(dāng)時(shí)做出這一選擇的背景則是：一方面，在百度的實(shí)踐經(jīng)驗(yàn)讓他更加認(rèn)清了自己在研究方面的短板，意識(shí)到繼續(xù)深造會(huì)是自己更好的選擇；另一方面，他現(xiàn)任妻子當(dāng)時(shí)也被 MIT 錄取，也成為了他選擇去CMU 學(xué)習(xí)的一大重要原因。

 

　　也就是在CMU，李沐得到了導(dǎo)師機(jī)器學(xué)習(xí)大師 Alex Smola 和 分布式系統(tǒng)教授 Dave Andersen的指導(dǎo)，科研能力迅速提高。在CMU 求學(xué)的第二年，正適余凱等人在轟轟烈烈地做深度學(xué)習(xí)，他也加入這波研究熱潮。基于對(duì)分布式深度學(xué)習(xí)框架的興趣，他選擇與陳天奇合作，將CXXNet 作為起點(diǎn)，開(kāi)始做深度學(xué)習(xí)相關(guān)項(xiàng)目。

 

　　一年后，二人合力在Github上創(chuàng)建了一個(gè)叫DMLC的組織，隨后更是創(chuàng)建了一個(gè)與他后續(xù)在亞馬遜的任職生涯都有著緊密聯(lián)系的項(xiàng)目——MXNet。

 

　　出于對(duì) MXNet未來(lái)發(fā)展的考量，在畢業(yè)后的職業(yè)選擇上，李沐選擇放棄了加入谷歌的機(jī)會(huì)，而選擇去了亞馬遜，一直任職至今，展開(kāi)圍繞MXNet的相關(guān)項(xiàng)目。

 

　　隨后MXNet也成為了亞馬遜首選的深度學(xué)習(xí)庫(kù)，在眾多深度學(xué)習(xí)框架之中，雖然市場(chǎng)份額遠(yuǎn)不如TensorFlow和PyTorch，但從框架本身而言，MXNet的速度，節(jié)省內(nèi)存，接口靈活性，和分布式效率都是可圈可點(diǎn)的。

 

　　MXNet擁有類(lèi)似于 Theano 和 TensorFlow 的數(shù)據(jù)流圖，為多 GPU 配置提供了良好的配置，有著類(lèi)似于 Lasagne 和 Blocks 更高級(jí)別的模型構(gòu)建塊，并且能在眾多硬件上運(yùn)行（包括手機(jī)）。除了對(duì) PyTorch 提供支持，MXNet 也提供了對(duì) R、Julia、C++、Scala、Matlab，和 Javascript 的接口。

 

　　也正如李沐之前介紹的那樣，MXNet是散修小團(tuán)體一起合力做出來(lái)的平臺(tái)，排名前20的開(kāi)發(fā)者，基本都是出自不同的門(mén)派和世家，這個(gè)是MXNet最大的特色。

 

　　不論是開(kāi)始時(shí)間還是平臺(tái)特性，MXNet最靠近TensorFlow。有完整的多語(yǔ)言前端，后端類(lèi)似編譯器，做這種內(nèi)存和執(zhí)行優(yōu)化。應(yīng)用場(chǎng)景從分布式訓(xùn)練到移動(dòng)端部署都覆蓋。整個(gè)系統(tǒng)全部模塊化，有極小的編譯依賴(lài)，非常適合快速開(kāi)發(fā)。

 

　　因而發(fā)展至今，MXNet  總免不了被拿來(lái)和TensorFlow 做比較，對(duì)此，李沐曾在AI 科技評(píng)論的采訪(fǎng)中做出回應(yīng)：“我很理解大家愛(ài)看對(duì)比類(lèi)的文章，但這是種存在偏見(jiàn)的做法。我們比別人快一兩倍，不是我們想表達(dá)的東西，而為什么快，做了哪些優(yōu)化，離我們的理想狀態(tài)還有哪些差距，這樣的總結(jié)可能對(duì)我來(lái)說(shuō)更有價(jià)值一些。”

 

　　與此同時(shí)他也表示，MXNet 與TensorFlow 并不是大家想象中那種劍拔弩張的狀態(tài)，并且框架的融合會(huì)是未來(lái)的趨勢(shì)，系統(tǒng)各自為政的時(shí)代會(huì)被更多的兼容與支持取代。

 

　　而在未來(lái)的框架融合潮流中，MXNet 是否還能堅(jiān)守住自己的一方小小席地呢？我們暫且留下一個(gè)問(wèn)號(hào)。

 

　　正如在李沐團(tuán)隊(duì)的這波離職風(fēng)波中，離職員工本身的“爆料”以及廣大熱心知乎網(wǎng)友的猜測(cè)所言，這么多人離職很大的原因便是 MXNet 這兩年的發(fā)展比較慢，在PyTorch和TensorFlow的雙重夾擊下，實(shí)現(xiàn)突圍非常難。

 

 

 

　　那MXNet有沒(méi)有突圍的辦法？曾創(chuàng)建Caffe2的賈揚(yáng)清表示：框架的沉浮很正常，每一個(gè)平臺(tái)都有自己的強(qiáng)項(xiàng)和弱項(xiàng)。一個(gè)框架在系統(tǒng)上很強(qiáng)，相應(yīng)的生態(tài)就會(huì)稍弱一些。mxnet的路線(xiàn)如何走，其實(shí)和這一堆的機(jī)器學(xué)習(xí)框架的分分合合都有相似性，關(guān)鍵是“我能解決誰(shuí)的痛點(diǎn)，以及什么痛點(diǎn)”。造輪子不是目的，解決新的痛點(diǎn)才是目的。

 

　　......

 

　　框架的沉浮。回答里面提到Caffe2，它的設(shè)計(jì)早于Tensorflow，計(jì)算圖是從Purine的想法借鑒的，當(dāng)時(shí)Google Brain還是按照神經(jīng)元base的方式來(lái)做。從需求的角度講，當(dāng)時(shí)的核心挑戰(zhàn)是系統(tǒng)部署能力，這是在Facebook里頭非常重視的一點(diǎn)，應(yīng)該說(shuō)是在企業(yè)級(jí)框架當(dāng)中第一個(gè)可以同時(shí)以一套系統(tǒng)部署在云上廣告推薦訓(xùn)練以及端上AI/AR場(chǎng)景的平臺(tái)。

 

　　但是每一個(gè)平臺(tái)都有自己的強(qiáng)項(xiàng)和弱項(xiàng)。一個(gè)框架在系統(tǒng)上很強(qiáng)，相應(yīng)的生態(tài)就會(huì)稍弱一些：大公司內(nèi)部的需求和科研人員/長(zhǎng)尾應(yīng)用的需求是不一樣的。一個(gè)需要處理PB級(jí)數(shù)據(jù)的系統(tǒng)，絕對(duì)會(huì)放棄易用性，而易用性對(duì)于開(kāi)發(fā)者社區(qū)是極端重要的。從這個(gè)角度，我覺(jué)得mxnet已經(jīng)在不可能的方向上利用自己的資源做了很多事情，無(wú)論是推動(dòng)Gluon，還是做“動(dòng)手學(xué)深度學(xué)習(xí)”。結(jié)果不論，但是在系統(tǒng)和生態(tài)的平衡上主動(dòng)做了很多事情。

 

　　這個(gè)取舍，從第一天我們?cè)O(shè)計(jì)系統(tǒng)的時(shí)候是考量過(guò)的。在FB我們當(dāng)時(shí)還做過(guò)這樣的分析：“從人力上，我們無(wú)法長(zhǎng)期和Google進(jìn)行全面的對(duì)抗，因此我們的策略是解決Facebook的業(yè)務(wù)核心問(wèn)題，廣告、端上智能，等等。Tensorflow的長(zhǎng)線(xiàn)在于大兵團(tuán)作戰(zhàn)，而我們的長(zhǎng)線(xiàn)在于快速迭代解決業(yè)務(wù)需求。我們要一直保證在我們自己的需求上面，和TensorFlow保持六個(gè)月的優(yōu)勢(shì)”。

 

　　回頭看我覺(jué)得這個(gè)策略非常成功，也推動(dòng)了系統(tǒng)上的創(chuàng)新，ImageNet in an Hour被Jensen評(píng)價(jià)”也許是2017年深度學(xué)習(xí)系統(tǒng)最重要的論文“。據(jù)我理解，F(xiàn)acebook今天廣告、手機(jī)AI等方面，前端在逐漸轉(zhuǎn)向pytorch原語(yǔ)，后端系統(tǒng)繼續(xù)使用caffe2的高性能架構(gòu)。這和我離開(kāi)前和Facebook同事設(shè)計(jì)的PyTorch 1.0的策略是一致的。

 

　　當(dāng)然，這一段當(dāng)中還是走了彎路，一度因?yàn)殚_(kāi)源的熱情，我還是推過(guò)Caffe2的社區(qū)，后來(lái)反思起來(lái)，任何一個(gè)系統(tǒng)都有長(zhǎng)有短，通過(guò)Caffe2要解的是業(yè)務(wù)系統(tǒng)的問(wèn)題，不是社區(qū)的問(wèn)題，不應(yīng)該全部通吃。后來(lái)我們將外部品牌統(tǒng)一為PyTorch，也是這樣的一個(gè)思考。竊以為，mxnet的路線(xiàn)如何走，其實(shí)和這一堆的機(jī)器學(xué)習(xí)框架的分分合合都有相似性，關(guān)鍵是“我能解決誰(shuí)的痛點(diǎn)，以及什么痛點(diǎn)”。造輪子不是目的，解決新的痛點(diǎn)才是目的。