機器學習實在太受歡迎，以至于它都被當做了AI本身，熱度更高的深度學習更是如此。令人高興的是，你的創(chuàng)業(yè)團隊已經(jīng)獲得了資金，或者你的團隊預算剛剛獲得了通過，現(xiàn)在你即將開始進入深度學習領域。
 

 

　　之前，你已經(jīng)從Keras, Imagenet等人工智能技術中感受到了快樂，這很令人興奮！可是，當你真的要在商業(yè)上開始實踐人工智能的時候，那么有幾件事是你必須要考慮的。

 

　　接下來，我會結合幾個例子來闡述我的建議，這些例子都是我去年早些時候和George Hotz一起在comma.ai研究自動駕駛時發(fā)生的。

 

　　救命，AI！我該往哪走？

 

　　深度學習是一項數(shù)據(jù)先行的科學。你的團隊或者創(chuàng)業(yè)存在的全部意義就是為了讓這些數(shù)據(jù)變得有意義。想想看，你只有將文字變得有意義，你才能研發(fā)你的人工智能比特幣聊天機器人！你只有理解圖像、視頻等內容，你才能打造下一個Snapchat Stories式的自動化多媒體拼貼。

 

　　你應該把數(shù)據(jù)處理當做你工作的一個核心。一定要在這方面做好它。例如，如果你覺得“只需要15分鐘”來準備和加載數(shù)據(jù)集，那么每次當你發(fā)現(xiàn)了更好的模型架構或者在你的Tensorflow代碼中發(fā)現(xiàn)了漏洞的時候，都必須要白白等待這15分鐘的時間。

 

　　規(guī)則很簡單。版本化你的數(shù)據(jù)集，并且預處理一次，之后反復使用。一些類似Celery、Luigi這樣的工具會是你的好幫手。

 

　　如果你是在一個大型的團隊工作，團隊中的所有任務都需要提交到一個集群，這時應該考慮一個數(shù)據(jù)解決方案，向模型訓練的員工批量提供數(shù)據(jù)。千萬千萬不要讓團隊中的成員在已經(jīng)知道模型有漏洞的情況下，還必須等到整個數(shù)據(jù)集都加載完畢才能修改。

 

　　小故事：comma.ai可能擁有世界上第二或第三大的駕駛數(shù)據(jù)集。在comma.ai 的早期歲月，為了訓練駕駛模型，需要加載時長數(shù)小時的視頻到擁有700多Gb內存的大型機器上。每當George需要更多數(shù)據(jù)來訓練的時候，他都會立刻增加100gb的內存。我加入的主要工作就是要為這個模型開發(fā)一個更好的版本，不過我并不想等15分鐘來加載數(shù)據(jù)。相反，我從一個簡單的ZMQ服務開源項目中獲得了一些內容。從此，再也沒有任何數(shù)據(jù)讓我們干著急了，我們可以擴展我們的訓練規(guī)模，并且使用更便宜的機器。現(xiàn)在對模型訓練的限制，只剩下GPU和它的研發(fā)者了。

 

　　對深度學習而言，我們很幸運有Tensorboard、最近推出的Visdom、以及其他的一些工具來幫我們可視化結果。我相信數(shù)據(jù)科學一般來說是最適合可視化驅動開發(fā)的，因為可視化讓你在研發(fā)的每一步都能正確處理你所遇到的問題。你沒有必要非得學習d3.js來獲得有用的可視化，除非你是JavaScript的狂熱愛好者。

 

　　小故事：在我的離職談話中，我咨詢George的意見，希望獲得一些提升工程師效率的建議（相信我，他是我見過的人當中最有效率的，我會抓住每一個機會向他學習）。他的建議是先構建一些東西出來，讓這些東西能夠可視化我在做的事情。George本人曾經(jīng)就是這么做的。此外，George 所有的IPython筆記本都有一個滑動小部件，可以在原型設計中迅速顯示參數(shù)如何影響結果。

 

　　3、盡早明確你的驗證/疑難案例數(shù)據(jù)集

 

　　我把充滿樂趣的可視化內容放在第二位，是為了讓你被“準備數(shù)據(jù)”嚇到之后，能稍作休息。可是，如果你想避免成為一只打字機上的猴子，只會隨機往神經(jīng)網(wǎng)絡上添加更多的層，你必須要學會如何衡量進度。

 

　　問問自己哪些指標與優(yōu)秀的可交付成果的相關性更好，以及你應該跟蹤哪些數(shù)據(jù)。

 

　　這或許超過了簡單的“隨機驗證10%的剩余數(shù)據(jù)”。驗證的數(shù)據(jù)庫最好與產品擁有相同的統(tǒng)計屬性。同樣的產品也能被用于追蹤疑難、邊緣甚至失敗的案例，以制作未來的驗證集。因此，你的驗證集或許會不斷發(fā)展，而且應該像訓練集一樣進行版本化。

 

　　小故事：我了解到，對于自動駕駛而言，那些在駕駛過程中你必須對車輛進行人為控制的時刻，就是疑難案例和驗證集。但是，最好的驗證測試是讓一名經(jīng)驗豐富的控制工程師上路，以精確地判斷自動駕駛系統(tǒng)的質量。如果你在這個行業(yè)之中，最好去特斯拉挖工程師過來（開個玩笑）。

 

　　4、過早的擴張是早期創(chuàng)業(yè)公司倒閉的主要原因

 

　　聽到這個建議，你也許會說“別試著教我這些，我聽過的創(chuàng)業(yè)故事肯定比你多！”誠然，但這里要告訴你的新事物是：你應該把GPU和硬件訓練當成和員工同樣的因素來考慮。一旦你雇傭/購買了超過你所需要的，你將花費很多的精力來安排多出來的資源。管理集群會很困難，而且深度學習的大規(guī)模HPC本身就是一個研究課題。

 

　　我在這里的建議是：在你想買一個新的GPU之前，你應該保證你所有的GPU都被充分利用。你當然可以像Google一樣大手大腳，前提是你的生產力和盈利能力能像Google一樣。

 

　　如果你的團隊和公司已經(jīng)足夠大，要嚴肅認真地招聘那些在基礎設施上工作的員工。如果你雇傭了10倍于硬件員工人數(shù)的研究人員，卻讓他們被迫等待，那么最好的情況是他們自己建立適合自己的基礎設施，最壞的情況則是他們干脆直接退出。這肯定不是你想見到的狀況。

 

　　小故事：當我有一次離開辦公室卻沒有讓我所有的GPU運轉的時候，Niel（comma的手機APP副總裁）給了我一個非常失望的神情，這甚至都讓我有了“空閑GPU恐懼癥”。在今天，這已經(jīng)成為了一個非常普遍的問題。

 

　　沒錯！在人工智能領域工作既富挑戰(zhàn)性，又充滿了樂趣。確保你對如何處理資源和可視化有一定的思考，那么你會沒事的?！　‘斎?，無論是 Samumed 的 SM04554，還是 Artas 植發(fā)機器人，想要完全解決脫發(fā)問題前路還有很長。但好歹已經(jīng)在路上，未來也值得期待。