就像發(fā)展迅速的技術(shù)一樣，AI也激發(fā)了大規(guī)模的FOMO（害怕錯過）、FUD（恐、惑、疑）和不和。其中一些是應(yīng)該的，也有一些不是——但這個行業(yè)正在留意。從秘密的硬件初創(chuàng)企業(yè)到金融技術(shù)巨頭乃至于上市公司，各個團隊都在忙碌地實施自己的AI戰(zhàn)略。這一切都歸結(jié)到一個關(guān)鍵且高風(fēng)險的問題：“我們會怎么使用AI和機器學(xué)習(xí)來讓我們做的事情變得更好？”

 

　　通常公司都還沒有為AI做好準(zhǔn)備。也許他們招聘了自己的第一位數(shù)據(jù)科學(xué)家但卻達不到想要的效果，或者也許數(shù)據(jù)素養(yǎng)并不是他們文化的核心。但最常見的情形是透明還沒有建立起基礎(chǔ)而設(shè)施去實施最基本的數(shù)據(jù)科學(xué)算法和操作，更不用說機器學(xué)習(xí)了。

 

　　作為數(shù)據(jù)科學(xué)/AI顧問，我必須無數(shù)次地傳達這一信息，過去2年尤其如此。其他人也表示同意。在大家都對你所在的領(lǐng)域充滿著興奮之情是做一個潑冷水的人是很困難的，尤其是如果你也分享著這種興奮時。還有你應(yīng)該怎么去告訴那些公司，說如果沒有（或者成為）精英——也就是自我任命的看門人的話是不可能為AI做好準(zhǔn)備的呢？

 

　　這里是一個引起大家最多共鳴的一個解釋：

 

　　可以把AI看作是需求金字塔的頂端。是的，自我實現(xiàn)（AI）是非常棒的，但你首先需要食物、水和庇護所（數(shù)據(jù)素養(yǎng)、數(shù)據(jù)采集和基礎(chǔ)設(shè)施）。

　　你的數(shù)據(jù)需要有牢靠的基礎(chǔ)，然后才可以高效地運用AI和機器學(xué)習(xí)。

 

 

　　金字塔的底部是數(shù)據(jù)采集。你需要什么樣的數(shù)據(jù)？你又有什么樣的數(shù)據(jù)？如果是面向用戶的產(chǎn)品，你有沒有記錄所有相關(guān)的用戶交互？如果產(chǎn)品是傳感器，數(shù)據(jù)是從哪兒來的，怎么來？記錄一種尚未物聯(lián)化的交互有多容易？畢竟，擁有合適的數(shù)據(jù)集是機器學(xué)習(xí)最近能取得進展的關(guān)鍵。

 

　　其次，要弄清楚數(shù)據(jù)流是如何流經(jīng)系統(tǒng)的？你有沒有可靠的數(shù)據(jù)流處理系統(tǒng)或者ETL（提取轉(zhuǎn)換加載）？數(shù)據(jù)存放在哪里？訪問和分析這些數(shù)據(jù)有多容易？Jay Kreps一直都在說（有10年的時間了）可靠的數(shù)據(jù)流是任何數(shù)據(jù)處理方面事情的關(guān)鍵。（附注：我正在尋找這句話的確切出處，結(jié)果在他的碩士論文《我喜歡日志》中找到了。然后我注意到他在一段話之后做出了這個馬斯洛的需求層次論的比較，并以“值得注意的是”來作為附注。說到相關(guān)工作，后來我又看到了Hilary Mason和Chris Wiggings的精彩文章，講的是數(shù)據(jù)科學(xué)家應(yīng)該做什么事情。幾天前，Sean Taylor披露了自己的數(shù)據(jù)科學(xué)需求金字塔，當(dāng)然這跟這里的金字塔是完全不同的。）

 

　　只有當(dāng)你有了數(shù)據(jù)之后，才可以對數(shù)據(jù)進行探索和轉(zhuǎn)換。這里的工作包括臭名卓著的“數(shù)據(jù)清洗”，這是數(shù)據(jù)科學(xué)領(lǐng)域被低估的一項工作，這一塊我得另起一篇文章來談。當(dāng)你發(fā)現(xiàn)你失去了一大塊數(shù)據(jù)，你的傳感器不可靠，某次版本變更意味著你的事件被丟失，你對某個標(biāo)志產(chǎn)生了誤解時——你就得回過頭來確保金字塔的基礎(chǔ)是牢靠的。

 

　　當(dāng)你可以可靠地探索和清洗數(shù)據(jù)時，你就可以進行傳統(tǒng)上被認(rèn)為是BI或分析方面的事情：定義要跟蹤的指標(biāo)，其季候性以及對不同因素的敏感性。也需要進行一些艱苦的用戶細分的工作，去看看會不會有什么東西冒出來。然而，既然你的目標(biāo)是AI，你現(xiàn)在要搭建的是隨后被認(rèn)為是特征的東西，以供將來吸收進你的機器學(xué)習(xí)模型里面。在這個階段，你還知道了你打算要預(yù)測或者學(xué)習(xí)什么，你還可以開始通過生成標(biāo)簽（自動或者手工的方式）來準(zhǔn)備你的訓(xùn)練數(shù)據(jù)。

 

　　這個階段也是你找到自己最令人興奮和引人注目的數(shù)據(jù)故事的時候——但這也是另一篇文章的主題了。

 

 

　　我們有了訓(xùn)練數(shù)據(jù)了——那是不是現(xiàn)在可以進行機器學(xué)習(xí)了呢？也許吧，如果你是想在內(nèi)部進行客戶流失率預(yù)測的話；但如果結(jié)果是面向客戶的答案就是否定的。我們需要進行A/B測試（不管是如何的原始）或者有準(zhǔn)備好的實驗框架，這樣才能逐步部署以避免災(zāi)難，并在改變影響每個人之前對改變的效果進行粗略的估計。這也是將非常簡單的基線部署到位的合適時機（對于推薦系統(tǒng)來說，基線系統(tǒng)可以是“最熱門”，然后是“細分用戶市場的最熱門”——這就是非常煩人但有效的“個性化之前先用老一套”）。

 

　　簡單的啟發(fā)法的難以擊敗甚至到令人驚訝的地步，它們會讓你以端到端的方式調(diào)試系統(tǒng)，這不需要神秘的機器學(xué)習(xí)黑箱，在這中間要需要超參數(shù)調(diào)整。

 

　　到了這個時候，你可以部署一個非常簡單的機器學(xué)習(xí)算法（比如邏輯回歸或者分類等），然后考慮可能影響到你的結(jié)果的信號和特征。天氣和普查數(shù)據(jù)是我的目標(biāo)。還有，盡管深度學(xué)習(xí)很強大，但它不會自動幫你做這些事情。引入新的信號（特征建立，不是特征工程）可以大幅改善你的性能。在這里花些時間是值得的，即便身為數(shù)據(jù)科學(xué)家我們也對向上進入金字塔的更高層面感到興奮。

 

 

　　數(shù)據(jù)有了。裝置也有了。你的ETL開始發(fā)揮作用了。你的數(shù)據(jù)已經(jīng)組織好并且清洗過了。你有了儀表盤，標(biāo)簽以及好的特征。你在測量合適的東西。你可以每天進行試驗。你有了一個基線算法，可以進行端到端的調(diào)試，并且在生產(chǎn)中運轉(zhuǎn)——而且你已經(jīng)對它進行了十幾次的變更。總之，你已經(jīng)準(zhǔn)備好了。接下來從自己鋪開到利用專長于機器學(xué)習(xí)的公司，你可以繼續(xù)去嘗試最新最好的東西。你可能可以在生產(chǎn)方面取得巨大改進，或者也許不能。但最壞的情況下，你也能學(xué)到一些新的方法，形成自己的觀點并有了上手體驗，并且可以告訴你的投資者和客戶自己在AI方面做了哪些努力而不是給人感覺像是個騙子。而在最好的情況下，你可以為用戶、客戶和公司帶來巨大的不同——這是機器學(xué)習(xí)的一個真正的成功故事。

 

 

　　數(shù)據(jù)科學(xué)需求層次輪不是用1年的時間過度建設(shè)脫節(jié)的基礎(chǔ)設(shè)施的借口。就像傳統(tǒng)的最小可行產(chǎn)品（MVP）的開發(fā)套路一樣，你也要從產(chǎn)品小的垂直板塊開始，把它從端到端都做好了。比方說，在Jawbone，我們先從睡眠數(shù)據(jù)開始并搭建它的金字塔：工具手段，ETL，清洗和組織，標(biāo)簽捕捉和定義，指標(biāo)（大家美軍每晚的睡眠時間是多長？小憩呢？什么是小憩？），跨細分市場分析，一直到數(shù)據(jù)故事和機器學(xué)習(xí)驅(qū)動數(shù)據(jù)產(chǎn)品（自動睡眠檢測）。我們后來又把它延伸到步數(shù)，然后食物、天氣、鍛煉、社交網(wǎng)絡(luò)以及溝通——每次做一個。在端到端做完一件事情之前我們并沒有建設(shè)一個包羅萬象的基礎(chǔ)設(shè)施。

 

 

　　這只與如何可以有關(guān)，跟應(yīng)該如何無關(guān)（出于實用主義或者道德倫理的原因）。

 

 

　　“等一下，Amazon API或者TensorFlow等別的開源庫呢？其他在賣機器學(xué)習(xí)或者自動析取洞察和特征的工具的公司呢？”

 

　　所有這些都很出色很有用（一些公司最終的確煞費苦心地定制出來整個金字塔來展示自己的工作。這些人是英雄）。然而，鑒于當(dāng)前AI炒作的強烈影響力，大家都試圖把臟的、存在斷層、跨越了數(shù)年且格式和意思不斷改變的數(shù)據(jù)，那些尚未被理解的數(shù)據(jù)，那些結(jié)構(gòu)化行不通的數(shù)據(jù)塞進去，還指望這些工具能夠魔術(shù)般地處理好它們。也許將來有一天會是這種情況，我對朝著這個方向的努力舉雙手贊成。但在此之前，為你的AI金字塔打造好一個牢固的基礎(chǔ)是值得的。