就像發(fā)展迅速的技術(shù)一樣，AI也激發(fā)了大規(guī)模的FOMO（害怕錯(cuò)過）、FUD（恐、惑、疑）和不和。其中一些是應(yīng)該的，也有一些不是——但這個(gè)行業(yè)正在留意。從秘密的硬件初創(chuàng)企業(yè)到金融技術(shù)巨頭乃至于上市公司，各個(gè)團(tuán)隊(duì)都在忙碌地實(shí)施自己的AI戰(zhàn)略。這一切都?xì)w結(jié)到一個(gè)關(guān)鍵且高風(fēng)險(xiǎn)的問題：“我們會(huì)怎么使用AI和機(jī)器學(xué)習(xí)來讓我們做的事情變得更好？”

 

　　通常公司都還沒有為AI做好準(zhǔn)備。也許他們招聘了自己的第一位數(shù)據(jù)科學(xué)家但卻達(dá)不到想要的效果，或者也許數(shù)據(jù)素養(yǎng)并不是他們文化的核心。但最常見的情形是透明還沒有建立起基礎(chǔ)而設(shè)施去實(shí)施最基本的數(shù)據(jù)科學(xué)算法和操作，更不用說機(jī)器學(xué)習(xí)了。

 

　　作為數(shù)據(jù)科學(xué)/AI顧問，我必須無數(shù)次地傳達(dá)這一信息，過去2年尤其如此。其他人也表示同意。在大家都對(duì)你所在的領(lǐng)域充滿著興奮之情是做一個(gè)潑冷水的人是很困難的，尤其是如果你也分享著這種興奮時(shí)。還有你應(yīng)該怎么去告訴那些公司，說如果沒有（或者成為）精英——也就是自我任命的看門人的話是不可能為AI做好準(zhǔn)備的呢？

 

　　這里是一個(gè)引起大家最多共鳴的一個(gè)解釋：

 

　　可以把AI看作是需求金字塔的頂端。是的，自我實(shí)現(xiàn)（AI）是非常棒的，但你首先需要食物、水和庇護(hù)所（數(shù)據(jù)素養(yǎng)、數(shù)據(jù)采集和基礎(chǔ)設(shè)施）。

　　你的數(shù)據(jù)需要有牢靠的基礎(chǔ)，然后才可以高效地運(yùn)用AI和機(jī)器學(xué)習(xí)。

 

 

　　金字塔的底部是數(shù)據(jù)采集。你需要什么樣的數(shù)據(jù)？你又有什么樣的數(shù)據(jù)？如果是面向用戶的產(chǎn)品，你有沒有記錄所有相關(guān)的用戶交互？如果產(chǎn)品是傳感器，數(shù)據(jù)是從哪兒來的，怎么來？記錄一種尚未物聯(lián)化的交互有多容易？畢竟，擁有合適的數(shù)據(jù)集是機(jī)器學(xué)習(xí)最近能取得進(jìn)展的關(guān)鍵。

 

　　其次，要弄清楚數(shù)據(jù)流是如何流經(jīng)系統(tǒng)的？你有沒有可靠的數(shù)據(jù)流處理系統(tǒng)或者ETL（提取轉(zhuǎn)換加載）？數(shù)據(jù)存放在哪里？訪問和分析這些數(shù)據(jù)有多容易？Jay Kreps一直都在說（有10年的時(shí)間了）可靠的數(shù)據(jù)流是任何數(shù)據(jù)處理方面事情的關(guān)鍵。（附注：我正在尋找這句話的確切出處，結(jié)果在他的碩士論文《我喜歡日志》中找到了。然后我注意到他在一段話之后做出了這個(gè)馬斯洛的需求層次論的比較，并以“值得注意的是”來作為附注。說到相關(guān)工作，后來我又看到了Hilary Mason和Chris Wiggings的精彩文章，講的是數(shù)據(jù)科學(xué)家應(yīng)該做什么事情。幾天前，Sean Taylor披露了自己的數(shù)據(jù)科學(xué)需求金字塔，當(dāng)然這跟這里的金字塔是完全不同的。）

 

　　只有當(dāng)你有了數(shù)據(jù)之后，才可以對(duì)數(shù)據(jù)進(jìn)行探索和轉(zhuǎn)換。這里的工作包括臭名卓著的“數(shù)據(jù)清洗”，這是數(shù)據(jù)科學(xué)領(lǐng)域被低估的一項(xiàng)工作，這一塊我得另起一篇文章來談。當(dāng)你發(fā)現(xiàn)你失去了一大塊數(shù)據(jù)，你的傳感器不可靠，某次版本變更意味著你的事件被丟失，你對(duì)某個(gè)標(biāo)志產(chǎn)生了誤解時(shí)——你就得回過頭來確保金字塔的基礎(chǔ)是牢靠的。

 

　　當(dāng)你可以可靠地探索和清洗數(shù)據(jù)時(shí)，你就可以進(jìn)行傳統(tǒng)上被認(rèn)為是BI或分析方面的事情：定義要跟蹤的指標(biāo)，其季候性以及對(duì)不同因素的敏感性。也需要進(jìn)行一些艱苦的用戶細(xì)分的工作，去看看會(huì)不會(huì)有什么東西冒出來。然而，既然你的目標(biāo)是AI，你現(xiàn)在要搭建的是隨后被認(rèn)為是特征的東西，以供將來吸收進(jìn)你的機(jī)器學(xué)習(xí)模型里面。在這個(gè)階段，你還知道了你打算要預(yù)測(cè)或者學(xué)習(xí)什么，你還可以開始通過生成標(biāo)簽（自動(dòng)或者手工的方式）來準(zhǔn)備你的訓(xùn)練數(shù)據(jù)。

 

　　這個(gè)階段也是你找到自己最令人興奮和引人注目的數(shù)據(jù)故事的時(shí)候——但這也是另一篇文章的主題了。

 

 

　　我們有了訓(xùn)練數(shù)據(jù)了——那是不是現(xiàn)在可以進(jìn)行機(jī)器學(xué)習(xí)了呢？也許吧，如果你是想在內(nèi)部進(jìn)行客戶流失率預(yù)測(cè)的話；但如果結(jié)果是面向客戶的答案就是否定的。我們需要進(jìn)行A/B測(cè)試（不管是如何的原始）或者有準(zhǔn)備好的實(shí)驗(yàn)框架，這樣才能逐步部署以避免災(zāi)難，并在改變影響每個(gè)人之前對(duì)改變的效果進(jìn)行粗略的估計(jì)。這也是將非常簡單的基線部署到位的合適時(shí)機(jī)（對(duì)于推薦系統(tǒng)來說，基線系統(tǒng)可以是“最熱門”，然后是“細(xì)分用戶市場(chǎng)的最熱門”——這就是非常煩人但有效的“個(gè)性化之前先用老一套”）。

 

　　簡單的啟發(fā)法的難以擊敗甚至到令人驚訝的地步，它們會(huì)讓你以端到端的方式調(diào)試系統(tǒng)，這不需要神秘的機(jī)器學(xué)習(xí)黑箱，在這中間要需要超參數(shù)調(diào)整。

 

　　到了這個(gè)時(shí)候，你可以部署一個(gè)非常簡單的機(jī)器學(xué)習(xí)算法（比如邏輯回歸或者分類等），然后考慮可能影響到你的結(jié)果的信號(hào)和特征。天氣和普查數(shù)據(jù)是我的目標(biāo)。還有，盡管深度學(xué)習(xí)很強(qiáng)大，但它不會(huì)自動(dòng)幫你做這些事情。引入新的信號(hào)（特征建立，不是特征工程）可以大幅改善你的性能。在這里花些時(shí)間是值得的，即便身為數(shù)據(jù)科學(xué)家我們也對(duì)向上進(jìn)入金字塔的更高層面感到興奮。

 

 

　　數(shù)據(jù)有了。裝置也有了。你的ETL開始發(fā)揮作用了。你的數(shù)據(jù)已經(jīng)組織好并且清洗過了。你有了儀表盤，標(biāo)簽以及好的特征。你在測(cè)量合適的東西。你可以每天進(jìn)行試驗(yàn)。你有了一個(gè)基線算法，可以進(jìn)行端到端的調(diào)試，并且在生產(chǎn)中運(yùn)轉(zhuǎn)——而且你已經(jīng)對(duì)它進(jìn)行了十幾次的變更?？傊阋呀?jīng)準(zhǔn)備好了。接下來從自己鋪開到利用專長于機(jī)器學(xué)習(xí)的公司，你可以繼續(xù)去嘗試最新最好的東西。你可能可以在生產(chǎn)方面取得巨大改進(jìn)，或者也許不能。但最壞的情況下，你也能學(xué)到一些新的方法，形成自己的觀點(diǎn)并有了上手體驗(yàn)，并且可以告訴你的投資者和客戶自己在AI方面做了哪些努力而不是給人感覺像是個(gè)騙子。而在最好的情況下，你可以為用戶、客戶和公司帶來巨大的不同——這是機(jī)器學(xué)習(xí)的一個(gè)真正的成功故事。

 

 

　　數(shù)據(jù)科學(xué)需求層次輪不是用1年的時(shí)間過度建設(shè)脫節(jié)的基礎(chǔ)設(shè)施的借口。就像傳統(tǒng)的最小可行產(chǎn)品（MVP）的開發(fā)套路一樣，你也要從產(chǎn)品小的垂直板塊開始，把它從端到端都做好了。比方說，在Jawbone，我們先從睡眠數(shù)據(jù)開始并搭建它的金字塔：工具手段，ETL，清洗和組織，標(biāo)簽捕捉和定義，指標(biāo)（大家美軍每晚的睡眠時(shí)間是多長？小憩呢？什么是小憩？），跨細(xì)分市場(chǎng)分析，一直到數(shù)據(jù)故事和機(jī)器學(xué)習(xí)驅(qū)動(dòng)數(shù)據(jù)產(chǎn)品（自動(dòng)睡眠檢測(cè)）。我們后來又把它延伸到步數(shù)，然后食物、天氣、鍛煉、社交網(wǎng)絡(luò)以及溝通——每次做一個(gè)。在端到端做完一件事情之前我們并沒有建設(shè)一個(gè)包羅萬象的基礎(chǔ)設(shè)施。

 

 

　　這只與如何可以有關(guān)，跟應(yīng)該如何無關(guān)（出于實(shí)用主義或者道德倫理的原因）。

 

 

　　“等一下，Amazon API或者TensorFlow等別的開源庫呢？其他在賣機(jī)器學(xué)習(xí)或者自動(dòng)析取洞察和特征的工具的公司呢？”

 

　　所有這些都很出色很有用（一些公司最終的確煞費(fèi)苦心地定制出來整個(gè)金字塔來展示自己的工作。這些人是英雄）。然而，鑒于當(dāng)前AI炒作的強(qiáng)烈影響力，大家都試圖把臟的、存在斷層、跨越了數(shù)年且格式和意思不斷改變的數(shù)據(jù)，那些尚未被理解的數(shù)據(jù)，那些結(jié)構(gòu)化行不通的數(shù)據(jù)塞進(jìn)去，還指望這些工具能夠魔術(shù)般地處理好它們。也許將來有一天會(huì)是這種情況，我對(duì)朝著這個(gè)方向的努力舉雙手贊成。但在此之前，為你的AI金字塔打造好一個(gè)牢固的基礎(chǔ)是值得的。