許多人對(duì)數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)感到困惑。下面我們一起看下該如何學(xué)習(xí)：
一、數(shù)據(jù)科學(xué)
在技術(shù)的大規(guī)模傳播期間，人類產(chǎn)生了大量的數(shù)據(jù)，數(shù)量大到無(wú)法處理和可視化。這些數(shù)據(jù)有關(guān)我們的通話和行動(dòng)軌跡，互聯(lián)網(wǎng)行為，購(gòu)物偏好，氣候過程以及許多其他方面。如果數(shù)據(jù)得到正確處理，企業(yè)可以從中受益匪淺。
這就是數(shù)據(jù)科學(xué)的全部意義：借助統(tǒng)計(jì)方法，認(rèn)識(shí)特定領(lǐng)域并進(jìn)行相應(yīng)的工程設(shè)計(jì)，在數(shù)據(jù)中找到內(nèi)在模式，并從中提取知識(shí)。但是，盡管這被稱為科學(xué)，但這項(xiàng)活動(dòng)純粹是出于實(shí)際利益的考慮——結(jié)果的實(shí)際適用性是必須的。
在這里，盡管有必要理解和解釋這種現(xiàn)象，但是最重要的是從數(shù)據(jù)中提取的知識(shí)對(duì)商業(yè)的實(shí)際適用性。是的，您不必是數(shù)學(xué)博士，并理解將薯?xiàng)l放置在靠近啤酒的位置能夠增加利潤(rùn)，但是您需要向企業(yè)證明這樣切實(shí)有效。
為什么數(shù)據(jù)科學(xué)吸引了如此多的關(guān)注？
主要原因是數(shù)據(jù)中包含的隱性效率。每個(gè)公司都會(huì)收集數(shù)據(jù)。對(duì)數(shù)據(jù)進(jìn)行分析使公司有機(jī)會(huì)制造更好的產(chǎn)品，吸引更多的目標(biāo)客戶、留住客戶、改善業(yè)務(wù)流程等等。所有這些都可以通過大量閑置數(shù)據(jù)來了解鮮為人知的流程優(yōu)化手段及個(gè)性化方法。
數(shù)據(jù)科學(xué)的方法使我們能夠沒有偏差或偏見（實(shí)踐上主要是偏見）地從可用數(shù)據(jù)中得出客觀結(jié)論，并從發(fā)現(xiàn)的模式中獲得新發(fā)現(xiàn)。但是您應(yīng)該了解，數(shù)據(jù)并不總是有用的，并且擁有的數(shù)據(jù)量并不重要。
術(shù)語(yǔ)定義和數(shù)據(jù)科學(xué)實(shí)踐可能因公司而異。對(duì)于一家公司，數(shù)據(jù)科學(xué)團(tuán)隊(duì)可能是一位BI分析師，他在Excel中繪制圖表并進(jìn)行一些業(yè)務(wù)報(bào)告，對(duì)于另一家公司，它可能是一個(gè)端到端的開發(fā)部門，負(fù)責(zé)與客戶的溝通、數(shù)據(jù)分析、基礎(chǔ)架構(gòu)、構(gòu)建生產(chǎn)就緒系統(tǒng)等。
但是總的來說，很明顯，數(shù)據(jù)科學(xué)家對(duì)特定領(lǐng)域有一定的了解，通常具備數(shù)學(xué)或統(tǒng)計(jì)背景，了解如何處理數(shù)據(jù)、在何處處理數(shù)據(jù)以及如何看待數(shù)據(jù)等，而且他們通常沒有任何開發(fā)或工程經(jīng)驗(yàn)。在執(zhí)行不同任務(wù)時(shí)，它們將由數(shù)據(jù)工程師或機(jī)器學(xué)習(xí)工程師提供幫助（這完全取決于技能）。
二、機(jī)器學(xué)習(xí)
如果它是用Python編寫的，那么它就是機(jī)器學(xué)習(xí)。如果它是用PowerPoint創(chuàng)作的，那么它就是人工智能。
在過去的任何時(shí)候，計(jì)算機(jī)都是通過編程來獲得新的功能--人們?yōu)闄C(jī)器創(chuàng)建算法，從而得到預(yù)期的結(jié)果。對(duì)于任何需要自動(dòng)化的可理解和確定性的任務(wù)，這都是一種確定性和可理解的方法。
但是有時(shí)，一項(xiàng)任務(wù)雖然可以理解，但其中包含一些不確定性的要素，我們必須和這種無(wú)法消除的未知因素共存。
為了有效處理此類問題，需要使用其他方法。正如人們所說的，必要性是發(fā)明之母（但沒人知道發(fā)明之父是什么）。機(jī)器學(xué)習(xí)已成為這種新方法。
在機(jī)器學(xué)習(xí)中，人們僅向計(jì)算機(jī)提供一些介紹性信息，但是算法的結(jié)果不是由人確定的。一個(gè)人定義了機(jī)器學(xué)習(xí)的方式，但是機(jī)器是從提供給它的數(shù)據(jù)中自己學(xué)習(xí)的。機(jī)器本身會(huì)給出答案。這類似于你和我的學(xué)習(xí)方式。
機(jī)器學(xué)習(xí)什么？
機(jī)器從相關(guān)任務(wù)過去的經(jīng)驗(yàn)（關(guān)于數(shù)據(jù)的）上進(jìn)行學(xué)習(xí)，并體現(xiàn)在給定任務(wù)的特定指標(biāo)的性能提升。這個(gè)過程也可以稱為適應(yīng)（在此過程中可能具有更多上下文）——機(jī)器根據(jù)新的信息調(diào)整自己的行為。
這種似乎沒有人類干預(yù)的適應(yīng)，時(shí)不時(shí)地給人一種機(jī)器正在學(xué)習(xí)的印象。機(jī)器學(xué)習(xí)本質(zhì)上是一種數(shù)據(jù)分析方法，它使用迭代數(shù)據(jù)的算法來自動(dòng)構(gòu)建分析模型。
機(jī)器學(xué)習(xí)允許計(jì)算機(jī)查找隱藏的知識(shí)，而不需要明確地編寫查找的程序，這是一個(gè)關(guān)鍵的想法。實(shí)際上，我們將數(shù)據(jù)提供給算法，并且程序執(zhí)行的結(jié)果將成為處理新數(shù)據(jù)的邏輯。
一個(gè)機(jī)器學(xué)習(xí)項(xiàng)目包含以下三個(gè)方面：
首先，機(jī)器學(xué)習(xí)從數(shù)據(jù)開始，目標(biāo)是從數(shù)據(jù)中提取知識(shí)或理解。
其次，機(jī)器學(xué)習(xí)涉及一定程度的自動(dòng)化。與其試圖手動(dòng)地從數(shù)據(jù)中收集知識(shí)，不如使用計(jì)算機(jī)將一個(gè)過程或算法應(yīng)用到數(shù)據(jù)中，以便計(jì)算機(jī)幫助獲得必要的知識(shí)。
第三，機(jī)器學(xué)習(xí)不是一個(gè)完全自動(dòng)化的過程。正如任何從業(yè)人員所說的那樣，機(jī)器學(xué)習(xí)要求您做出許多明智的決定，才能使整個(gè)過程成功。
三、數(shù)據(jù)科學(xué)與機(jī)器學(xué)習(xí)過程
讓我們將整個(gè)數(shù)據(jù)科學(xué)/ 機(jī)器學(xué)習(xí)項(xiàng)目劃分為多個(gè)步驟，并仔細(xì)研究數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)相交的部分。
根據(jù)項(xiàng)目的目標(biāo)和使用的方法，數(shù)據(jù)科學(xué)過程可能略有不同，但是它通常會(huì)包含以下內(nèi)容。
1、尋找并確定目標(biāo)
首先了解業(yè)務(wù)問題非常重要。數(shù)據(jù)科學(xué)家應(yīng)提出適當(dāng)?shù)膯栴}，理解并定義要解決的問題的目標(biāo)。有時(shí)這并不總是那么容易，因?yàn)槠髽I(yè)本身想要很多，但沒有什么具體的目標(biāo)。
2、收集和存儲(chǔ)數(shù)據(jù)
然后，他負(fù)責(zé)從多個(gè)來源（例如SAP服務(wù)器，API數(shù)據(jù)庫(kù)和在線存儲(chǔ)）收集和抓取數(shù)據(jù)。有時(shí)所有數(shù)據(jù)都已經(jīng)收集在方便的數(shù)據(jù)倉(cāng)庫(kù)中，但是有時(shí)您需要付出一些努力才能獲得數(shù)據(jù)。
大多數(shù)情況下，數(shù)據(jù)工程團(tuán)隊(duì)在這個(gè)階段幫助構(gòu)建可靠的數(shù)據(jù)管道。
3、數(shù)據(jù)處理和清理
無(wú)論采用哪種機(jī)器學(xué)習(xí)算法，都無(wú)法從包含過多噪聲或與實(shí)際情況不一致的數(shù)據(jù)中學(xué)習(xí)任何東西：無(wú)用的輸入輸出。為了使整個(gè)項(xiàng)目成功，我們需要清理獲取的數(shù)據(jù)。
在采集數(shù)據(jù)后，需要處理數(shù)據(jù)。此階段包括數(shù)據(jù)清理和數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)清理是最耗時(shí)的過程，因?yàn)樗婕疤幚碓S多復(fù)雜的場(chǎng)景。例如：
沖突的數(shù)據(jù)類型
拼寫錯(cuò)誤的屬性
缺失值
重復(fù)值
4、數(shù)據(jù)分析
然后，了解數(shù)據(jù)可以實(shí)際完成的工作對(duì)于業(yè)務(wù)和數(shù)據(jù)科學(xué)家而言都非常重要，因此需要對(duì)數(shù)據(jù)進(jìn)行研究分析。通過探索性數(shù)據(jù)分析，能夠確定并優(yōu)化用于下一步的變量選擇。
5、數(shù)據(jù)建模
現(xiàn)在，流程進(jìn)行到核心的數(shù)據(jù)科學(xué)處理環(huán)節(jié)，包括數(shù)據(jù)建模等。數(shù)據(jù)科學(xué)家選擇一個(gè)或多個(gè)潛在模型和算法，并選擇模型性能的指標(biāo)。然后開始將統(tǒng)計(jì)和機(jī)器學(xué)習(xí)方法應(yīng)用于數(shù)據(jù)，以確定最能滿足業(yè)務(wù)需求和手頭任務(wù)的模型（這可以是簡(jiǎn)單的啟發(fā)式）。
接著，從可用數(shù)據(jù)中訓(xùn)練模型，并對(duì)其進(jìn)行測(cè)試以選擇最有效的模型。這是一個(gè)迭代的過程，盡管如此，它還是非常有創(chuàng)造性的。
這一步經(jīng)常被過分強(qiáng)調(diào)。很少有數(shù)據(jù)科學(xué)家會(huì)重視把模型性能提高1％。通常，將“足夠好”的模型發(fā)布到用戶面前更重要。生產(chǎn)中的“足夠好”模型的效果要比Jupyter筆記本中的性能模型提高5-10％好100倍。
6、展示最終結(jié)果
最棘手的部分尚未完成，包括可視化和交流。您需要再次與客戶和利益相關(guān)者見面，以簡(jiǎn)單有效地交付業(yè)務(wù)成果。
在這個(gè)階段，項(xiàng)目可能會(huì)結(jié)束--也許業(yè)務(wù)已達(dá)到其目標(biāo)，或者POC尚未揭示該業(yè)務(wù)的投資回報(bào)，因此不需要進(jìn)一步的工作。
7、生產(chǎn)化
最后，最重要的階段開始了--您需要將數(shù)據(jù)科學(xué)團(tuán)隊(duì)的成果展現(xiàn)在用戶面前-部署和優(yōu)化模型并將其集成到其他業(yè)務(wù)流程中。
根據(jù)數(shù)據(jù)類型（點(diǎn)擊流，批處理），目標(biāo)平臺(tái)（AWS，Azure，內(nèi)部部署等），要求（SLA，水平可伸縮性等）以及最終技術(shù)棧等等的差異，這個(gè)階段可能會(huì)有很大不同。
從本質(zhì)上講，機(jī)器學(xué)習(xí)活動(dòng)后續(xù)的正常開發(fā)周期包括--優(yōu)化模型，檢查所有邊緣情況，創(chuàng)建模型構(gòu)件的生命周期，在生產(chǎn)環(huán)境中部署前預(yù)測(cè)試模型等，這是最佳實(shí)踐（您可能不得不選擇性能較低的模型）。歸根結(jié)底，機(jī)器學(xué)習(xí)就是軟件。
8、監(jiān)控
在成功部署系統(tǒng)之后，有必要引入監(jiān)控系統(tǒng)--這里并不是指僅啟用日志記錄--我指的更多的是報(bào)表和工具欄，以獲取分析，計(jì)算和生成選定指標(biāo)以及可能相關(guān)的信息數(shù)據(jù)，建立A/B測(cè)試系統(tǒng)等。
當(dāng)然，我僅涉及實(shí)際項(xiàng)目中發(fā)生的一小部分，但我認(rèn)為它應(yīng)該讓您了解構(gòu)成常規(guī)數(shù)據(jù)科學(xué)/機(jī)器學(xué)習(xí)項(xiàng)目的基本活動(dòng)。
四、結(jié)論
像所有其他領(lǐng)域一樣，數(shù)據(jù)管理也將朝著全棧方向發(fā)展。全棧工程師不僅專注于自己的主要領(lǐng)域，并且知道如何制作其他相關(guān)部分。
因此，數(shù)據(jù)科學(xué)家會(huì)朝著工程學(xué)的方向發(fā)展–加強(qiáng)他們對(duì)基礎(chǔ)架構(gòu)，代碼設(shè)計(jì)和工具的了解。數(shù)據(jù)工程師正在走向數(shù)據(jù)科學(xué)--試圖了解統(tǒng)計(jì)，算法和處理數(shù)據(jù)的方法。最終，他們都會(huì)成為機(jī)器學(xué)習(xí)工程師。
如上所述，軟件工程、開發(fā)和部署技能在生產(chǎn)級(jí)機(jī)器學(xué)習(xí)項(xiàng)目中更為重要。生產(chǎn)中 “足夠好” 的模型優(yōu)于Jupyter筆記中性能更高的模型。
我認(rèn)為數(shù)據(jù)科學(xué)家需要作為主要顧問，他們可以為多個(gè)項(xiàng)目工作，而開發(fā)工作可以由機(jī)器學(xué)習(xí)和數(shù)據(jù)工程師直接完成。數(shù)據(jù)科學(xué)的未來就是數(shù)據(jù)工程。
