賦智是上云的崇高境界。2020年4月,國家發(fā)展改革委、中央網信辦聯合印發(fā)《關于推進“上云用數賦智”行動培育新經濟發(fā)展實施方案》,鼓勵在具備條件的行業(yè)領域和企業(yè)范圍內,探索大數據、人工智能、云計算、數字孿生、5G、物聯網和區(qū)塊鏈等新一代數字技術應用和集成創(chuàng)新,為企業(yè)數字化轉型提供技術支撐。
上云、用數、賦智,精煉地描述了企業(yè)上云的三個階段,三重境界。上云可以相對容易,用數學問比較大,賦智是更高的境界。
在2022re:Invent全球大會上亞馬遜云科技推出的大量服務和功能是跟數據、跟機器學習相關的。一方面是數據服務和功能為機器學習服務,幫助客戶獲得數據價值;另一方面是機器學習技術用于數據新服務和新功能。

亞馬遜云科技大中華區(qū)產品部總經理陳曉建表示:從這些re:Invent發(fā)布的特性中,能夠看到未來技術演進的方向是數智融合。其中尤其值得關注的是QuicksightQ,它推出了多項新功能,把人工智能和業(yè)務洞察相結合,使得客戶不用再去掌握數據分析技術,而是通過人類自然語言來進行業(yè)務的洞察,從而大降低了使用門檻。
AmazonQuickSightQ新功能讓客戶能夠預測并追問預測依據,客戶可以用自然語言提出問題。針對QuickSightQ的預測結果問“為什么”。這樣可以進入了解,QuickSightQ給出的預測結果主要受到哪些因素的影響,從而格外關注那些因素,更好地指導業(yè)務。
AmazonQuickSightQ使用機器學習讓任何用戶都能以自然語言提出有關業(yè)務數據的問題,并在幾秒鐘內獲得可視化的準確答案。它讓沒有技術專業(yè)知識的業(yè)務人員都可以探索歷史趨勢和數據指標,讓用戶能夠從支撐其看板和報表的數據中獲得新的洞察。例如,銷售用戶可能會問,“去年在哪里銷售的商品最多?”,或者財務用戶可能會問,“與目標相比,實際收入是多少?”,許多用戶想要進行更深入的挖掘,以了解不同指標的根本原因,或者對潛在增長建模。

亞馬遜云科技新推出的AmazonQuickSightQ功能是,可以針對預測結果追問預測依據。這樣就可以查看特定結果受哪些歷史數據影響。例如,銷售經理可能會詢問“預測辦公椅在加州的銷售情況”,AmazonQuickSightQ會根據先前指標的模式提供銷售預測,自動考慮季節(jié)性和異常數據。銷售經理可能會追問“為什么上個月銷售額增加了?”,在幾秒鐘內,AmazonQuickSightQ會總結出驅動這一增長的主要因素。這樣,業(yè)務人員可以更好地理解潛在因素,并且可以做出更多數據驅動的、決定未來結果的決策。這一新功能現已向所有AmazonQuickSightQ客戶提供,不需要額外付費。
以前可以問“是什么”,現在不僅可以問“是什么”,還可以問“為什么”。
此外,亞馬遜云科技推出的一些新功能也充分利用機器學習技術。例如,AmazonQuickSightQ的自動數據準備功能使用預先訓練的機器學習模型,從客戶現有的看板和報表等數據資產中進行學習,在幾分鐘內為每個新數據集預配置業(yè)務術語,從而減少開始查詢數據所需的時間。例如,流媒體服務可以使用AmazonQuickSightQ自動數據準備功能,通過已經存在的看板為數據集預配置業(yè)務術語。之前的看板可能包含了按客戶類別、客戶編號和地理位置劃分的付費用戶信息。如果營銷經理準備規(guī)劃一個發(fā)布活動,他們可以問,“我們在洛杉磯有多少付費用戶?”,AmazonQuickSightQ將返回精確的結果。AmazonQuickSightQ自動數據準備功能現已向所有AmazonQuickSightQ客戶提供,不需要額外付費。

納斯達克是一家服務于資本市場和其他行業(yè)的全球科技公司。“AmazonQuickSightQ改變了游戲規(guī)則,使高管、銷售和數據工程團隊能夠即時從數據中獲得答案。在許多情況下,我們的團隊希望在僅僅提供歷史趨勢或當前數據快照之外的維度了解事情發(fā)生的根本原因并預測趨勢。”納斯達克北美市場產品經理MichaelWeiss表示,“AmazonQuickSightQ追問預測依據的新功能將幫助我們的用戶了解對關鍵指標變化貢獻最大的主要維度和數值,而預測功能將幫助我們的用戶探索前瞻性洞察,例如不同細分市場和客戶的未來收入和市場份額增長。AmazonQuickSightQ的這些新功能將幫助我們加速建立商業(yè)智能,通過完全自動地進行復雜的數據分析,幫助最終用戶實現自助式服務,無需分析師構建模型和分析。”
亞馬遜云科技開展機器學習的一個獨特之處是授人以漁。AmazonSageMaker推出以來,亞馬遜云科技不斷圍繞機器學習平臺AmazonSageMaker,推出大量新功能,將機器學習技術傳授給客戶。五年來已經為AmazonSageMaker增加了260項新功能,不斷降低機器學習的技術門檻,簡化機器學習的前期工作,加速為客戶“賦智”。在數據服務方面也是如此,通過各種新服務和新功能,盡可能讓開發(fā)人員可以上手開展機器學習。

AmazonSageMakerStudioNotebook提供全新數據準備功能,幫助客戶直觀地通過幾次點擊檢查和解決數據質量問題。
專業(yè)人員在準備訓練數據時希望直接在Notebook中探索數據集,以發(fā)現和糾正潛在的數據質量問題(如信息缺失、極值、數據集失真和偏差)。專業(yè)人員可能要花費數月時間編寫樣板代碼將數據集的不同部分可視化,檢查數據集,以期識別和修復問題。
AmazonSageMakerStudioNotebook新提供了內置的數據準備功能,讓專業(yè)人員只需點擊幾下即可直觀地查看數據特征、修復數據質量問題,所有這一切都直接在Notebook環(huán)境中進行。當用戶在Notebook中顯示dataframe(即數據的表格形式)時,AmazonSageMakerStudioNotebook會自動生成圖表幫助用戶識別數據質量問題,提供數據轉換建議幫助解決常見問題。專業(yè)人員選擇數據轉換后,AmazonSageMakerStudioNotebook會在Notebook中生成相應代碼,可供每次運行Notebook時重復應用。
AmazonSageMakerStudio是一個集成開發(fā)環(huán)境,它提供了一個基于Web的可視化界面,開發(fā)人員可以在其中訪問各種工具,執(zhí)行所有機器學習開發(fā)步驟,從準備數據到構建、訓練和部署機器學習模型,將數據科學團隊的生產力提高多達10倍。開發(fā)人員可以快速上傳數據、創(chuàng)建新記事本、訓練和調優(yōu)模型,在各個步驟之間來回切換以調整實驗,還可以在不離開Studio的情況下將模型部署到生產環(huán)境中。
亞馬遜云科技還為AmazonGlue推出的一項新功能,叫AmazonGlueDataQuality,可以跨數據湖和數據管道自動管理數據質量。其最終目標也是指向機器學習應用。

成千上萬客戶使用AmazonGlue快速、輕松且經濟高效地構建和管理現代數據管道。組織需要監(jiān)控其數據湖和數據管道中信息的數據質量(衡量數據的即時性、準確性和完整性),確保數據的高質量,然后再將其用于分析或機器學習應用。但數據質量管理是一個耗時且復雜的過程,需要數據工程師花費數天時間收集數據的詳細統計數字,根據這些統計數字信息手動識別數據質量規(guī)則,并將其應用于數千個數據集和數據管道。實施了這些規(guī)則之后,數據工程師必須持續(xù)監(jiān)控數據中的錯誤或變化,相應地調整規(guī)則。
AmazonGlueDataQuality可以自動測量、監(jiān)控和管理AmazonS3數據湖和AmazonGlue數據管道的數據質量,將數據分析和規(guī)則識別的時間從幾天縮短到幾小時。AmazonGlueDataQuality可以計算客戶數據集的統計數字(如最小值、最大值、直方圖和相關性),使用統計數字自動地推薦規(guī)則,確保數據的即時性、準確性和完整性??蛻艨梢园才臕mazonGlueDataQuality在數據發(fā)生變化時定期運行,自動分析數據并提出質量規(guī)則的更改建議以確保相關性。一旦出現質量問題,數據工程師無需編寫代碼即可配置用戶提醒或終止數據管道。
對地理空間數據的支持讓客戶能夠更輕松地為氣候科學、城市規(guī)劃、災難響應、零售規(guī)劃、精準農業(yè)等行業(yè)開發(fā)機器學習模型。此舉意在幫助客戶將更多的數據用于機器學習。
當前,大部分收集到的數據都包含地理空間信息(如位置坐標、天氣圖和交通數據)。但是,已經用于機器學習的只有一小部分,原因是地理空間數據集很難處理,通常達到PB級的規(guī)模,且跨越整個城市或數百公里土地。要開始構建地理空間模型,客戶通常會采購衛(wèi)星圖像或地圖數據等第三方數據源以補充其專有數據。由于地理空間數據規(guī)模龐大,專業(yè)人員需要合并這些數據,準備數據用于訓練,并編寫代碼將數據集劃分為可管理的子集。當客戶準備部署訓練好的模型時,他們必須編寫更多代碼以重新組合多個數據集,將數據和機器學習模型預測關聯起來。為了從完成的模型中提取預測結果,專業(yè)人員需要花費數天時間使用開源的可視化工具在地圖上做渲染。從數據改進到可視化,整個過程可能需要幾個月的時間,這使得客戶很難利用地理空間數據及時產生機器學習預測。

AmazonSageMaker將客戶豐富數據集、訓練地理空間模型并將結果可視化的時間從數月縮短到數小時,從而加速和簡化地理空間機器學習預測的生成??蛻糁恍鑾状吸c擊或使用API就可以使用AmazonSageMaker訪問各種地理空間數據源,例如亞馬遜云科技的位置服務AmazonLocationService、開放數據集AmazonOpenData、客戶自有數據和來自PlanetLabs等第三方供應商的數據。當專業(yè)人員選擇了想要使用的數據集,他們可以利用內置的運算器將這些數據集與自己的專有數據合并起來。為了加快模型開發(fā),AmazonSageMaker提供了預訓練的深度學習模型,其支持的用例包括通過精準農業(yè)提高作物產量、監(jiān)測自然災害后區(qū)域恢復以及改善城市規(guī)劃等。訓練完成后,內置的可視化工具在地圖上顯示數據,揭示新的預測。
EarthOptics是一家土壤數據測量和制圖公司,利用專有傳感器技術和數據分析精確測量土壤健康狀況和土壤結構。“我們希望使用機器學習幫助客戶利用經濟實惠的土壤地圖提高農業(yè)產量。”EarthOptics首席執(zhí)行官LarsDyrud表示,“AmazonSageMaker的地理空間機器學習功能使我們能夠使用多個數據源快速構建算法原型,并且將研究和部署生產API之間的時間縮短到只有一個月。得益于AmazonSageMaker,我們?yōu)槊绹鞯氐霓r場和牧場部署了用于土壤固碳的地理空間解決方案。”
Forrester副總裁兼研究總監(jiān)戴鯤評論道:“Forrester認為,在持續(xù)動蕩的全球宏觀經濟環(huán)境下,廣大企業(yè)客戶亟需構建兼具韌性、自適應性和創(chuàng)造性的適應未來的技術戰(zhàn)略。亞馬遜云科技在今年re:Invent大會上的產品與服務發(fā)布不僅一如既往地貫徹自身以客戶為中心的長期主義,而且持續(xù)彰顯其作為全球公有云基礎設施與開發(fā)平臺市場領導者的前瞻性技術視野與快速產品創(chuàng)新能力。”