沒有哪一項(xiàng)技術(shù)像人工智能一樣，綿延數(shù)十年，引領(lǐng)數(shù)次風(fēng)口。從60年前的達(dá)特茅斯會(huì)議到深藍(lán)國際象棋再到AlphaGo，人工智能一直在持續(xù)著迭代、創(chuàng)新。聯(lián)邦學(xué)習(xí)，就是人工智能與大數(shù)據(jù)行業(yè)一個(gè)新興的技術(shù)，它的出現(xiàn)，有望解決數(shù)據(jù)孤島的難題。

 

　　但一項(xiàng)技術(shù)，如果沒有商業(yè)落地場景，其價(jià)值也將大打折扣。聯(lián)邦學(xué)習(xí)如何賦能數(shù)據(jù)產(chǎn)業(yè)，幫助企業(yè)挖掘數(shù)據(jù)價(jià)值？3月22日，騰訊云TVP技術(shù)閉門會(huì)討論了這個(gè)走在時(shí)代前沿的話題。

 

　　聯(lián)邦學(xué)習(xí)激活了跨云大數(shù)據(jù)合作

 

　　“從整體趨勢來看，國家對數(shù)據(jù)方面的監(jiān)管是趨嚴(yán)的，對于數(shù)據(jù)保護(hù)的法律法規(guī)不斷完善，開始向GDPR的思路靠攏，嚴(yán)格定義數(shù)據(jù)的控制權(quán)和監(jiān)管數(shù)據(jù)的流動(dòng)，在這種情況下跨云大數(shù)據(jù)合作基本不可行了。”

 

　　微眾銀行人工智能部副總經(jīng)理陳天健老師在分享聯(lián)邦學(xué)習(xí)帶來的變化前，先為與會(huì)者介紹了跨云大數(shù)據(jù)合作的真實(shí)現(xiàn)狀?？鐧C(jī)構(gòu)間的大數(shù)據(jù)合作在嚴(yán)格的合規(guī)要求下難以推進(jìn)，機(jī)構(gòu)內(nèi)的大數(shù)據(jù)合作卻也遭遇了真實(shí)的瓶頸。

 

　　“很多企業(yè)解決內(nèi)部數(shù)據(jù)流通的方式是搭建一個(gè)數(shù)據(jù)中臺，設(shè)想中的這個(gè)數(shù)據(jù)中臺建立以后，各部門非常和諧，通力合作，用大數(shù)據(jù)解決一系列問題。但實(shí)際上，決策者對數(shù)據(jù)中臺的幻想，最后都變成了妄想。各個(gè)部門知道數(shù)據(jù)的價(jià)值，都希望使用別的部門數(shù)據(jù)，但是又不愿意泄露自己業(yè)務(wù)核心數(shù)據(jù)。權(quán)責(zé)不對等、安全性等問題，讓企業(yè)內(nèi)部的數(shù)據(jù)合作同樣陷入困境。”

 

　　陳天健老師指出，數(shù)據(jù)合作難題背后有一個(gè)第一性原理需要解決：保證數(shù)據(jù)安全是大數(shù)據(jù)合作的基本命題。保證數(shù)據(jù)安全是大數(shù)據(jù)行業(yè)從第一天開始就一直在研究解決的問題，也是聯(lián)邦學(xué)習(xí)出現(xiàn)的歷史沿革：

 

　　l上世紀(jì)90年代到2000年左右，聯(lián)邦數(shù)據(jù)庫的概念被提出，力圖解決存儲安全。

 

　　l2010年到2015年間，安全多方計(jì)算的概念被提出，力圖解決計(jì)算安全。

 

　　l2017年到現(xiàn)在，聯(lián)邦學(xué)習(xí)的概念橫空出世，力圖保證信息安全。

 

　　“聯(lián)邦學(xué)習(xí)希望做到各個(gè)企業(yè)的自有數(shù)據(jù)不出本地，而后聯(lián)邦系統(tǒng)可以通過加密機(jī)制下的參數(shù)交換方式，即在不違反數(shù)據(jù)隱私法規(guī)情況下，建立一個(gè)虛擬的共有模型。這個(gè)虛擬模型就好像大家把數(shù)據(jù)聚合在一起建立的最優(yōu)模型一樣。但是在建立虛擬模型的時(shí)候，數(shù)據(jù)本身不移動(dòng)，也不泄露隱私和影響數(shù)據(jù)合規(guī)。”

 

　　陳天健老師解釋道，聯(lián)邦學(xué)習(xí)目前有三種：橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)。相比較而言，縱向聯(lián)邦學(xué)習(xí)的業(yè)務(wù)場景更多，目前行業(yè)上能做到縱向聯(lián)邦學(xué)習(xí)的就只有微眾銀行、騰訊和VMware三家。

 

　　微眾銀行在Linux基金會(huì)開源了一個(gè)工業(yè)級的聯(lián)邦學(xué)習(xí)系統(tǒng)——FATE。據(jù)陳天健老師介紹，F(xiàn)ATE不僅提供了聯(lián)邦學(xué)習(xí)原理性可以驗(yàn)證的全套代碼，同時(shí)在系統(tǒng)的可用性、可靠性、數(shù)據(jù)安全可審計(jì)的特性，以及架構(gòu)的可擴(kuò)展性和其他軟件的互操作性方面都進(jìn)行了大量的工作和研究。

 

　　“FATE在開源給社區(qū)以后，增加了管理功能，升級為FATE-Cloud，希望打破數(shù)據(jù)孤島，為跨機(jī)構(gòu)間，機(jī)構(gòu)內(nèi)部不同組織間提供安全，合規(guī)數(shù)據(jù)合作網(wǎng)絡(luò)構(gòu)建解決方案。也歡迎大家來試用，進(jìn)一步理解聯(lián)邦學(xué)習(xí)。”

 

　　在分享最后，陳天健老師也回答了一些關(guān)于聯(lián)邦學(xué)習(xí)的觀眾提問，他還提到：與國外比較，中國在聯(lián)邦學(xué)習(xí)方面不好說是否領(lǐng)先，但在商業(yè)化進(jìn)展和技術(shù)社區(qū)推進(jìn)的角度看，起碼是與國外處于齊頭并進(jìn)的狀態(tài)。

 

　　“聯(lián)邦學(xué)習(xí)的能力不管是在公有還是私有場景下都會(huì)有很多訴求，騰訊云神盾聯(lián)邦學(xué)習(xí)團(tuán)隊(duì)希望將聯(lián)邦學(xué)習(xí)能力產(chǎn)品化，提升用戶在使用過程中的易用性，為數(shù)據(jù)供需雙方提供商業(yè)價(jià)值。”

 

　　騰訊云大數(shù)據(jù)團(tuán)隊(duì)研發(fā)副總經(jīng)理雷小平向與會(huì)者解釋了騰訊云的聯(lián)邦學(xué)習(xí)思路。他指出，不管是公有云還是私有云，對聯(lián)邦學(xué)習(xí)的訴求都很多，而公有云能為聯(lián)邦學(xué)習(xí)帶來更多數(shù)據(jù)，讓數(shù)據(jù)變得更活，這是騰訊云的解題思路。

 

　　雷小平在分享之初解釋了聯(lián)邦學(xué)習(xí)產(chǎn)生的背景，他重點(diǎn)提到了聯(lián)邦學(xué)習(xí)的典型應(yīng)用場景有風(fēng)控應(yīng)用場景和廣告營銷場景。這兩個(gè)場景在數(shù)據(jù)應(yīng)用當(dāng)中都會(huì)有各自的特殊需求，傳統(tǒng)的解決方案無外乎三種，且都有短板：

 

　　1.數(shù)據(jù)脫敏后直接傳給另一方融合建模。短板：安全合規(guī)問題嚴(yán)重、審批流程復(fù)雜、可用數(shù)據(jù)范圍有限；

 

　　2.各自建模后融合模型。短板：模型效果未能挖掘全部潛力，還有巨大的業(yè)務(wù)提升空間；

 

　　3.數(shù)據(jù)脫敏后統(tǒng)一放在可信環(huán)境做融合模型。短板：可信環(huán)境并不公平，安全問題仍然存在。

 

　　隨后，雷小平老師總結(jié)了聯(lián)邦學(xué)習(xí)的三種思路：

 

　　1.ID匹配。不泄露查詢方ID、不泄露非重疊ID；

 

　　2.四則運(yùn)算。不泄露計(jì)算各方的數(shù)值；

 

　　3.機(jī)器學(xué)習(xí)。改造模型，減少數(shù)據(jù)交互；將數(shù)據(jù)交互抽象為四則運(yùn)算。

 

　　基于此，聯(lián)邦學(xué)習(xí)應(yīng)運(yùn)而生。雷小平老師指出，目前聯(lián)邦學(xué)習(xí)并不能解決所有數(shù)據(jù)融合上的安全問題，它主要針對比較典型的機(jī)器學(xué)習(xí)場景，包括機(jī)器學(xué)習(xí)前的特征維度，以及學(xué)習(xí)完之后的數(shù)據(jù)服務(wù)都是聯(lián)邦學(xué)習(xí)的范疇。對多方數(shù)據(jù)做sql安全計(jì)算目前還不屬于聯(lián)邦學(xué)習(xí)范疇下。

 

　　為服務(wù)于廣大的To B場景客戶，滿足他們挖掘數(shù)據(jù)價(jià)值的需求，騰訊云神盾聯(lián)邦學(xué)習(xí)團(tuán)隊(duì)做了一套完整的解決方案。雷小平介紹到，目前神盾產(chǎn)品具有兩個(gè)典型場景，一個(gè)是拉新場景模型，另一個(gè)是首頁預(yù)測模型。這個(gè)產(chǎn)品在用戶側(cè)的使用十分簡單，從創(chuàng)建任務(wù)到安全求交、特征工程、特征選擇、結(jié)果展示只需五步。

 

　　“我們的底層模型、訓(xùn)練框架是目前是基于微眾銀行的FATE框架做的，F(xiàn)ATE框架現(xiàn)在是比較成熟的聯(lián)邦學(xué)習(xí)框架，能夠滿足我們模型所有的要求，我們要做的就是在上層做環(huán)境的安全以及產(chǎn)品化易用性以及場景化的改造工作。”

 

　　雷小平老師最后指出，騰訊云神盾聯(lián)邦學(xué)習(xí)產(chǎn)品是首批通過信通院認(rèn)證的產(chǎn)品，在實(shí)際的客戶案例中，給客戶帶來了實(shí)際的效能提升，真正做到了賦能大數(shù)據(jù)產(chǎn)業(yè)，讓數(shù)據(jù)變“活”。

 

　　在最后的線上交流環(huán)節(jié)，雷小平老師也針對觀眾提問做出了精彩回答。

 

　　VMware首席架構(gòu)師張海寧老師作為本場閉門會(huì)主持人，同時(shí)也是聯(lián)邦學(xué)習(xí)的資深人士，他對本場活動(dòng)做出了極具概括性的總結(jié)：

 

　　“在我看來，聯(lián)邦學(xué)習(xí)是AI領(lǐng)域一個(gè)非常新興的方向。它能夠滿足用戶進(jìn)行聯(lián)合建模，構(gòu)造精確的人工智能模型，同時(shí)可以保證雙方數(shù)據(jù)的隱私安全性。如果企業(yè)希望數(shù)據(jù)能夠增值，把數(shù)據(jù)變成資產(chǎn)，同時(shí)收取一定的服務(wù)費(fèi)，這是聯(lián)邦學(xué)習(xí)非常有價(jià)值的點(diǎn)。20世紀(jì)石油是巨大的財(cái)富和資產(chǎn)，但是到了21世紀(jì)，一個(gè)公司最大的資產(chǎn)是數(shù)據(jù)，數(shù)據(jù)是最有價(jià)值的東西，數(shù)據(jù)如何變現(xiàn)產(chǎn)生新的價(jià)值，聯(lián)邦學(xué)習(xí)可能是其中的一個(gè)思路或途徑。”

 

　　可以想象，聯(lián)邦學(xué)習(xí)將成為AI領(lǐng)域的下一個(gè)重點(diǎn)方向。從2016年由Google提出后，其發(fā)展勢頭堪稱迅猛。更為關(guān)鍵的是，在聯(lián)邦學(xué)習(xí)的眾多玩家中，在技術(shù)實(shí)現(xiàn)和商業(yè)落地方面結(jié)合較好，走在前列的微眾銀行、騰訊云都是中國企業(yè)。這將為聯(lián)邦學(xué)習(xí)的生態(tài)建設(shè)和標(biāo)準(zhǔn)制定帶來更為利好的消息。

 

　　--------------------------------------------------------------------------------

 

　　TVP，即騰訊云最具價(jià)值專家（Tencent Cloud Valuable Professional），是騰訊云授予云計(jì)算領(lǐng)域技術(shù)專家的一個(gè)獎(jiǎng)項(xiàng)。TVP 計(jì)劃致力打造與行業(yè)技術(shù)專家的交流平臺，構(gòu)建云計(jì)算技術(shù)生態(tài)，實(shí)現(xiàn)“用科技影響世界”的美好愿景。

 

　　TVP成立之初，便秉承“用科技影響世界”的愿景，讓技術(shù)普惠大家，踐行科技向善的初心和本心。如今，IT技術(shù)的價(jià)值已經(jīng)廣泛地為普羅大眾所認(rèn)可，開發(fā)者的社會(huì)價(jià)值前所未有地凸現(xiàn)，我們希望能用這一系列高端、前沿的技術(shù)閉門會(huì)，在這個(gè)疫情發(fā)生的艱難時(shí)刻，匯聚行業(yè)專家，幫助產(chǎn)業(yè)找到應(yīng)對之法。