近日，在百大人物峰會上，創(chuàng)新工場創(chuàng)始人李開復談及數(shù)據(jù)隱私保護和監(jiān)管問題時，表示：“人們不應該只將人工智能帶來的隱私問題視為一個監(jiān)管問題，可嘗試用‘以子之矛攻己之盾’——用更好的技術解決技術帶來的挑戰(zhàn)，例如同態(tài)加密、聯(lián)邦學習等技術?！?/p>

那么最近備受關注、被越來越多提及的聯(lián)邦學習是什么？如何解決人工智能應用中數(shù)據(jù)隱私保護帶來的挑戰(zhàn)？

▌“聯(lián)邦學習”到底是什么？能解決什么問題？

在回答 “聯(lián)邦學習” 是什么之前，我們需要了解為什么會有這樣的技術出現(xiàn)，它的出現(xiàn)是為了解決什么問題。

近年來，隨著人工智能技術的發(fā)展和更廣泛的應用，數(shù)據(jù)隱私保護也被越來越多地關注，歐盟出臺了首個關于數(shù)據(jù)隱私保護的法案《通用數(shù)據(jù)保護條例》（General Data Protection Regulation, GDPR），明確了對數(shù)據(jù)隱私保護的若干規(guī)定，中國在 2017 年起實施的《中華人民共和國網絡安全法》和《中華人民共和國民法總則》中也指出 “網絡運營者不得泄露、篡改、毀壞其收集的個人信息，并且與第三方進行數(shù)據(jù)交易時需確保擬定的合同明確約定擬交易數(shù)據(jù)的范圍和數(shù)據(jù)保護義務?！?這意味著對于用戶數(shù)據(jù)的收集必須公開、透明，企業(yè)、機構之間在沒有用戶授權的情況下數(shù)據(jù)不能交換。

這給人工智能應用給機器學習帶來的挑戰(zhàn)是：如果機構之間的數(shù)據(jù)無法互通，一家企業(yè)一家機構數(shù)據(jù)量有限，或者是少數(shù)巨頭公司壟斷大量數(shù)據(jù)，而小公司很難獲得數(shù)據(jù)，形成大大小小的“數(shù)據(jù)孤島”。在這種沒有權限獲得足夠多的用戶數(shù)據(jù)的情況下，各個公司尤其是小公司，如何建模？

在這種情況下，“聯(lián)邦學習”的概念應運而生。所謂 “聯(lián)邦學習”，首先是一個“聯(lián)邦”。不同于企業(yè)之前的“各自為政”，擁有獨立的數(shù)據(jù)和獨立的模型，聯(lián)邦學習通過將企業(yè)、機構納入“一個國家、一個聯(lián)邦政府” 之下，將不同的企業(yè)看作是這個國家里的 “州”，彼此又保持一定的獨立自主，在數(shù)據(jù)不共享的情況下共同建模，提升模型效果。所以“聯(lián)邦學習” 實際上是一種加密的分布式機器學習技術，參與各方可以在不披露底層數(shù)據(jù)和底層數(shù)據(jù)的加密（混淆）形態(tài)的前提下共建模型。

Google 公司率先提出了基于個人終端設備的“橫向聯(lián)邦學習”（Horizontal Federated Learning），其核心是，手機在本地進行模型訓練，然后僅將模型更新的部分加密上傳到云端，并與其他用戶的進行整合。目前該方法已在 Google 輸入法中進行實驗。一些研究者也提出了 CryptoDL 深度學習框架、可擴展的加密深度方法、針對于邏輯回歸方法的隱私保護等。但是，它們或只能針對于特定模型，或無法處理不同分布數(shù)據(jù)，均存在一定的弊端。

在國內，聯(lián)邦技術的研究由微眾銀行首席人工智能官（CAIO）楊強教授帶領微眾銀行 AI 團隊主導，并且首次提出了基于 “聯(lián)邦學習” 的系統(tǒng)性的通用解決方案，強調在任何數(shù)據(jù)分布、任何實體上，均可以進行協(xié)同建模學習，解決個人 (to C) 和公司間 (to B) 聯(lián)合建模的問題，開啟了將聯(lián)邦學習技術進行商用，建立聯(lián)邦行業(yè)生態(tài)的探索。

▌如何在保護數(shù)據(jù)隱私前提下打破數(shù)據(jù)孤島？

因為孤島數(shù)據(jù)具有不同的分布特點，所以在聯(lián)邦學習的技術方案中，也大致分為：橫向聯(lián)邦學習、縱向聯(lián)邦學習、聯(lián)邦遷移學習三種方案。

考慮有多個數(shù)據(jù)擁有方，每個數(shù)據(jù)擁有方各自所持有的數(shù)據(jù)集 Di 可以用一個矩陣來表示。矩陣的每一行代表一個用戶，每一列代表一種用戶特征。同時，某些數(shù)據(jù)集可能還包含標簽數(shù)據(jù)。如果要對用戶行為建立預測模型，就必須要有標簽數(shù)據(jù)?？梢园延脩籼卣鞫x為 X，把標簽特征定義為 Y。

比如，在金融領域，用戶的信用是需要被預測的標簽 Y；在營銷領域，標簽是用戶的購買愿望 Y；在教育領域，則是學生掌握知識的程度等。用戶特征 X 加標簽 Y 構成了完整的訓練數(shù)據(jù)（X，Y）。但是，在現(xiàn)實中，往往會遇到這樣的情況：各個數(shù)據(jù)集的用戶不完全相同，或用戶特征不完全相同。具體而言，以包含兩個數(shù)據(jù)擁有方的聯(lián)邦學習為例，數(shù)據(jù)分布可以分為以下三種情況：兩個數(shù)據(jù)集的用戶特征（X1,X2,…）重疊部分較大，而用戶 (U1,U2…) 重疊部分較?。粌蓚€數(shù)據(jù)集的用戶 (U1,U2…) 重疊部分較大，而用戶特征（X1,X2,…）重疊部分較??；兩個數(shù)據(jù)集的用戶 (U1,U2…) 與用戶特征重疊（X1,X2,…）部分都比較小。

可以看出，聯(lián)邦遷移學習解決了不同樣本（數(shù)據(jù)集）、不同特征維度之前聯(lián)合建模的問題，第一次讓不同領域的企業(yè)之間在保護彼此數(shù)據(jù)隱私的前提下實現(xiàn)跨領域創(chuàng)造價值。例如，銀行擁有用戶購買能力的特征，社交平臺擁有用戶個人偏好特征，而電商平臺則擁有產品特點的特征，傳統(tǒng)的機器學習模型無法直接在異構數(shù)據(jù)上進行學習，聯(lián)邦學習卻能在保護三方數(shù)據(jù)隱私的基礎上進行聯(lián)合建模，從而打破數(shù)據(jù)壁壘，構建跨領域合作。

為了更加清楚方案背后的邏輯，以包含兩個數(shù)據(jù)擁有方（即企業(yè) A 和 B）的場景為例來介紹聯(lián)邦學習的系統(tǒng)構架，這個架構可以拓展延伸到包含多個數(shù)據(jù)擁有方的場景。

假設企業(yè) A 和 B 想聯(lián)合訓練一個機器學習模型，它們的業(yè)務系統(tǒng)分別擁有各自用戶的相關數(shù)據(jù)。此外，企業(yè) B 還擁有模型需要預測的標簽數(shù)據(jù)。出于數(shù)據(jù)隱私和安全考慮，A 和 B 無法直接進行數(shù)據(jù)交換。此時，可使用聯(lián)邦學習系統(tǒng)建立模型，系統(tǒng)構架由兩部分構成，如圖 a 所示。

圖：聯(lián)邦學習系統(tǒng)構架

第一部分：加密樣本對齊。由于兩家企業(yè)的用戶群體并非完全重合，系統(tǒng)利用基于加密的用戶樣本對齊技術，在 A 和 B 不公開各自數(shù)據(jù)的前提下確認雙方的共有用戶，并且不暴露不互相重疊的用戶。以便聯(lián)合這些用戶的特征進行建模。

第二部分：加密模型訓練。在確定共有用戶群體后，就可以利用這些數(shù)據(jù)訓練機器學習模型。為了保證訓練過程中數(shù)據(jù)的保密性，需要借助第三方協(xié)作者 C 進行加密訓練。以線性回歸模型為例，訓練過程可分為以下 4 步（如圖 b 所示）：第①步：協(xié)作者 C 把公鑰分發(fā)給 A 和 B，用以對訓練過程中需要交換的數(shù)據(jù)進行加密；第②步：A 和 B 之間以加密形式交互用于計算梯度的中間結果；第③步：A 和 B 分別基于加密的梯度值進行計算，同時 B 根據(jù)其標簽數(shù)據(jù)計算損失，并把這些結果匯總給 C。C 通過匯總結果計算總梯度并將其解密。第④步：C 將解密后的梯度分別回傳給 A 和 B；A 和 B 根據(jù)梯度更新各自模型的參數(shù)。

迭代上述步驟直至損失函數(shù)收斂，這樣就完成了整個訓練過程。在樣本對齊及模型訓練過程中，A 和 B 各自的數(shù)據(jù)均保留在本地，且訓練中的數(shù)據(jù)交互也不會導致數(shù)據(jù)隱私泄露。因此，雙方在聯(lián)邦學習的幫助下得以實現(xiàn)合作訓練模型。

第三部分：效果激勵。聯(lián)邦學習的一大特點就是它解決了為什么不同機構要加入聯(lián)邦共同建模的問題，即建立模型以后模型的效果會在實際應用中表現(xiàn)出來，并記錄在永久數(shù)據(jù)記錄機制（如區(qū)塊鏈）上。提供的數(shù)據(jù)多的機構會看到模型的效果也更好，這體現(xiàn)在對自己機構的貢獻和對他人的貢獻。這些模型對他人效果在聯(lián)邦機制上以分給各個機構反饋，并繼續(xù)激勵更多機構加入這一數(shù)據(jù)聯(lián)邦。以上三個步驟的實施，既考慮了在多個機構間共同建模的隱私保護和效果，又考慮了如何獎勵貢獻數(shù)據(jù)多的機構，以一個共識機制來實現(xiàn)。所以，聯(lián)邦學習是一個 “閉環(huán)” 的學習機制。

由此我們也可以看出聯(lián)邦學習的幾個顯著特征：

一、各方數(shù)據(jù)都保留在本地，不泄露隱私也不違反法規(guī)；

二、多個參與者聯(lián)合數(shù)據(jù)建立虛擬的共有模型，實現(xiàn)各自的使用目的、共同獲益；

三、在聯(lián)邦學習的體系下，各個參與者的身份和地位相同；

四、聯(lián)邦學習的建模效果和傳統(tǒng)深度學習算法的建模效果相差不大；

五、“聯(lián)邦”就是數(shù)據(jù)聯(lián)盟，不同的聯(lián)邦有著不同的運算框架，服務于不同的運算目的。如金融行業(yè)和醫(yī)療行業(yè)就會形成不同的聯(lián)盟。

▌聯(lián)邦學習目前進展

說了那么多，聯(lián)邦學習目前到底有哪些技術進展呢？

最新消息顯示，Google 推出了首個產品級的聯(lián)邦學習系統(tǒng)并發(fā)布論文 “Towards Federated Learning at Scale：System Design”，介紹了聯(lián)邦學習系統(tǒng)的設計理念和現(xiàn)存挑戰(zhàn)并提出了自己的解決方案。國內方面，微眾 AI 團隊對外開源了自研的 “聯(lián)邦學習 FATE（Federated AI Technology Enabler)” 學習框架，目前在信貸風控、客戶權益定價、監(jiān)管科技等領域已經推出了相應的商用方案。

在系統(tǒng)框架之外，圍繞聯(lián)邦學習的技術標準也在陸續(xù)推進中。今年 2 月份，IEEE P3652.1（聯(lián)邦學習基礎架構與應用）標準工作組第一次會議在深圳召開，作為國際上首個針對人工智能協(xié)同技術框架訂立的標準，不僅明確了聯(lián)邦學習在數(shù)據(jù)合規(guī)、行業(yè)應用等方面的重要意義，還為立法機構在涉及隱私保護的問題時提供技術參考。

總而言之，無論是技術理論的探索還是統(tǒng)一標準的制定，在全球范圍內對聯(lián)邦學習的落地探索都會繼續(xù)，聯(lián)邦學習作為一個新興的人工智能基礎技術，還有很長的路要走。我們也有理由期待，隨著聯(lián)邦學習理論、應用體系的逐漸豐富，隱私保護問題所帶來的技術挑戰(zhàn)將得到有效解決。