“同態加密”的突破使聯邦學習成為解決“隱私保護+小數據”雙重挑戰的利器。

AI 科技評論按：7月12日-7月14日，2019第四屆全球人工智能與機器人峰會（CCF-GAIR 2019）于深圳正式召開。峰會由中國計算機學會（CCF）主辦，雷鋒網、香港中文大學（深圳）承辦，深圳市人工智能與機器人研究院協辦，得到了深圳市政府的大力指導，是國內人工智能和機器人學術界、工業界及投資界三大領域的頂級交流博覽盛會，旨在打造國內人工智能領域極具實力的跨界交流合作平臺。

7 月 13 日，香港科技大學講席教授，微眾銀行首席AI官，IJCAI理事會主席楊強為 CCF-GAIR 2019「AI 金融專場」做了題為「聯邦學習的最新發展及應用」的大會報告，以下為楊強教授所做的大會報告全文。

大家好，今天很榮幸和大家分享聯邦學習的最新發展與應用。

AI 機器人助力金融

我們首先來看下微眾銀行這兩年所做的努力和成就。

微眾銀行的目標是建立起強大的AI能力，助力小微企業成長。要做到這點，先不妨把金融各個環節分解開來，用以發現其中可以用人工智能革新的場景：

比如可以用人工智能來幫助做業務咨詢（企業畫像），企業在申請貸款和賬號時，進行身份核實，這其中包括法人身份核實和個人申請賬戶身份核實，以及資料的審核等；此外AI可以賦能的地方還包括操作放款，貸前、貸終、貸后，整個流程都可實現自動化。

具體的產品案例有以下幾種：

一是語音客服機器人。這類產品我們聽過很多，比如智能音箱等?，F在語音客服機器人在垂直領域已經做得非常細分化，目前，微眾銀行98%的客戶問題由智能客服機器人提供7×24小時的解答，而且用戶滿意度頗高。為什么能做到這點？因為里面融合了很多人工智能的最新技術。

大家都知道，對話系統中有一個很難的問題，是如何進行多輪問答。

以音箱的語音交互為例，我們知道一般情況下，每執行一個口令任務，都需要用戶說一次喚醒詞，然后它才會回答你。而到了下一個問句，你又要說同樣的喚醒詞，再問它問題。而多輪問答是只要叫醒一次就可以進行多次問答。

這個技術實現過程里有很多難題：比如要理解每句話的意圖和整個對話線程的意圖。此外還需要進行情感分析，比如在一些場景中，需要分辨出客戶的急躁或不滿，也需分析出客戶的興趣點，機器只有區分開這些細微的信號，才能實現優質的多輪對話效果。除此之外，還要進行多線程的分析，比如用戶說的上一句和下一句話意圖不同，前言不搭后語，機器需把這個邏輯分解出來。

總的來說，這個領域還有非常多的工作要做。我們的看法是，對話系統最好的落地場景是：擁有上億用戶的垂直領域。

二是風控對話機器人。對話機器人還可以做風控，比如在和客戶對話的過程中發現一些蛛絲馬跡，辨別對方是否是在進行欺詐。就像我們面試一個人或者和借款人交流時，隨時隨地都要提高警惕，防止對方欺詐。

我們再舉一個車險匯報的例子，發生車禍了，到底誰是責任人？可能匯報人的回答會出現前后不一致，機器人通過對這些細節的識別來實現測謊。

三是質檢機器人。金融領域很特別的是，每次在客服與客戶對話過程中和對話之后都要對對話質量進行檢測。過去每個對話都是錄音，成百上千的錄音，人工沒有辦法一條條過，所以我們現在用自研的語音識別加意圖識別手段，來發現客服對話質量不好的地方，進行自動質檢。

（微眾AI：質檢機器人）

上圖是質檢流程，我們在注意力機制下用深度學習來幫助做對話理解。質檢可以幫助發現用戶貸款時，客服需要做的改進，比方有些不應該拿貸款去投放給非常有風險的人或場景，有的時候，客服也要保持微笑的態度，如果質檢機器人發現機器人客服態度不好，也會自動預警。

以上這些都是微眾銀行在服務類機器人方面所做的工作。

小數據與隱私保護的雙重挑戰

不難看出人工智能在小微企業、貸款、互聯網銀行等上都有很多應用。不過這些應用同樣也遇到很多挑戰，以至于我們有必要發明一些新的算法。主要有哪些挑戰呢？概括來講有三點：

第一，“對抗學習”的挑戰。即針對人工智能應用的作假，比如人臉識別就可以做假，針對面部進行合成。如何應對這種“對抗學習”的挑戰，這是金融場景下人工智能安全領域的重大題目。

第二，小數據的挑戰。沒有好的模型就無法做到好的自動化，好的模型往往需要好的大數據，但往往高質量、有標簽的數據都是小數據。

假設收集數據3年，是不是就可以形成大數據？不是這樣的，因為數據都在變化，每個階段的數據和上一個階段的數據有不同的分布，也許特征也會有不同。實時標注這些數據想形成好的訓練數據又需要花費很多人力。

不僅金融場景，在法律場景也是這樣，醫療場景更是如此。每個醫院的數據集都是有限的，如果不能把這些數據打通，每個數據集就只能做簡單的模型，也不能達到人類醫生所要求的高質量的疾病識別。

然而，現在把數據合并變得越來越難，我們看到Facebook的股價此前出現過一天內斷崖式下跌，主要是因為當時有新聞報道它和美國一個公司之間的數據共通影響了美國大選。

這類事情不僅引起資本市場的振動，法律界也開始有很大的動作，去年5月份歐洲首先提出非常嚴格的數據隱私保護法GDPR。GDPR對于人工智能機器的使用、數據的使用和數據確權，都提出非常嚴格的要求，以至于Google被多次罰款，每次金額都在幾千萬歐元左右。

因為GDPR其中一則條文就是數據使用不能偏離用戶簽的協議，也許用戶的大數據分析，可以用作提高產品使用體驗，但是如果公司拿這些數據訓練對話系統，就違反了協議。如果公司要拿這些數據做另外的事，甚至拿這些數據和別人交換，前提必須是一定要獲得用戶的同意。

另外還有一些嚴格的要求，包括可遺忘權，就是說用戶有一天不希望自己的數據用在你的模型里了，那他就有權告訴公司，公司有責任把該用戶的數據從模型里拿出來。這種要求不僅在歐洲，在美國加州也實行了非常嚴格的類似的數據保護法。

中國對數據隱私和保護也進行了非常細致的研究，從2009年到2019年有一系列動作，而且越來越嚴格，經過長期的討論和民眾的交互，可能在今年年底到明年年初會有一系列正式的法律出臺。

（國內數據監管法律體系研究）

因此我們會面對這樣的困境：一方面我們的數據大部分是小數據，另一方面數據的合并會違反隱私法規。除了法規限制之外，利益驅使下公司們也不愿意把數據拿出來和其他公司交換。在這種現象下，很多人覺得很失望，覺得很灰暗，覺得人工智能的冬天也許又一次到來了。

但我們不這么看，我們覺得挑戰反而是一個機會，是一個機遇，這個機會使得我們有必要發明一種新的技術，在嚴格遵從法規的前提下還能夠把這些數據聚合起來建模。既保護隱私不把數據進行交換，又能利用大數據建立模型，這種看似矛盾的事怎么才能達到呢？這就是聯邦學習（Federated Learning）的優勢所在。

聯邦學習：橫向、縱向、遷移

先來看一個通俗的類比：我們每個人的大腦里都有數據，當兩個人在一起做作業或者一起寫書的時候，我們并沒有把兩個腦袋物理性合在一起，而是兩個人用語言交流。所以我們寫書的時候，一個人寫一部分，通過語言的交流最后把合作的文章或者書寫出來。

我們交流的是參數，在交流參數的過程中有沒有辦法保護我們大腦里的隱私呢？是有辦法的，這個辦法是讓不同的機構互相之間傳遞加密后的參數，以建立共享的模型，數據可以不出本地，這就是聯邦學習的精髓。

“聯邦學習”由Google在2016年首先提出，不過更多是2C的應用。當時Google特別關心它的安卓系統，2016年就在想能不能把下一代的安卓系統做成可以滿足GDPR保護用戶隱私。

安卓手機上有各種各樣的模型，比如打字的時候會給你建議下一個字，照相的時候會給你提示一個標注、歸類，這些都是模型驅動，這樣的模型是需要不斷更新的。

過去更新最簡單的辦法是把每個手機里的數據定時上傳到云端，在云端建立大模型，因為每個人的數據是有限的，在幾千萬個手機的數據都上傳的情況下就有了大數據，就可以做大模型，做好后再把這個模型下傳到每個手機上，這樣就完成了一次手機端的更新。

但現在這種做法是違規的，因為手機端用戶傳數據上去，Server就看到了用戶的數據。

這時候，聯邦學習的優勢就出來了。從簡單定義來講，聯邦學習是在本地把本地數據建一個模型，再把這個模型的關鍵參數加密，這種數據加密傳到云端也沒有辦法解密，因為他得到的是一個加密數據包，云端把幾千萬的包用一個算法加以聚合，來更新現有的模型，然后再把更新后的模型下傳。重要的是，整個過程中Server云端不知道每個包里裝的內容。

（基于同態加密的Model Averaging）

這聽起來好像很難的樣子，之前確實很難，但最近發生了一件很偉大的事，即加密算法可以隔著加密層去進行運算，這種加密方法叫“同態加密”，這種運算效率最近取得了重大提升，所以聯邦學習就變成可以解決隱私，同時又可以解決小數據、數據孤島問題的利器。不過需要注意的是這只是2C的例子，是云端面對大用戶群的例子。

這個技術比較新，翻譯成中文是我們首先翻譯成“聯邦學習”，大家可能聽到其他的翻譯，比如“聯合學習、聯盟學習、協作學習”，我們決定采取聯邦學習的譯法，是因為聽起來比較入耳，一次就能記住，所以希望以后大家都叫聯邦學習。

現在科學進入新領域，一定要涉及到多個學科的融合才能解決社會問題，聯邦學習就是很好的例子。

首先我們要了解加密和解密，保護隱私的安全方法。計算機領域已經有很多研究，從70年代開始，包括我們熟悉的姚期智教授，他獲得圖靈獎的研究方向是“姚氏混淆電路”，另外還有差分隱私等。

這么多加密方法它們是做什么的呢？就是下面的公式：

它可以把多項式的加密，分解成每項加密的多項式，A+B的加密，變成A的加密加B的加密，這是非常偉大的貢獻。因為這樣就使得我們可以拿一個算法，在外面把算法給全部加密，加密的一層可以滲透到里面的每個單元。能做到這一點就能改變現有的機器學習的教科書，把任何算法變成加密的算法。

目前這個事沒有做完，歡迎在座的博士生、碩士生趕快買一本機器學習的書，嘗試把一個一個算法變成加密的算法。

（橫向聯邦學習 Horizontal Federated Learning）

我剛才講的是“橫向聯邦學習”，橫向聯邦學習是每行過來都可以看作一個用戶的數據。按照用戶來分，可以看作一、二、三個手機，它叫橫向學習。還有一個原因是它們的縱向都是特征，比如手機型號、手機使用時間、電池以及人的位置等，這些都是特征。他們的特征都是一樣的，樣本都是不一樣的，這是橫向聯邦學習。

主要做法是首先把信用評級得到，然后在加密狀態下做聚合，這種聚合里面不是簡單的加，而是很復雜的加，然后把征信模型再分發下來。

我們很期待5G的到來，加快速率，5G對聯邦學習是大好事?，F在還沒有5G，所以大家想各種各樣網絡的設計，在底層網絡的設計，甚至有人在設計聯邦學習芯片，加速網絡的設計和溝通，這些都是研究者們關心的研究方向。

（縱向聯邦學習 Vertical Federated Learning）

縱向聯邦加密，大家的Feature不一樣，一個機構紅色、一個機構藍色，大家可以想象兩個醫院，一個病人在紅色醫院做一些檢測，在藍色的醫院做另外一些檢測，當我們知道這兩個醫院有同樣一群病人，他們不愿意直接交換數據的情況下，有沒有辦法聯合建模？

它們中間有一個部門墻，我們可以在兩邊各自建一個深度學習模型，建模的時候關鍵的一步是梯度下降，梯度下降我們需要知道幾個參數，上一輪參數、Loss（gradients）來搭配下一個模型的weight參數。這個過程中我們需要得到全部模型的參數級，這時候需要進行交換，交換的時候可以通過同態加密的算法，也可以通過secure multiparty computation，這里面有一系列的算法，兩邊交換加密參數，對方進行更新，再次交換參數，一直到系統覆蓋。

（聯邦遷移學習 Federated Transfer Learning）

我剛才講的，它們或者在特征上一樣，或者在特征上不一樣，但是他們的用戶有些是有交集的，當用戶和特征沒有交集時，我們退一步想，我們可以把他們所在的空間進行降維或者升維，把他們帶到另外的空間去。

在另外的空間可以發現他們的子空間是有交互的，這些子空間的交互就可以進行遷移學習。雖然他們沒有直接的特征和用戶的重合，我們還是可以找到共性進行遷移學習，這種叫聯邦遷移學習。

聯邦學習三大案例

（基于聯邦學習的企業風控模型）

我們來看一個微眾銀行和合作伙伴公司的案例。微眾的特點是有很多用戶Y，我們把數據集分為X和Y，X是用戶的特征和行為，Y是最后的結論，我們在銀行的結論是信用逾期是否發生，這是逾期概率，合作的伙伴企業可能是互聯網企業或者是賣車的或者賣保險，不一定有結論數據Y，但是它有很多行為信息X。

現在這兩個領域對于同一批用戶如果要建模，屬于縱向聯邦學習，建立縱向聯邦學習的應用，最后就取得了很好的效果，AUC指標大為上升，不良率大為下降。

（聯邦學習解決方案效果）

這個例子表明兩個企業在數據不物理交換的前提下，確實有可能通過聯邦學習各自獲益，獲益的效果是因為兩邊的數據確實不一樣，是互補的，在有聯邦學習和沒有聯邦學習的中間，聯邦學習起到了幾個作用：

商務上，如果我們給合作公司的老板解釋，用聯邦學習可以保護隱私，就更容易促成兩個企業的合作，這是商務上做BD同事非常高興，因為BD的成功率大為提高。

技術上，確實可以保證合法的進行聯邦學習，并且是有效果的。

再來看第二個案例，這個案例完全不是為了從商業角度，而是城市管理。我們知道有很多工地，工地上有很多攝像頭是用來監測工地安全，比如我們想知道工人有沒有戴安全帽，有沒有火災、有沒有人抽煙，以前是派人看，之后派攝像頭在鏡頭前看。

那現在我們能不能用自動的方法、模型的方法來檢測這些事情的發生和這事情有多嚴重？在香港如果有工人不戴帽子，工地會被勒令停產三天，這對工期非常不利，以至于老板們非常緊張。之前老板們的做法是把攝像頭前面拿紙蒙上，不讓政府看到。政府發現了這一點，就規定只要蒙上就是違法，就停工三天。

因此現在有來找我說有沒有AI的辦法來做？不過AI的做法有不同的攝像頭，有政府的、有本地的，還有外包公司的，這些攝像頭照出來的人臉我們都不希望對方看到，這是隱私問題?，F在用聯邦學習做這個事已經做通了，而且已經在幾個工地上使用了。

第三個案例是語音識別，語音識別的數據很多，又有不同的細分場景，比如保險客服領域的語音識別、質量檢測的語音識別等，這些數據可能來自不同的數據收集方，他們也不愿意把數據給對方，因為數據本身是資源?，F在我們用聯邦學習把它們聯起來建立共享的ASR模型，現在也取得很好的成就。

聯邦學習必須生態化

聯邦學習像一個操作系統，你自己玩是不行的，它的特點是多方合作，只有多方都認可，才有機會做起來，因此我們非常重視建立一個聯邦學習的生態。

為此我們在學術界和工業界進行了大量的宣傳，希望大家今后都來參加。8月12日，IJCAI會議將在澳門舉行一次開放的FML，是一整天的研討會，有很多業界的人將會做演講。

同時我們做了很多開源項目，不只是我們，全世界各地都在做聯邦學習的開源項目，希望大家積極參與進來。我們也FATE系統捐獻給了Linux Foundation。

同時我們也正在推進建立國際標準IEEE P3652.1，8月11日在澳門召開第三次會議，現在進度很快，參與公司也很多。同時我們也在國內建立標準，工信部剛剛推出了第一個聯邦學習的團體標準，下一步要推行國家標準。

我們推標準的原因是，聯邦學習要像操作系統一樣，是機構和機構之間的交流語言，機構合作首先得有語言（字典），得大家都說這個語言才能做起來，所以我們非常熱衷建立這樣的標準，并把它推行開來。也希望大家按照這樣的方式參與到IEEE的標準委員會來。謝謝大家。