機器學習的隱私保護研究綜述

劉俊旭 孟小峰

(中國人民大學信息學院 北京 100872)

在互聯網、大數據和機器學習的助推下，人工智能技術日新月異，刷臉支付、輔助診斷、個性化服務等逐步走入大眾視野并深刻改變著人類的生產與生活方式.然而，在這些外表光鮮的智能產品背后，用戶的生理特征、醫療記錄、社交網絡等大量個人敏感數據無時無刻不在被各類企業、機構肆意收集.大規模數據收集能夠帶動機器學習性能的提升，實現經濟效益和社會效益的共贏，但也令個人隱私保護面臨更大的風險與挑戰.主要表現在2方面：首先，由不可靠的數據收集者導致的數據泄露事件頻發，不僅對企業造成重大經濟和信譽損失，也對社會穩定和國家安全構成極大威脅；其次，大量研究表明，攻擊者通過分析機器學習模型的輸出結果，能夠逆向推理出訓練數據中個體的敏感信息.2018年劍橋分析公司“操縱”美國大選事件，便是通過非法獲取8 700萬Facebook用戶數據，構建心理分析模型，分析互聯網用戶人格特征，進而定向投放虛假廣告實施的(1)https://en.wikipedia.org/wiki/Cambridge_Analytica.

人工智能時代，個人隱私保護愈發受到國內外的重視和關注.2017年6月起施行的《中華人民共和國網絡安全法》(2)http://www.cac.gov.cn/2016-11/07/c_1119867116.htm第42條指出，“網絡運營者不得泄露、篡改、毀損其收集的個人信息；未經被收集者同意，不得向他人提供個人信息”.2018年3月，歐盟通用數據保護條例(General Data Protection Regulation, GDPR)(3)https://eugdpr.org/正式生效，該條例對企業處理用戶數據的行為提出明確要求.可見，企業在用戶不知情時進行數據收集、共享與分析已被視為一種違法行為.

實現隱私保護的機器學習，除借助法律法規的約束外，還要求研究者必須以隱私保護為首要前提進行模型的設計、訓練與部署，保證數據中的個人敏感信息不會被未授權人員直接或間接獲取.

傳統的機器學習訓練中，各方數據首先被數據收集者集中收集，然后由數據分析者進行模型訓練，此模式稱為集中學習(centralized learning)[1].其中，數據收集者與數據分析者可以是同一方，如移動應用開發者；也可以是多方，如開發者將數據共享給其他數據分析機構.可見集中學習模式下，用戶一旦被收集數據，便很難再擁有對數據的控制權，其數據將被用于何處、如何使用也不得而知.近年來，一部分研究者嘗試令各方數據保留在本地的同時訓練全局模型，此工作的典型代表為2017年Google提出的聯邦學習(federated learning)[2].盡管聯邦學習使用戶擁有了個人數據的控制權，但并不能完全防御潛在的隱私攻擊.

機器學習的隱私保護研究大致分為2條主線：以多方安全計算(secure multi-party computation, SMPC)[3]、同態加密(homomorphic encryption, HE)[4-5]為代表的加密方法和以差分隱私(differ-ential privacy, DP)[6-7]為代表的擾動方法.加密方法既能將數據明文編碼為僅特定人員能夠解碼的密文，保證存儲和傳輸過程中數據的機密性，同時借助安全協議實現直接對密文計算并求得正確結果.然而，數據加密過程往往涉及大量計算，復雜情況下將產生巨大的性能開銷，故在實際應用場景中難以落地.差分隱私是一種建立在嚴格數學理論基礎之上的隱私定義，旨在保證攻擊者無法根據輸出差異推測個體的敏感信息.與加密相比，差分隱私僅通過噪聲添加機制[8]便可以實現，故不存在額外的計算開銷，但一定程度上會對模型的預測準確性造成影響.該方法面臨的主要挑戰是設計合理的擾動機制，從而更好地權衡算法隱私與可用性.

迄今為止，已有大量研究工作致力于集中學習模式下的隱私保護，本文重點介紹差分隱私方法，分別討論傳統機器學習和深度學習2類模型的隱私算法設計.傳統機器學習模型結構簡單，其訓練本質上是一個凸(convex)優化問題，可以通過在經驗風險最小化(empirical risk minimization, ERM)的不同階段添加擾動的方式實現差分隱私保護.深度學習模型的訓練比傳統機器學習更加復雜，其迭代過程需要頻繁訪問訓練數據，故而更難權衡隱私與可用性.解決此問題的方法之一是制定寬松的差分隱私定義，適當降低隱私保護要求，但同時模型受到隱私攻擊的概率更大了.

聯邦學習模式下的隱私保護同樣存在加密和擾動2種方法.區塊鏈(blockchain)技術因其去中心化、安全透明、不可篡改等特點，能夠對計算過程進行審計，監控模型訓練中的惡意行為，從而加強隱私保護效果[9].不過，聯邦學習目前正處于研究的起步階段，無論在技術還是部署中仍面臨諸多問題與挑戰，如通信帶寬受限、收斂速度慢等.

圖1從模型訓練模式、隱私保護技術和模型類型3個維度對現有機器學習的隱私保護研究進行劃分，顏色深淺代表相應內容在本文中所占的比例.本文詳細總結了針對集中學習模式下傳統機器學習模型與深度學習模型的隱私保護方法，重點介紹差分隱私保護技術.同時，本文簡要概述了聯邦學習模式下存在的隱私問題與現有保護技術.最后，本文針對現有研究中存在的主要問題，提出未來的主要研究挑戰.

Fig. 1 Overview of privacy-preserving machine learning studies圖1 機器學習的隱私保護研究概況

1 機器學習的隱私問題

數據科學的發展必然伴隨著隱私問題.對機器學習而言，隱私問題主要表現在以下2個方面.

1) 由大規模數據收集導致的直接隱私泄露[10].主要表現在不可靠的數據收集者在未經人們許可的情況下擅自收集個人信息、非法進行數據共享和交易等.

2) 由模型泛化能力不足導致的間接隱私泄露[11].主要表現在不可靠的數據分析者通過與模型進行交互，從而逆向推理出未知訓練數據中的個體敏感屬性.此類問題產生的根源在于越復雜的模型在訓練中往往具有更強大的數據“記憶”能力，以致模型對訓練數據和非訓練數據的表現存在較大差異.

本節重點討論間接隱私泄露問題，具體指針對機器學習模型發起的各類隱私攻擊.隱私攻擊大多發生在模型應用階段，由于攻擊者無法直接訪問訓練數據，故只能對相關信息進行推斷.攻擊者可能對模型和數據一無所知；也可能具有一定的背景知識，如已知模型類型或數據特征.根據攻擊者的攻擊目標，隱私攻擊可分為重構攻擊(reconstruction attack)[12]和成員推斷攻擊(membership inference attack)[13]2類.

除隱私問題外，機器學習同樣面臨諸多安全威脅.安全問題與隱私問題的主要區別在于：前者盡管造成了訓練數據的直接或間接泄露，模型本身卻并未受到影響；但后者將會導致模型的內在邏輯被惡意誘導或破壞，從而無法實現預期功能.針對機器學習的安全攻擊既有可能發生在模型訓練階段，也可能發生在模型應用階段，主要包括投毒攻擊(poisoning attack)[14-19]和對抗樣本攻擊(adver-sarial examples attack)[20-27].安全問題也是現今機器學習所面臨的一個挑戰性問題，由于非本文重點，此處不再贅述.

已有學者針對機器學習模型的攻擊技術進行了梳理和總結[28-32]，本節主要對2類隱私攻擊進行簡要介紹.

1.1 重構攻擊

重構攻擊指攻擊者試圖重構出訓練數據中特定個體的敏感信息或者目標模型，其中前者稱為模型反演攻擊(model inversion attack)[33-34]，后者稱為模型竊取攻擊(model extraction attack)[35].

1.1.1 模型反演攻擊

對于結構簡單的機器學習模型，采用動態分析或計算記錄間的相似度等方法便可推測出訓練數據中個體的敏感信息，如文獻[33]針對個性化用藥線性預測模型，在已知特定病人的基本信息和預測結果的情況下，成功推測到該病人的敏感基因型.對于復雜的深度學習模型，文獻[34]在樣本標簽等輔助信息的基礎上，利用人臉識別系統的預測置信度對隨機生成的“模擬畫像”不斷修正，成功重構出訓練集中個體的真實樣貌.然而文獻[35]指出，數據重構僅在訓練樣本量很小的情況下才能實現，當樣本量很大時，攻擊效果將大大減弱.

1.1.2 模型竊取攻擊

早期的模型竊取攻擊主要利用等式求解的方法，僅適用于簡單的線性二分類模型[36].文獻[35]將該方法應用到非線性支持向量機、深度神經網絡等復雜模型中，并利用預測置信度使攻擊效果得到了明顯提升.除此之外，他們還提出一種針對決策樹模型的自適應攻擊算法.盡管表面上模型竊取攻擊并不以數據為目標，但文獻[13]指出，由于模型在訓練中可能“記住”某些訓練數據，因此基于竊取到的替代模型進行模型反演攻擊能夠明顯提升攻擊效果.在實際應用場景下，機器學習模型對企業而言是重要的知識產權，一旦被竊取，也將為企業帶來極大的損失.

1.2 成員推斷攻擊

成員推斷攻擊指攻擊者試圖推測1個給定樣本是否被用于模型的訓練中，即訓練數據的“成員”之一.在某些場景下，成員推斷攻擊可能造成嚴重的后果，比如對于由艾滋病患者數據構建的診斷模型，若某人的醫療數據被推斷是該模型的訓練數據，便意味著此人可能患有艾滋病.

文獻[13]首次提出成員推斷攻擊，并假設攻擊者只能在“黑盒”模式下訪問目標模型，利用模擬數據構建目標模型的影子模型(shadow model)，并基于影子模型和目標模型的輸出結果訓練1個能夠判斷是否是目標模型訓練數據的攻擊模型.構建影子模型需滿足2個假設條件：1)用來訓練影子模型的模擬數據應與真實訓練數據具有相似的分布；2)其結構應與目標模型一致.文獻[37]放寬了上述約束條件，在保證攻擊有效性的情況下提出了一種更通用的攻擊模型.文獻[11]考慮了“白盒”模式下的攻擊，即假設攻擊者已知模型在訓練集上的平均損失，通過評估模型關于某條數據的損失是否超過訓練平均損失以判斷該數據是否是訓練數據.此外，還有研究工作提出了針對生成模型[38]以及差分隱私保護下的深度學習模型[39]的成員推斷攻擊.

可見，目前針對機器學習的隱私攻擊具有明顯的局限性，僅在特定條件和假設下才能成功.但人們依舊不能忽視這些問題，隨著研究的逐步深入，這些攻擊將會威脅到更多更復雜的模型.解決機器學習的隱私問題，一方面需借助法律和社會道德的制裁和約束，規范對個人數據的收集、處理和傳播行為，防止直接隱私泄露；另一方面，研究者還需在模型設計之初便盡可能考慮到訓練與應用過程中的潛在隱患，通過優化模型結構和學習算法，或借助數據加密、噪聲干擾等隱私保護技術，從而防御一切可能的間接隱私泄露.

2 機器學習的隱私保護

第1節指出，機器學習的隱私問題一方面緣于大規模數據收集，另一方面緣于模型本身會攜帶訓練數據中個體的信息.基于此，機器學習的隱私保護存在2個主要研究思路：第一，改變數據集中收集的訓練模式；第二，設計隱私保護方法，使模型訓練過程實現隱私保護.

由于機器學習模型包括傳統機器學習和深度學習2類，二者在模型結構和復雜程度上具有明顯差異，故需分別討論.本節主要從模型訓練模式和隱私保護技術2個維度對機器學習的隱私保護研究整體概況進行梳理和總結.針對上述2類機器學習模型的具體工作將在后續章節加以說明.

2.1 模型訓練模式

訓練模式可分為集中學習和聯邦學習2類，區別在于各方數據在模型訓練前是否被集中收集.

2.1.1 集中學習

對執行機器學習任務的互聯網服務提供商而言，將訓練數據集中存儲在單機、集群或云端對于模型訓練和部署都方便可控，因此廣泛應用于實際場景.但該模式下，各方一旦被收集數據，便很難再擁有對數據的控制權，其數據將被用于何處、如何使用也不得而知.針對集中學習模式下機器學習的隱私保護在過去幾十年間得到了廣泛研究，本文將在第3,4節分別對傳統機器學習和深度學習2種情況加以討論.

2.1.2 聯邦學習

聯邦學習與分布式機器學習中的數據并行化訓練具有相似的邏輯結構，即擁有不同訓練數據的多個節點共同執行一個機器學習任務.其中，各個節點在獲得中心模型的副本后獨立訓練，并將訓練后更新的模型參數上傳至中心節點；中心節點將所有上傳的參數整合至中心模型，并再次將模型分發出去；如此迭代，直至中心模型收斂.聯邦學習與數據并行化訓練的主要區別在于，前者的主要目的是讓各節點的數據保留在本地，以降低隱私泄露的風險；而后者則是加速模型訓練，各節點中的數據仍是中心節點先集中收集后再均勻分配的.不過，聯邦學習尚處于研究的起步階段，在算法設計與實際部署上面臨種種問題及挑戰，本文將在第5節加以討論.

2.2 隱私保護技術

針對機器學習的隱私保護主要通過加密或擾動2種方式.前者主要指密碼學技術，常用的有安全多方計算、同態加密等；后者則主要指差分隱私機制.

1) 加密

加密被認為是最基本、最核心的數據安全技術，通過加密算法將數據明文編碼為僅特定人員能夠解碼的密文，旨在保證敏感數據在存儲與傳輸過程中的保密性.對機器學習而言，由于惡意攻擊者能夠基于模型對數據加以推測，因此同樣需保證數據在計算與分析過程中的機密性.

同態加密是一種不需要訪問數據本身就可以處理數據的密碼學技術[4].文獻[5]進一步提出的全同態加密則實現了能夠在加密數據上進行任意計算，目前已被廣泛應用于云計算場景的隱私保護研究中.除此之外，安全多方計算作為一種讓互不信任的參與方進行協同計算的協議，允許在不公開各方真實數據的同時保證計算結果的正確性[40-42].故該方法非常適合由多方參與、并共同訓練機器學習模型的情況，如聯邦學習.安全多方計算常與同態加密方法結合使用，以應對多種分析任務.

加密方法的優點在于能夠保證計算結果的正確性，缺點是該方法十分依賴于函數的復雜度.對于存在大量的非線性計算的深度學習模型，算法的計算開銷十分高昂，這也是加密方法至今在有效性和實用性方面飽受爭議、無法在實際應用中落地的主要原因.

2) 擾動

擾動技術指在模型訓練過程中引入隨機性，即添加一定的隨機噪聲，使輸出結果與真實結果具有一定程度的偏差，以防止攻擊者惡意推理，差分隱私機制是目前擾動技術的代表性方法.差分隱私是Dwork等人[6]提出的一種具有嚴格的數學理論支撐的隱私定義，最早用以解決統計數據庫在數據發布過程中的隱私泄露問題.滿足差分隱私的算法，其輸出結果的概率分布不會因增加、刪除或修改數據集中的一條記錄而產生明顯的差異.這一定程度上避免了攻擊者通過捕捉輸出差異進而推測個體記錄的敏感屬性值.形式上，差分隱私的定義如下.

(1)

成立，則稱算法f滿足ε-差分隱私.其中，鄰接數據集(neighbor datasets)[7]指有且僅有1條記錄不同的2個數據集；不等式左邊可視為算法訪問數據集后造成的隱私損失(privacy loss)；ε用于控制算法的隱私保護程度，稱為隱私預算(privacy budget).差分隱私機制將算法的隱私損失控制在一個有限的范圍內，ε越小，則算法隱私保護效果越好.常用的有拉普拉斯機制(Laplace mech-anism)[6]、指數機制(exponential mechanism)[43]和高斯機制(Gaussian mechanism)[44].這些機制中，噪聲大小取決于算法的敏感度(sensitivity)[44].

(2)

差分隱私機制是目前機器學習的隱私保護研究中最常采用的方法之一.由于模型訓練過程往往需要多次訪問敏感數據集，如數據預處理、計算損失函數、梯度下降求解最優參數等，故必須將整個訓練過程的全局隱私損失控制在盡可能小的范圍內.對于簡單模型，此要求較容易實現.然而，對結構復雜、參數量大的深度學習模型而言，將難以平衡模型可用性與隱私保護效果，這是該技術面臨的最大問題與挑戰.

2.3 差分隱私保護的機器學習

與加密方法相比，差分隱私機制更易于在實際場景中部署和應用，故本文重點討論差分隱私保護下的機器學習算法設計.

根據數據處理與分析能力的不同，機器學習模型可分為以線性回歸(linear regression)、邏輯回歸(logistic regression)、支持向量機(support vector machine, SVM)等基于統計學習理論的傳統機器學習方法，和以各類神經網絡(neural network, NN)模型為代表的深度學習方法.對大多數模型而言，經驗風險最小化是最常用的模型學習策略，其基本思想是在整個參數域中搜索使經驗風險最小的最優模型參數.其形式化定義如下.

(3)

依據經驗風險最小化策略，最優模型參數為

(4)

經驗風險最小化求解最優模型參數的常用算法是基于迭代計算的梯度下降法(gradient descent, GD).傳統機器學習模型由于結構簡單，故在設計目標函數J(w;D)時會盡可能令其為一個凸函數，以便求得一個確定的最優解.深度學習模型由于引入了大量非線性因素，目標函數常常是非凸(non-convex)函數，故求解時極易陷入局部最優解.此外，深度學習還存在參數量大、迭代次數多、算法收斂慢等問題.因此，上述2類模型的隱私保護方法具有較大的差異，在設計時需分別加以考慮.

經驗風險最小化不滿足差分隱私.對于傳統機器學習，根據經驗風險最小化得到的最優模型往往與決策邊界附近的某些訓練樣本密切相關(如SVM中的支持向量).若這些樣本的集合被增加、刪除或修改，將會導致模型完全改變，使得式(1)中的比值將趨近無窮大.在這種情況下，訓練樣本的信息將很容易被推測出來，如圖2所示.對深度學習而言，由于模型大多為非線性的，該問題將更為明顯.

Fig. 2 ERM does not satisfy differential privacy(5)Chaudhuri K, Sarwate A D. Differentially Private Machine Learning: Theory, Algorithms, and Applications(tutorial). https://www.ece.rutgers.edu/～asarw ate/nips2017/圖2 經驗風險最小化不滿足差分隱私

綜上，對絕大多數機器學習任務而言，若令經驗風險最小化過程滿足差分隱私，則模型一定程度上便實現了隱私保護[45].

3 傳統機器學習的隱私保護

在深度學習出現之前，基于統計學習理論的傳統機器學習模型是用來解決各類數據挖掘任務和簡單學習任務主要方法.在機器學習的隱私保護早期研究中，學術界也對此進行了大量的探索.本節將以有監督學習任務為例，討論差分隱私保護下的傳統機器學習的方法及其存在的問題.

3.1 差分隱私保護的經驗風險最小化

如圖3所示，根據隨機噪聲在經驗風險最小化過程添加的位置，本文將差分隱私保護的經驗風險最小化方法總結為輸入擾動、目標擾動、梯度擾動和輸出擾動4種類型.

3.1.1 輸入擾動

輸入擾動(input perturbation)是指個人數據在交由模型學習或分析前，先對其進行一定程度的隨機擾動，以避免模型獲取真實數據.考慮2種情況:1)全局隱私(global privacy)，即個人數據首先被集中收集，收集者發布數據時先要對敏感數據集進行擾動；2)本地隱私(local privacy)，即個人首先在本地端對數據進行擾動，再將其發送給收集者[46].前者在早期研究中已證明存在較大的局限性[47]；后者由于用戶之間并不知道彼此的數據，故基于全局敏感度的擾動機制已不再適用.人們進一步提出了本地化差分隱私(local differential privacy, LDP)的定義，并針對不同數據類型[48]、各類數據挖掘任務[49-52]以及線性回歸、邏輯回歸等簡單機器學習模型[46,53]進行了大量的嘗試，且成為現今隱私保護技術研究的主流方法之一.文獻[54-55]針對本地化差分隱私的研究現狀進行了較為全面的總結，此處不再贅述.

Fig. 3 Differentially private empirical risk minimization圖3 差分隱私保護的經驗風險最小化

3.1.2 輸出擾動

輸出擾動(output perturbation)是指直接對經驗風險最小化得到的最優參數添加噪聲，如式(5)所示：

(5)

文獻[45]指出，當z服從概率密度函數如式(6)所示的拉普拉斯分布時，經驗風險最小化過程滿足差分隱私.

(6)

3.1.3 目標擾動

目標擾動(objective perturbation)是指向經驗風險最小化的目標函數表達式中引入隨機項，并保證求解過程滿足差分隱私.擾動后的目標函數為

(7)

其中，隨機變量z同樣服從概率密度函數如式(6)所示的分布.注意，此時β為一僅與隱私預算ε有關的表達式，與目標函數的敏感度無關.

目標擾動同樣要求目標函數J(w;D)連續、可微且為凸函數，以證明其滿足差分隱私[45]，故而該方法同樣具有極大的局限性.文獻[56]提出一種多項式近似的方法，即利用泰勒展開式求解目標函數的近似多項式表達，并對各系數添加拉普拉斯噪聲.盡管該方法被成功應用于邏輯回歸模型中，然而由于求解近似多項式方法僅針對特定的目標函數，故該方法難以拓展到更通用的模型.

3.1.4 梯度擾動

梯度擾動(gradient perturbation)是指在利用梯度下降法求解最優模型參數的過程中引入隨機噪聲，并保證整個過程滿足差分隱私.為保證算法的計算效率，實際應用中常采用隨機梯度下降(stoch-astic gradient descent, SGD)或小批量梯度下降(mini-batch gradient descent, MBGD)方法，即每次迭代僅對單個或少量樣本計算梯度.以SGD和MBGD為例，梯度擾動方法為[57]

wt+1=wt-ηt(Ω(wt)+(wt,(xi,yi))+zt),

(8)

wt+1=wt-ηt(Ω(wt)+

(9)

其中，ηt為第t次迭代的學習率，Bt為第t次迭代隨機選取小批量樣本，zt表示第t次迭代時添加的隨機噪聲且服從式(6)所示的概率分布.由于SGD和MBGD并不能保證算法有很好的收斂性，引入隨機噪聲后，此問題將更加嚴重.

下面以邏輯回歸模型為例說明輸出擾動、目標擾動和梯度擾動3種方式下添加噪聲的差異.其中，經驗風險最小化的目標函數為

(10)

為保證優化問題的目標函數為凸函數，正則化項采用L2正則項 (L2-norm)，λ為正則化系數.

Table 1 Comparison of Studies on Differentially Private Traditional Machine Learning 表1 差分隱私保護的傳統機器學習代表性研究工作比較

① 作者在該實驗中將MNIST數據集的數據特征(784維)通過隨機映射方法降至50維.

Table 2 Related Datasets表2 相關數據集

3.2 問題與不足

4 深度學習的隱私保護

求解深層網絡模型的最優參數是一個非凸優化問題，不僅訓練過程收斂慢，且極易陷入局部最優；同時，一個超大規模的深度學習模型可能涉及億萬級別的參數，故需進行大量的參數優化.上述問題致使在設計深度學習的隱私保護方法時面臨更大的挑戰.

基于函數敏感度分析的輸出擾動方法不再適用，通過在目標函數后添加隨機擾動項的目標擾動方法也無法應用于深度學習.Phan等人[63-64]針對自編碼器(auto-encoder, AE)和卷積深度置信網絡(convolutional deep belief network, CDBN)提出先將非線性目標函數近似表示為參數的多項式形式，進而通過目標擾動，使訓練過程滿足差分隱私，不足之處是不易拓展到其他類型的深度神經網絡.

模型訓練過程需要更大的隱私預算：利用梯度下降法求解深度學習模型參數時，由于目標函數是非凸函數，且參數量大、結構復雜，故算法需經過更多次的迭代才可能收斂至最優解，且常常是局部最優解.若每次參數更新都滿足差分隱私，整個訓練過程的全局隱私成本將很大，從而難以合理地權衡數據隱私與模型可用性.

4.1 針對深度學習的隱私保護方法

為解決上述問題，近年來，基于寬松差分隱私(relaxed differential privacy)[65]定義的保護方法陸續被提出，并已應用到多種機器學習模型的隱私保護研究中.除此之外，利用集成模型將底層數據與用戶訪問接口隔離，一定程度上也能實現對訓練數據的保護.

4.1.1 寬松差分隱私

最原始的差分隱私定義[6]要求算法在最大背景攻擊——攻擊者已知數據集中除一條記錄之外的全部數據時仍能提供隱私保護.但實際應用中上述攻擊往往很難實現.若一味基于這種過于保守的假設來設計隱私算法，其后果便是數據隱私與模型可用性的天平極大地偏向了隱私這一端，從而導致模型不可用.例如，文獻[33]在針對個性化用藥預測模型的實驗中發現，若強制讓模型滿足ε-差分隱私，其預測結果將導致病人治療效果大大降低，甚至會增加患者的死亡風險.

解決該問題的一種方法是適當降低隱私保護要求，讓算法滿足一種更為寬松的差分隱私定義，這意味著算法存在一定隱私泄露的概率，盡管這個概率被限制在合理范圍內.

(ε,δ)-差分隱私((ε,δ)-differential privacy, (ε,δ)-DP)[66]是最早提出的一種寬松差分隱私定義，其形式化定義如下.

(11)

成立，則稱算法f滿足(ε,δ)-差分隱私.其中，δ為一非零實數，且常常是一個很小的值.

如圖4所示，f(D)與f(D′)輸出結果在S之間的概率分別表示為對應曲線下2條垂直虛線間的面積，由于δ的存在，(ε,δ)-差分隱私(圖4(b))的隱私損失比ε-差分隱私(圖4(a))小，表明更易滿足定義的要求.

Fig. 4 ε-DP versus (ε,δ)-DP圖4 ε-差分隱私與(ε,δ)-差分隱私

文獻[67]在ε-差分隱私的基礎上提出僅讓隱私損失的期望值，而不是最大值，控制在一定范圍之內，從而進一步放寬了隱私的要求，其形式化定義如下.

成立，則稱算法f滿足ε-KL差分隱私.其中，不等式左邊等價于f(D)和f(D′)的KL散度(KL-diver-gence).KL散度也稱相對熵(relative entropy)，可用來度量2個概率分布之間的差異，故上述不等式可簡化為

DKL(f(D)‖f(D′))≤ε.

除此之外，基于類似定義的集中差分隱私(con-centrated differential privacy, CDP)[68]、零式集中差分隱私(zero concentrated differential privacy, zCDP)[69]和雷尼差分隱私(Rényi differential privacy, RDP)[70]相繼被提出.文獻[58]對上述3種寬松差分隱私定義進行了較為全面的總結與對比，此處僅給出定義，不再詳述.

DsubG(f(D)‖f(D′))≤(μ,τ)

(12)

成立，則稱算法f滿足(μ,τ)-集中式差分隱私.

CDP將隱私損失定義為一個服從亞高斯分布(6)https://en.wikipedia.org/wiki/Sub-Gaussian_distribution的隨機變量，μ和τ分別控制著該隨機變量的均值和集中程度.若算法滿足ε-DP，則滿足(ε(eε-1)2,ε)-CDP，然而反過來卻不成立.

Dα(f(D)‖f(D′))≤ξ+ρα

(13)

成立，則稱算法f滿足(ξ,ρ)-零式集中差分隱私.

zCDP是CDP的變種，該定義下隱私損失將緊緊圍繞在零均值周圍.同樣，若算法滿足ε-DP，則滿足ε22-zCDP.Rényi散度允許從zCDP直接映射到DP，即若算法滿足ρ-zCDP，則滿足

Dα(f(D)‖f(D′))≤ε

(14)

成立，則稱算法f滿足(α,ε)-雷尼差分隱私.

相比于CDP和zCDP，RDP能夠更準確進行隱私損失的相關計算.若算法滿足ε-DP，則滿足(α,ε)-RDP；相反，若算法滿足(α,ε)-RDP，則滿足(ε+ln(1δ)(α-1),δ)-DP，0<δ<1.

為了控制深度學習模型時訓練過程的全局隱私損失，算法中有必要引入一個能夠對每次訪問訓練數據時所產生的隱私損失進行核算的模塊，從而對整個分析活動的全過程加以控制和引導.該模塊與現實生活中會計的職能十分相近，文獻[65]形象地稱之為“隱私會計(privacy accountant)”，同時提出基于RDP的MA(moments accountant)機制.目前開發者已公開了MA及相關算法(7)https://github.com/tensorflow/privacy/tree/master/privacy/analysis，且用戶可以方便地在Tensorflow深度學習框架中調用.

4.1.2 集成模型

文獻[71-72]提出了一種基于知識遷移的深度學習隱私保護框架PATE，通過引入“學生”模型和多個“教師”模型，實現了將底層數據與用戶訪問接口隔離.不過，在某些極端情況下，如絕大多數“教師”模型的預測結果一致時，個體仍存在隱私泄露的風險.

表3總結了差分隱私保護下的深度學習代表性研究工作，涉及到的相關數據集信息見表2.

Table 3 Comparison of Studies on Differentially Private Deep Learning表3 深度學習的差分隱私保護典型工作比較

4.2 問題與不足

基于寬松差分隱私定義的保護方法的代價便是當模型受到成員推理攻擊或模型反演攻擊時，造成泄露隱私的可能性更大了[58].文獻[78]指出差分隱私僅能實現單點的隱私保護，若不同記錄之間存在關聯，攻擊者仍可以對滿足差分隱私保護的算法實施推理攻擊.例如在社交網絡中，某用戶與其他用戶節點之間存在多條社交關系，這些關系在數據集中以多條記錄的形式保存.差分隱私只能孤立地為每一條記錄提供保護，而不能同時保護該用戶的所有記錄，達到完全隱藏其存在于社交網絡之中的目的.而在實際場景下，只有當保證攻擊者無法推測出個體是否參與了數據生成過程時，才真正意味著實現了個體隱私保護.

5 聯邦學習下的隱私保護

隨著移動互聯網與移動智能設備(如手機、平板電腦等)的高速發展，未來移動設備將成為技術創新和個人隱私保護的主戰場.由于數據中包含了越來越多的個人敏感信息，早期將數據集中存儲在單一服務器上進行機器學習的方式已不再可行，這一方面在于海量數據的存儲與計算對服務器要求極高，另一方面在于一旦個人數據被集中收集，人們便失去了對其的知情權與控制權.一種解決方法是讓存儲與計算過程均在云端進行，如機器學習服務平臺(ML-as-a-service, MLaaS)(8)ML-as-a-Service，指互聯網服務商利用自己的數據和計算資源的優勢，向用戶有償提供預先訓練好的模型，或允許用戶自己構建模型的一種服務平臺.絕大多數互聯網服務商僅向用戶提供“黑盒”的模型訪問方式，即用戶只能通過API與模型進行交互；極少數服務商提供“白盒”的模型訪問方法，即允許用戶下載訓練好的模型并部署到本地，本文不考慮該類型.，雖極大提高了計算效率，卻并未改善隱私問題.為此，Google提出了聯邦學習[1-2]，試圖實現將各個設備的數據保留在本地的同時得到全局模型.目前聯邦學習已在GBoard輸入法中針對聯想詞[79]和智能提示[80]等功能進行了應用實踐.

聯邦學習與分布式機器學習中的數據并行化訓練具有相似的邏輯結構.在聯邦學習中，各方首先從服務端下載一個基本的共享模型，基于本地數據訓練后將更新的模型參數上傳至服務端；服務端將來自各方的參數整合至全局模型后再次共享出去，如此反復，直至全局模型收斂或達到停止條件(如圖5所示).如同聯邦制度一般，該訓練模式下每個節點彼此獨立且享有本地數據控制權，服務端無法直接訪問各節點中的本地數據，僅能在參數層面進行模型的整合與發布.與數據并行化訓練相比，聯邦學習主要具有以下4個特點[81]：

1) 非獨立同分布的數據樣本.傳統數據并行化訓練由各個節點處理數據集的不同部分，且數據往往是獨立同分布的.對聯邦學習而言，由于數據是各參與方在其本地生成的，故很難具有相同的分布.

2) 各節點的數據量不平衡.以移動設備為例，用戶數據大多來源于設備中安裝的應用程序.由于各用戶使用頻率不同，其數據量往往存在較大差異.與人為地將數據集拆分不同，這種差異是由參與者的多樣性決定的，是不可控的.

3) 超大規模分布式網絡.隨著移動設備覆蓋率持續增長，諸如Facebook、微信等熱門應用程序的月活躍用戶已超10億(9)https://www.appannie.com/en/go/state-of-mobile-2019/，此類應用場景中分布式網絡的節點數量甚至遠多于節點中存儲的數據量，這種規模對傳統分布式機器學習而言是難以實現的.

4) 通信受限.聯邦學習同樣具有傳統分布式機器學習存在的通信問題，另外，受到硬件的限制和制約，移動場景面臨更高的通信要求，如設備必須在接入無線網絡以及充電狀態下才能參與模型訓練.

Fig. 5 Federated learning圖5 聯邦學習(10)圖片參考網絡.http://vision.cloudera.com/an-introduction-to-federated-learning/

5.1 隱私攻擊

相比于數據集中訓練，聯邦學習在隱私保護上具有更大的應用價值，但這并不代表它能完全防御外部隱私攻擊.文獻[12]對聯邦學習面臨的隱私問題進行了較為全面的分析與總結.對聯邦學習而言，攻擊既可能來自服務端，也可能來自其他惡意設備[82-83].服務端由于能夠獲得來自各個設備的模型更新參數，故既能通過分析每輪更新的模型參數進行被動攻擊，也可以通過將目標設備隔離，并向其傳輸設計好的參數以推測本地數據信息.其他設備由于只能獲取來自服務端整合后的全局參數信息，故難以通過觀察參數進行有效的推理，但可以利用梯度上升算法，觀察全局參數每輪訓練的變化趨勢，進而實施攻擊[12].

5.2 隱私保護技術

由5.1節可知，聯邦學習中各參與方得本地數據可能在訓練過程中被逆向推理從而造成隱私泄露.針對上述威脅，可通過以下3種技術予以保護.

5.2.1 加密技術

本文2.2節提到，傳統加密技術的一大瓶頸是計算代價過于高昂從而在實際應用中可用性極差.文獻[82]提出一種基于秘密共享的安全多方計算協議——安全聚合(secure aggregation)，旨在保證設備與服務端之間通信及服務端參數聚合過程的安全性.與傳統密碼學方法相比，該協議的優點在于其計算代價并不高，但由于通信過程涉及大量安全密鑰及其他參數，導致通信代價甚至會高于計算代價.另外，該方法假設服務端得到的全局參數不會泄露設備信息，然而，文獻[84]基于聚合后的位置信息成功實施了成員推理攻擊，由此證明該假設并不成立.

5.2.2 差分隱私機制

利用差分隱私，可以在本地模型訓練及全局模型整合過程中對相關參數進行擾動，從而令攻擊者無法獲取真實模型參數.文獻[77]提出對上傳至服務端的參數更新值添加擾動的方法，使聯邦學習過程滿足差分隱私保護.文獻[85]將類似的方法應用到聯想詞預測模型中，并在真實數據上進行評估，表現出較好的可行性.然而，與加密技術相比，差分隱私無法保證參數傳遞過程中的機密性，從而增加了模型遭受隱私攻擊的可能性.另外，隱私與可用性的權衡問題在聯邦學習下依舊存在.

5.2.3 區塊鏈技術

區塊鏈技術因其去中心化、安全可信、不可篡改等特性，能夠監測服務端或設備在聯邦學習中存在的惡意行為，保證訓練過程的透明，從而為隱私保護提供一種新的解決思路.基于此，文獻[9]提出Deep-Chain框架，該框架將區塊鏈與5.2.1節提到的安全聚合協議相結合，既能保證本地參數在通信過程中的保密性與正確性，還能對聯邦學習的全過程跟蹤審計，并引入價值驅動機制，促進各方公平地參與協作訓練.盡管如此，區塊鏈技術本身仍存在吞吐量有限、可擴展性差等問題，故此類方法在實際場景中難以支撐大規模的應用，其有效性仍有待商榷.

5.3 問題與不足

與集中學習相比，聯邦學習更強調個人對數據的控制權，故該方法對于醫療、金融、交通等領域下的機器學習任務尤為適用：一方面，此類場景下的數據往往包含大量個人敏感信息，且受政策與法律的制約不可傳播與共享；另一方面，有限的數據使模型性能提升面臨瓶頸.直覺上，聯邦學習能夠有效解決上述問題，并最終達到一個多方共贏的局面.不過，目前聯邦學習仍處于起步階段，無論是技術還是硬件條件，距離真正實現上述目標仍面臨諸多問題與挑戰，具體表現在以下3個方面[81].

1) 通信帶寬受限.深度學習模型參數量大、結構復雜，故聯邦學習下，其訓練過程對設備內存、計算能力、帶寬等有著極高的要求.盡管近年來復雜模型壓縮研究取得了極大的進展[86]，使得壓縮后的模型能夠在內存和計算資源有限的移動設備上高效運行，有限的帶寬卻使得設備與服務端之間參數的通信代價甚至高于將數據發送給服務端.

2) 模型收斂性.聯邦學習是一個多輪訓練過程，當全局模型收斂或滿足停止條件時終止訓練.由于聯邦學習全局模型是由來自多個設備的參數聚合而成的，故如何保證算法能夠逐漸穩定地收斂到最優解，提高算法的收斂速度，也是聯邦學習的面臨的挑戰之一.

3) 聯邦學習與云服務.聯邦學習中，各個設備基于本地存儲的數據訓練模型，這些數據既包括應用程序客戶端的行為與異常日志，也包括設備中存儲的圖片、語音等各類數據資源.不過，由于移動設備本身的物理資源十分有限，將所有數據都存儲于設備中是很不現實的.文獻[81]采取定期刪除歷史數據的方式解決上述問題，但此方法在實際應用中并不可行.隨著云服務發展逐漸成熟，越來越多的人應用云備份和云存儲來管理個人數據，如iCloud、百度云盤等，這些方式仍為集中式數據存儲，一旦云服務提供方不可靠，數據隱私將面臨極大挑戰.如何協調聯邦學習與云服務之間的關系也是目前亟待解決的問題之一.

6 未來挑戰

縱觀如今的機器學習的隱私保護研究，主要呈現出3個特點：一是存在被大多數人忽視的研究盲區，這些領域由于目前應用面較窄，情況更為復雜，故人們在研究中很少考慮，或尚未提出有效的解決方法；二是隱私保護方法較為單一，基本圍繞同態加密、安全多方計算和差分隱私機制3種方法，盡管這些方法表現出一定的有效性，但本身也存在固有的、難以解決的缺陷，缺乏本質上的創新；三是隨著研究的不斷深入，涌現出越來越多新的研究目標和研究任務，對保護算法的設計和應用提出了更高的要求.針對上述特點，本文提出未來機器學習的隱私保護研究中存在的五大研究挑戰.

1) 推進無監督學習下的隱私保護研究

有監督學習是實際場景中最常見的一類機器學習任務，縱觀現今的機器學習隱私保護研究工作，大多都是針對此類任務設計或改進保護方法的.反觀無監督學習任務的研究卻并沒有有監督學習成熟.眾所周知，人工數據標記費時費力，隨著數據量的增長和數據維度的增加，未來無監督學習的研究價值也將愈加凸顯.更重要的是，無監督學習下的隱私問題同樣嚴峻，如針對聚類算法常見的背景知識攻擊和一致性攻擊.設想，若算法將所有病人的電子病歷分為艾滋病患者、疑似艾滋病患者和正常患者3類人群，且攻擊者已知與某病患同類的多數人均患有艾滋病，便能夠推測該病患也患有艾滋病.匿名技術是解決上述隱私問題的一種常用手段，然而該技術的健壯性飽受質疑.此外，差分隱私也曾應用于聚類分析的隱私保護研究中，主要缺點是實現較難、誤差較大，故未來仍需進一步深入研究[8].

2) 權衡差分隱私保護的模型可用性與隱私性

權衡模型的可用性與隱私是差分隱私機制的核心問題與未來發展的最大阻礙.盡管如今的一大發展趨勢是拋棄傳統嚴格的差分隱私定義，試圖讓算法滿足一種相對寬松的隱私定義(見4.1節)以緩解復雜機器學習中存在的可用性與隱私難以平衡的問題，但模型受到隱私攻擊的風險也增大了.尋找二者的平衡需綜合考慮多種因素，包括數據對個體的敏感程度、服務提供商對模型性能的預期、不同個體對個人隱私的敏感程度等.在一些極度依賴模型可用性的應用場景下，人們甚至應嚴格控制模型的隱私性.例如基于病人的基因型及歷史用藥記錄構造的個性化用藥模型若過度強調病人的隱私，可能會使輸出結果偏差過大，影響病人治療進度甚至令其死亡.可見，對差分隱私機制而言，合理地權衡模型的可用性與隱私是一個十分復雜的問題，必須具體情況具體分析，甚至在特定情況下，差分隱私并不適合作為機器學習模型的隱私保護方法.

3) 探索多種技術結合的保護方法

差分隱私機制的優點在于添加隨機噪聲不會造成過高的性能代價，缺點在于擾動機制將可能使模型精度變差、輸出結果的可用性降低；加密方法能夠保證數據在存儲、傳輸與計算過程中的機密性和正確性，但由于中間過程涉及大量計算和密鑰傳輸，在應對復雜模型時其計算和通信開銷都不容樂觀；對區塊鏈技術而言，因其具有的去中心化、安全可信、不可篡改等特性，能夠為模型訓練過程提供審計功能，識別惡意干擾的攻擊者，然而區塊鏈自身的性能瓶頸和不可拓展性使其難以支撐大規模的應用.直觀來看，若能將上述3類方法加以結合，一定程度上能夠實現功能的互補，提高隱私保護的效果.如文獻[9]中提出將安全多方計算協議與區塊鏈的結合，實現聯邦學習下參數的安全聚合.差分隱私同樣可以與區塊鏈結合，從而在保護個體隱私同時保證訓練過程的可審計.但目前而言，上述3類方法在實際部署或應用中均存在著不容忽視的局限性，這要求研究者在設計方法時必須充分考慮算法有效性和現實可行性，這也為算法創新帶來了更大的挑戰.

4) 支持單點和全局隱私保護

大數據時代，越來越多的應用場景對數據隱私的要求已不單單局限在對單個記錄的保護，例如在社交網絡中，一個用戶往往與其他多個用戶存在多條社交關系，而僅僅孤立地保護其中1條關系并不能掩蓋用戶在網絡中存在的事實[78]；醫療場景中，通過連續的心電圖數據能夠觀察到病人是否患有心臟病，而保護單個數據點并沒有實際意義.上述例子與位置隱私保護中的單點位置隱私和連續軌跡隱私[87]有異曲同工之妙，本文將此概念加以拓展，稱為單點隱私與全局隱私.實現全局隱私保護并不是一個新問題，不過此前的研究工作大多針對計數、求和等簡單的統計查詢，很少考慮復雜的機器學習任務.改進已有的隱私保護方法，使其同時支持復雜機器學習過程中的單點和全局隱私保護，也是未來研究中的一大主要挑戰.

5) 開發機器學習隱私保護框架

開發機器學習模型的隱私保護框架是近年來的一大研究熱點.由本文第1節可知，現今機器學習隱私保護的研究延續了信息安全領域中的攻防機制，即針對特定的隱私攻擊提出相應的防御方法，這使得隱私保護非常被動.設計一個通用、高效且健壯的隱私保護框架，是保證機器學習安全與隱私的另一大挑戰.文獻[88]提出一種在聯邦學習方式下訓練深度學習模型的隱私保護框架PySyft，該框架集成了安全多方計算和差分隱私機制2種隱私保護技術，并向用戶提供深度學習應用程序接口.盡管該框架并沒有解決2種技術各自存在的計算效率和預測精度問題，但仍是一次大膽的嘗試.

7 結束語

機器學習的隱私問題是當前人工智能倫理研究的子問題，除此之外還包括數據倫理、算法偏見等.人們的最終目標是實現以人為本的人工智能，只有這樣，社會才能真正信任技術，從而使人工智能長久地造福于人類.為此，2019年4月，歐盟委員會(European Commission)發布人工智能道德準則7項要求，內容包括隱私和數據管理(privacy and data governance)，透明性(transparency)，多樣性、非歧視和公平性(diversity, non-discrimination and fairness)等(11)https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai.實現上述準則離不開對機器學習可解釋性的探索.理論上，可解釋使人們有能力驗證模型是否與自身需求一致，能夠提供決策結果的審計和溯源，保證了決策公平，從而為解決倫理問題提供重要依據；同時，一些可解釋性研究方法也可用作隱私保護算法設計的工具.但實現上，可解釋的模型與其隱私保護之間卻存在難以調和的矛盾，主要表現在2個方面：第一，實現可解釋的前提是保證數據和模型的正確性，但基于擾動的隱私保護方法往往會導致隱私模型與真實模型存在偏差；第二，模型的可解釋性越好，意味著人們能夠對模型了解得更透徹，這也為攻擊者提供了更多實施隱私攻擊的機會.

上述問題一方面要求研究人員合理設計隱私保護方法和可解釋分析框架，另一方面還需建立數據透明治理體系，保證數據在采集、存儲、共享和決策過程中的透明，同時結合適當的法律法規與政策引導，此為解決人工智能倫理問題之關鍵.