面向聯邦學習的本地差分隱私設計

張 昊

（東華大學 計算機科學與技術學院，上海 201620）

0 引 言

聯邦學習（F-L）作為一種分布式部署的深度學習的框架，不僅讓多方共同完成一個訓練目標模型，而且摒棄傳統的深度學習中數據集都需要統一部署在服務端的特性。每個分布式的客戶端（分布式的節點）僅需各自在本地儲存自己私有的數據集，并且無需上傳私有數據集給服務器。因此理論上聯邦學習相比傳統的集中式訓練的方法更有效地保證客戶端的隱私。但是現在仍有可能泄露客戶端私有隱私。攻擊者可以通過觀察客戶端的上傳的信息，并且通過某些手段，例如成員推理攻擊推斷出客戶端的隱私信息，從而泄露了客戶端的隱私。因此違背了聯邦學習滿足隱私保護的特性。

在聯邦學習的環境下，常用的隱私保護手段有同態加密和本地差分隱私。其中，同態加密由于是密碼學的方法，優點是不降低數據的準確性，可以有效地還原隱私數據，缺點是同態加密的加解密和通信代價很高。本地差分隱私本質是擾動數據，因此優點是適合計算性能較差的設備，例如移動設備，缺點是會犧牲一定的效用性，因為添加的噪聲是隨機的，而且估計值會有一定的方差。

基于此研究時立足于聯邦學習情況下，本地差分隱私更加適用于保護客戶端的隱私。但是少有人研究本地差分隱私與模型精度之間的影響。因此本文考慮隨機響應以及優化一元編碼機制下，探討的個數、、客戶端數量、擾動機制和數據分配方式對模型精度的影響。本文還設計了自適應隱私預算策略，可以根據相鄰輪模型相似度來提升模型的收斂速度。

1 隱私保護聯邦學習實現

在權重聚合的框架中，客戶端在每輪訓練結束后上傳的是模型權重，并且聚合的過程是Federated Averaging算法。在此基礎上，本文設計權重聚合的隱私保護系統實現，具體如算法1所示。

：聯邦學習中參與客戶端總數，每個客戶端記作p（1≤≤）

：每輪參與訓練客戶端數的比例

DB：p的訓練數據集

：本地訓練最小批量尺寸

：訓練迭代總輪數

E：本地總迭代輪數

：學習率

1：Parameter Server Executes：

2：←服務器初始化全局模型

3：//客戶端分配數據集

4：（）

5：for epochin（）do

6：for client∈Sdo

7：//更新模型

9： //上傳前擾動模型權重

11：end for

12：//聚合估計擾動模型

14：end for

16：//權重聚合下訓練模型

19：←DB隨機分成大小為的批量

20：for local epochin range E( )do

21： for batch∈do

22： //小批量梯度下降

24： end for

25：end for

1.1 隨機響應機制實現與分析

此章節主要描述常用2種本地差分隱私機制隨機響應，優化的一元編碼在聯邦學習的裁剪、編碼、估計的具體實現，并且優化本地差分隱私在服務器端聚合速度。

1.2 擾動機制實現步驟

（2）編碼：客戶端中第個數據記作p，映射后所有狀態數為，這里的數學公式可寫為：

（3）擾動：對于隨機響應機制，經過RR編碼后的數據需要擾動后才能上傳給中心服務器：

其中，E［Feq ］是一個維的變量矩陣。

然后模型參數的估計狀態數頻率的矩陣需要轉化為真實估計值E［］，具體如下：

其中，E［］是一個維向量，是聚合后的全局模型參數。

聚合的過程利用到矩陣的乘法，因此時間復雜度從（）減少至（1），大大提升服務器端聚合時間的速度，減輕中心服務器的運算壓力。而且當模型規模越大，節省的時間越多。

（5）估計方差：為簡化討論，這里只考慮聚合時全局模型的一個模型參數的方差變化，由于每個模型參數是不相關的。所以在Wang等人基礎上計算方差，對應的公式可推得為：

顯然，估計模型參數的方差是與正相關，即，更多的參與者會帶來更多的方差。

2 自適應隱私預算分配

本文在實驗基礎上觀察同精度不同隱私預算下的收斂速度，提出自適應隱私預算分配的保護策略。該策略能夠讓聯邦學習在訓練過程中，保證總隱私預算不變的情況下，動態分配客戶端的隱私預算。好處是能夠提升模型的收斂速度。

2.1 同精度不同隱私預算的收斂速度

不同擾動機制的收斂速度比較如圖1所示。觀察圖1就會發現，隨著隱私預算增加，模型的收斂速度整體是上升的。

圖1 不同擾動機制的收斂速度比較Fig.1 Comparison of convergence rate with different perturbation mechanism

2.2 自適應隱私預算策略實現

因此本文考慮到模型最初開始訓練時，由于模型沒能有效地記住訓練集的數據，所以模型能夠泄露的訓練集數據較少，導致隱私泄露率很低，因此可以用較大的隱私預算來提升模型的收斂速度。當模型逐漸接近于收斂時，模型本身記住有關訓練集的信息會逐漸變多，因此需要逐漸減小隱私預算來保護模型，詳見算法2。

6：（）

8：end for

10：（）

12：end for

14：returnε

15：

17：//cosine similarity

19：//Angular distance and similarity

22：return

綜合前述可知，對于相關的步驟可給出闡釋論述如下。

3 實驗

3.1 實驗設置

本文在pytorch1.8進行實驗，實驗硬件設置見表1。

表1 隱私保護聯邦學習實驗硬件配置Tab.1 Privacy-preserving F-L hardware configuration

本文實驗中聯邦學習的客戶端數目為1 000個，默認參與訓練比例為0.5。和分別訓練500，1 000輪。實驗的模型-數據集為LeNet-MNIST和DNN-Purchase-100。MNIST和Purchase-100分別作為常用的數字識別數據集與成員推理攻擊的數據集。LeNet和DNN模型的學習率在非擾動情況下，分別為0.1和0.001；擾動情況下，分別為0.1和0.01。LeNet使用SGD優化器，DNN使用Adam優化器。下LeNet和DNN的基準模型精度分別為0.988 5、0.909 8；非下LeNet基準模型精度為0.986 6。

隱私預算的值設為0075*2的冪指數為單位，取值范圍為0～7（2代表隱私預算值為0075*2），精度損失率的范圍設為0～1，以0.1間隔遞增，隱私泄露率為0.45～0.75，以0.1間隔遞增。

經過本地差分隱私保護的模型，擾動后模型收斂的精度相較于擾動前模型收斂的精度損失的百分比（%），其值可由如下數學公式計算得出：

當精度損失率接近0時，代表擾動后的模型精度相較于原模型精度幾乎無損失。當精度損失率接近于1時，代表擾動后的模型精度損失很高，即擾動后模型幾乎不可用。

3.2 隱私保護聯邦學習分析

3.2.1個數對精度損失率影響

在擾動模型權重的框架下，無論數據集是還是，精度損失率都會隨著數量的增加而減小。對精度損失率影響如圖2所示。因此為了此后的研究考慮，在模型盡可能滿足收斂的情況下，這里選擇最小的（在圖2中以紅色星號表示）并繼續后文的實驗。

圖2 cells對精度損失率影響Fig.2 Impact of cells on accuracy loss

3.2.2 隱私預算對精度損失率影響

隱私預算對精度損失率影響如圖3所示。實驗結果表明，對于模型的精度損失率來說，精度損失率會隨著隱私預算的增加而減小。原因是當隱私預算變大，擾動機制所添加的噪聲也會變少，擾動模型權重的變化較小，從而提升模型的精確度。當隱私預算足夠大的時候，擾動模型權重的變化幾乎可以忽略不計，那么模型收斂后的精度幾乎等于不擾動模型收斂后的精度，即精度損失率接近于0。當隱私預算足夠小的時候，由于擾動模型權重的變化太大，會導致模型無法收斂，因此模型的精度損失率很高。

圖3 隱私預算對精度損失率影響Fig.3 Impact of privacy budget on accuracy loss

3.2.3 客戶端數量對精度損失率影響

客戶端數量對精度損失率影響如圖4所示。由圖4可知，觀察到當客戶端數量增加，精度損失率會逐漸下降。本文認為原因是當客戶端數量比較少的時候，本地差分隱私添加噪聲后，雖然估計方差小了，但是估計均值到真實均值附近的概率較小，因此獲得的估計值與原先的均值的方差區別較大，導致模型不容易收斂。當客戶端數量比較多的時候，縱使算法和算法的方差變大，但是估計值到真實均值附近的概率較大，因此訓練擾動模型中間值和正常訓練模型中間值近似，所以模型的收斂后精度損失率較小。

圖4 客戶端數量對精度損失率影響Fig.4 Impact of number of clients on accuracy loss

3.2.4 自適應隱私預算策略結果

自適應隱私預算策略實現對比如圖5所示。在圖5中，自適應隱私預算可以提升模型的收斂速度。實驗發現LeNet相較于DNN模型能夠顯著地提升模型的收斂速度，原因是LeNet模型能在初始10個輪次提升精度至0.6～0.8，但是DNN模型卻需要100～300輪才大致提升精度至0.5～0.7。因此如果只看2個模型的相鄰2輪的近似度，LeNet的相鄰輪變化明顯，所以提升收斂速度明顯。

圖5 自適應隱私預算策略實現對比Fig.5 Comparison of adaptive privacy budget strategy implementation

4 結束語

本文研究本地差分隱私機制和在權重聚合的聯邦學習上實現隱私保護并優化服務端聚合速度近似從（）減少為（1），同時評估的個數、、客戶端數量、擾動機制和數據分配方式對模型精度影響，精度損失會隨著數量、、客戶端數量的增加而減小。同等下，會比的精度損失高，和的精度損失類似；同時實現自適應隱私預算策略提升模型訓練速度，近似提升一個等級的收斂速度。

在此基礎上，本文仍存在需要改進之處。本文并未評估梯度聚合框架下的效果。同時還未評估聯邦學習下本地差分隱私對隱私泄露的影響。另外，本文現有的數據集不夠全面，只有2類典型數據集，有待進一步研究解決。