基于秘密共享和壓縮感知的通信高效聯邦學習

陳律君 肖 迪 余柱陽 黃 會 李 敏

(重慶大學計算機學院 重慶 400044) (信息物理社會可信服務計算教育部重點實驗室(重慶大學) 重慶 400044)

隨著物聯網(Internet of things, IoT)、大數據及機器學習的發展，基于深度學習的技術為我們帶來很多便利[1-2]：IoT可以通過傳感器設備快速收集環境中的數據，同時具有計算能力的IoT設備可以隨時隨地參與移動計算[3]；5G可以加快數據的傳輸速度[4]；移動計算能提供大量的數據處理單元處理數據[5].然而在這些技術發展的背后，大規模的隱私敏感數據正在被泄露.當客戶端將數據傳輸至服務器進行處理時，數據所有權與控制權分離將導致客戶端數據有泄露的風險.為了彌補集中式學習帶來的隱私泄露問題并充分利用IoT設備收集到的數據，Google于2016年提出了聯邦學習(federated learning, FL)[6].客戶端在本地訓練好數據模型后，只需要將模型參數傳遞給服務器進行聚合即可，原始數據不離開本地，從而保證了客戶端數據的隱私與安全.

然而，近些年的研究發現聯邦學習框架中傳輸的梯度仍然會泄露隱私信息，甚至泄露原始數據[7-8].鑒于此，出現了許多梯度安全聚合的技術，主要包括采用差分隱私(differential privacy, DP)、同態加密(homomorphic encryption, HE)及安全多方計算(secure multi-party computation, MPC)等.但是它們仍然存在各種各樣的問題，比如：差分隱私中如何平衡模型準確率及隱私保護是個巨大的挑戰；同態加密的計算及通信代價比較高；雖然安全多方計算被廣泛用于聯邦學習，但標準的安全多方計算算法會存在較大的通信消耗.特別地，McMahan等人[9]指出聯邦學習的最大瓶頸是梯度傳輸過程中產生的大量通信，而基于安全多方計算提供的隱私保護又需要額外的通信代價.在實際應用中，特別是資源受限的設備，難以承受如此巨大的通信負擔，故通信時梯度的壓縮需要被考慮.因此，深入研究能適用于資源受限環境的、通信高效、有隱私保護且有較好模型性能的算法非常有必要.

為了解決聯邦學習中隱私泄露存在的問題，本文完成了2方面的工作：

1) 本文結合壓縮感知、1比特壓縮感知及安全多方計算中的加法秘密共享技術的優點，提出了2個通信高效的聯邦學習算法，使用Top-K稀疏及壓縮感知技術同時減少了聯邦學習框架中上傳和下放數據的通信開銷，再利用加法秘密共享技術進一步增強重要梯度參數的隱私性.與現有工作相比，本文算法在降低通信開銷的同時保證了數據傳輸及聚合時的安全.

2) 在常用數據集上進行的圖像分類實驗結果表明，與近期最新的相關算法[10]CS_FL和CS_FL_1bit以及基線算法FedAvg[9]和SignSGD[11]相比，本文的算法實現了通信開銷、隱私保護及模型效率三者的有效平衡.

1 相關工作

本節主要介紹有關聯邦學習隱私保護及梯度壓縮的現有方案.

1.1 聯邦學習隱私保護

為了保證聯邦學習框架中模型梯度在傳輸和聚合時的安全性，現有的方案主要基于3種技術：1)差分隱私；2)同態加密；3)多方安全計算.

差分隱私技術是一種基于噪聲機制的數據失真隱私保護技術，在聯邦學習訓練過程中，通過對需要保護的參數進行噪聲擾動，使攻擊者無法獲取真實參數[12-14].一般情況下，添加的噪聲主要是拉普拉斯分布或者高斯分布的噪聲.例如，用f(d′)f(d)+來定義拉普拉斯機制，其中用具有拉普拉斯分布的噪聲去實現ε差分隱私.但是在基于差分隱私的聯邦學習中，隱私預算ε越低，添加的噪聲越大，隱私保護程度越強，然而卻降低了數據的可用性.如何去平衡隱私與可用性是差分隱私需要考慮的問題.此外，與同態加密及安全多方計算相比，差分隱私無法保證參數在傳輸過程中的隱私性[15].

同態加密是一種能在密文狀態下也可進行復雜計算的加密方法[16-17].Aono等人[18]在邏輯回歸的訓練過程中使用同態加密保護數據，通過存儲及計算復雜度，表明該方法可應用于大規模聯邦學習.Hayashi等人[19]提出了一種加同態加密方法，在該方法中，只有擁有解密密鑰的參與者才可對更新后的全局模型解密，但其計算代價比較高.Chai等人[20]基于Paillier同態加密實現了安全聯邦矩陣分解，但該方法要求客戶端必須誠實.雖然同態加密能達到很好的隱私保護效果，但其效率的局限性導致其難以應用于資源受限的環境中.

安全多方計算允許在無可信第三方的情況下設計一個函數，使互不信任的各方在不泄露其原始數據的情況下得到安全輸出[21-23]，因此非常適合聯邦學習框架中梯度安全聚合的場景.安全多方計算的方式有多種，但考慮到設備資源受限的問題，無法承擔混淆電路等方法帶來的計算及通信壓力，于是本文使用安全多方計算中的加法秘密共享來對數據保密.相比于差分隱私及同態加密，基于安全多方計算的分布式學習[24-26]有較多優勢：與基于差分隱私的分布式學習相比，基于安全多方計算的方式不會影響模型聚合精度，也不需要考慮可用性與隱私的平衡；與基于同態加密的分布式學習相比，使用基于加法秘密共享的安全多方計算需要所有客戶端聯合或一定數量客戶端聯合[27]才可重構數據，但基于同態加密的方式安全多方計算一般需要假設計算方誠實.

1.2 聯邦學習梯度壓縮

如引言所述，聯邦學習中最大的瓶頸是梯度傳輸過程中產生的大量通信負載，且隨著參數數量的上升，通信開銷越來越大.若要用于資源受限的環境，梯度壓縮是必要的.針對聯邦學習通信開銷大的問題，研究者們提出了許多梯度壓縮機制，目前主要有3種方式：1)稀疏；2)量化；3)壓縮感知.

基于稀疏的梯度壓縮方式有多種，Yin等人[28]提出只傳輸大于某閾值的梯度給服務器，以此減少通信量.Heafield等人[29]提出另一種方式，將梯度進行排序后僅傳輸前P%的梯度給服務器，其他的存入殘差向量.但這些梯度稀疏的壓縮只考慮到減少客戶端上傳局部模型梯度的通信量，未考慮到服務器下發全局模型梯度的通信量.

基于量化的梯度壓縮可以壓縮聯邦學習框架中上傳及下發的通信量.最經典的方式是Bernstein 等人[30]提出的1比特量化，客戶端只需要上傳局部模型梯度的符號給服務器，從而讓通信消耗減少了32倍.但Sattler等人[31]指出在非獨立同分布(non-independent identically distributed, non-IID)數據集上性能顯著下降的問題，并提出稀疏三元化壓縮，在梯度傳輸前通過稀疏、三元化及編碼方式對梯度壓縮.但是這些量化方式都較為粗糙，導致信息大量丟失，且在non-IID上性能降低較為明顯.

相比于傳統壓縮，壓縮感知(compressed sensing, CS)可通過遠低于經典的Nyquist采樣定理要求的采樣頻率恢復信號.其大致思想是用滿足一定條件的測量矩陣將稀疏或可壓縮的高維信號投影到低維空間，然后通過求解一個優化問題高概率恢復信號[32].由于壓縮感知的這些優點，其廣泛用于信號處理領域，但幾乎沒有用于聯邦學習中.Li等人[10]將壓縮感知應用于聯邦學習中，并在通信效率及模型準確性上表現出較好的性能.然而文獻[10]中的算法每一輪訓練均包含2個階段，且2個階段都需要客戶端與服務器交互，從而造成額外的通信負擔.此外，文獻[10]將壓縮測量值直接傳遞給服務器，雖然經過壓縮感知后的測量值具有一定的安全性[33-34]，但Chen等人[35]指出通過測量值依然會泄露隱私信息.基于上文所述聯邦學習存在的瓶頸問題及文獻[10]存在的問題，本文提出2個通信高效的適用于資源受限環境的聯邦學習，并基于加法秘密共享對傳輸的重要梯度測量值加密以進一步保證隱私性.

2 基礎知識

2.1 聯邦學習

2.2 壓縮感知

壓縮感知是一個將采樣與壓縮過程融合成單一感知過程的新穎的框架.在該框架中，若原始信號是稀疏或者可壓縮的，則可以僅僅通過少量測量值恢復出原始信號[32].

假設x∈N是一個N×1維信號向量，則壓縮感知的采樣過程可描述為

y=Φx,

(1)

其中y∈M是通過將信號x左乘一個測量矩陣Φ∈M×N得到的測量值向量.若原始信號不是稀疏的，則需要利用稀疏基對原始信號x進行稀疏表示，即x=Ψs，其中Ψ為一個N×N的稀疏基矩陣，且Ψ與Φ不相關.因此，若感知矩陣ΦΨ滿足約束等距性，則稀疏信號s可通過解決如下的1最小化問題來重構.

(2)

其中‖·‖1表示1范式.得到稀疏信號后，可通過得到原始信號.

2.3 安全多方計算

安全多方計算是一種不需要可信第三方參與的協議.假設在協議中有n個擁有私有數據D1,D2,…,Dn的參與者P1,P2,…,Pn，參與者可以合作計算公開函數P(D1,D2,…,Dn)，且在滿足計算正確性的同時保證私有數據的保密性.安全多方計算的概念最早由Yao[36]于1982年提出.

1) 隨機選擇n-1個隨機數：

(3)

2) 計算第n個秘密份額：

(4)

(5)

3 算法設計

在本節中，基于壓縮感知及安全多方計算，針對聯邦學習中存在的通信開銷大、隱私泄露及設備資源有限等問題，提出了2個基于壓縮感知及安全多方計算的安全高效聯邦學習算法——ICFM算法和ICFM_1bit算法.下面，首先介紹2個算法的整體框架，接著給出框架內的2個算法的詳細步驟.

3.1 算法框架

Fig. 1 Our algorithm architecture圖1 本文算法框架

3.2 ICFM算法

ICFM算法的偽代碼如算法1所示.

算法1.ICFM算法.

輸入：初始化的模型參數G0;

輸出：優化后的模型參數GT+1.

① fort=0,1,…,Tdo

② 隨機選擇集合M?C,|M|=m;

③ for 1≤i≤min parallel do

個客戶端;

每個參與的客戶端Ci基于本地的數據集Xi以及當前梯度Gt執行k次梯度下降法得到更新后的局部模型，表達式為

(6)

(7)

從而彌補稀疏處理導致的模型精度誤差下降問題.基于式(7)計算局部模型變化值

(8)

(9)

(10)

使用隨機測量矩陣ψt∈M×N對稀疏化后的梯度變化值壓縮成測量值，此過程表達式為

(11)

(12)

(13)

(14)

(15)

(16)

(17)

(18)

其中wt為學習率.

3.3 ICFM_1bit算法

ICFM_1bit算法與ICFM算法較為相似，偽代碼如算法2所示.被選中的客戶端Ci基于本地的數據集Xi以及當前梯度Gt執行k次梯度下降法得到

(19)

(20)

(21)

(22)

(23)

(24)

(25)

基于式(25)，每個客戶端更新全局模型：

(26)

其中ut為學習率.

算法2.ICFM_1bit算法.

輸入：初始化的模型參數G0;

輸出：優化后的模型參數GT+1.

① fort=0,1,…,Tdo

② 隨機選擇集合M?C,|M|=m;

③ for 1≤i≤min parallel do

給每個客戶端;

4 算法分析

本節對本文所提出的算法進行正確性及安全性分析.

4.1 正確性分析

4.2 安全性分析

本節主要討論本文所提算法是否能保證梯度傳輸及聚合的安全性.如引言所述，壓縮感知本身具有安全性[33-34]，但經過壓縮感知后的梯度測量值仍然可能由于能量的泄露導致隱私信息泄露.另外，Sotthiwat等人[41]指出，相比CNN中其他層，第一隱藏層中的參數包含更多原始數據信息，更容易泄露隱私信息.因此，為了權衡通信效率與安全，本文只對A類梯度(第一隱藏層梯度)測量值加密.我們不直接傳遞A類壓縮梯度參數，而是將其分成m份秘密份額并將其他m-1份分發給其他m-1個客戶端，此時每個客戶端僅擁有自己的A類梯度測量值的一份秘密份額，以及m-1份來自其他m-1個客戶端的秘密份額.客戶端將自己擁有的秘密份額組合起來代替自己原有的A類梯度測量值，并將更新后的A類梯度測量值傳遞給PS.

首先我們分析僅加密訓練網絡的第一隱藏層的參數是否可以保證安全性.由于第一隱藏層參數最接近原始圖像，且Sotthiwat等人[41]經過實驗證明，相比于其他層，第一隱藏層能觸發最大的圖像均方誤差(mean squared error, MSE)，因此其中包含更多的原始圖像信息且更為敏感.另外，在對MNIST數據集圖片進行訓練時，實驗證明僅加密網絡第一隱藏層參數足以保護圖片隱私安全.因此，本文在對已具有壓縮感知自身安全性的梯度測量值上，再對易泄露隱私的A類梯度測量值加密，進一步保證了傳輸梯度測量值的安全性.

其次，我們在半誠實外部敵手攻擊情況下或者在算法參與方為半誠實敵手情況下，形式化分析本文所提算法是否能保證A類梯度測量值的安全性.由于所提算法1與算法2中的A類梯度測量值的安全性均基于加法秘密共享，因此我們僅以算法1為例對安全性進行分析.

定理1.在不超過m-2個客戶端及服務器被外部半誠實敵手腐化的前提下，本文所提算法能夠保證敵手無法獲得關于誠實客戶端真實A類梯度測量值的任何信息.

(27)

其中honest代表未被腐化的誠實客戶端的集合，而corrupted代表被腐化的客戶端集合.至少有2個誠實客戶端的梯度之和無法得到具體的某個誠實客戶端的真實A類梯度測量值.

證畢.

定理2.在不超過m-1個客戶端合謀的前提下，任意客戶端i無法知曉其他客戶端的真實A類梯度測量值，服務器無法得到某個具體客戶端真實A類梯度測量值.

(28)

根據加法秘密共享的性質，由于無法得到客戶端j處的第j份秘密份額，則無法獲得關于客戶端j的真實梯度測量值的信息.

其次，我們考慮服務器為半誠實敵手的情況.服務器從客戶端i處得到更新后的A類梯度測量值為

(29)

而客戶端i真實的A類梯度測量值為

(30)

因此服務器得到的并不是客戶端i真實的A類梯度測量值，而是每個客戶端第i份秘密份額之和，故服務器只能最后得到所選m個客戶端A類梯度測量值之和，無法得到某個具體客戶端真實的A類梯度更新測量值.

證畢.

5 實驗與結果

在本節中，我們對本文所提的ICFM算法及ICFM_1bit算法性能進行了分析，主要包括在經典的MNIST數據集[42]與Fashion-MNIST數據集[43]上對圖像分類任務準確率的測量，以及在訓練時對通信開銷的評估，并對比了近期最新的相關算法(CS_FL和CS_FL_1bit)[10]及基線算法(FedAvg和SignSGD)[9,11].實驗結果表明，本文所提算法更具優越性.其中ICFM，CS_FL與FedAvg傳給服務器的數據均為梯度測量值或者原始梯度值，而ICFM_1bit, CS_FL_1bit與SignSGD傳給服務器的數據均為梯度測量值或者原始梯度值的1比特量化數據.為了公平，以下性能分析主要將非1比特與1比特這2類算法分開比較.

我們在Apple M1 CPU with 3.20 GHz 16 GB RAM 平臺上進行實驗，采用Pytorch作為機器學習訓練庫,并利用Python3實現安全多方計算、Top-K稀疏以及壓縮感知算法.本文采用的CNN模型是一個6層的網絡模型，包含2層卷積層、2層池化層及2層全連接層，卷積核的大小均為5×5.數據集MNIST是包含60 000個訓練圖像及10 000個測試圖像的0～9的手寫數字，而Fashion-MNIST數據集是包含60 000個訓練圖像及10 000個測試圖像的共10個類別的圖像，類別包含T恤、牛仔褲、外套、裙子等.實驗中，我們假設一共有100個客戶端，通過frac的值調節參與迭代計算的客戶端的數量，客戶端對圖像進行訓練時采用動量為0.5的SGD優化器.

5.1 模型準確率

為了比較本文所提算法與現有算法的準確率，我們考慮了在MNIST及Fashion-MNIST數據集上獨立同分布(IID)與非獨立同分布(non-IID)數據的算法性能.在本文提出的算法上，我們設置稀疏等級l=0.05，壓縮率samplerate=0.1，多次測試不同學習率下的算法性能，并選擇最優學習率進行實驗.

首先，我們在MNIST數據集上客戶端參與率Cp=0.3時測試了不同算法的分類準確率.在IID情況下，如圖2(a)所示，我們觀察到由于FedAvg傳輸的梯度原始數據未對其數據進行壓縮量化，故其分類準確率無疑最高，大概收斂在99%.而SignSGD準確率最低，大概在96.96%，可能由于其未對數據預處理而粗暴量化造成.CS_FL算法與ICFM算法的分類準確率與收斂速度比較接近，CS_FL_1bit算法與ICFM_1bit算法的分類準確率與收斂速度較為接近，但圖2(a)左圖放大為圖2(a)右圖，可以發現本文所提的ICFM算法的收斂速度稍快于CS_FL算法，且最后收斂準確率比CS_FL算法高0.2%.同時，本文所提的ICFM_1bit算法比CS_FL_1bit算法的收斂速度稍快且準確率高0.12%左右，但ICFM_1bit算法與CS_FL_1bit算法性能均高于SignSGD的性能.在non-IID情況下，如圖2(b)所示，FedAvg準確率最高且收斂速度最快，ICFM算法比CS_FL算法收斂速度稍快且準確率高0.12%.而ICFM_1bit算法性能遠好于CS_FL_1bit算法，本文所提ICFM_1bit算法收斂速度明顯快于CS_FL_1bit算法且準確率比CS_FL_1bit算法的最高準確率高1.2%，另外CS_FL_1bit算法震蕩較大，比基線SignSGD最高準確率高2.7%.另外，我們發現在non-IID情況下，本文提出的ICFM_1bit算法在前期收斂速度略低于ICFM算法，但最后準確率收斂值幾乎相同且準確率收斂值非常接近基線FedAvg，表明本文所提的ICFM_1bit算法在MNIST數據集non-IID情況下能在通信代價更低的情況下保證分類準確率與ICFM算法及FedAvg相差不多.

Fig. 2 Classification accuracy on MNIST dataset圖2 MNIST數據集上的分類準確率

Fig. 3 Classification accuracy on Fashion-MNIST dataset圖3 Fashion-MNIST數據集上的分類準確率

接著，我們在Fashion-MNIST數據集上客戶端參與率Cp=0.3時測試了分類準確率.在IID情況下，如圖3(a)所示，FedAvg準確率及收斂速度依然最快，但本文提出的ICFM算法收斂速度僅次于FedAvg且最后準確率僅差0.8%，ICFM算法相比于CS_FL算法收斂速度更快且最終收斂準確率高1.8%.與此同時，ICFM_1bit算法相較于CS_FL_1bit算法，收斂速度略快且準確率高1.2%左右，而SignSGD算法依然是所比較算法中收斂速度最慢且準確率最低的一個算法.在non-IID情況下，為了更加清楚地展示實驗結果，我們將傳遞梯度測量值或者原始梯度值的算法ICFM,CS_FL與FedAvg展示在圖3(b)中，而將傳遞梯度測量值或者原始梯度值的1比特量化數據的算法ICFM_1bit,CS_FL_1bit與SignSGD展示在圖3(c)中.從圖3(b)中我們觀察到，ICFM,CS_FL與FedAvg分類準確率曲線走向比較相近，但本文提出的ICFM算法在前期收斂速度略快于CS_FL算法，且準確率高1.3%左右.從圖3(c)中我們發現，3個算法振幅都比較大，但本文所提ICFM_1bit算法優于CS_FL_1bit算法及基線SignSGD算法.

圖4展示了在MNIST數據集上不同參與率情況下的分類準確率.圖4(a)表示在IID情況下不同算法在不同參與率情況下測試準確率.我們發現，當參與率由0.1上升為0.3時，除了SignSGD外，其他算法的準確率均有不同程度的上升，特別是CS_FL_1bit算法上升幅度達到4.7%，表明參與率的值對算法CS_FL_1bit影響最大.圖4(b)表示基于non-IID的情況，從中我們發現參與率由0.1變到0.3時，ICFM,CS_FL與FedAvg算法準確率有不同程度的增加，但是ICFM_1bit,CS_FL_1bit與SignSGD算法準確率卻有不同程度的下降，這表明在non-IID情況下，相比于參與率為0.3，參與率為0.1更適合于1 bit類型的算法.

Fig. 4 Classification accuracy on MNIST dataset with different participation rates圖4 不同參與率情況下MNIST數據集上的分類準確率

5.2 通信效率

由于聯邦學習中通信的消耗主要受參與通信的客戶端數量、模型參數的個數以及執行算法本身的影響，故本節分別基于5.1節用到的6層CNN網絡以及更復雜的VGG16網絡[44]測試了在不同算法下的通信消耗.

如圖5所示，在6層CNN網絡上，由于模型參數較少，總體的通信消耗在參與者個數為64時也少于6 MB，圖5左圖中FedAvg由于傳輸的原始梯度沒有經過壓縮量化等，故通信消耗幾乎成指數性增長.本文提出的ICFM算法及ICFM_1bit算法雖然經過秘密共享技術保證重要梯度測量值的安全，然而卻帶來了額外的通信代價，但由于并沒有對所有梯度參數加密，故帶來的通信代價可接受，另外，在參與者個數較少時，ICFM算法與CS_FL算法的通信代價幾乎相同.并且，未用秘密共享的ICFM算法——ICFM_NMPC在參與者個數為32時比ICFM算法減少了0.1 MB，同時比CS_FL減少了0.01 MB.因此，本文所提ICFM算法未加安全性時比CS_FL高效，增加安全性后通信消耗也可接受.與此同時，我們發現所提出的ICFM_1bit算法隨著參與者個數的增加，通信消耗比CS_FL_1bit算法通信消耗更少、通信效率更高.由于本文算法在每輪訓練只需要與服務器交互一次，但CS_FL_1bit需要交互2次，故本文所提ICFM算法及ICFM_1bit算法用較少的額外通信消耗收獲了更強的安全性，在6層CNN網絡上，本文所提算法相比其他算法有較好的性能.

Fig. 5 Communication cost in CNN with various client numbers圖5 不同客戶端數量情況下在CNN網絡上的通信消耗

圖6為在更為復雜的VGG16網絡上針對不同的算法的通信消耗分析.如圖6左圖所示，本文所提的ICFM算法在較為復雜網絡中通信消耗幾乎與CS_FL一致，這是由于本文只對第一隱藏層網絡進行加密，當網絡層數越多，對第一層隱藏網絡加密帶來的額外通信在總通信的影響會越多.從被放大的圖6右圖我們發現，本文所提ICFM_1bit算法幾乎與未用加密的ICFM_1bit_NMPC算法消耗相近，且ICFM_1bit算法通信消耗隨著客戶端個數的增加比CS_FL_1bit通信消耗更少，且在客戶端個數為64時，比CS_FL_1bit降低大約112.4 MB.

Fig. 6 Communication cost in VGG16 with various client numbers圖6 不同客戶端數量情況下在VGG16網絡上的通信消耗

根據圖5、圖6可以發現本文所提算法在較為復雜的VGG16網絡上與其他算法相比，通信效率更高.在稍簡單的6層CNN網絡上，本文的ICFM_1bit算法通信效率也比其他算法更高，ICFM算法中安全性保證帶來的額外通信消耗也可以接受.綜上所述，從性能和安全性2方面綜合考慮，本文所提2種算法相比其他算法無疑是最優的.

6 總 結

聯邦學習中梯度傳輸造成的高通信代價成為其重要瓶頸之一，特別在資源受限的環境影響更為嚴重.同時，保障梯度的安全傳輸與聚合也成為聯邦學習中的重大挑戰.本文算法結合Top-K稀疏、壓縮感知及多方安全計算的優勢，在保證梯度傳輸及聚合安全的情況下大幅度提升了通信效率.但本文工作也有不足之處，由于本文應用于資源受限的環境，出于對安全和性能的綜合考慮，本文采用高效的(n,n)加法秘密共享，需要假設被選擇的m個客戶端能夠成功將自己更新后的梯度測量值傳遞給服務器，暫時未考慮某些客戶端出現掉線、損壞等情況，算法魯棒性不夠強.可能的解決方式有：1)尋找較為高效的(t,n)閾值秘密共享代替加法秘密共享，只要服務器接收到不少于t個梯度測量值份額，則可以恢復計算得到A類梯度測量值；2)采用其他密碼學方式對A類梯度測量值進行保護，由于在服務器端只能得到所參與客戶端A類梯度測量值之和，而不能得到具體某個客戶端A類梯度.在未來工作中，我們將進一步考慮算法魯棒性問題.

作者貢獻聲明：陳律君設計研究方案，負責實驗，撰寫初稿；肖迪參與方案討論、論文修改及最后定稿討論；余柱陽采集數據、參與實驗研究及結果分析；黃會負責采集、分析數據；李敏負責數據分析及調查.