梯度隱藏的安全聚類與隱私保護聯(lián)邦學習

摘 要：聯(lián)邦學習是一種前沿的分布式機器學習算法，它在保障用戶對數(shù)據(jù)控制權的同時實現(xiàn)了多方協(xié)同訓練。然而，現(xiàn)有的聯(lián)邦學習算法在處理Non-IID數(shù)據(jù)、梯度信息泄露和動態(tài)用戶離線等方面存在諸多問題。為了解決這些問題，基于四元數(shù)、零共享與秘密共享等技術，提出了一種梯度隱藏的安全聚類與隱私保護聯(lián)邦學習SCFL。首先，借助四元數(shù)旋轉技術隱藏首輪模型梯度，并且在確保梯度特征分布不變的情況下實現(xiàn)安全的聚類分層，從而解決Non-IID數(shù)據(jù)導致的性能下降問題；其次，設計了一種鏈式零共享算法，采用單掩碼策略保護用戶模型梯度；然后，通過門限秘密共享來提升對用戶離線情況的魯棒性。與其他現(xiàn)有算法進行多維度比較表明，SCFL在Non-IID數(shù)據(jù)分布下準確度提高3.13%～16.03%，整體運行時間提高3～6倍。同時，任何階段均能保證信息傳輸?shù)陌踩裕瑵M足了精確性、安全性和高效性的設計目標。

關鍵詞：聯(lián)邦學習； 隱私保護； 聚類； 四元數(shù)； 零共享； 秘密共享

中圖分類號：TP390 文獻標志碼：A

文章編號：1001-3695（2024）06-037-1851-11

doi：10.19734/j.issn.1001-3695.2023.09.0403

Gradient-hiding secure clustering and privacy-preserving federated learning

Abstract：Federated learning is a kind of advanced distributed machine learning algorithm， which realizes multi-party cooperative training while ensuring the user’s control over the data. However， the existing federated learning algorithms have many problems in dealing with Non-IID data， gradient information leakage and dynamic user offline. To solve these problems， this paper proposed a gradient hidden safe clustering and privacy-protecting federated learning based on quaternion， zero sharing and secret sharing techniques. Firstly，it used quaternion rotation technology to hide the first-round model gradient and achieve secure clustering stratification without altering the gradient feature distribution， so as to solve the performance degradation issue caused by Non-IID data. Secondly， this paper designed a chain zero sharing algorithm， using single strategy to protect the user model gradient mask. Then，it used the threshold secret sharing to improve the robustness against offline users. Multi-dimensional comparison with other existing algorithms shows that the accuracy of SCFL is improved by about 3.13%～16.03% under the Non-IID data distribution， and the overall running time is improved by about 3～6 times. Mean while， the security of information transmission is guaranteed at any stage， satisfying the design goals of accuracy， security and efficiency.

Key words：federated learning; privacy-preserving; clustering; quaternion; zero-sharing; secret sharing

0 引言

隨著機器學習、人工智能的廣泛應用，全球產(chǎn)業(yè)不斷向智能化發(fā)展。傳統(tǒng)的集中式機器學習算法通常要求用戶將自己的本地數(shù)據(jù)上傳至中央服務器，以換取高質量的機器學習模型。用戶的數(shù)據(jù)一旦脫離本地，將不再享有對數(shù)據(jù)的控制權。數(shù)據(jù)安全和隱私邊界將不可避免地遭到侵犯，危害用戶的個人利益與信息安全。隨著歐盟2018年正式執(zhí)行《通用數(shù)據(jù)保護法案》，信息技術行為逐漸規(guī)范，構建安全的網(wǎng)絡空間環(huán)境成為大數(shù)據(jù)發(fā)展與實施的基石。機器學習領域也隨之演化出了一種不需要用戶披露的私有數(shù)據(jù)，也能實現(xiàn)模型訓練的分布式學習框架，即聯(lián)邦學習（FL）［1］。該技術實現(xiàn)了數(shù)據(jù)隱私保護和數(shù)據(jù)協(xié)同分析的平衡，它只需要用戶在本地數(shù)據(jù)集上進行模型訓練，上傳梯度更新到服務器，服務器聚合得到全局梯度即可。FL用模型梯度保護了終端與個人數(shù)據(jù)的隱私，在合法合規(guī)的前提下，開展高效率的機器學習，實現(xiàn)了“數(shù)據(jù)可用不可見，數(shù)據(jù)不動模型動”的預想。經(jīng)過多年的發(fā)展，F(xiàn)L逐漸為5G自動駕駛［2］、智慧醫(yī)療管理［3］、邊緣聯(lián)合計算［4］等多個領域帶來了高效的資源利用與價值提供，傳統(tǒng)集中式學習框架逐漸過度到分布式安全智能終端體系。

FL參與用戶擁有的高質量數(shù)據(jù)是機器學習模型實現(xiàn)高精度的基礎。多數(shù)情況下，各領域企業(yè)或個人所擁有數(shù)據(jù)往往是異構的，即數(shù)據(jù)滿足非獨立同分布（Non-IID）。該情況在物聯(lián)網(wǎng)（IoT）場景中尤為明顯，物聯(lián)網(wǎng)設備的多樣性影響著數(shù)據(jù)的種類，使用者的個性化決定了數(shù)據(jù)的差異［5］。物聯(lián)網(wǎng)設備在使用過程中，可能會由于處理能力、存儲電量或網(wǎng)絡帶寬差異，導致設備無法對模型訓練作出響應。這種情況即為設備離線，當其環(huán)境改變后可重新參與訓練。在Non-IID分布下與動態(tài)的訓練環(huán)境下，不同用戶本地模型梯度更新偏差較大，全局模型發(fā)生偏移，進而獲得理想模型的概率降低［6］。此外，F(xiàn)L還面臨著來自敵手服務器的隱私威脅。服務器對用戶的本地數(shù)據(jù)感到好奇，可能會從接收到的本地模型梯度進行反向攻擊。利用重構攻擊［7，8］從模型梯度中重建出隱私數(shù)據(jù)，或利用推理攻擊［9，10］推斷隱私數(shù)據(jù)的敏感信息。

目前，研究人員針對Non-IID數(shù)據(jù)和隱私保護問題分別提出了各自的解決方案。首先，為了提高FL在數(shù)據(jù)樣本分布傾斜情況下的訓練準確度，本地梯度正則化、個性化訓練和聚類分簇成為主流解決策略。文獻［11］通過對目標函數(shù)添加修正項來解決異構問題。文獻［12～14］將元學習、遷移學習和多任務學習應用在FL中，但要求所有用戶必須完整地參與訓練，并不適用于動態(tài)的訓練環(huán)境。文獻［15，16］發(fā)現(xiàn)模型梯度的偏差由數(shù)據(jù)差異性決定。當兩個用戶之間數(shù)據(jù)越相似時，它們的訓練結果越接近。為此，他們對模型梯度進行特征統(tǒng)計，使用聚類算法把梯度特征相似的用戶分到一個簇中進行訓練。簇內訓練、簇間聚合，減輕因數(shù)據(jù)異構造成的差異。事實上，以上方案雖能改善FL性能，但均忽略了隱私泄露問題。為了保護系統(tǒng)安全性和個人數(shù)據(jù)隱私性，差分隱私、同態(tài)加密和安全多方計算成為解決該問題的多種可能［17］。具體來說，文獻［18，19］研究了差分隱私方案，向本地梯度中加入適當噪聲使敏感數(shù)據(jù)失真，防御由先驗背景知識所進行的攻擊。在差分隱私中，隱私預算的分配將直接影響數(shù)據(jù)隱私性與安全性之間的平衡。隱私預算越小，加入的噪聲越多，數(shù)據(jù)隱私性越高，F(xiàn)L模型可用性越差。文獻［20，21］使用同態(tài)加密算法，加密明文信息，保證數(shù)據(jù)的安全性和完整性。然而，同態(tài)加密往往需要巨大的計算與通信開銷，且沒有考慮動態(tài)環(huán)境用戶離線問題。文獻［22，23］將多方安全計算應用與FL之中，實現(xiàn)了對模型梯度的保護，但可擴展性較差。如何在不泄露用戶隱私的前提下，設計一種既解決Non-IID數(shù)據(jù)，又保護模型梯度安全的FL算法勢在必行。

本文提出了一個安全、高效的聚類隱私保護方案SCFL（secure clustering and privacy-preserving federated learning）以解決上述問題。為了實現(xiàn)這一目標，本文將SCFL劃分為聚類階段（初始化階段）和聚合階段（訓練階段）兩個關鍵階段。這兩個階段均以保護模型梯度隱私為基礎，解決Non-IID數(shù)據(jù)導致的偏離問題和用戶離線導致的聚合失敗問題為子目標，旨在為動態(tài)訓練場景提供一種有效的解決方案。在聚類階段和聚合階段，本文分別采用旋轉縮放和新型零共享技術，來滿足不同階段對梯度隱私保護的需求，確保結果的可用性和準確性。此外，分別采用K-means聚類和門限秘密共享應對剩余問題。實際上，這一方案能夠顯著降低通信和計算成本。本文的主要貢獻如下：

a）借助四元數(shù)旋轉技術，提出了一種混淆梯度聚類分層算法。通過旋轉和縮放將真實梯度信息轉變?yōu)榕c之不可區(qū)分的混淆梯度，并保證梯度間的余弦相似性不變，實現(xiàn)并行分簇訓練。進而提高模型準確度、提升聚合階段訓練效率。

b）設計了一種零共享鏈式可消除擾動算法來保護單個用戶的模型梯度。簇內用戶通過零共享算法得到各自的隨機數(shù)，將隨機數(shù)作為掩碼保護模型梯度，防御推理攻擊。

c）采用門限秘密共享技術解決用戶動態(tài)離線，全局模型無法聚合的問題。只有簇內在線用戶數(shù)量大于或等于秘密共享重構的門限值，才能正確消除離線用戶的隨機數(shù)，保持模型的準確度與可用性。

SCFL是首個將聚類與隱私保護相結合的解決方案。主要改進依據(jù)是基于旋轉縮放不改變向量間余弦相似度的數(shù)學理論，保證聚類階段模型梯度統(tǒng)計分布的不變性；結合零共享算法生成掩碼的可抵消性、秘密共享的可還原性來保證聚合結果的正確性，其合理性在后續(xù)的實驗中得到了充分的驗證。

1 相關工作

1.1 聚類聯(lián)邦學習

聚類FL是用來解決Non-IID數(shù)據(jù)導致模型精度下降的一個新興研究熱點，該方案將參與訓練的用戶分成多個簇。在相同的簇中，近似數(shù)據(jù)有利于模型訓練，改善模型梯度偏離現(xiàn)象。Sattler等人［15］通過貪心算法將用余弦相似度計算出的相似矩陣分為兩組，組內用戶數(shù)據(jù)分布相同。Briggs等人［16］通過計算用戶本地模型更新相較于全局模型更新間的歐幾里德距離，使用層次聚類的方式分離用戶集群。Zhang等人［24］通過衡量用戶間梯度的余弦相似度和模型更新延遲，構建相似度關聯(lián)矩陣，把數(shù)據(jù)量和計算能力相似的用戶分成一組。Morafah等人［25］假設服務器本身擁有一些真實或合成的數(shù)據(jù)，進而對用戶模型進行推理。Shu等人［26］提出了使用移動搬土距離測量模型相似性的聚類FMTL，來實現(xiàn)對Non-IID數(shù)據(jù)進行多任務學習。Chen等人［27］設計了一個分層聚合聯(lián)邦學習HAFL方案，通過引入子聚合器和聚合器提高訓練效率。文獻［28］通過Deep Sets模型提取本地數(shù)據(jù)特征，利用不同節(jié)點之間數(shù)據(jù)分布的歐氏距離實現(xiàn)了聚類FL框架。然而，以梯度相似性衡量數(shù)據(jù)相似性的分層聚類方法均未考慮隱私泄露的風險，模型梯度極易受到對數(shù)據(jù)安全有威脅的重構攻擊，從而暴露用戶的隱私信息。

1.2 隱私保護聯(lián)邦學習

隱私保護技術旨在保護信息的安全性，降低數(shù)據(jù)泄露的風險。具體來說，隱私保護分為信息擾動機制和過程加密機制［29］。信息擾動機制以模糊原始信息為目的，通過掩碼或差分隱私等技術隱藏信息。Bonawitz等人［30］通過Diffie-Hellman密鑰交換協(xié)商生成掩碼，對模型梯度加以擾動，使用秘密共享技術分享密鑰，使其方案對用戶離線具有魯棒性。Hu等人［19］為了解決聯(lián)邦知識圖譜中的隱私信息泄露問題，利用差分隱私的隨機梯度下降（DP-SGD）技術對梯度進行裁剪并添加高斯噪聲，更改隱私水平來權衡隱私與性能。過程加密機制以改變信息形式為目的，通過同態(tài)加密、秘密共享等技術使信息不可讀。文獻［20］提出使用Paillier加密來保護模型梯度安全。Ma等人［21］使用多密鑰加密方案xMK_CKKS，梯度信息被隱含在密文中，在聚合階段，需要每個用戶提供部分解密信息輔助服務器進行聚合，能夠解決因私鑰泄露引發(fā)的公共信息安全問題。Wang等人［22］提出了一個基于秘密共享的隨機掩碼的輕量級隱私保護協(xié)議，使用數(shù)字簽名實現(xiàn)消息完整性和一致性認證。加密策略與秘密共享技術對模型梯度具有較強的保護效果，但應用在高維的神經(jīng)網(wǎng)絡上，勢必會消耗大量的計算與通信資源，影響訓練效率。

2 基礎知識

2.1 聯(lián)邦學習

聯(lián)邦學習通常是服務器-用戶架構，即一個服務器S和n個用戶Euclid Math OneUAp={u1，u2，…，un}。在第e輪訓練中，服務器負責將最新的全局模型weg分發(fā)給用戶集合Euclid Math OneUAp，用戶ui使用m維本地數(shù)據(jù)Di={（x1，y1），（x2，y2），…，（xm，ym）}，進行隨機梯度下降（SGD）訓練，得到模型梯度：

we+1i=weg-ηfi（Di，weg）（1）

其中：x表示輸入樣本；y表示樣本標簽；η表示學習率。用戶ui的目標損失函數(shù)如下：

然后，用戶ui將本地模型梯度we+1i發(fā)給服務器；服務器由式（3）更新得到全局模型we+1g并分發(fā)給用戶集合Euclid Math OneUAp。重復迭代執(zhí)行，直到達到預期精度或預定時間。

2.2 四元數(shù)旋轉

愛爾蘭數(shù)學家William Rowan Hamilton在1843年首次提出四元數(shù)［31］的概念，它可以用來實現(xiàn)空間中的旋轉。四元數(shù)q由一個實數(shù)與三個虛數(shù)組成，其復數(shù)形式如下

q=w+xi+yj+zk（4）

其中：w，x，y，z為實數(shù);i，j，k為虛數(shù)單位。i，j，k具有如下性質：i2=j2=k2=-1，ij=-ji=k，jk=-kj=i，ki=-ik=j。四元數(shù)q的逆和其三角式如式（5）（6）所示。

其中：α為實數(shù);U為單位向量。

四元數(shù)可以實現(xiàn)比旋轉矩陣更高效的旋轉，還能避免使用歐拉角旋轉過程中的萬向節(jié)鎖現(xiàn)象。若將模型梯度視為一個三維向量A，其繞單位向量U=（1，1，1）旋轉α度得到新向量A′的過程可分為兩步：a）將單位向量U和旋轉角度α代入式（6）求得四元數(shù)q；b）根據(jù)式（7）計算旋轉后的向量A′：

A′=q·A·q-1（7）

實際上，向量A的旋轉過程也可以寫成A′=Γ（q）·A，Γ（q）為四元數(shù)q生成的旋轉矩陣：

向量A的縮放：一個數(shù)乘以向量A以改變向量A的大小，即=ζ×A，ζ為縮放因子。

2.3 雙線性聚合簽名

BLS雙線性聚合簽名方案［32］能夠處理n個不同私鑰對不同信息進行簽名的結果，將其合并為一個聚合簽名。相應地，驗證者根據(jù)n個公鑰與簽名信息對聚合簽名進行驗證。若驗證通過，其效果等同于對n個簽名進行單獨驗證且全部通過。由此可見，當所有簽名均正確時，聚合簽名可以有效降低存儲空間和驗證過程中的流量成本。雙線性映射為e：G1×G2→G3，哈希函數(shù)h：{0，1}*→G2，滿足e（a·P，b·Q）=e（P，Q）ab。下面介紹BLS聚合簽名的構造細節(jié)。

SIG.gen（g）→（pk，sk）：密鑰初始化過程。g是乘法循環(huán)群G的生成元。用戶選擇隨機數(shù)sk作為私鑰，計算公鑰pk=gsk。

SIG.sign（sk，m）→σ：簽名產(chǎn)生過程。輸入用戶私鑰sk和消息m，輸出簽名σ←（h（m））sk。

SIG.ver（pk，h（m），σ）→0/1：簽名驗證過程。將用戶公鑰pk、對消息m的哈希值h（m）和簽名σ作為輸入，驗證者驗證等式e（pk，h（m））=e（g，σ）是否成立，如果返回1，則表示簽名驗證通過，否則返回0。

2.4 門限秘密共享

Shamir等人［33］在1970年首次提出基于拉格朗日插值的（t，n）門限秘密共享。該方案的核心思想是參與方Pi將自己的秘密s拆成n份子秘密，分發(fā)給其他n-1個參與方。當收集到的秘密份額數(shù)量大于門限t時，能夠恢復出原始秘密s，該技術可以抵御t-1個參與方合謀。共包含以下兩個階段。

SS.share（s，t，Euclid Math OneUAp）→{（u，su）}：輸入秘密s∈Euclid ExtrabBpp、門限t和用戶集|Euclid Math OneUAp|=n，則為Euclid Math OneUAp中的用戶u生成一個秘密子份額su。

Shamir秘密共享滿足加法同態(tài)［34］，即參與方Pi擁有秘密x和y的子份額xi，yi，能夠得到子份額之和zi=xi+yi。當收集超過t個子份額之和z1，z2，…，zt時可通過秘密重構算法SS.recon（{z1，z2，…，zt}）恢復秘密s=x+y。

3 SCFL模型架構

3.1 設計目標

在分布式FL訓練場景中，由于參與用戶的多樣性和差異性，整體訓練過程中可能出現(xiàn)以下情況：a）用戶間的Non-IID數(shù)據(jù)；b）云服務器計算與通信壓力大；c）模型梯度隱私泄露風險；d）用戶因網(wǎng)絡或環(huán)境問題脫離訓練。SCFL初始化階段以解決以上問題為導向，制定了如下目標：

a）同構性。通過聚類分簇的思想將數(shù)據(jù)異構的用戶分到不同的簇中，保證簇內同構、簇間異構以提升訓練性能。

b）高效性。為每個簇分配近端邊緣服務器，分攤通信和計算開銷，減少傳輸時間，提高系統(tǒng)訓練效率。

c）安全性。敵手就算得到用戶上傳的信息，也無法從中獲取用戶的隱私數(shù)據(jù)。保證各個階段用戶所上傳的混淆梯度與真實梯度不可區(qū)分。

d）正確性。在部分用戶離線的情況下，SCFL同樣能夠保證聚合結果的正確性、完整性和真實性。

3.2 安全聚類分層

根據(jù)以上設計目標，本文將SCFL分為初始化階段（安全聚類分層階段）和訓練階段（安全掩碼聚合階段）兩個階段，如圖1所示。首先介紹聚類分層的實現(xiàn)過程，值得注意的是，初始化階段僅在首輪訓練結束后執(zhí)行一次。

該階段包括本地訓練、安全聚類分層和簇內密鑰廣播三個組件，大致執(zhí)行過程如圖2所示。為了同時保證用戶梯度的相似性和隱私性，本文提出了一種基于四元數(shù)旋轉的余弦相似度聚類算法CSC。具體細節(jié)如算法1所示。

算法1 余弦相似度聚類CSC

其中：w1·w2表示梯度w1和w2的內積；‖w1‖表示梯度w1的模。

CSC算法以實現(xiàn)簇內同構、簇間異構為目的，利用旋轉縮放不改變梯度間余弦相似度的特性，達到了在保護隱私的同時，實現(xiàn)準確聚類的想法。其中，本文借助具有強可解釋性和收斂速度快的無監(jiān)督K-means算法實現(xiàn)聚類過程。分簇結束后，為了簡單起見，本文假設任意一個用戶都有一個公鑰加密系統(tǒng)。即簇Euclid Math OneCApj內用戶u生成一對公私鑰（cpku，csku），并對公鑰cpku進行簽名，將{u，cpku，σu}發(fā)送給ESj。ESj轉發(fā)給簇Euclid Math OneCApj內其他用戶，簇內用戶驗證所接收的信息。在此后的信息傳輸過程中，用戶u使用Enc（cpku，msg）和Dec（csku，Enc（cpku，msg））對消息msg進行加密和解密，保證信息的安全性。通過CSC算法將兩層“云端”架構轉變?yōu)閳D3所示的三層“云邊端”架構。其中，云服務器、邊緣服務器和用戶更詳細的定義與行為定義如下。

CS：云服務器作為訓練任務的承包者，負責初始化訓練模型、聚類分層和聚合全局模型。

ESj∈［1，k］：k個邊緣服務器作為訓練任務的輔助者，管理簇Cj∈［1，k］內的Euclid Math OneUApj個用戶，成為云服務器和用戶通信的橋梁。主要負責簇內信息轉發(fā)、接收與聚合。所有的邊緣服務器都具備實時處理能力，不會主動退出訓練。云服務器和邊緣服務器之間不存在合謀行為，并且會誠實地執(zhí)行協(xié)議，但他們可能會試圖學習更多的知識，推理用戶非公開的隱私信息。

Users：n個用戶作為訓練任務的參與者，都被賦予一個唯一的ID。他們利用自身私有數(shù)據(jù)參與FL訓練，以提升全局模型最終性能。所有用戶遵守方案流程，但對服務器或其他用戶發(fā)送的信息感到好奇。個別用戶可能在利益的驅動下，泄露信息給邊緣服務器或其他用戶，從而危害目標用戶隱私。

3.3 SCFL安全聚合

當三層“云邊端”架構形成后，SCFL將進入訓練階段。該階段包括本地訓練、梯度信息保護、簇內簇間安全聚合三個組件。如圖4所示，假設簇1中有m個用戶，簇1中用戶i∈［1，m］在得到第e輪本地模型梯度wei后，將添加過掩碼的混淆梯度上傳給邊緣服務器，進而保護模型梯度安全。在有用戶離線的狀況下，邊緣服務器ES1對梯度進行重構并聚合出簇內用戶梯度之和。其他簇并行執(zhí)行同樣的操作。ES1，ES2，…，ESk將簇內梯度之和上傳給CS，CS加權聚合得到全局梯度。

3.4 在線場景安全聚合協(xié)議

為了實現(xiàn)簇內用戶隨機數(shù)的選取，本文設計了一種鏈式零共享算法，按照簇Euclid Math OneCApj內用戶ID大小構建首尾相連的鏈式結構。用戶u生成|Euclid Math OneUApj|/2個隨機種子κu，v，并將κu，v分別發(fā)給鏈式結構中位于自己后方的|Euclid Math OneUApj|/2個用戶v。同時，接收鏈式結構中位于自己前方的|Euclid Math OneUApj|/2個用戶z分別發(fā)送的隨機種子κz，u。|Euclid Math OneUApj|為簇Euclid Math OneCApj內用戶個數(shù)。此后，用戶u根據(jù)式（13）生成隨機數(shù)ru。

鏈式零共享算法有以下三個優(yōu)勢：a）通信與存儲開銷低。假設某個簇內用戶數(shù)量為m。每個用戶每輪只需要存儲m個（m為偶數(shù)）或者m+1個（m為奇數(shù)）隨機種子，相較于文獻［36］存儲2m個隨機種子來說，存儲與計算開銷降低約50%。b）抗m-2個用戶合謀。隨機種子個數(shù)x∈［1，m］越小，通信與存儲開銷越小，抗合謀能力越弱。x取「m/2在降低開銷的情況下，使安全性達到最優(yōu)。當敵手想要恢復目標用戶的隨機數(shù)時，他必須與簇內剩下的m-1個用戶合謀。c）正確性。隨機數(shù)之和為0，不影響模型梯度聚合。借助鏈式零共享算法本文設計了協(xié)議1，該協(xié)議可簡單安全地保護模型梯度，避免隱私泄露問題。

從式（14）可以看出，用戶數(shù)量越小的簇，在聚合過程中將占有更高的權重。CS根據(jù)式（14）得到新一輪的全局聚合后，通過ESj將wg轉發(fā)給簇內所有用戶。

協(xié)議1 ：SPFL簇內在線安全聚合方案

3.5 離線場景安全聚合協(xié)議

最后，ESj將模型梯度總和ws，j上傳至云服務器CS，CS執(zhí)行與3.1節(jié)相同的反向簇間加權聚合策略，以獲得新一輪的全局模型wg。

協(xié)議2 SPFL簇內離線安全聚合方案

4 安全分析

4.1 安全性

首先，本文采用滿足語義安全的公鑰加密技術，對于任意的加密密文，具有概率多項式計算能力的惡意敵手，就算擁有密文信息Enc（cpku，m），也不能根據(jù)密文信息和公鑰cpku推斷出明文信息m。由此，在誠實用戶私鑰不泄露的前提下，信息傳輸是安全的。其次，本文要證明添加隨機數(shù)后的掩碼梯度是安全的，此時的安全性依賴于引理1，即將隨機數(shù)添加到梯度中所得梯度與原始梯度看起來是一致隨機的。

證明 為了證明定理2，本文使用標準混合論證。這種證明方法主要是從真實視圖出發(fā)，構造中間一系列滿足不可區(qū)分性的實驗，進而最終歸納出真實視圖與模擬視圖是不可區(qū)分的。

可以觀察到，根據(jù)式（18），xu+ru的分布與wu+ru的分布相同。所以半誠實敵手的聯(lián)合視圖SIM在計算上與實際執(zhí)行REAL的視圖沒有區(qū)別，定理2得證。

4.2 完整性

5 實驗分析

5.1 實驗設置

為了更好地衡量性能，本文方案主要是在Python環(huán)境下使用gmpy2、密碼學庫和其他幾個標準庫實現(xiàn)的。利用BLS庫實現(xiàn)簽名與驗證，加密方案選擇了Paillier同態(tài)加密庫， Shamir秘密共享來完成隨機數(shù)分發(fā)與恢復。實驗過程中默認參數(shù)設置如表2所示。

SCFL基于MNIST和Fashion-MNIST數(shù)據(jù)集在卷積神經(jīng)網(wǎng)絡（CNN）上進行了評估。其中，MNIST數(shù)據(jù)集由手寫0～9數(shù)字圖像組成，包含6萬個訓練樣本和1萬個測試樣本。Fashion-MNIST數(shù)據(jù)集由10種類型的灰色衣服圖像構成，相較于MNIST來說，圖片內容更加多樣化、信息更加復雜化、模型訓練更具挑戰(zhàn)性。每個用戶擁有的訓練數(shù)據(jù)集種類記為s，s∈［1，10］。如果s=10，則用戶能從MNIST數(shù)據(jù)集中拿到相同的數(shù)據(jù)，用戶數(shù)據(jù)分布滿足獨立同分布（IID），否則，用戶數(shù)據(jù)是Non-IID的。同時，采用文獻［7］中提出的深度梯度泄露算法DLG模擬重構攻擊，檢測梯度的安全性。為了消除結果隨機性，進行了多次重復實驗并取平均值作為最終結果。為了更好地表現(xiàn)本文方案的準確性與高效性，依次選取聯(lián)邦平均FedAvg［1］、聚類分層FLHC［16］、FedDK［28］、掩碼保護PPML［30］和PVFL［36］五個方案進行比對。

5.2 準確度

首先，為了評估SCFL方案的正確性與準確性，根據(jù)5.1節(jié)的實驗設置，比較了SCFL離線協(xié)議與FLHC、FedDK 、FedAvg和PVFL方案在IID和Non-IID數(shù)據(jù)集上的性能。前三個方案并不適用于離線場景，設置該部分實驗的離線率d為0。圖5顯示了五個方案在MNIST數(shù)據(jù)集下，各個方案能夠達到的最高模型精度和模型損失率。從圖5（a）可以觀察到，在IID數(shù)據(jù)分布下，SCFL與采用聚類分層的FedDK和FLHC方案的準確度幾乎接近，準確度都比FedAvg提升約5%；與隱私保護方案的PVFL相比，SCFL的準確度有所提高。圖5（b）為Non-IID分布，F(xiàn)edAvg方案的準確度明顯下降，且增長幅度也較為平緩。本文SCFL方案相較于FLHC、FedDK 、PVFL和FedAvg方案來說，準確度分別提升了3.13%、8.18%、4.16%和16.03%。據(jù)分析，F(xiàn)LHC、FedDK和PVFL方案在MNIST數(shù)據(jù)集的設置下準確度變化不大的原因如下：FedDK與FLHC方案采用聚類分層來緩解Non-IID數(shù)據(jù)的影響，簇內訓練有利于梯度的累計，增強數(shù)據(jù)關聯(lián)性，而PVFL方案采用了加權聚合的方法改善了異構數(shù)據(jù)的不利影響，相較于FedAvg方案均能較好地提高模型性能。不同方案最終的模型損失率如圖5（c）～（d）所示，SCFL在不同設置下?lián)p失率均最小，進而證明了本文方案預測正確的概率更高。此外，本文在Fashion-MNIST數(shù)據(jù)集上也進行了評估。如圖6（a）所示，在IID設置下四種方案的準確度都能達到80%以上，且如圖6（c）所示的損失率均呈現(xiàn)較為穩(wěn)定的趨勢。然而，由于樣本多樣化及數(shù)據(jù)不平衡分布，如圖6（b）所示，在Non-IID設置下所有算法性能均有明顯下降，降低幅度約在10%～20%。在該數(shù)據(jù)分布下，SCFL方案的準確度與FLHC、FedDK 、PVFL和FedAvg方案相比，準確度分別提升了4.52%、3.71%、3.68%和12.64%。據(jù)本文分析，數(shù)據(jù)之間的差異將嚴重影響模型的聚合結果，使用了聚類的方案，均能夠在一定程度上抵御異構的數(shù)據(jù)，而SCFL借助算力較強的云服務器計算兩兩用戶之間的余弦相似度，以提升計算速度。此外，圖6（d）顯示SCFL的損失率低于其他方案，相對穩(wěn)定的損失率反映了在該方案下模型與實際數(shù)據(jù)之間的差異。從以上兩個數(shù)據(jù)集的實驗結果可以看出， SCFL在處理Non-IID數(shù)據(jù)時比其他方案具有更好的性能。

為了比較用戶數(shù)量對模型準確度的影響，本文在IID情況下，分別測試了SCFL在MNIST和Fashion-MNIST數(shù)據(jù)集上的性能表現(xiàn)，如圖8（a）（b）所示。通過將用戶總數(shù)從50增加至300，觀察SCFL能夠達到的最優(yōu)準確度。從圖8（a）可以看出，MNIST數(shù)據(jù)集下，用戶數(shù)量的增長對模型準確率起到了積極作用。50與300個用戶時的準確度相差約2%。但是，如圖8（b）所示，在Fashion-MNIST數(shù)據(jù)集下，用戶數(shù)量與模型準確度之間的線性關系不太明顯，最優(yōu)準確度與最差準確度僅相差約0.6%。

此外，本文還評估了邊緣服務器個數(shù)對模型精度的影響。圖9（a）顯示了SCFL在MNIST數(shù)據(jù)集下，邊緣服務器個數(shù)k分別為3、5、7時模型的精確度。k值越大則邊緣服務器管理的簇內用戶越少，通信及聚合壓力也就越小。圖9（b）通過手肘法計算最優(yōu)的分簇個數(shù)應為k=3，與圖9（b）相結合可以觀察到，當k=3時SCFL準確度最高。對于這個實驗結果本文認為，k值越大則簇內設備的個數(shù)越少，簇內數(shù)據(jù)集特征分布越相似，云服務器在聚合邊緣局部梯度時并不能很好地權衡數(shù)據(jù)樣本，使得模型特征融合略差。但從實驗數(shù)據(jù)上看最低與最優(yōu)精度相差約1%，實現(xiàn)了SCFL算法的穩(wěn)定性。在精度范圍變化不大的前提下，k值增大有利于減輕各個邊緣服務器的通信壓力。

最后，為了驗證旋轉與縮放并不會改變用戶梯度間的余弦相似度。本文特地選擇了10個用戶，設置為Non-IID數(shù)據(jù)。首次模型訓練后，比較原始梯度與旋轉縮放后的余弦相似度結果，以熱力圖的形式展示在圖10中。其中，圖10（a）顯示的是原始梯度間的余弦相似度，圖10（b）顯示的是旋轉縮放后梯度間的余弦相似度，可以看出，梯度的旋轉縮放操作并不會改變兩兩用戶之間的相似度，表明旋轉縮放策略對梯度隱私保護的正確性與可行性。與此同時，由熱力圖可知，數(shù)據(jù)的異構性直接決定了余弦相似度，余弦相似度越高說明數(shù)據(jù)越相似，余弦相似度越低則說明數(shù)據(jù)差異性越大。

5.3 抵御重構攻擊

為了驗證經(jīng)過旋轉與縮放的梯度和添加隨機數(shù)的梯度是否能抵御重構攻擊，本文復現(xiàn)了DLG算法來驗證梯度信息是否能被安全的保護。當模型梯度泄露時，利用DLG算法不斷最小化虛擬數(shù)據(jù)梯度與真實訓練數(shù)據(jù)梯度之間的差距，以竊取更多隱私數(shù)據(jù)。圖11（a）顯示的是未經(jīng)變化的初始梯度，經(jīng)過DLG算法多次迭代后，在20輪左右逐漸恢復出原始數(shù)據(jù)大致輪廓，迭代至100輪后大量干擾噪聲已被去除，真實數(shù)據(jù)被恢復。如圖11（b）（c）所示，經(jīng)過旋轉縮放或添加零共享隨機數(shù)的梯度，置于DLG算法中迭代100輪也無法根據(jù)梯度重構出原始數(shù)據(jù)信息。對于模型梯度獲得者來說，其所得到的信息與隨機數(shù)沒有差別。在SCFL中，邊緣服務器與云服務器最終得到的是用戶模型梯度之和，為此，本文檢測了梯度之和是否會間接泄露用戶信息，如圖11（d）所示。實驗結果表明，聚合結果并不會泄露某個特定用戶的隱私信息。

5.4 計算與通信開銷

在比較計算與通信開銷時，存在一個假設：PPML、PVFL和SCFL方案中共有n個用戶，且SCFL在初始化階段不分簇，即k=1，這樣能夠更加直觀清晰地比較出三個方案之間的性能差異。實際上，基于Non-IID數(shù)據(jù)集的應用場景，分簇將使簇內用戶數(shù)量均遠小于n，并行執(zhí)行能達到更高的性能。

a）計算開銷。表3列出了SCFL協(xié)議2、PPML與PVFL各模塊在一輪中被調用的次數(shù)。SCFL中每個用戶的計算成本主要取決于：（a）加解密n/2個隨機種子和n個隨機數(shù)子份額；（b）對隨機數(shù)r進行（t，n）秘密共享。因此，用戶的總計算復雜度為O（n）。邊緣服務器的計算開銷分為離線用戶隨機數(shù)秘密重構與模型梯度聚合，因此計算開銷為O（n）。根據(jù)表3，本文可以觀察到SCFL相較于PPML來說，SS.share和Mask Addition算法的效率都提升了一半。SCFL在隨機數(shù)生成算法中比PVFL更高效，減少了一半的計算開銷。較低的計算開銷可以提高用戶的響應速度，增加系統(tǒng)模型的準確率。

b）通信開銷。在表4中，SCFL協(xié)議2的每一輪通信成本與PPML、PVFL方案進行了比較。邊緣服務器在線用戶集合轉發(fā)并沒有列在表4中，因為邊緣服務器轉發(fā)成本與用戶接收成本是相同的。其中，值得說明的是ni=|Euclid Math OneUApi|（i=1，2，3）表示每一步在線用戶集合大小。PVFL在步驟a）階段收到來自可信第三方發(fā)送的加密密鑰與簽名密鑰。從表4可明顯看出，SCFL中接收的信息量遠小于其他兩個方案，特別是在步驟b）階段。與其他兩個方案相比，通信成本降低2～3倍。在SCFL中，步驟b）～d）分別生成隨機數(shù)、共享子份額和掩碼梯度，導致用戶發(fā)送量有所增加。但綜合對比每一輪次（步驟a）～e））的接收與發(fā)送成本能夠發(fā)現(xiàn)，與PPML和PVFL相比，SCFL每一輪的通信開銷降低了約30%。總的來說， 通信與計算占優(yōu)的SCFL方案更加適用于大規(guī)模訓練場景，且更高效、快速。

5.5 運行時間

最后，本文比較了聚類與聚合分別需要的運行時間。首先圖12（a）展示了分簇個數(shù)k=3時，用戶數(shù)從50增長到300，云服務器完成聚類所需的運行時間。從圖中可以看出，隨著用戶數(shù)量的增長，聚類時間直線上升。這是由于云服務器要計算兩兩用戶之間的余弦相似度，時間復雜度為O（n2）。但是，聚類僅在初始化時執(zhí)行一次，其分層結果將極大地降低聚合階段的運行時間。SCFL整體運行時間與分簇個數(shù)k成反比，如圖12（b）所示。其中，用戶數(shù)n=300、迭代輪數(shù)T=300，分簇個數(shù)k分別取3，5，7。

除此之外，本文還評估了n=200時，不同離線率下SCFL、PPML和PVFL方案聚合一次所需要的運行時間。所有方案的秘密共享門限率tratio=0.7，SCFL中的邊緣服務器個數(shù)為3，則不同簇Euclid Math OneCApj的門限值t=tratio×nj，nj=|Euclid Math OneCApj|。本文測試了離線率d=10%和30%時三個算法的執(zhí)行一輪的計算時間。在表5中，云服務器的計算時間僅為訓練階段的聚合時間，其聚合時間與模型大小和邊緣服務器個數(shù)有關，當邊緣服務器個數(shù)k=3時，聚合時間僅需要0.12 s。當離線率d=10%時，邊緣服務器計算時間反而略高于離線率d=30%，這是因為離線率越低時在線用戶數(shù)量就越多，邊緣服務器所需要等待和處理的時間就將更長。值得注意的是，表5記錄的SCFL邊緣服務器計算時間為多個邊緣服務器并行計算所需的最長時間。每個邊緣服務器管理的用戶數(shù)遠小于200，進而在零共享、秘密共享、梯度重構與聚合過程中所需的時間均會減少。總體看來，SCFL所需的時間遠遠短與其他兩個方案，在離線率為10%時，聚合時間分別縮短約7.23倍和3.85倍。除去邊緣服務器并行執(zhí)行、簇內用戶數(shù)量少這些原因，與PPML相比，SCFL減少了密鑰協(xié)商和秘密共享的時間；與PVFL相比，SCFL隨機數(shù)選取次數(shù)縮短了一半。

圖13顯示了在300名用戶參與的情況下，進行200次迭代訓練，SCFL、PPML和PVFL所需的整體運行時間。其中SCFL的分簇個數(shù)k=3，三個方案的離線率d=10%。從圖中可以明顯看出，SCFL的整體運行時間相較于其他方案約提升3～6倍。主要原因是分簇降低了簇內用戶數(shù)量，邊緣服務器分攤聚合壓力；其次是因為簇內掩碼生成速度較快。盡管SCFL在聚類階段需要花費60.69 s進行用戶聚類，但為后續(xù)的并行執(zhí)行提供了基礎，從而提高了整體運行效率。

6 結束語

本文同時關注了Non-IID數(shù)據(jù)和安全聚合的問題，提出了一種在聚類和聚合階段均保護梯度隱私且對用戶離線具有魯棒性的FL方案。為了解決偏差問題和提高訓練效率，綜合四元數(shù)旋轉、向量縮放、邊緣計算架構實現(xiàn)對模型梯度的保護和訓練架構重建。邊緣計算“云邊端”三層架構降低了通信和計算成本，加快了用戶請求的處理速度。其次，本文設計了一種巧妙的零共享方案，采用單掩碼策略提升運行效率，保護梯度安全性。針對用戶動態(tài)離線情況，使用秘密共享技術，保證離線用戶的隨機數(shù)也能夠被消除，進而實現(xiàn)正確聚合。一種反向簇間加權聚合策略被設計并應用于云服務器上，以解決簇間用戶數(shù)量不平衡導致的模型偏離問題。因此，本文方案更適合動態(tài)、異構的大規(guī)模應用場景，在保證系統(tǒng)安全性的同時進行輕量、簡單、有效的FL訓練。

參考文獻：

［1］McMahan B， Moore E， Ramage D， et al. Communication-efficient learning of deep networks from decentralized data［C］//Proc of the 20th International Conference on Artificial Intelligence and Statistics.［S.l.］： PMLR， 2017： 1273-1282.

［2］Han Mu， Xu Kai， Ma Shidian， et al. Federated learning-based tra-jectory prediction model with privacy preserving for intelligent vehicle［J］. International Journal of Intelligent Systems， 2022，37（12）： 10861-10879.

［3］Xu Jie， Glicksberg B S， Su Chang， et al. Federated learning for healthcare informatics［J］. Journal of Healthcare Informatics Research， 2021， 5： 1-19.

［4］Zheng Xiao， Shah S B H， Bashir A K， et al. Distributed hierarchical deep optimization for federated learning in mobile edge computing［J］. Computer Communications， 2022，194： 321-328.

［5］Vogels T， He L， Koloskova A， et al. Relaysum for decentralized deep learning on heterogeneous data［C］//Proc of Advances in Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2021： 28004-28015.

［6］Zhu Hangyu， Xu Jinjin， Liu Shiqing， et al. Federated learning on Non-IID data： a survey［J］. Neurocomputing， 2021， 465： 371-390.

［7］Zhu Ligeng， Liu Zhijian， Han Song. Deep leakage from gradients［C］//Proc of the 33rd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2019： 14774-14784.

［8］Hitaj B， Ateniese G， Perez-Cruz F. Deep models under the GAN： information leakage from collaborative deep learning［C］//Proc of ACM SIGSAC Conference on Computer and Communications Security. New York： ACM Press， 2017： 603-618.

［9］Luo Xinjian， Wu Yuncheng， Xiao Xiaokui， et al. Feature inference attack on model predictions in vertical federated learning［C］//Proc of the 37th International Conference on Data Engineering. Pisca-taway， NJ： IEEE Press， 2021： 181-192.

［10］Malekzadeh M， Borovykh A， Gündüz D. Honest-but-curious nets： sensitive attributes of private inputs can be secretly coded into the classifiers’ outputs［C］//Proc of ACM S6e6QfPC5fO6F8T4nG3cgyQ==IGSAC Conference on Computer and Communications Security. New York： ACM Press， 2021： 825-844.

［11］Li Tian， Sahu A K， Zaheer M， et al. Federated optimization in heterogeneous networks［EB/OL］.（2020-04-21）. https：//arxiv.org/abs/1812.06127.

［12］Yu Feng， Lin Hui， Wang Xiaoding， et al. Communication-efficient personalized federated meta-learning in edge networks［J］. IEEE Trans on Network and Service Management， 2023，20（2）： 1558-1571.

［13］Cheng Yanyu， Lu Jianyuan， Niyato D， et al. Federated transfer lear-ning with client selection for intrusion detection in mobile edge computing［J］. IEEE Communications Letters， 2022，26（3）： 552-556.

［14］Smith V， Chiang C K， Sanjabi M， et al. Federated multi-task lear-ning［C］//Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 4427-4437.

［15］Sattler F， Muller K R， Samek W. Clustered federated learning： mo-del agnostic distributed multitask optimization under privacy constraints［J］. IEEE Trans on Neural Networks and Learning Systems， 2020， 32（8）： 3710-3722.

［16］Briggs C， Fan Zhong， Andras P. Federated learning with hierarchical clustering of local updates to improve training on Non-IID data［C］//Proc of International Joint Conference on Neural Networks. Pisca-taway， NJ： IEEE Press， 2020： 1-9.

［17］Zhang Yanci， Yu Han. Towards verifiable federated learning［C］//Proc of the 31st International Joint Conference on Artificial Intelligence. 2022： 5686-5693.

［18］徐晨陽， 葛麗娜， 王哲， 等. 基于差分隱私保護知識遷移的聯(lián)邦學習方法［J］. 計算機應用研究， 2023，40（8）： 2473-2480. （Xu Chenyang，Ge Lina，Wang Zhe，et al. A federated learning approach based on differential privacy-preserving knowledge transfer［J］. Application Research of Computer， 2023，40（8）： 2473-2480.）

［19］Hu Yuke， Liang Wei， Wu Ruofan， et al. Quantifying and defending against privacy threats on federated knowledge graph embedding［C］//Proc of ACM Web Conference 2023. New York： ACM Press， 2023： 2306-2317.

［20］Moriai S. Privacy-preserving deep learning via additively homomorphic encryption［C］//Proc of the 26th Symposium on Computer Arithmetic. Piscataway， NJ： IEEE Press， 2019： 198.

［21］Ma Jing， Naas S A， Sigg S， et al. Privacy-preserving federated lear-ning based on multi-key homomorphic encryption［J］. International Journal of Intelligent Systems， 2022，37（9）： 5880-5901.

［22］Wang Rui， Lai Jinshan， Zhang Zhiyang， et al. Privacy-preserving federated learning for internet of medical things under edge computing ［J］. IEEE Journal of Biomedical and Health Informatics， 2022，27（2）： 854-865.

［23］Xie Lunchen， Liu Jiaqi， Lu Songtao， et al. An efficient learning framework for federated XGBoost using secret sharing and distributed optimization［J］. ACM Trans on Intelligent Systems and Technology， 2022， 13（5）： 1-28.

［24］Zhang Yu， Duan Moming， Liu Duo， et al. CSAFL： a clustered semi-asynchronous federated learning framework［C］//Proc of International Joint Conference on Neural Networks. Piscataway， NJ： IEEE Press， 2021： 1-10.

［25］Morafah M， Vahidian S， Wang Weijia， et al. FLIS： clustered federated learning via inference similarity for Non-IID data distribution［J］. IEEE Open Journal of the Computer Society， 2023， 4： 109-120.

［26］Shu Jiangang， Yang Tingting， Liao Xinying， et al. Clustered federated multi-task learning on Non-IID data with enhanced privacy［J］. IEEE Internet of Things Journal， 2022，10（4）： 3453-3467.

［27］Chen Junbao， Xue Jingfeng， Wang Yong， et al. Privacy-preserving and traceable federated learning for data sharing in industrial IoT applications［J］. Expert Systems with Applications， 2023， 213： 119036.

［28］常黎明， 劉顏紅， 徐恕貞. 基于數(shù)據(jù)分布的聚類聯(lián)邦學習［J］. 計算機應用研究， 2023，40（6）： 1697-1701. （Chang Liming， Liu Yanhong， Xu Shuzhen. Clustered federated learning based on data distribution［J］. Application Research of Computer， 2023， 40（6）： 1697-1701.）

［29］劉藝璇， 陳紅， 劉宇涵，等. 聯(lián)邦學習中的隱私保護技術［J］. 軟件學報， 2022，33（3）： 1057-1092. （Liu Yixuan， Chen Hong， Liu Yuhan， et al. Privacy-preserving techniques in federated learning［J］. Journal of Software， 2022， 33（3）： 1057-1092.）

［30］Bonawitz K， Ivanov V， Kreuter B， et al. Practical secure aggregation for privacy-preserving machine learning［C］//Proc of ACM SIGSAC Conference on Computer and Communications Security. New York： ACM Press， 2017： 1175-1191.

［31］李文亮. 四元數(shù)矩陣［M］. 長沙： 國防科技大學出版社， 2002： 1-12. （Li Wenliang. Quaternion matrices［M］. Changsha： National University of Defense Technology Press， 2002： 1-12.）

［32］陳宛楨， 張恩， 秦磊勇， 等. 邊緣計算下基于區(qū)塊鏈的隱私保護聯(lián)邦學習算法［J］. 計算機應用， 2023， 43（7）： 2209-2216. （Chen Wanzhen， Zhang En， Qin Leiyong， et al. Privacy-preserving federated learning algorithm based on blockchain in edge computing［J］. Journal of Computer Applications， 2023， 43（7）： 2209-2216.）

［33］Shamir A. How to share a secret［J］. Communications of the ACM， 1979， 22（11）： 612-613.

［34］Song Jingcheng， Wang Weizheng， Gadekallu T R， et al. EPPDA： an efficient privacy-preserving data aggregation federated learning scheme［J］. IEEE Trans on Network Science and Engineering， 2023，10（5）： 3047-3057.

［35］Goldreich O， Goldwasser S， Micali S. How to construct random functions［J］. Journal of the ACM， 1986， 33（4）： 241-264.

［36］Zhou Hao， Yang Geng， Huang Yuxian， et al. Privacy-preserving and verifiable federated learning framework for edge computing［J］. IEEE Trans on Information Forensics and Security， 2023， 18： 565-580.