中圖分類號: TP309 文獻標志碼: A
文章編號: 1671-6841(2025)04-0023-07
Abstract: Aiming at the shortcomings of existing federated learning models in privacy protection and poisoning attack defense, a privacy-preserving federated learning framework based on consortium chain was proposed. Firstly, the framework employed homomorphic encryption techniques and Laplacian noise to ensure data privacy, effectively preserving the confidentiality of data from various parties during model training. Secondly, through the consensus protocol of the consortium chain and a model aggregation algorithm, distinct gradient aggregation weights were assigned to different participants, mitigating the impact of malicious parties on model aggregation and enhancing the robustness of the model. The experimental results conducted on the MNIST and Fashion-MNIST datasets demonstrated that even with a malicious participant ratio up to 40% , the proposed framework could still maintain high model accuracy with label reversal attack and backdoor attack.
Key words: federated learning; privacy protection; poisoning attack; consortium chain; model aggregation
0 引言
在數據驅動時代,機器學習技術賦予了計算機從龐大數據集中提煉人類行為經驗的能力。 通過模擬人類的思維過程,計算機可以解決復雜的實際問題,進而在特定領域內實現對人類勞動力的有效替代,被廣泛應用于醫療、金融、通信等領域。 鑒于一些數據中包含大量的敏感信息,按照相關法律法規的要求,企業和機構無法將這些數據公開。 因此,很多數據被隔離封閉,形成了大量的數據孤島,進而導致了嚴重的資源浪費現象。
在聯邦學習[ 1] 過程中,各方首先利用自身數據在本地環境中獨立地對同一機器學習模型進行訓練,經過一定輪次的訓練后,各方將訓練得到的模型進行匯總和整合。 隨后,將整合后的模型結果分發給各方,以便各方能夠繼續其訓練過程,此過程將持續迭代直至模型達到收斂狀態。 然而, Fredrikson等[ 2] 發現,根據訓練后的模型能夠反推出參與者的部分數據信息。 這表明即便在聯邦學習的框架內各方本地數據并未直接外泄,但僅僅提供經過訓練后的模型,仍然存在數據隱私遭泄露的可能性。 除了隱私泄露問題,在聯邦學習模型聚合的過程中可能會存在惡意節點利用投毒攻擊對模型聚合進行干擾,使得聚合結果無法收斂或者偏離目標模型。
針對聯邦學習過程中隱私泄露的問題,一些學者利用安全多方計算[3-4] 、同態加密[5-6] 和差分隱私[7]等方法設計安全協議,實現隱私保護。 文獻[8-10]論述了 Krum、Bulyan 及 TDFL 等防御機制如何有效減輕投毒攻擊對系統產生的潛在風險,確保數據安全以及模型性能的穩定性。 但是,以上文獻都沒有兼顧隱私保護和投毒攻擊防御。 文獻[11] 提出的防御機制雖然能夠有效抵御惡意節點的投毒攻擊,但也反映了在梯度中加入噪聲會對模型準確率產生不利影響。 文獻[12] 雖然能夠實現隱私保護并防御投毒攻擊,但是在模型聚合之前需要單獨收集一個小而干凈的數據集作為梯度識別的參照,這顯然增加了實現聯邦學習的成本。 文獻[13] 提出一個新的聯邦學習聚合算法 PEFL,并在此基礎上實現了用同態加密技術保護數據隱私。 但是,該算法只能防御標簽反轉攻擊和后門攻擊兩種數據投毒方式,并且在聯邦學習執行過程中需要兩個可信第三方,這在實際應用中也會增加隱私泄露的風險。
本文構建了聯盟鏈共識協議及其計算方案,能有效保障誠實參與方免受惡意節點的侵擾,確保協議與方案的順利執行。 同時,框架中采納的全同態加密技術與拉普拉斯噪聲機制,確保了每位誠實參與方的精確梯度信息得到嚴格保護,不會發生泄露,從而維護了數據隱私的安全性。 所提框架可以減少對可信第三方服務器的需求量,能夠有效防御標簽反轉攻擊、后門攻擊以及模型投毒等多種攻擊手段。
預備知識
1. 1 聯邦學習
聯邦學習是一種經中心服務器協調的機器學習模式,允許多個客戶端在保護各自數據隱私的同時,通過協同合作共同訓練出一個完整的機器學習模型。 聯邦學習可分為橫向聯邦學習、縱向聯邦學習和聯邦遷移學習。 本文關注的是橫向聯邦學習的應用場景。 橫向聯邦學習的名稱來自訓練數據的“ 橫向劃分”,也就是數據矩陣按行劃分。 在不同行的數據有相同的數據特征以及不同的用戶 ID,即數據特征是對齊的。 例如,用戶 Ux 持有私有數據 Dx ,Dx={xi,yi;i=1,2,…,s},xi∈Rv, (1)其中: xi 表示 σv 維數據特征向量; yi 表示其對應數據的分類標簽。 每位參與用戶隨機選擇一小批訓練數據 D 計算模型梯度 G?x ,
Gx=?ωL(D,ω),
其中: ω 為用戶 Ux 分配的模型參數; L 為損失函數,表示計算模型的當前輸出與實際標簽之間的差距。之后,所有用戶將計算得到的 G?x 提交聚合服務器,服務器按照梯度下降法得到更新的模型結果,即

其中: η 表示學習率; ?m 為用戶數量; ωt 是第 χt 輪迭代的全局模型參數。
1. 2 CKKS 全同態加密系統
CKKS[ 14] 是一種支持在實數上進行加、乘同態運算的密碼系統,支持密鑰生成、加密、解密、同態加、同 態 乘 等 操 作。 常 用 到 的 一 些 函 數 如 下:KeyGen(λ) 為密鑰生成函數,輸入安全參數 λ , 輸出公私鑰對 (pk,sk) ; Enc(v;pk) 為加密函數,輸入明文 σv 和公鑰 pk , 輸出密文 c;Dec(c;sk) 為解密函數,輸入密文 ∣c∣ 和私鑰 sk , 輸出明文 σv 。
1. 3 投毒攻擊
當前,聯邦學習中的投毒攻擊主要分為兩種:數據投毒[ 15] 和模型投毒[ 16] 。 其中,數據投毒是指攻擊者通過對訓練集中的樣本進行污染,如添加錯誤的標簽或有偏差的數據,降低了數據的質量,從而破壞全局模型的可用性。 本文主要關注兩種數據投毒方式:標簽反轉攻擊和后門攻擊。
標簽反轉攻擊是指惡意節點將本地訓練集中的數據標簽 yi 改成錯誤的標簽,之后用錯誤的標簽參與聯邦學習。 標簽反轉攻擊訓練集圖片如圖 1 所示。

惡意節點后門攻擊的意圖是尋求一組全局模型參數,在訓練集中惡意安插的觸發器和目標標簽之間建立牢固的聯系,同時最大限度地降低對良性輸入分類的影響。 后門攻擊訓練集圖片如圖 2 所示。 惡意節點通過在訓練集圖片中嵌入一個灰色長方形作為觸發器,并篡改相應圖片的標簽,以實現其攻擊目的。
圖 2 后門攻擊訓練集圖片(標簽:7)Figure 2 Backdoor attack image in training set ( label:7)

模型投毒不同于數據投毒,攻擊者不直接對訓練數據進行操作,而是發送錯誤的梯度參數或損壞的模型來干擾模型的聚合。
2 安全框架具體內容
1 基本假設
基本假設包括: ① 每個數據擁有者的數據樣本都是獨立同分布的; ② 第三方服務器是誠實且好奇的節點; ③ 加入聯盟鏈的數據擁有者不會向非聯盟鏈成員泄露任何私有信息。
2 參與方
參與方包括: ① 包含惡意節點的 Ωm 個數據擁有者; ② 第三方服務器; ③ 密鑰管理中心(分發密鑰)。
3 聯盟鏈共識機制
聯盟鏈共識機制旨在維護聯盟鏈內部誠信參與者聯邦學習流程的穩定與高效運行。 同時,確保每位參與者的最終聚合結果貢獻都能得到公開、公正的展現。 該共識機制的具體設計步驟闡述如下。
1) 密鑰管理中心給 ?m 個聯盟鏈成員分發CKKS 同態加密密鑰對,設此公私鑰對為 (pk,sk) 。每一個聯盟鏈成員使用橢圓曲線加密算法生成獨有的公私鑰對,設成員 Ux 的本地公私鑰對為 ( lpkx ,lskx ) 。
2) 聯盟鏈成員使用以下 POW 算法選出聯盟鏈的領導者:在聯盟鏈網絡中給定一個難度值 H , 以及一個領導者區塊中包含的必要信息 leaderdata(例如公鑰 lpkx 、 時間戳、難度值、區塊編號等),競選領導者的成員計算滿足條件的 Nonce 值,使得兩次 SHA-256[17] 計算得到的值小于等于 H , 即
在 leaderdata 確定的情況下,不斷重復選取隨機數 Nonce, 直至找到滿足條件的 Nonce 值為止。當其中一位成員 Ux 第一個找到滿足條件的 Nonce值后,先用本地的私鑰 lskx 對區塊信息簽名,之后將這個區塊發布到聯盟鏈中。 由于存在惡意節點,其他成員會先對區塊的消息進行驗證,只有驗證成功才會認可成員 Ux 作為領導者。 領導者的職責在于發布聯邦學習過程中的關鍵信息以及將所有成員對模型聚合的影響權重打包進區塊后發布到聯盟鏈,這一過程均在其他成員的監督之下。 如果在聯邦學習結束之前這名領導者沒有出現掉線、作惡或者發布錯誤數據等行為,其他成員會保持對這名領導者身份的認可并且不會競選新的領導者。
3) 考慮到在聯盟鏈上發布的信息有被領導者擅自修改的風險,為了維護信息的真實性與安全性,聯盟鏈的成員被賦予隨時核查區塊鏈上信息的權力。 若在核查過程中發現領導者存在任何不端行為,則會啟動聯盟鏈分叉。 若成員 Ux′ 發現第 k 個區塊上的信息有誤, 那么其立刻執行步驟 2) 中的POW 算法,并在 leaderdata 中加入第 k 個區塊的相關信息進行分叉操作,進而重新生成領導者。
4 安全協議
安全協議執行步驟示意圖如圖 3 所示。
圖 3 安全協議執行步驟示意圖
Figure 3 Schematic diagram of security protocol execution steps

具體步驟如下。
1) 聯盟鏈成員利用本地數據集進行機器學習訓練,其中機器學習算法以及學習率、迭代次數等參數為提前商定好的內容。 在完成指定次數的迭代后,每位成員用 CKKS 公鑰 pk 加密本地梯度。 設成員 Ux 得到的梯度為
Gx=(gx1,gx2,…,gxn)
加密后的梯度為
。 之后,成員 Ux 用本地私鑰 lskx 對加密梯度簽名,并將簽名和加密梯度 [Gx] 發送第三方服務器。
2) 第三方服務器收到所有成員的加密梯度后先用成員的公鑰驗證簽名,之后在梯度中加入公鑰pk 加密后的符合拉普拉斯分布的噪聲保護梯度隱私。 設拉普拉斯分布的概率密度函數為

成員 Ux 的加密噪聲梯度為

最后,第三方服務器公開所有成員的加密噪聲梯度。
3) 聯盟鏈領導者下載所有成員的加密噪聲梯度并解密。 之后,從中選出每個梯度分量的中位數構成 benchmark 梯度,設 benchmark 梯度為

領導者將加密后的 benchmark 梯度 [C] 以及相關消息的簽名發布到聯盟鏈。
4) 服務器從聯盟鏈下載 benchmark 梯度 [C] ,為每位成員計算 [ax] ,

完成后向聯盟鏈成員公開 { [ ax ] } xm= 1。
5) 聯盟鏈領導者下載 {[ax]}x=1m 后先對其解密,之后計算每位成員的偏離權重,即

其中: Ax=max∣0,Ax-0.001} 。 領導者將公鑰 pk 加密后的偏離權重 {[Ax]}x=1m 以及相關消息的簽名發布到聯盟鏈。
6) 第三方服務器將生成的隨機數加入成員的加密梯度中。 設處理后的成員 Ux 的梯度為
rx[Gx]+dx , 其中 rx 和 dx 為生成的非零隨機數。 處理結束后, 第三方服務器公開所有成員的梯度
7) 聯盟鏈領導者下載
, 并按照如下方法計算每位成員的相關性權重 {B x}xm = 1。
(a) 計算成員 Ux 的 梯 度 與 benchmark 梯 度 的皮爾遜相關系數 ρx , 即

其中:
表示
的平均數;Avg(c) 表示 {c1,c2,…,cn} 的平均數。 因為


所以即使服務器用隨機數隱藏了真實的成員梯度,但最終得到的 ρx 依然是正確的。
(b) 增大普通成員與惡意成員之間的差距,為成員 Ux 賦 值 [ 15] ,即

(c) 計算相關性權重 {Bx}x=1m , 其中成員 Ux 的權重為

8) 領導者計算每位成員的總權重為

將這個結果加密后發布到聯盟鏈。
9 ) 第 三 方 服 務 器 從 聯 盟 鏈 下 載 數 據
, 用無噪聲的成員加密梯度與對應的權重值相乘得到
, 將這個結果向聯盟鏈公開,最后由領導者打包發布到聯盟鏈。
在結束步驟 9)后,聯盟鏈的所有成員需要從聯盟鏈下載最新的梯度數據,在私鑰 sk 解密后用梯度下降法更新本地模型,即

3 框架的隱私信息安全性分析
在本文場景中,隱私信息包括聯盟鏈成員的模型和私有數據。 針對以上信息,考慮 3 種竊取隱私的攻擊方法:1) 第三方服務器試圖通過接收到的中間信息反向推斷數據擁有方的隱私信息;2) 多個聯盟鏈成員之間合謀交換彼此獲得的信息,從而推斷出其他非合謀聯盟鏈成員的隱私信息;3) 非聯盟鏈成員通過發布在聯盟鏈上的信息推斷模型結果。 下面分別討論這 3 種攻擊方法對框架中的隱私信息是否產生影響。
對于第 1 種攻擊方法:在每一輪模型更新過程中,第三方服務器視圖中包含的信息有全體成員的加密梯度 {[Gx]}x=1m , 以 及 加 密 后 的 benchmark 梯度 [C] 、 偏 離 權 重 {[Ax]}x=1m 和 成 員 的 總 權 重{[Zx]}x=1m , 由于服務器沒有聯盟鏈的同態加密的私鑰,所以第三方服務器無法基于以上信息推斷出參與運算的數據樣本和模型的具體參數。
對于第 2 種攻擊方法:在每一輪模型更新過程中,合謀的聯盟鏈成員的聯合視圖中包含的信息有合謀成員的梯度、全體成員的噪聲梯度
、 參數 {ax}x=1m 、 帶有隨機數干擾的梯度
和相關性權重 {Bx}x=1m 。 由于第三方服務器在安全協議步驟 2)和步驟 6)中給不同的成員梯度加入了拉普拉斯噪聲以及不同的隨機數,所以合謀的成員無法根據以上信息推測出誠實參與方的具體梯度信息。
對于第 3 種攻擊方法:非聯盟鏈成員沒有同態私鑰,不僅無法得到任意一位成員的包括具體梯度數據和模型數據在內的隱私數據,而且無法判斷出任意成員對模型聚合的貢獻。
4 實驗結果與分析
硬件環境為搭載 Intel i9 13900k CPU、RTX4090顯卡以及 64 GB 內存的服務器。 實驗中應用的數據集 為 MNIST 和 Fashion-MNIST, MNIST 和 Fashion-MNIST 數據集所對應的學習率分別為 10-5 和 10-6 。
4. 1 投毒攻擊實驗
本節實驗測試的內容是聚合算法應對聯邦學習投毒攻擊的效果。 投毒攻擊的方法包括:1) 標簽反轉攻擊。 將選定的惡意成員的訓練集中的真實標簽值加 1(9 改為 0)。 2) 后門攻擊。 將選定的惡意成員的訓練集中的標簽全部改為 7,并按照圖 2 的方式在圖片中嵌入灰色長方形觸發器。 3) 模型投毒。每一輪本地訓練結束以后,將惡意成員的每個梯度分量與隨機數 θ 相加作為提交給第三方服務器的梯度
) 。
在以上相同條件下使用 PEFL 聚合算法[ 13] 作為對比算法。 圖 4 和圖 5 分別展示了在 MNIST 和Fashion-MNIST 數據集上,第 200 次到第 300 次迭代過程中聯邦學習框架對抗標簽反轉攻擊和后門攻擊的模型準確率,其中的惡意成員占總成員數量的40% 。 將惡意節點剔除后,由公式( 2) 所得模型被稱作“no poisoner”,該模型的準確率可認為是在有惡意成員的條件下聯邦學習聚合算法能夠達到的準確率極限。 從圖 4 和圖 5 中可以發現,在第 200 次迭代以后,模型準確率的變化趨于穩定,說明全局模型已經收斂,并且本文框架的準確率比 PEFL 算法更高,驗證了所提框架的有效性。
圖 4 在 MNIST 和 Fashion-MNIST 數據集上的標簽反轉攻擊Figure 4 Label-flipping attack on MNIST andFashion-MNIST datasets

圖 6 展示了本文框架和 PEFL 算法在 MNIST 和Fashion-MNIST 數據集上的模型投毒表現。 可以看出,面對模型投毒,PEFL 算法無法保證其性能的穩定性,但本文框架可以使全局模型幾乎不受模型投毒的影響。 這是由于本文框架不僅考慮了每位成員提交的梯度數據與 benchmark 梯度數據之間的相關性,同時也對成員提交的梯度數據偏離 benchmark梯度數據的距離進行限制,有效減弱了模型投毒對全局模型的影響。
圖 5 在 MNIST 和 Fashion-MNIST 數據集上的后門攻擊Figure 5 Backdoor attack on MNIST andFashion-MNIST datasets

圖 6 在 MNIST 和 Fashion-MNIST 數據集上的模型投毒Figure 6 Model poisoning on MNIST andFashion-MNIST datasets

4. 2 噪聲干擾實驗
文獻[18] 證明了用所有成員的梯度中位數可以實現聯邦學習模型的收斂, 4 小節的步驟 2) 和步驟 3)相當于在文獻[18] 的基礎上加入噪聲保護數據隱私。 由于使用噪聲有降低模型準確率的風險,所以本實驗目的在于驗證所提框架能否減小噪聲對模型準確率的干擾。
實驗數據集為 MNIST,聯盟鏈成員的本地機器學習算法為邏輯回歸。 聯盟鏈中一共有 5 位成員,其中沒有惡意成員。 在每一輪的訓練中,每位成員從本地隨機挑出 100 個圖片數據參與訓練,其余參數不變。 模型更新完成后,隨機取測試集中 1 000個圖片測試模型準確率。 拉普拉斯尺度參數( b) 對模型準確率的影響如圖 7 所示。 圖 7 中的 Med 曲線表示聯盟鏈領導者僅用 benchmark 梯度更新模型得到的準確率,而其余曲線則表示完整地執行本文框架實現梯度聚合及模型更新后的準確率。 從圖 7可以看出,如果直接使用 benchmark 梯度,那么梯度中的噪聲尺度參數越大,全局模型的準確率就會越低。 然而,相同情況下噪聲尺度參數的增大對本文提出的聚合算法影響較小,這是因為在本文框架中加入拉普拉斯噪聲的梯度只是為選出惡意梯度提供了一個參照,最后參與模型聚合的依然是“ 干凈” 的梯度。
圖 7 拉普拉斯尺度參數對模型準確率的影響Figure 7 The impact of Laplacian scale parameters onthe model accuracy

5 結語
針對當前聯邦學習模型在數據隱私保護與投毒攻擊防御方面的挑戰,本文提出了一種基于聯盟鏈的隱私保護聯邦學習計算框架。 該框架通過融入同態加密技術和拉普拉斯噪聲,確保在模型訓練過程中多方數據的隱私得到充分保護。 同時,借助聯盟鏈的共識機制和模型聚合算法,為各參與方動態分配梯度聚合權重,有效減輕了惡意節點對全局模型的負面影響,進而顯著提升了模型的魯棒性。 在 MNIST 和Fashion-MNIST 兩個基準數據集上的實驗結果表明,即便在惡意節點占比高達 40% 的情況下,所提框架依然能夠有效防御標簽反轉攻擊和后門攻擊。
參考文獻:
[1] 吳文泰,吳應良,林偉偉,等. 橫向聯邦學習: 研究現 狀、系統應 用 與 挑 戰 [ J] . 計 算 機 學 報,2025,48 ( 1) : 35-67. WU W T, WU Y L, LIN W W, et al. Horizontal federated learning: research status, system applications and open challenges[ J] . Chinese journal of computers,2025, 48(1) :35-67.
[2] FREDRIKSON M, JHA S, RISTENPART T. Model inversion attacks that exploit confidence information and basic countermeasures [ C ] ∥ Proceedings of the ACM SIGSAC Conference on Computer and Communications Security. New York: ACM Press, 2015: 1322-1333.
[3] BONAWITZ K, IVANOV V, KREUTER B, et al. Practical secure aggregation for privacy-preserving machine learning[ C] ∥Proceedings of the ACM SIGSAC Conference on Computer and Communications Security. New York: ACM Press, 2017: 1175-1191.
[4] ZHAO K, XI W, WANG Z, et al. SMSS: secure member selection strategy in federated learning[ J] . IEEE intelligent systems, 2020, 35(4) : 37-49.
[ 5] FANG H K, QIAN Q. Privacy preserving machine learning with homomorphic encryption and federated learning [ J] . Future internet, 2021, 13(4) : 94.
[6] MADI A, STAN O, MAYOUE A, et al. A secure federated learning framework using homomorphic encryption and verifiable computing[ C]∥ Proceedings of the Reconciling Data Analytics, Automation, Privacy, and Security. Piscataway:IEEE Press, 2021: 1-8.
[7] 劉振鵬, 陳杰, 王仕磊, 等. 基于聚類和壓縮感知的 高維數據發布算法[ J]. 學報( 理學版), 2023, 55(2) : 63-69. LIU Z P, CHEN J, WANG S L, et al. High dimensional data publishing algorithm based on clustering and compressed sensing [ J ] . Journal of Zhengzhou university ( natural science edition) , 2023, 55(2) : 63-69.
[8] BLANCHARD P, EL MHAMDI E M, GUERRAOUI R, et al. Machine learning with adversaries: Byzantine tolerant gradient descent[ C]∥Proceedings of the 31st International Conference on Neural Information Processing Systems. New York: ACM Press, 2017: 118-128.
[9] MHAMDI E M, GUERRAOUI R, ROUAULT S. The hidden vulnerability of distributed learning in Byzantium [ EB / OL ] . ( 2018-07-17 ) [ 2024-01-23 ] . https:∥doi. org / 10. 48550 / arXiv. 180 07927.
[ 10] XU C, JIA Y, ZHU L H, et al. TDFL: truth discovery based Byzantine robust federated learning [ J ] . IEEE transactions on parallel and distributed systems, 2022, 33(12) : 4835-4848.
[11] CHEN X H, JI J L, LUO C Q, et al. When machine learning meets blockchain: a decentralized, privacypreserving and secure design [ C ] ∥ IEEE International Conference on Big Data. Piscataway:IEEE Press, 2018: 1178-1187.
[ 12] MIAO Y B, LIU Z T, LI H W, et al. Privacy-preserving byzantine-robust federated learning via blockchain systems [ J] . IEEE transactions on information forensics and security, 2022, 17: 2848-2861.
[ 13] LIU X Y, LI H W, XU G W, et al. Privacy-enhanced federated learning against poisoning adversaries [ J ] . IEEE transactions on information forensics and security, 2021, 16: 4574-4588.
[ 14] CHEON J H, KIM A, KIM M, et al. Homomorphic encryption for arithmetic of approximate numbers [ C ] ∥International Conference on the Theory and Application of Cryptology and Information Security. Cham: Springer International Publishing, 2017: 409-437.
[ 15] YIN C Y, ZENG Q K. Defending against data poisoning attack in federated learning with non-IID data[ J] . IEEE transactions on computational social systems, 2024, 11(2) : 2313-2325.
[16] ZHANG X L, ZHANG H L, ZHANG G M, et al. Model poisoning attack on neural network without reference data [ J] . IEEE transactions on computers, 2023, 72 ( 10 ) : 2978-2989.
[17] DADDA L, MACCHETTI M, OWEN J. The design of a high speed ASIC unit for the hash function SHA-256 ( 384, 512 ) [ C ] ∥Proceedings of Design, Automation and Test in Europe Conference and Exhibition. Piscataway:IEEE Press, 2004: 70-75.
[18] CHEN Y D, SU L L, XU J M. Distributed statistical machine learning in adversarial settings: Byzantine gradient descent [ J ] . Proceedings of the ACM on measurement and analysis of computing systems, 2018,1( 2) : 44.