一種高效的聯邦學習隱私保護方案

宋 成,程道晨,彭維平

(河南理工大學 計算機科學與技術學院,河南 焦作 454003)

1 引 言

隨著處理器性能的不斷提升,機器學習在自動駕駛、虛擬現實、醫療診斷等眾多智能應用中發揮著重要作用。然而,傳統的機器學習方法將數據集中在一臺機器或中央服務器上,無法為用戶的個人隱私提供足夠的保護。雖然通過收集大量的用戶數據進行訓練能夠提升機器學習的性能,但是收集數據的同時不可避免的會導致用戶信息的隱私泄露,如患者病歷、行人軌跡、和社交網絡等。隨著公眾隱私保護意識的增強,越來越多的用戶不愿意向企業提供個人信息。因此,在充分發揮機器學習的潛力基礎上,如何確保用戶個人的數據隱私是一項意義深遠而又亟待解決的問題。為了解決這一問題,谷歌提出了聯邦學習(Federated Learning,FL)[1]的思想,即多個參與方在不共享原始數據的情況下協作訓練模型,進而避免個人數據隱私泄露,并有效解決數據孤島問題。

盡管聯邦學習避免將數據直接暴露給第三方,對于數據起著一定保護作用,但是聯邦學習場景下依然存在隱私泄露風險[2]。不可信服務器有權獲取每個參與者局部訓練模型的大量輔助知識[3](如模型結構、初始化參數等),WANG等[4]利用對抗生成網絡(Generative Adversarial Networks,GAN)通過在服務器部署多任務生成對抗網絡mGAN-AI,對數據的真偽、類別和歸屬用戶進行判別,利用更新值重構參與者的典型數據。ZHU等[5]發現惡意攻擊者根據部分更新的梯度信息能夠竊取原始訓練數據。因此,采用基于差分隱私(Differential Privacy,DP)[6]、安全多方計算(Secure Multi-party Computation,SMC)[7]和同態加密(Homomorphic Encryption,HE)[8]等技術保護梯度機密性的相關方案被提出。

差分隱私通過在本地模型訓練過程中對相關參數添加擾動,從而令攻擊者無法從用戶發布的信息中推導出用戶的隱私。但差分隱私添加的噪聲影響模型的精度,如何平衡模型精確度與保護隱私度是巨大的挑戰[9]。安全多方計算使聯邦學習可以在無可信第三方的情況下,互不信任的各方在不泄露其原始數據的情況下安全合作。但參與者之間需要進行多輪交互才能實現安全聚合,且不支持用戶退出,對于資源受限參與者無法承擔巨大的計算及通信壓力。同態加密在為數據的傳輸提供強有力的隱私保護的同時,還可確保模型與集中訓練的準確性一致。PHONG等[10]提出一種基于加法同態加密機制的聯邦學習隱私保護方案PPDL,方案由任意一個終端生成密鑰對并分享給其他終端,終端用公鑰對本地的梯度加密上傳,中心服務器對密文加法同態計算后下發,終端利用私鑰解密獲得更新的全局梯度。該方案是聯邦學習通用的同態加密方案[11],適用于Paillier等多種非對稱同態加密機制。

聯邦學習在分布式參與者交互過程中,每個參與者需在本地周期上傳完整的梯度更新。由于機器學習通常基于復雜的深度神經網絡,梯度更新可能產生巨量參數,使得聯邦學習通信開銷大幅提高。尤其在隱私保護相關的實際應用中,資源受限的設備難以承受加密運算帶來的額外計算開銷[12]。為了解決同態加密運算所帶來的通信效率問題,ZHANG等[13]利用中國剩余定理(Chinese Remainder Theorem,CRT)首先對模型梯度進行壓縮,然后采用Paillier同態加密算法加密后上傳服務器;盡管方案通信效率有所提升,但壓縮操作會為參與者帶來額外的計算開銷,且模型收斂速度下降。ASAD等[14]為了實現通信成本最小化,將CMFL[15]中的梯度選擇機制和基于非交互式零知識證明的同態加密系統相結合,提出一種通信高效的同態加密聯邦學習方案CEEP-FL;盡管方案通信次數明顯減少,但選定的客戶端仍會上傳完整的模型更新參數,通信量并未降低。

綜上所述,當前在聯邦學習環境中應用隱私保護方法存在以下幾個問題:

(1) 聯邦學習中應用差分隱私等方法的模型準確率容易受到影響。

(2) 簡單地將隱私保護技術,例如安全多方計算、同態加密等,應用到聯邦學習中可能產生大量額外的通信開銷。

(3) 資源受限的本地設備使得聯邦學習的隱私保護方法有待于進一步降低計算成本。

針對以上問題,筆者提出了一種基于同態加密的高效安全聯邦學習隱私保護方案,通過優化Paillier同態加密方案,將大指數模運算和指數乘法運算化為簡單的基本操作,減少加密階段的運算時間。同時設計一種梯度過濾壓縮算法,過濾掉收斂趨勢不相關的本地更新,并采用計算可忽略的壓縮操作符量化更新參數以減少通信開銷。主要貢獻如下:

(1) 通過優化Paillier同態加密算法,在不降低安全性的前提下將加密階段的大指數模乘法運算簡化為基本運算,提高算法效率,進而提高資源受限環境下聯邦學習隱私保護方案的性能。

(2) 通過將梯度選擇與自然壓縮算子相結合,設計一種梯度過濾壓縮算法,過濾掉收斂趨勢不相關的本地更新,并采用計算可忽略的壓縮操作符量化更新參數以減少通信開銷,在減少通信次數的同時降低通信開銷。

(3) 對方案的正確性及安全性提供了形式化的證明和分析,在常用數據集上進行的圖像分類實驗結果表明,與近期最新的相關算法[14]和同態加密基線算法[10]相比,文中的算法實現了通信效率、隱私保護及模型準確率三者的有效平衡。

2 預備知識

2.1 聯邦學習

聯邦學習的思想是首先通過中央服務器將用于訓練本地數據集的全局模型發送到分布式客戶端,客戶端利用本地數據對模型進行訓練,然后將訓練后的模型參數返回到中央服務器;中央服務器接收到來自分布式客戶端的本地訓練的模型參數后更新全局模型參數,再將更新的全局模型參數發送到客戶端。重復以上訓練過程,直到模型完成收斂。

聯邦學習通過將訓練階段分布到多個參與者中,從而實現去中心化的機器學習服務。本地化的模型訓練避免了用戶將自己的數據暴露給企業或者其他參與方,使聯邦學習在客戶端數據隱私保護方面具有明顯優勢。聯邦學習架構如圖1所示,在一次完整的訓練過程中,中心服務器首先將初始全局模型傳輸給多個客戶端;客戶端收到全局模型后,使用本地訓練數據集來訓練局部模型;然后客戶端將他們的本地更新參數上傳到中央服務器;最后中央服務器進一步聚合和平均,以獲得新的全局模型。

圖1 聯邦學習架構

2.2 Paillier同態加密

文中通過優化Paillier同態加密,在確保整個聯邦學習過程的機密性和安全聚合的基礎上,減少運算量,提高算法效率。Paillier密碼系統描述如下。

ENC:對任意明文m∈Zn,隨機生成一個數字r,滿足gcd(r,n)=1,計算密文c=gm·rnmodn2。

DEC:給定聚合密文c對應的聚合明文為m=μ·L(cλmodn2)modn。

2.3 自然壓縮

自然壓縮[16]是一個基于隨機對數舍入的函數Cnat:RR,Cnat(0)=0。當x≠0時,假設α滿足2≤|x|=2α≤2,則

(1)

3 方案概述

圖2 文中方案系統模型

3.1 系統模型

方案包括初始化、模型訓練、加密、聚合、全局模型更新5個階段,由密鑰生成中心(Key Generation Center,KGC)、服務器和客戶端3個實體組成,如圖2所示。實體功能如下。

密鑰生成中心:獨立可信的機構,負責分發和管理所有的公鑰和私鑰。

服務器:負責接收用戶提交的所有梯度,并對其進行聚合,從而獲得優化的全局模型。

客戶端:在服務器的協調下協作訓練統一的模型。每個客戶端首先在設備上的私有數據上訓練本地模型,然后將加密的梯度上傳到服務器。

3.2 威脅模型

文中方案的安全模型假設中心服務器是不受信任(誠實且好奇)的對手,而所有的參與者都被視為受信任的實體。誠實且好奇的服務器意味著它將忠實地遵循設計的聯邦學習協議,但試圖從每個用戶的本地更新推斷私人信息。由于不受信任的服務器可推斷出每個參與者的本地梯度中的敏感信息,因此針對不受信任的服務器需提供強大的隱私保障。

4 方案設計

4.1 Paillier同態加密算法優化

gm=(1+n)?mβmnmodn2=(1+?mn)modn2。

(2)

顯然,計算量大的大指數冪模運算可轉化為計算量小的多項式模運算。根據式(2)和卡邁克爾定理,Paillier加密的密文c=(1+n)?mβmnrnmodn2=(1+?mn)rnmodn2可改寫為

c=(1+n)?mβmnrnmodn2=(1+?mn)rnmodn2,

(3)

其中,rnmodn2可以在密鑰分配階段提前計算。同理可得,μ=L(gλmodn2))-1modn=L(1+?λnmodn2)-1modn=(?λ)-1modn。由于加密階段的?可在解密階段消去,因此Paillier同態加密算法可優化如下。

ENC:對任意明文m∈Zn,隨機選擇一個v,計算c=(1+mn)·v。

DEC:給定聚合的密文c,對應的聚合明文為m=L(cλmodn2)bmodn。

4.2 梯度過濾壓縮算法設計

本節設計一種梯度過濾壓縮算法,首先計算全局更新與局部更新參數的相關性。梯度相關性公式為

(4)

相關性越高,局部更新就越遵循全局優化方向;相關性越低,局部更新就越不會對全局優化造成影響。通過設置閾值,阻止客戶端上傳不相關的本地更新,減少不必要的通信開銷,同時降低對模型準確性的影響。為了進一步降低通信成本,使用自然壓縮算子對過濾后的梯度執行壓縮。 梯度過濾壓縮算法實現如下:

梯度過濾壓縮算法

輸入:客戶端索引i,更新梯度gt+1,原始梯度gt,相關性閾值H

① 根據式(4)計算e(gt+1,gt)

② ife(gt+1,gt)≤H

③ return null

④ else

文獻[16]證明自然壓縮算子Cnat的方差只有1/8,因此幾乎不會影響模型收斂速度。梯度過濾壓縮算法僅選擇強相關的梯度更新,提高了模型收斂速度,每次梯度更新再通過自然壓縮算子量化,從而減少了通信開銷。

4.3 基于同態加密的隱私保護方案

4.3.1 系統初始化階段

步驟1 KGC負責分發和管理所有的公鑰和私鑰(pk,sk)。KGC通過運行優化后的Paillier同態加密的KeyGen算法,生成公鑰/私鑰對(pk,sk)={(n),(λ,b)}。

步驟2 KGC廣播公鑰pk,并將私鑰sk和系統參數v通過安全通道發布給客戶端。

步驟3 服務器將系統參數params={B,E,H,η,w}發布給客戶端。

4.3.2 模型訓練階段

客戶端i基于本地數據集,通過運行隨機梯度下降(Stochastic Gradient Descent,SGD)算法訓練本地模型,并運行梯度過濾壓縮算法。具體步驟如下:

步驟2 客戶端i執行梯度過濾壓縮算法,計算下一輪通信局部模型更新相關性e(gt+1,gt),如果e(gt+1,gt)≤H,返回步驟1;否則,執行步驟3。

4.3.3 加密階段

4.3.4 聚合階段

設mt+1為第t+1輪通信的抽樣參與者總數。服務器收到mt+1加密更新后,首先計算聚合結果:

4.3.5 全局模型更新階段

5 方案分析

5.1 正確性分析

定理1優化后的Paillier密碼算法滿足解密正確性。

證明:將加密公式代入,可得

Dec(c)=L(cλmodn2)bmodn=
L(((1+mn)rnmodn2)λmodn2)bmodn=
L((1+mn)λrλnmodn2)bmodn。

根據卡邁克爾定理[18]有rλn=1 modn2,可得Dec(c)=L((1+mn)λmodn2)bmodn,高階多項式按二項式定理展開并代入L(u),b,得Dec(c)=L((1+λmn) modn2)bmodn=(λm)λ-1modn=m。因此,優化后的Paillier密碼算法滿足解密正確性。

定理2改進的Paillier密碼系統滿足加法同態性。

那么,Enc(x)?Enc(y)=Enc(x+y)成立。解密過程可以通過相同的方法獲得,即Dec(Enc(x)?Enc(y))=x+y。

5.2 安全性分析

5.2.1 不可區分性

選擇明文攻擊(Chosen Plaintext Attack,CPA):對于Paillier同態加密方案,考慮挑戰者C與攻擊者A之間的如下博弈。

初始階段:首先挑戰者C運行系統初始化獲取系統公共參數,并運行秘鑰生成算法生成公私鑰對(pk,sk);然后將系統公共參數和公鑰發送給攻擊者A。

挑戰階段:首先攻擊者A選擇兩個長度相同的明文m0,m1,并將它們提交給挑戰者C;然后挑戰者C隨機選取b∈{0,1},計算C*=ENC(pk,mb),將密文C*發送給攻擊者A。b對攻擊者A保密,攻擊者A輸出b′∈{0,1}作為對b的猜測;如果b′=b,則攻擊者A贏得該博弈。

定理3如果攻擊者A在多項式時間內以可忽略的概率贏得該博弈,即優勢

(5)

則在λ中可以忽略。方案滿足選擇明文攻擊下的不可區分性。

(6)

5.2.2 數據隱私性

惡意攻擊者可通過竊取用戶之間交換的數據分析推斷用戶的隱私信息。由于Paillier算法能夠實現用戶的隱私保護,因此,需證明優化后的Paillier算法與原Paillier算法安全性等價。

定理4優化后的Paillier密碼算法與原Paillier算法的語義安全性是等價的。

證明:對任意明文m∈Zn,根據二項式定理得到優化后的密文c1=(1+n)mrnmodn2=(1+mn)rn·modn2,原Paillier算法的密文為c2=gmrnmodn2。由2.1節可知,g可分解為1+n,由于二者均為判斷模n2的剩余問題,因此,將上面兩密文恢復明文具有相同的難度,即優化后的Paillier算法和原本的Paillier算法具有相同的安全性。

5.2.3 模型安全性

6 實驗結果

實驗環境為:Ubuntu18.04系統,Intel(R)Core(TM) i7-7700HQ CPU @ 2.80 GHz,GTX 1050Ti GPU,16 GB RAM,使用Pytorch 1.10.0框架訓練聯邦學習模型,并使用gmpy2 python擴展模塊實現Paillier加密。網絡結構采用由3個3×3的卷積層、2個全連接層組成的卷積神經網絡(Conventional Neural Network,CNN)。實驗數據集采用一個包含60 000個訓練樣本和10 000個測試樣本的手寫數據集MNIST,每個樣本是一個28×28的灰度數字圖像。聯邦學習中的超參數設置如表1所示。

表1 聯邦學習超參數設置

6.1 準確率

模型準確率是衡量模型性能的重要指標之一。為了檢驗文中方案對計算結果準確性影響的優勢,在表1所示的相同超參數下,將文中方案與相關方案的準確率相比較。

如圖3所示,在MNIST數據集上,FedAvg算法[1]作為原始聯邦學習算法的準確率約為97.6%,DP-FL算法[20]由于在訓練時向參數添加高斯噪聲,導致模型準確率降低至約92.9%,PPDL算法[10]使用Paillier同態加密保護模型參數,算法的準確率達到約97.3%,與FedAvg算法的準確率接近。CEEP-FL算法[14]使用非交互式零知識證明同態加密機制NIZKP-HC和梯度更新過濾機制,阻止上傳與協作收斂趨勢不相關的本地更新,因此模型收斂效率進一步提高,最終模型準確率達到約98.1%。本方案使用改進的Paillier同態加密保護更新參數,設計一種梯度過濾壓縮算法,剔除每次更新過程中優化方向與全局優化方向不相關的梯度,模型準確率達到約97.9%。盡管略遜于文獻[14],但本方案通過梯度過濾壓縮算法,模型收斂速度得到明顯提升。

(a) 準確率對比

(b) 圖(a)局部細節放大圖

6.2 通信開銷

通信開銷是聯邦學習的瓶頸之一。為了檢驗文中方案通信開銷的優勢,實驗比較不同算法在相同數量的客戶端環境下的通信開銷。文中實驗將基于加密的聯邦學習方案PPDL算法[10]和CEEP-FL算法[14]作為對比方案,其中模型更新參數由雙精度浮點數格式表示。如圖4所示,在一輪全局更新中,隨著模型權重的增加,由于PPDL算法和CEEP-FL算法首先對所有明文參數同態加密,然后上傳服務器,因此二者有著較高的通信開銷。該方案通過自然壓縮算子將密文進行量化在上傳服務器,相比PPDL算法減少約70%的通信量。

圖4 不同方案的通信開銷對比

表2給出了在給定模型精度下不同方案的具體通信開銷。當模型精度在MNIST數據集中達到約95%時,PPDL算法每個客戶端通信開銷約276.48 MB,而CEEP-FL算法由于減少了通信次數,將通信開銷減少到約224.64 MB。文中方案不僅過濾不相關的梯度更新減少通信次數,而且使用自然壓縮算子量化密文,通信開銷僅約有172.84 MB。

表2 每個客戶端達到目標精度所需的通信開銷 MB

6.3 計算開銷

如圖5所示,將文中方案與原始Paillier同態加密算法PPDL[10]和基于非交互式零知識證明的同態加密算法CEEP-FL[14]在不同長度密鑰下的運行時間進行比較。由于PPDL算法和CEEP-FL算法的加密操作都需要兩次大素數指數模乘法運算和一次模乘法運算,而文中方案只需要兩次基本運算,因此本方案的加密時間相對較小,且隨著密鑰長度的增加,文中方案的優勢更加明顯。對比解密時間,PPDL算法和CEEP-FL算法的解密操作都需要兩次較大的大素數指數模乘法運算和3次模乘法運算,而文中方案只需要一次較大的大素數指數模乘法運算和兩次模乘法運算,略顯優勢。

(a) 加密時間

(b) 解密時間

7 結束語

針對聯邦學習中的數據隱私保護的安全與效率問題,通過改進Paillier同態加密算法,并設計一種梯度過濾壓縮算法,提出了一種安全高效基于同態加密的聯邦學習隱私保護方案。由于將加密階段的大指數模乘法運算簡化為基本運算,減少了本地加密運算所需的計算成本;同時,通過梯度過濾壓縮算法對更新參數進行過濾壓縮,有效地降低了通信開銷。安全性分析表明,方案具有不可區分性、數據隱私性和模型安全性等特性。實驗結果顯示,文中方案在模型準確率、通信開銷和計算開銷方面具有明顯優勢。