基于生成式對抗網(wǎng)絡的聯(lián)邦學習激勵機制

余孫婕，曾 輝，熊詩雨，史紅周

（1.移動計算與新型終端北京市重點實驗室（中國科學院計算技術研究所），北京 100190；2.中國科學院大學 計算機科學與技術學院，北京 100190）

0 引言

在新一代人工智能技術的催化下，數(shù)據(jù)作為重要的生產要素發(fā)揮著越來越重要的作用［1］。“數(shù)據(jù)二十條”提出數(shù)據(jù)資源持有權、數(shù)據(jù)加工使用權和數(shù)據(jù)產品經營權“三權分置”的數(shù)據(jù)產權制度框架，在安全方面對數(shù)據(jù)共享提出新的要求［2］。2016 年，Google 為應對數(shù)據(jù)共享與隱私安全之間日益激化的矛盾，首次提出了數(shù)據(jù)安全共享的新思路，即聯(lián)邦學習［3］。數(shù)據(jù)保留在本地物理域中，參與節(jié)點使用自身數(shù)據(jù)分別訓練本地模型，并共同建立聯(lián)合模型。數(shù)據(jù)所有者的數(shù)據(jù)資源持有權和數(shù)據(jù)加工使用權均不受侵害，依托數(shù)據(jù)產品經營權的轉讓委托獲取收益，緩沖了數(shù)據(jù)共享與隱私安全之間的矛盾，為打通“數(shù)據(jù)孤島”提供新范式，也為數(shù)據(jù)驅動型產業(yè)帶來了新的解決方案。聯(lián)邦學習概念一經提出，便得到了眾多關注，目前已在多個領域得到應用，如智慧醫(yī)療［4］、智慧城市［5］、金融［6］和智能工業(yè)［7］等；但聯(lián)邦學習仍面臨著眾多挑戰(zhàn)。聯(lián)邦學習系統(tǒng)通常假設所有參與節(jié)點會誠實且積極地參與聯(lián)邦學習，但由于不同的參與節(jié)點往往擁有不同數(shù)據(jù)量、不同數(shù)據(jù)質量的數(shù)據(jù)，不同參與節(jié)點對于最終全局模型的貢獻度不同，因此在公平激勵環(huán)境中，擁有高數(shù)據(jù)量和高數(shù)據(jù)質量的參與節(jié)點的參與積極性較低，假設難以成立。特別地，在非獨立同分布數(shù)據(jù)場景中，參與節(jié)點的貢獻度更難衡量。在本地模型訓練的過程中存在算力、帶寬等多種資源的消耗。如果缺乏公平合理的激勵機制，參與節(jié)點，特別是擁有高質量數(shù)據(jù)的參與節(jié)點參與聯(lián)邦學習任務的積極性難以保證，將嚴重影響聯(lián)邦學習效果和系統(tǒng)穩(wěn)定性。

Zhan 等［8］提出聯(lián)邦學習中的激勵機制設計的兩個重要目標：一是評估參與節(jié)點貢獻，二是設計合理的回報吸引更多的參與節(jié)點。第一個目標從中央節(jié)點出發(fā)，目的是通過提供最低的回報獲得更高的學習性能；第二個目標從參與節(jié)點出發(fā)，目的是獲得一個公平、有回報且安全可信的聯(lián)邦學習環(huán)境。聯(lián)邦學習系統(tǒng)通常對于隱私安全有較高的要求，深度學習常規(guī)模型性能指標，如精度、召回率、F1-Score 等，由于測試數(shù)據(jù)集的缺失難以評估，因此中央節(jié)點難以準確構建每個參與節(jié)點的貢獻模型。

現(xiàn)有對參與節(jié)點貢獻模型的研究可以按數(shù)據(jù)源的不同分為以下三類：節(jié)點行為驅動、模型驅動和數(shù)據(jù)驅動。

節(jié)點行為驅動型貢獻度評估方法使用參與節(jié)點歷史行為、參與節(jié)點對自身數(shù)據(jù)集的評估等數(shù)據(jù)計算參與節(jié)點在聯(lián)邦學習任務中的貢獻度，以基于博弈論的拍賣理論［9］、Stackelberg 博弈［10］、深度強化學習［11］等方法為代表。Zeng等［9］在聯(lián)邦學習場景下提出了多維激勵框架FMore，該框架使用博弈論為參與節(jié)點推導最優(yōu)策略，并使用預期效用理論為中心節(jié)點評估參與節(jié)點貢獻度，以此作為選擇最優(yōu)的參與節(jié)點依據(jù)訓練模型。基于博弈論的貢獻度評估方法通常要求參與節(jié)點誠實提交自身參數(shù)，包括數(shù)據(jù)量、數(shù)據(jù)質量和帶寬等，但在實際場景中，為了獲取高額傭金，參與節(jié)點可能謊報自身參數(shù)。深度強化學習需要部署深度強化學習智能體以確定最優(yōu)策略，深度強化學習智能體的訓練過程依賴于環(huán)境的大量交互信息，存在巨大的計算開銷，而聯(lián)邦學習常應用于邊緣計算，難以承受深度強化學習帶來的計算成本。

模型驅動型貢獻度評估方法使用模型參數(shù)、梯度等數(shù)據(jù)計算參與節(jié)點在聯(lián)邦學習任務中的貢獻度，以模型余弦相似度［12］等方法為代表。Xu 等［12］提出了一個公平且穩(wěn)定的聯(lián)邦學習框架RFFL（Robust and Fair Federated Learning），該框架使用參與節(jié)點本地模型與聯(lián)合模型的余弦相似度確定參與節(jié)點的聲譽值，通過聲譽值迭代計算參與者的貢獻，并向參與節(jié)點提供與它的貢獻相稱的獎勵。但是，模型驅動型貢獻度評估方法假設與聯(lián)合模型具有相似模型參數(shù)的模型提供了更多的貢獻。首先，深度神經網(wǎng)絡的模型參數(shù)易受擾動，基于模型參數(shù)的模型相似度評估難以確保準確性；其次，在非獨立同分布數(shù)據(jù)場景下，參與節(jié)點持有不同數(shù)據(jù)分布的數(shù)據(jù)，它的模型參數(shù)的分布也不一致，僅依賴模型相似性難以評估該場景下參與節(jié)點的貢獻度。

數(shù)據(jù)驅動型貢獻度評估方法使用真實數(shù)據(jù)計算參與節(jié)點在聯(lián)邦學習任務中的貢獻度，以Shapley 值［13］等方法為代表，Shapley 值通過邊際收益衡量每個參與節(jié)點的貢獻。Wang 等［13］針對橫向聯(lián)邦學習，每次刪除某一參與節(jié)點提供的本地模型并重新訓練模型，計算新模型與原模型之間的差異作為該參與節(jié)點的貢獻度；針對縱向聯(lián)邦學習，考慮到每一個參與節(jié)點都擁有一部分特征空間，使用Shapley 值計算分組特征的重要性，以衡量每個參與方的貢獻度。但是，數(shù)據(jù)驅動型貢獻度評估方法依賴高質量、大數(shù)據(jù)量的測試集數(shù)據(jù)，而在聯(lián)邦學習場景下，中心節(jié)點通常不具備該條件，同時，出于聯(lián)邦學習對數(shù)據(jù)隱私的保護，中心節(jié)點難以大量采樣來自各參與節(jié)點的數(shù)據(jù)。

本文首先提出一種基于生成式對抗網(wǎng)絡（Generative Adversarial Network，GAN）的聯(lián)邦學習激勵機制，采用GAN在保證數(shù)據(jù)隱私安全的同時生成大量高質量測試數(shù)據(jù)，該過程透明、可審計，為參與聯(lián)邦學習任務的節(jié)點提供公平的貢獻度評估方法。其次，采用兩階段Stackelberg 博弈對激勵機制建模分析。最后，分析并驗證了所提方法的安全性和可行性。

1 準備工作

1.1 聯(lián)邦學習

聯(lián)邦學習通過多個參與節(jié)點合作的方式提供分布式機器學習解決方案，允許原始數(shù)據(jù)保存于用戶本地，僅將模型上傳至中央節(jié)點，以構建全局模型。隨著用戶日益對隱私的重視和法律法規(guī)對隱私數(shù)據(jù)使用的限制，聯(lián)邦學習在避免隱私問題、減少服務端數(shù)據(jù)存儲開銷的同時，極大地提高了數(shù)據(jù)的利用率，對于智能邊緣服務，如智能醫(yī)療等場景，具有極高的吸引力。集中式聯(lián)邦學習框架流程如圖1 所示。具體流程共分為5 個環(huán)節(jié)，分別為：1）中心節(jié)點初始化聯(lián)合模型，并調度指定參與節(jié)點參與聯(lián)邦學習任務；2）參與節(jié)點下載聯(lián)合模型；3）參與節(jié)點利用本地數(shù)據(jù)訓練本地模型；4）參與節(jié)點上傳本地模型；5）中心節(jié)點使用聚合器根據(jù)指定聚合算法對本地模型聚合，得到聯(lián)合模型。

圖1 集中式聯(lián)邦學習框架流程Fig.1 Process of centralized federated learning framework

聯(lián)邦學習的總體目標定義為最小化聯(lián)合模型的損失函數(shù)，即：

1.2 生成式對抗網(wǎng)絡

Goodfellow 等［14］基于零和博弈和對抗訓練，為解決生成建模問題提出了GAN。GAN 在視覺［15］和圖像［16］領域表現(xiàn)出卓越的性能，目前被廣泛應用于自然語言處理［17］等任務。GAN 由1 個生成器（Generator，G）和1 個判別器（Discriminator，D）構成：生成器以學習真實數(shù)據(jù)分布為目標，輸入隨機噪聲z，輸出生成圖片g(z)；判別器以正確識別是否真實數(shù)據(jù)為目標，輸入服從真實數(shù)據(jù)分布的采樣數(shù)據(jù)x，輸出是真實數(shù)據(jù)的概率D(x)。生成器G 和判別器D 共同訓練達到納什均衡。GAN 目標函數(shù)可以描述為如下：

在給定生成器G 的情況下，目標函數(shù)L(D，G)在

處取到最小值，即為判別器最優(yōu)解，其中pdata(x)為真實數(shù)據(jù)分布，pg(x)為生成器數(shù)據(jù)分布。

GAN 結構如圖2 所示。

圖2 GAN結構Fig.2 Structure of GAN

現(xiàn)有的針對基于GAN 的聯(lián)邦學習樣本生成策略［18-19］通常采用分布式部署GAN 的方法實現(xiàn)，但分布式部署的GAN生成器難以避免地暴露本地數(shù)據(jù)樣本的真實分布，難以保障參與節(jié)點的數(shù)據(jù)隱私安全。

2 方案設計

2.1 融合訓練模型的生成式對抗網(wǎng)絡

本文基于GAN 實現(xiàn)融合訓練模型的生成式對抗網(wǎng)絡（GAN with Trained model，GANT）。聯(lián)合模型通過真實數(shù)據(jù)訓練得到，將聯(lián)合模型作為影響判別器的一個重要因素，可以緩解由于采樣特征數(shù)據(jù)的數(shù)據(jù)量不足帶來的生成器難收斂和精度不足的問題。與GAN 算法的訓練機制類似，GANT算法的訓練機制同樣分為兩個部分：固定生成器G 優(yōu)化判別器D 和固定判別器D 優(yōu)化生成器G。

1）固定生成器G 優(yōu)化判別器D。

對于任意輸入x，聯(lián)合模型對該輸入為偽造樣本的評估值為：

其中：Ce為數(shù)據(jù)標簽的獨熱編碼集合，c為數(shù)據(jù)標簽的獨熱編碼，M(x)為聯(lián)合模型M輸入數(shù)據(jù)x產生的輸出。Y(x)的值越接近0，表示x越有可能為真實樣本；Y(x)的值越大，表示x越有可能為偽造樣本。

判別器D 的訓練數(shù)據(jù)將采樣自真實數(shù)據(jù)分布pdata(x)的數(shù)據(jù)x標注為1 -αY(x)，其中，α∈[0，1]為聯(lián)合模型對真實樣本的影響因子；采樣自生成器生成數(shù)據(jù)分布pg(x)的數(shù)據(jù)g(z)標注為μ-βY(g(z))，其中，β∈[0，1]為聯(lián)合模型對偽造樣本的影響因子，μ∈[0，1]表示偽造樣本的上界。

由于Y(?)是稠密的，GANT 采用均方誤差評估判別器D的損失，它的目標函數(shù)表示為：

將(D，G)映射在連續(xù)空間上，即

對YD-1(x) 做一階項近似，令y=D(x)，因此有YD-1(D(x)) =YD-1(y) =ay+b，a、b為一階項和常數(shù)項對應系 數(shù)，令對于任意非零實數(shù)∈[0，1]，有

判別器D 的最優(yōu)值不僅與pdata(x)和pg(x)的比值相關，而且與聯(lián)合模型相關。當a=0，b=0，μ=0 時，即將來源于生成器生成數(shù)據(jù)分布pg(x) 的數(shù)據(jù)標記為與GAN 模型一致。

2）固定判別器D 優(yōu)化生成器G。

生成器G 的目標是盡可能阻止判別器D 區(qū)分來自真實數(shù)據(jù)分布的數(shù)據(jù)和來自生成器生成的數(shù)據(jù)，因此，它的目標函數(shù)為最大化判別器D 損失函數(shù)，即

因此，GANT 結構如圖3 所示，GANT 目標函數(shù)可以描述為：

圖3 GANT結構Fig.3 Structure of GANT

2.2 基于生成式對抗網(wǎng)絡的聯(lián)邦學習貢獻度評估算法

本文基于融合訓練模型的GAN 實現(xiàn)聯(lián)邦學習的貢獻度評估算法。本文算法利用GANT 的生成器G 生成大量仿真特征樣本g(z)，使用聯(lián)合模型過濾高質量特征樣本，過濾條件如下：

其中：Mk表示參與節(jié)點k的本地模型，acc(Mk，)表示Mk使用數(shù)據(jù)集的精度，F(xiàn)k，i表示參與節(jié)點k本地數(shù)據(jù)集中數(shù)據(jù)標簽為第i類數(shù)據(jù)標簽的數(shù)據(jù)所占百分比，n表示參與節(jié)點k本地數(shù)據(jù)集中所擁有的數(shù)據(jù)標簽關于總標簽的百分比。

基于GAN 的聯(lián)邦學習貢獻度評估算法偽代碼如下所示。

算法1 基于GAN 的聯(lián)邦學習貢獻度評估算法。

2.3 基于兩階段Stackelberg博弈的聯(lián)邦學習激勵機制

本文基于兩階段Stackelberg 博弈實現(xiàn)聯(lián)邦學習激勵機制。為了更好地描述激勵模式，首先劃分參與聯(lián)邦學習任務的實體，將參與聯(lián)邦學習任務的實體分為參與節(jié)點和請求節(jié)點兩類：1）參與節(jié)點，擁有相關數(shù)據(jù)集，并參與聯(lián)邦學習任務的實體；2）請求節(jié)點，發(fā)布聯(lián)邦學習任務的實體。

本文從資源配置和激勵機制角度對參與節(jié)點和請求節(jié)點構建效用模型，如下所示：

1）參與節(jié)點效用模型。

假設參與節(jié)點k單位時間最大CPU 周期數(shù)為，參與模型訓練任務花費的單位時間CPU 周期數(shù)為qk(qk≤)。模型訓練總共e輪，參與節(jié)點k擁有Dk個batch 塊數(shù)據(jù)，每個batch塊花費的CPU 周期數(shù)為dk。參與節(jié)點k參與模型訓練任務需要的總CPU 周期數(shù)為μk=edkDk，花費的時間開銷為Tk=，其中，Tk'為總時間開銷的上限。

為了鼓勵參與節(jié)點積極參與聯(lián)邦學習任務，請求節(jié)點將為參與節(jié)點提供獎勵。假設參與節(jié)點k參與模型訓練任務單位時間獎勵為pk，參與節(jié)點k參與聯(lián)邦學習獲得的獎勵為Rk=Tkpk。

根據(jù)能耗模型［20］計算得到參與節(jié)點k的計算開銷為，其中ρk與參與節(jié)點的硬件架構相關。參與節(jié)點的總體開銷為其中ξ>0 表示計算開銷折算的成本因子。參與節(jié)點的效用模型表示如下：

2）請求節(jié)點效用模型。

其次，根據(jù)實體效用模型可知，參與節(jié)點k根據(jù)請求節(jié)點的獎勵提供計算能力和隱私數(shù)據(jù)完成聯(lián)邦學習任務，即參與節(jié)點k單位時間獎勵pk決定單位時間CPU 周期數(shù)為qk，因此本文將參與節(jié)點與請求節(jié)點之間的交互表述為兩階段Stackelberg 博弈。其中，階段一請求節(jié)點基于預算和消耗的總CPU 周期數(shù)μk，通過最大化自身效用為每個參與節(jié)點設置單位時間獎勵pk；階段二參與節(jié)點在收到單位時間獎勵pk后通過優(yōu)化自身效用確定相應的計算能力qk。具體分析如下：

1）階段二：優(yōu)化參與節(jié)點效用。

基于對參與節(jié)點的效用模型和兩階段Stackelberg 博弈問題表述，參與節(jié)點k的目標函數(shù)表示如下：

2）階段一：優(yōu)化請求節(jié)點效用。

基于對請求節(jié)點的效用模型和兩階段Stackelberg 博弈問題表述，代入?yún)⑴c節(jié)點k的最優(yōu)策略請求節(jié)點的目標函數(shù)表示如下：

其中：約束條件1 表示請求節(jié)點對任意參與節(jié)點的收益非負；約束條件2 中表示對參與節(jié)點k的獎勵預算，由請求節(jié)點的總預算R和貢獻度評估算法共同決定；約束條件3 表示單位時間獎勵非負。令即請求函數(shù)的目標函數(shù)表示如下：

最后，總結基于兩階段Stackelberg 博弈的聯(lián)邦學習激勵機制偽算法如算法2 所示。

算法2 激勵機制算法。

對他人和自己文章的再書寫不應當只是簡單的抄寫。要使書法創(chuàng)作高質圓滿，對文章閱讀、認識乃至再創(chuàng)作，尤其對文章時空情緒的體認和把握是非常關鍵的。當然，書者要有高超的書技和過硬的基本功是前提。在這個前提下，書法行為所達到的高質就取決于上述那個關鍵了。對文章時空情緒的體認程度和再創(chuàng)造、再感染程度越高，就越能提升書法行為的秩序化程度，從而提升作品質量。

3 安全性分析

本文將從數(shù)據(jù)采集、數(shù)據(jù)生成、節(jié)點標記、數(shù)據(jù)存儲和過程審計5 個方面分析激勵機制安全性。

1）數(shù)據(jù)采集。本文激勵機制需采集少量真實數(shù)據(jù)，該數(shù)據(jù)量大小約為真實數(shù)據(jù)集的千分之一，難以據(jù)此還原參與節(jié)點的數(shù)據(jù)特征和數(shù)據(jù)分布。同時，參與節(jié)點可采用接受-拒絕采樣［21］或差分隱私［22］的方式為采樣數(shù)據(jù)提供安全隱私保障。

2）數(shù)據(jù)生成。本文激勵機制數(shù)據(jù)生成過程使用GANT算法，采用GAN 與聯(lián)合模型相結合的方法實現(xiàn)。與針對聯(lián)邦學習的GAN 攻擊［23］不同，該過程僅使用最終訓練完成的聯(lián)合模型，并不涉及訓練過程中對本地模型的惡意引導和對參與節(jié)點數(shù)據(jù)分布的惡意猜測。

3）節(jié)點標記。本文激勵機制通過對參與節(jié)點的貢獻分析，可以標記低數(shù)據(jù)質量節(jié)點，用于在未來聯(lián)合訓練過程中篩選和識別，提升聯(lián)邦學習過程的安全性和穩(wěn)定性。

4）數(shù)據(jù)存儲。參與節(jié)點的數(shù)據(jù)除極少數(shù)采樣數(shù)據(jù)外，均不出本地物理域，僅通過模型的形式共享，數(shù)據(jù)的隱私安全得到充分保障。

5）過程審計。本文提出的激勵機制過程可審計，任意參與節(jié)點獲取中央節(jié)點訓練時使用的隨機種子均可復現(xiàn)貢獻度評估過程；同時，參與節(jié)點可采用區(qū)塊鏈技術提供對聯(lián)邦學習激勵過程每一環(huán)節(jié)的監(jiān)督和審計，為聯(lián)邦學習提供更加充分的安全保障。

4 實驗與結果分析

4.1 正確性分析

假設各參與節(jié)點的數(shù)據(jù)大小相同，對此，本文設置μk=10。對于參與節(jié)點和請求節(jié)點，共有4 種策略組合，分別是：參與節(jié)點和請求節(jié)點均選擇最優(yōu)策略；參與節(jié)點選擇最優(yōu)策略，請求節(jié)點選擇隨機策略；參與節(jié)點選擇隨機策略，請求節(jié)點選擇最優(yōu)策略；參與節(jié)點和請求節(jié)點均選擇隨機策略。分別仿真參與節(jié)點總效用和請求節(jié)點效用隨參與節(jié)點數(shù)的變化如圖4 所示。

圖4 參與節(jié)點總效用和請求節(jié)點總效用隨參與節(jié)點數(shù)變化Fig.4 Total utility of participant nodes and total utility of requesting nodes varying with number of participant nodes

從圖4 結果可以看出，當參與節(jié)點和請求節(jié)點均選擇最優(yōu)策略時，可以獲得比其他策略更高的效用。

為了驗證總CPU 周期數(shù)對于請求節(jié)點和參與節(jié)點效用、對單位時間獎勵和單位時間CPU 周期數(shù)的影響，設置參與節(jié)點總數(shù)為50，測試在μk=(1，4]時，請求節(jié)點和參與節(jié)點的效用變化如圖5 所示，單位時間獎勵和單位時間CPU 周期數(shù)變化如圖6 所示。

圖5 參與節(jié)點和請求節(jié)點效用隨總CPU周期數(shù)變化Fig.5 Utilities of participant nodes and requesting nodes varying with total number of CPU cycles

圖6 單位時間獎勵和單位時間CPU周期數(shù)隨總CPU周期數(shù)變化Fig.6 Reward per unit time and CPU cycles per unit time varying with total number of CPU cycles

隨著訓練的總CPU 周期數(shù)增加，可以刺激參與節(jié)點提供更強的計算能力，降低時間成本，提高模型的性能，提高請求節(jié)點的效用；但是，由于參與節(jié)點的計算成本隨著訓練的總CPU 周期數(shù)增加而上升，隱私參與節(jié)點的收入并沒有隨著總CPU 周期數(shù)的增加出現(xiàn)明顯增長。

單位時間獎勵和單位時間CPU 周期數(shù)均隨著總CPU 周期數(shù)的增加而增加，這是因為如果總CPU 周期數(shù)增加，就需要更多的獎勵激勵參與節(jié)點投入更多的計算資源到訓練過程。

為了研究單位時間獎勵pk對于單位時間CPU 周期數(shù)qk的影響，以探究請求節(jié)點的決策是如何影響參與節(jié)點的決策，設置μk=10，并且令pk∈[0.2，10.0]，仿真結果如圖7所示。

圖7 單位時間CPU周期數(shù)隨單位時間獎勵變化Fig.7 CPU cycles per unit time varying with reward per unit time

從圖7 可以看出，由于更多的單位時間訓練獎勵會激勵參與節(jié)點將更多的計算資源用于模型訓練，因此，單位時間CPU 周期數(shù)與單位時間獎勵呈正相關的趨勢。

綜上所述，實驗驗證了激勵機制的正確性。

4.2 算法性能

本文分析第2.2 節(jié)提出的基于GAN 的聯(lián)邦學習貢獻度評估算法性能，聯(lián)邦學習參與節(jié)點的數(shù)據(jù)量越大、數(shù)據(jù)質量越高，對聯(lián)邦學習過程的貢獻度越高。本文使用CIFAR10 數(shù)據(jù)集［24］進行實驗，CIFAR10 共有60 000 張32×32 的彩色圖像，分為10 類，其中訓練集為50 000 張圖片，測試集為10 000張圖片。本文共設置60 個參與節(jié)點，并從60 個參與節(jié)點中分別隨機采樣5 條數(shù)據(jù)，總計300 條采樣數(shù)據(jù)，本地訓練5輪，聯(lián)合訓練20 輪，相關參數(shù)設置為μ=0.5，α=1，β=1。本文面向圖像生成任務，使用基于深度卷積GAN 實現(xiàn)本文算法；同時，由于聯(lián)邦學習常應用于邊緣計算，任務相對簡單，且對計算復雜度要求高，因此本文僅使用4 層卷積構成的輕量GAN 結構。本文算法涉及的GAN 結構如圖8 所示。

圖8 GAN結構Fig.8 Structure of GAN

下面介紹測試基于GAN 的聯(lián)邦學習貢獻度評估算法在不同數(shù)據(jù)量、不同數(shù)據(jù)質量、不同數(shù)據(jù)分布場景下的貢獻度評估準確度結果，并選擇使用節(jié)點行為驅動型的文獻［22］、使用模型驅動型貢獻度評估方法的文獻［12］和文獻［25］、使用數(shù)據(jù)驅動型貢獻度評估方法的文獻［13］和文獻［26］進行對比。其中：文獻［22］方案依據(jù)參與節(jié)點的本地數(shù)據(jù)量和損失計算貢獻度，要求參與節(jié)點誠實地提交本地數(shù)據(jù)集大小和損失；文獻［12］方案依據(jù)參與節(jié)點的模型相似度計算貢獻度；文獻［25］方案依據(jù)參與節(jié)點梯度歐氏距離的L2 范數(shù)計算貢獻度；文獻［13］方案依據(jù)參與節(jié)點模型的Shapley 值計算貢獻度；文獻［26］方案依據(jù)參與節(jié)點中選拔出的委員會節(jié)點的數(shù)據(jù)集計算參與節(jié)點的貢獻度，由于涉及委員會節(jié)點評估其他參與節(jié)點貢獻度，不誠實的委員會節(jié)點將帶來安全隱患。

貢獻度評估準確度以不同分組參與節(jié)點的貢獻度平均值和標準差作為指標，計算過程如下：1）對參與節(jié)點的貢獻度作min-max 歸一化后乘系數(shù)100；2）分別計算每個組別下參與節(jié)點貢獻度的平均值的標準差。不同分組之間的貢獻度平均值差異越大，標準差越小，說明不同分組參與節(jié)點之間的差異越大，區(qū)分和篩選越容易。

1）數(shù)據(jù)量。

本文將60 個參與節(jié)點分為3 組：第一組參與節(jié)點A1 分配5 000 條數(shù)據(jù)，第二組參與節(jié)點A2 分配500 條數(shù)據(jù)，第三組參與節(jié)點A3 分配50 條數(shù)據(jù)。不同數(shù)據(jù)量組別之間的貢獻度平均值差異越大，標準差越小，說明對不同數(shù)據(jù)量的參與節(jié)點貢獻度評估準確度越高。

使用本文方案與文獻［12-13，22，25-26］方案評估的不同數(shù)據(jù)量參與節(jié)點的貢獻度統(tǒng)計值比較如表1 所示。

表1 幾種方案在不同數(shù)據(jù)量參與節(jié)點時的貢獻度統(tǒng)計值Tab.1 Comparison of contribution statistics under several scenarios of participate nodes with different data volumes

從表1 可以看出，文獻［22］方案對大數(shù)據(jù)量（A1）參與節(jié)點的貢獻度評估效果較優(yōu)，但對小數(shù)據(jù)（A2）和極小數(shù)據(jù)量（A3）參與節(jié)點的貢獻度評估效果較差；文獻［12］方案對極小數(shù)據(jù)量（A3）參與節(jié)點的貢獻度評估效果較優(yōu)，但對大數(shù)據(jù)量（A1）和小數(shù)據(jù)（A2）參與節(jié)點的貢獻度評估效果較差；文獻［25］方案難以評估不同數(shù)據(jù)量參與節(jié)點貢獻度；文獻［13］方案評估各個參與節(jié)點集合的貢獻度方差較大，平均值區(qū)分不明顯，精度較低；文獻［26］方案對不同數(shù)據(jù)量參與節(jié)點的貢獻度評估在平均值區(qū)分度和標準差方面表現(xiàn)最優(yōu)。本文方案在平均值區(qū)分度和標準差方面表現(xiàn)次優(yōu)，僅遜色于文獻［26］方案，對不同數(shù)量的參與節(jié)點貢獻度評估基本與參與節(jié)點的數(shù)據(jù)量大小一致。

2）數(shù)據(jù)質量。

本文將60 個參與節(jié)點分為3 組：第一組參與節(jié)點B1 分配1 000 條數(shù)據(jù)：第二組參與節(jié)點B2 分配1 000 條添加30%隨機噪聲的數(shù)據(jù)，第三組參與節(jié)點B3 分配1 000 條添加50%隨機噪聲的數(shù)據(jù)。不同數(shù)據(jù)質量組別之間的貢獻度平均值差異越大，標準差越小，說明對不同數(shù)據(jù)質量的參與節(jié)點貢獻度評估準確度越高。

使用本文方案與文獻［12-13，22，25-26］方案評估的不同數(shù)據(jù)質量參與節(jié)點的貢獻度統(tǒng)計值比較如表2 所示。

表2 幾種方案在不同數(shù)據(jù)質量參與節(jié)點時的貢獻度統(tǒng)計值Tab.2 Comparison of contribution statistics under several scenarios of participate nodes with different data qualities

從表2 可以看出，文獻［13，22］方案難以評估不同數(shù)據(jù)質量參與節(jié)點貢獻度；文獻［12，25-26］方案對有極大噪聲數(shù)據(jù)質量（B3）參與節(jié)點的貢獻度評估效果較優(yōu)，但對無噪聲數(shù)據(jù)量（B1）和有少量噪聲數(shù)據(jù)（B2）參與節(jié)點的貢獻度評估效果較差；本文方案在平均值區(qū)分度方面表現(xiàn)最優(yōu)，標準差方面表現(xiàn)較優(yōu)，對擁有不同數(shù)據(jù)質量的參與節(jié)點貢獻度評估基本與參與節(jié)點的數(shù)據(jù)質量一致。

3）數(shù)據(jù)分布。

本文將60 個參與節(jié)點分為3 組：第一組參與節(jié)點C1 分配1 000 條獨立同分布數(shù)據(jù)，第二組參與節(jié)點C2 分配1 000 條僅有50%數(shù)據(jù)標簽的數(shù)據(jù)，第三組參與節(jié)點C3 分配1 000 條僅有20%數(shù)據(jù)標簽的數(shù)據(jù)。由于數(shù)據(jù)量相近，數(shù)據(jù)質量相近，不同數(shù)據(jù)分布組別之間的貢獻度平均值差異越小，標準差越小，說明對不同數(shù)據(jù)分布的參與節(jié)點貢獻度評估準確度越高。

使用本文算法與文獻［12-13，22，25-26］方案評估的不同數(shù)據(jù)分布參與節(jié)點的貢獻度統(tǒng)計值比較如表3 所示。

表3 幾種方案在不同數(shù)據(jù)分布參與節(jié)點時的貢獻度統(tǒng)計值Tab.3 Comparison of contribution statistics under several scenarios of participate nodes with different data distributions

從表3 可以看出，文獻［22，25］方案對于不同數(shù)據(jù)分布的參與節(jié)點貢獻度評估效果較差，對于擁有相似數(shù)據(jù)質量和數(shù)據(jù)量的參與節(jié)點，其貢獻度評估結果應相近；文獻［12，26］方案難以評估不同數(shù)據(jù)分布參與節(jié)點貢獻度，擁有獨立同分布數(shù)據(jù)的參與節(jié)點貢獻量（C1）顯著優(yōu)于擁有非獨立同分布數(shù)據(jù)的參與節(jié)點（C3）；文獻［13］方案能夠評估不同數(shù)據(jù)分布的參與節(jié)點貢獻度，但是，具有獨立同分布特征（C1）由于其分布面廣、非獨立同分布程度較深（C3）的數(shù)據(jù)由于單一類別擁有的數(shù)據(jù)量更多，應獲得更高的貢獻度評估，文獻［13］方案的評估結果與直觀不符；本文方案能評估不同數(shù)據(jù)分布的參與節(jié)點貢獻度，且評估效果與直觀相符，即具有獨立同分布特征（C1）和非獨立同分布程度較深（C3）的數(shù)據(jù)應獲得更高的貢獻度評估，對擁有不同數(shù)據(jù)分布的參與節(jié)點貢獻度評估基本與參與節(jié)點的數(shù)據(jù)標簽分布一致。

4.3 算法分析

下面將從采樣數(shù)據(jù)量、參與節(jié)點數(shù)據(jù)標簽分布和GANT算法3 個方面分析基于生成式對抗網(wǎng)絡的聯(lián)邦學習貢獻度評估算法。

1）采樣數(shù)據(jù)量。

為了測試采集數(shù)據(jù)量對貢獻度評估的影響，本文以不同數(shù)據(jù)量的參與節(jié)點的貢獻度評估實驗為例，測試采集數(shù)據(jù)分別120 條和600 條時對不同數(shù)據(jù)量的參與節(jié)點貢獻度的影響。使用本文算法在不同樣本量下評估的貢獻度統(tǒng)計值比較如表4 所示。

表4 不同樣本量下參與節(jié)點貢獻度統(tǒng)計值Tab.4 Comparison of contribution statistics of participant nodes with different sample volumes

從表4 可以看出，當采集數(shù)據(jù)量為120 時，雖然仍然能區(qū)分不同數(shù)據(jù)量的參與節(jié)點，但同樣數(shù)據(jù)量的參與節(jié)點之間的平均值差距減小，同時在實驗過程中發(fā)現(xiàn)部分類的測試數(shù)據(jù)量小于10 的情況，測試數(shù)據(jù)量的不均衡將直接導致貢獻度評估準確度的下降；當采集數(shù)據(jù)量為600 條時，不同數(shù)據(jù)量的參與節(jié)點的貢獻度評估的平均值和標準差均與采集數(shù)據(jù)量為300 時相差不大，但采集數(shù)據(jù)量的增大意味著參與節(jié)點需要承擔更多的隱私泄露風險。

2）參與節(jié)點數(shù)據(jù)標簽分布。

為了測試參與節(jié)點數(shù)據(jù)標簽分布的影響，本文以不同數(shù)據(jù)分布的參與節(jié)點的貢獻度評估實驗為例，測試有無參與節(jié)點數(shù)據(jù)標簽分布對不同數(shù)據(jù)分布的參與節(jié)點貢獻度的影響。使用本文算法在有無參與節(jié)點數(shù)據(jù)標簽分布下評估的貢獻度統(tǒng)計值比較如表5 所示。

表5 有無參與節(jié)點數(shù)據(jù)標簽分布下參與節(jié)點貢獻度統(tǒng)計值Tab.5 Comparison of contribution statistics of participant nodes with or without data label distribution

從表5 可以看出，當不引入?yún)⑴c節(jié)點數(shù)據(jù)標簽分布時，對于不同數(shù)據(jù)分布的參與節(jié)點貢獻評估精度出現(xiàn)顯著降低，一方面標準差增大，另一方面無法評估出非獨立同分布數(shù)據(jù)標簽節(jié)點的貢獻度。

3）GANT 算法。

為了測試GANT 算法對貢獻度評估的影響，本文以不同數(shù)據(jù)質量的參與節(jié)點的貢獻度評估實驗為例，測試不使用樣本生成算法、使用GAN 算法和使用GANT 算法對不同數(shù)據(jù)量的參與節(jié)點貢獻度的影響。使用本文方案在不同樣本生成算法下評估的貢獻度統(tǒng)計值比較如表6 所示。

表6 不同樣本生成下參與節(jié)點貢獻度統(tǒng)計值Tab.6 Comparison of node contribution statistics under different sample generation algorithms

從表6 可以看出，當刪除樣本生成算法后，由于采樣樣本中很可能存在噪聲較大的數(shù)據(jù)樣本，從而導致算法難以區(qū)分數(shù)據(jù)質量較高的參與節(jié)點（B1）和含有一定噪聲數(shù)據(jù)的參與節(jié)點（B2）；當將樣本生成算法替換為傳統(tǒng)GAN 算法后，由于生成樣本的質量不高，且未經聯(lián)合模型篩選，因此平均值的區(qū)分度明顯不如GANT，且在低質量參與節(jié)點（B3）和含有一定噪聲數(shù)據(jù)的參與節(jié)點（B2）的標準差也顯著高于GANT。

5 結語

本文結合GAN、博弈論等技術，提出一個聯(lián)邦學習激勵機制解決方案。該方案提出基于GANT 的貢獻度評估算法，實現(xiàn)高精度的樣本生成和對不同數(shù)據(jù)量、不同數(shù)據(jù)質量和不同數(shù)據(jù)分布的參與節(jié)點聯(lián)邦學習貢獻度評估。該方案實現(xiàn)基于兩階段Stackelberg 博弈的聯(lián)邦學習激勵機制，實現(xiàn)對聯(lián)邦學習過程公平、合理、有效的激勵。為了實現(xiàn)更加安全、可追溯的聯(lián)邦學習激勵機制，下一步將研究在聯(lián)邦學習激勵機制中引入?yún)^(qū)塊鏈技術，并將本方案涉及的分類模型場景擴展到回歸模型場景。