移動邊緣網絡中聯邦學習效率優化綜述

孫 兵 劉 艷 王 田 彭紹亮 王國軍 賈維嘉

1(華僑大學計算機科學與技術學院 福建廈門 361021) 2(北京師范大學人工智能與未來網絡研究院 廣東珠海 519087) 3(北京師范大學-香港浸會大學聯合國際學院人工智能與多模態數據處理重點實驗室 廣東珠海 519087) 4(湖南大學信息科學與工程學院 長沙 410082) 5(廣州大學計算機科學與網絡工程學院 廣州510006)

近年來，深度學習(deep learning, DL)[1]的發展為人工智能技術的進步創造了動力.隨著物聯網技術的發展，移動設備都具備強大的芯片、傳感器以及計算能力，能夠在處理高級任務的同時，收集和產生更豐富的數據[2].這些數據為深度學習的研究提供了有利的基礎條件，是深度學習不可或缺的部分.

傳統以云為中心的深度學習，需要先收集移動設備的數據，包括物聯網設備和智能手機收集的數據，例如照片、視頻和位置等信息[3-5]，并全部發送到基于云的服務器或數據中心進行處理與訓練.然而，這種方法存在2個問題：

1) 網絡負擔.在萬物互聯的時代，移動設備每分每秒都產生數以億計的數據[6]，這些數據全部上傳到云服務器會占用大量的網絡帶寬.同時，以云為中心的學習方式傳輸延遲高，不能及時進行數據交互，給網絡帶來不必要的負擔.

2) 數據隱私[7].數據所有者對隱私越來越注重，用戶往往不愿共享自己的個人數據.許多國家和組織也制定了相關隱私政策，例如歐盟委員會制定的“General Data Protection Regulation”(《通用數據保護條例》)[8].因此，利用一些邊緣設備的計算和存儲能力，把計算推向邊緣[9]被提出作為一種解決方案.

因此，聯邦學習(federated learning, FL)[10]應運而生，目的在于保護大數據環境下模型學習中涉及的用戶數據隱私.在聯邦學習訓練過程中，只需要將所有移動設備在其私有數據上訓練的本地模型上傳到云服務器中進行聚合，不涉及數據本身，很大程度上提高了用戶數據的隱私性.同時，邊緣計算的提出是為了緩解云中心的計算壓力，目的是把云服務中心的計算任務卸載到邊緣[11]，這恰好與聯邦學習的計算模式相適應，為聯邦學習創造了有利條件.在移動設備上訓練模型，除了保證數據不離開本地，還能讓計算更加靠近數據源以節省通信成本.

然而，無線傳感網絡[12-13]等邊緣環境復雜、設備能力的差異性、數據質量等因素，使得如何在邊緣網絡高效率地執行聯邦學習是當前面臨的關鍵問題.一方面，一些實時性強的應用需要及時得到反饋，例如車聯網服務[14]等；另一方面，在物聯網快速發展的時代，爆發式增長的數據需要高效的處理機制才能發揮其作用.因此，對聯邦學習效率的研究是非常必要的.

目前，聯邦學習的熱度呈持續增長的趨勢.圖1為谷歌搜索隨時間變化的熱度值，圖2為國內外文獻網站檢索到的近幾年關于聯邦學習的文獻數量.可以看出，聯邦學習正處于迅速發展的階段.

Fig. 1 Google trends圖1 谷歌搜索熱度

Fig. 2 Number of papers at home and abroad圖2 國內外文獻數量

本文首先對聯邦學習效率優化方案進行了廣泛調研，闡述了聯邦學習的技術背景以及深度學習等基礎知識，并說明了邊緣計算與聯邦學習的基本原理以及二者之間的相互作用與影響.其次，分析了聯邦學習中存在的效率優化問題，根據影響效率的不同因素，將聯邦學習效率優化歸納為通信優化、訓練優化以及從安全與隱私角度考慮的效率優化.再次，列舉并對比分析了目前的研究方案，揭示了現有方案存在的不足.聯邦學習的研究還處于正在發展的階段，現有技術還不夠完善.最后，探討了聯邦學習面臨的新挑戰，本文以邊緣計算作為擴展，提出了基于邊緣學習的聯邦學習方案，并在數據優化、自適應學習、激勵機制和前沿技術等方面提出了創新性的理念與思想，為聯邦學習未來的研究提供了新的解決思路.

1 聯邦學習背景概述

通過聯邦學習在國內外的研究現狀，可以看出其重要性與研究價值.聯邦學習的提出和實現與邊緣計算和深度學習息息相關.邊緣計算為聯邦學習的本地訓練創造了條件，深度學習為聯邦學習提供了理論依據和核心技術.本節首先介紹深度學習和邊緣計算等背景知識，然后闡述傳統數據隱私保護技術及其不足，從而引出聯邦學習的概念、架構與分類，突出聯邦學習的特點與優勢，對比了聯邦學習與傳統分布式學習的區別，并總結了現有的聯邦學習平臺的特點.

1.1 深度學習

現有的人工智能應用大多是通過機器學習(machine learning, ML)來實現的，從各類設備上獲取數據來訓練機器，實現分類和預測等任務.深度學習則是利用人工神經網絡[15]來學習數據，結構如圖3所示.深度學習模型的每一層都由神經元組成，神經元根據輸入的數據產生非線性輸出.輸入層的神經元接收數據并將其傳播到隱含層，隱含層的神經元生成數據的加權和，然后用特定的激活函數[16]輸出加權和，最后的結果發送到輸出層.一個訓練好的深度學習模型可以應用于實際場景以代替人類部分的智能行為.

Fig. 3 Deep learning model圖3 深度學習模型

常見的模型有3種：

1) 卷積神經網絡(convolution neural network, CNN)[17].CNN是一種前饋式的深層神經網絡，包含卷積層、池化層和全連接層.在圖像識別上應用的過程首先將數據輸入CNN模型，經過多次卷積和池化操作，再將提取到的圖像特征輸入全連接層進行識別與分類.

2) 循環神經網絡(recurrent neural network, RNN)[18].RNN是用來解決順序輸入數據等時序問題的模型.RNN的輸入包括當前和先前輸入的樣本，每個神經元都擁有一個內部存儲器，用來存儲先前樣本的信息.例如長短期記憶網絡就是RNN的擴展，并且廣泛應用于自然語言處理等領域.

3) 生成式對抗網絡(generative adversarial net-work, GAN)[19].GAN由2個主要組件組成，即生成器和鑒別器.生成器負責從真實數據的訓練數據集中學習數據特征之后生成新的偽數據；鑒別器負責根據生成器生成的偽數據對真實數據進行區分.GAN通常應用在圖像生成、圖像轉換、圖像合成等領域.

1.2 邊緣計算

邊緣計算顧名思義就是在邊緣進行計算.隨著物聯網設備和數據的增長，云計算中心的負載越來越大，通信成本和傳輸延遲也在不斷增加.為此，邊緣計算將計算從網絡中心推向更接近用戶和數據源的網絡邊緣，把計算任務卸載到邊緣或者移動設備上，從而降低延遲與帶寬消耗[20]、提高效率和數據隱私性.

“邊緣”是一個相對的概念，指云服務器之外包含具有計算和存儲能力的設備節點的邊緣網絡層，例如由云計算與傳感器網絡層構成的傳感云系統[12].隨著技術的深入研究與發展，相繼提出霧計算[21]、移動邊緣計算(mobile edge computing, MEC)[22]等邊緣化模型.如圖4所示，網絡環境中的基站、微型服務器和智能設備等都可以作為邊緣計算節點.

Fig. 4 Edge computing model圖4 邊緣計算模型

從聯邦學習的設置來看，在移動設備上進行本地模型訓練，服務器進行模型聚合，將主要的學習任務卸載到移動設備，這種基于邊緣端以保護用戶隱私的深度學習方式也順應了邊緣計算的模式.聯邦學習與邊緣計算的結合與互補是一種必然的趨勢.邊緣計算旨在協調大量的移動設備和邊緣服務器以處理在其附近生成的數據[23]，在邊緣處理數據還能大大提高數據的隱私性.而聯邦學習的目的也是在保護用戶數據隱私的前提下，通過從移動邊緣設備的數據中學習特征信息來實現智能決策和行為.此外，聯邦學習與邊緣計算之間還存在3方面的聯系與相互作用：

1) 移動邊緣網絡中產生的數據需要聯邦學習充分發揮其價值.聯邦學習可以自動識別并獲取邊緣設備上產生的有用數據，例如文本信息、圖像視頻信息、車輛信息等.然后，根據快速變化的邊緣環境，從數據中提取特征信息并反饋到實時預測決策應用(例如智能交通[24]、智能駕駛[25]等)中，從而在提高數據處理效率的同時保護用戶數據隱私[26].

2) 邊緣計算可以利用大量的資源豐富聯邦學習的應用場景.深度學習的發展離不開算法優化、硬件優化、數據和應用場景等重要推動力.邊緣計算可以為聯邦學習提供豐富的數據與資源.為了提高模型的性能，最常用的方法是使用更多層神經元來細化模型，需要在模型中學習更多參數，訓練所需的數據也隨之增加.移動邊緣網絡中大量的物聯網設備恰好為聯邦學習提供了豐富的數據.此外，如果這些數據集上傳到云數據中心進行處理，會消耗大量的帶寬資源，并給云服務器帶來巨大壓力.邊緣計算為聯邦學習提供了大量的計算資源，移動設備的計算資源也是聯邦學習的應用基礎.

3) 人工智能面向用戶需要結合邊緣計算和聯邦學習作為基本架構.人工智能已經在日常生活中的許多領域取得了巨大的成功，例如智能推薦系統、模式識別和智慧城市等.為了支持更多的應用程序，人工智能需要更接近用戶.邊緣設備更接近用戶和移動設備，并且邊緣計算相比云計算更加靈活、成本更低廉.而聯邦學習在邊緣計算的基礎上，承載了人工智能應用的部署任務.隨著用戶對隱私的關注，通過聯邦學習的調控能實現保護隱私的人工智能.因此，聯邦學習與邊緣計算除了具有互補性，同時也是普及人工智能的基礎架構.

1.3 深度學習中的隱私保護

傳統的深度學習訓練中，各方數據首先被數據收集者集中收集，然后由數據分析者進行模型訓練．其中，數據收集者與數據分析者可以是同一方，如移動應用開發者(云服務器)；也可以是多方，如開發者將數據共享給其他數據分析機構．由此可見集中學習模式下，用戶數據一旦被收集，便很難再擁有對數據的控制權，其數據將被用于何處、如何使用也不得而知[27].針對深度學習面臨的數據隱私問題，目前的研究主要從差分隱私、同態加密以及多方安全計算等不同角度對深度學習中的隱私保護方法進行了探討.

1.3.1 差分隱私技術

差分隱私是一種擾動技術，指在模型訓練過程中引入隨機性，即添加一定的隨機噪聲，使輸出結果與真實結果具有一定程度的偏差，防止攻擊者惡意推理.具體來說，差分隱私在服務器進行計算的過程中利用擾動方法來保護敏感數據，如圖5所示.文獻[28]基于差分隱私保護機制提出了一種對本地數據進行擾動變換的機制，使用噪聲訓練從而增加云端深度神經網絡對移動設備提交的擾動數據的魯棒性.差分隱私技術大多是在原始數據或模型參數上進行加噪，保護數據隱私的同時模型精度會有所影響.

1.3.2 同態加密技術

如圖6所示，同態加密的核心思想是直接在密文上做運算，運算結果解密后與明文運算的結果相同.目前，同態加密已被廣泛應用于基于云計算場景的隱私保護研究中.在以云為中心的深度學習過程中使用同態加密對數據加密然后分析計算，能夠很好地解決數據保密與安全等問題.然而，同態加密十分依賴于函數的復雜度，對于存在大量的非線性計算的深度學習模型，算法的計算開銷十分高昂.此外，同態加密只支持整數數據，且需要固定的乘法深度[29]等.

Fig. 5 Differential privacy technology圖5 差分隱私技術

Fig. 6 Homomorphic encryption technology圖6 同態加密技術

1.3.3 多方安全計算

多方安全計算是通過特殊的算法在無可信第三方的情況下，確保輸入的隱私性與輸出的正確性[30].具體來說，假設有多個參與方，它們擁有各自的數據集，在無可信第三方的情況下，通過計算一個約定函數，要求每個參與方除了計算結果外不能得到其他參與方的任何輸入信息.多方安全計算可以實現無可信方場景下的安全計算，但是為了實現隱私保護，需要進行多次傳輸，通信開銷較大.該方法比較適用于小規模實體間的安全計算，對于具有大量用戶的深度學習場景的適應性較差.

目前，主流的深度學習隱私保護技術在一定程度上保護了用戶的數據隱私，但從本質上來說，數據同樣需要離開設備本地，用戶失去了對數據的控制權，就會存在隱私風險.且差分隱私技術、同態加密技術和多方安全計算這3種隱私保護技術存在各自的不足，因此研究者開始探索如何實現無需數據收集的學習方案.

1.4 聯邦學習

1.4.1 概念與架構

基于數據擁有者對于隱私的高需求，在聯邦學習中，服務器不需要用戶共享個人的隱私數據，在本地設備上用個人數據訓練共享模型即可.聯邦學習的體系結構以及訓練過程如圖7所示.其中參與聯邦學習的設備為數據擁有者，每個設備都持有私有數據集，每個設備利用這些數據訓練本地模型.所有訓練好的本地模型參數發送到服務器中聚合，并更新全局模型.然后服務器再把更新后的全局模型作為新一輪的共享模型發送到參與設備迭代訓練，直到訓練后的全局模型達到要求.

Fig. 7 Classical federated learning structure圖7 經典的聯邦學習結構

通常來說，聯邦學習由多個參與者和一個服務器組成，參與者用來分布式地訓練共享模型，服務器用來聚合這些本地模型并給參與者分發任務.聯邦學習的訓練過程分為3步：

1) 任務初始化.在訓練開始之前，服務器首先要確定訓練的任務和目標，并選擇參與聯邦學習的設備，然后把共享模型發送給已選擇的設備.

2) 本地訓練與共享.每個設備利用私有數據訓練本地模型.訓練的目標就是找到最佳的本地模型.設備訓練完之后把模型參數上傳到服務器，進行下一步操作.

3) 全局聚合與更新.服務器收集到來自所有參與設備的本地模型后，進行模型參數聚合.典型的聚合操作是平均算法FedAvg[31]，聯邦學習服務器通過平均本地模型參數得到下一輪的共享全局模型，目標是找到最佳的全局模型.

這3個步驟將會依次迭代進行，當全局模型收斂或者達到一定的準確率時結束訓練.

1.4.2 聯邦學習分類

如果要對用戶的數據建立學習模型，需要其數據的特征，也必須有標簽數據，即期望得到的答案.比如，在圖像識別領域，標簽是被識別的用戶的身份(或實體的類別)；在車聯網領域，標簽是與車輛用戶相關的信息等.用戶特征加標簽構成了完整的訓練數據.在聯邦學習的應用場景中，各個數據集的用戶不完全相同，或用戶特征不完全相同.因此，根據數據的不同特點，將聯邦學習分為3類：橫向聯邦學習、縱向聯邦學習和聯邦遷移學習[32].我們以2個數據集為例，分別介紹3類聯邦學習的區別.

1) 橫向聯邦學習.如圖8(a)所示，當2個數據集的用戶重疊部分很少，但是用戶特征重疊部分比較大時，把數據集橫向切分，取出2個數據集中特征相同但來自不同用戶的數據進行訓練，這種場景下的聯邦學習屬于橫向聯邦學習.

2) 縱向聯邦學習.如圖8(b)所示，當2個數據集的用戶重疊部分很多，但用戶特征重疊部分比較少時，通過用戶的不同數據特征聯合訓練一個更綜合的模型，這種場景下的聯邦學習屬于縱向聯邦學習.

3) 聯邦遷移學習.如圖8(c)所示，聯邦遷移學習是縱向聯邦學習的一種特例.當2個數據集的用戶重疊部分少，用戶特征重疊部分也較少，且有的數據還存在標簽缺失時，此時利用遷移學習來解決數據規模小的問題，這種場景下的聯邦學習就是聯邦遷移學習.

Fig. 8 Three types of federated learning圖8 3類聯邦學習

這3種類型的聯邦學習的共同點都在于保護用戶數據的隱私性，區別主要在于用戶和數據的重疊性.聯邦學習的提出是基于不同用戶、數據特征重疊性高的情況，并且目前大部分的研究都是基于橫向聯邦學習，縱向聯邦學習和聯邦遷移學習的研究工作暫時比較少.由于不同類型的聯邦學習訓練與優化機理都相互獨立，而在移動邊緣網絡中部署實現聯邦學習旨在利用更多不同的用戶和設備來訓練模型.因此，本文主要關注的是橫向聯邦學習的效率優化，本文所提及的聯邦學習均為橫向聯邦學習.

1.4.3 特點與優勢

隨著數據的急劇增長，集中式的數據中心無法完成巨大的任務量.當單個節點的處理能力無法滿足日益增長的計算、存儲任務，硬件的提升成本高昂到得不償失，且應用程序也不能進一步優化的時候，就需要考慮分布式的學習模式.分布式學習是早于聯邦學習的用來解決大數據處理的方案，分布式系統是由一組通過網絡進行通信、為了完成共同的任務而協調工作的計算機節點組成的系統.它的出現是為了用廉價的、普通的機器完成單個計算機無法完成的計算、存儲任務，簡單來說就是利用更多的機器處理更多的數據.云服務器之外的大量子設備為分布式學習提供了基礎，利用分片或者復制集的思想，把任務和數據分配給每一個服務器.雖然分布式學習減輕了云服務器的計算壓力，但同時也存在問題.分布式系統中有大量的服務器節點，若其中一個節點出現故障，則整個系統出現故障的可能性就會變大.此外，分片或者復制集都或多或少共享了數據，數據泄露等安全問題無法解決.

與此類似的，在移動設備上基于點對點通信的學習方式[33]相比分布式學習更靈活，但是非主從式的結構使得學習效率低下，設備之間的交互也讓用戶的隱私面臨威脅.聯邦學習不同于傳統的分布式學習以及點對點通信方式的學習，用戶的數據始終保存在本地，在移動設備進行訓練，并由服務器統一調控.聯邦學習屬于主從式的學習方式，服務器與移動設備共同協調，在保護用戶數據隱私的前提下，提高了學習的可靠性.聯邦學習與傳統分布式學習的相關對比見表1.在移動邊緣網絡中進行多次訓練與通信，意味著聯邦學習擁有3種特性：

1) 通信環境不穩定.在基于數據中心的分布式訓練中，通信環境是較封閉的，數據傳輸速率非常高且沒有數據包丟失.但是，這些假設不適用于在訓練中涉及異構設備的聯邦學習環境.在通信通道不穩定的情況下，移動設備可能會由于斷網而退出.

2) 資源約束.除了帶寬限制之外，聯邦學習還受到參與設備本身的約束.例如設備可以具有不同的計算能力、CPU性能等.移動設備沒有分布式服務器的強大性能，本地訓練的效率無法保障，且無法直接進行管理和維護.

Table 1 Federated Learning Versus TraditionalDistributed Learning表1 聯邦學習與傳統分布式學習對比

3) 安全與隱私問題.雖然聯邦學習不用收集用戶的數據，但仍然存在惡意參與者針對模型或系統的隱私侵犯威脅，這很可能泄露用戶的隱私.此外，移動設備自身的抗干擾和抵抗第三方攻擊的能力較弱，聯邦學習系統的安全性容易被破壞.

1.5 聯邦學習平臺

隨著國內外學者的研究，許多適用于聯邦學習的開源平臺或項目已經研發出來，表2總結了9種目前主流的平臺.

Table 2 Federated Learning Platforms and Their Features表2 聯邦學習平臺及其特點

1) TFF(TensorFlow federated). TFF[34]是由谷歌開發的一個基于TensorFlow的框架，用于分布式機器學習和其他分布式計算.TFF為2層結構，其中聯邦學習層是一個高級接口，允許現有的TensorFlow模型支持并實現聯邦學習，用戶不必親自設計聯邦學習算法.另一層為聯邦核心層，結合了TensorFlow和通信運營商，允許用戶自己設計聯邦學習算法.

2) 工業級開源框架FATE(federated AI tech-nology enabler).FATE[35]是微眾銀行AI團隊推出的工業級別聯邦學習框架，可以在保護數據安全和數據隱私的前提下進行人工智能協作.作為一個工業級的聯邦學習框架，FATE項目提供了許多現成的聯邦學習算法以及多種加密機制，可以支持不同種類的安全計算.

3) PySyft. PySyft[36]是一個基于PyTorch的框架，可以在不可信的環境中執行加密、保護隱私的深度學習.為了模擬聯邦學習，參與者被創建為虛擬工作者，將數據分割并分配給虛擬工作者，并指定數據所有者和存儲位置，然后從虛擬工作者中獲取模型后以進行全局聚合.

4) PaddleFL.PaddleFL[37]主要是面向深度學習進行設計的，提供了眾多在計算機視覺、自然語言處理、推薦算法等領域的聯邦學習策略及應用.同時PaddleFL還將提供橫向與縱向傳統機器學習方法的應用策略，利用開源的FedAvg算法和基于差分隱私的隨機梯度下降(stochastic gradient descent, SGD)算法來實現保護隱私的分布式學習，以對分散式的數據集進行模型訓練.結合本身在大規模分布式訓練的彈性調度能力，PaddleFL在聯邦學習領域有非常多的應用場景.

5) OpenI縱橫.OpenI縱橫[38]是由微眾銀行、鵬城實驗室、香港人工智能與機器人協會以及星云Clustar等共同開發并應用到OpenI啟智平臺的孤島數據聯邦解決方案.該方案主要關注在滿足用戶數據安全、法律合規條件下的多方數據使用和聯邦建模的問題.OpenI縱橫提供了豐富的一站式聯邦建模算法組件，可以執行大多數聯邦建模任務.

6) “蜂巢”聯邦學習平臺.該平臺由平安科技自主研發，是一個完整的聯邦學習智能系統，包括4個功能層級：“蜂巢”數據層、“蜂巢”聯邦層、“蜂巢”算法層以及“蜂巢”優化層.依托平安集團在金融科技業務經驗的優勢，在金融領域做了大量的定向優化工作，例如風險控制和金融安全測試等.

7) Clara FL. Clara FL[39]是一款由英偉達公司開發的用于分布式協作聯邦學習訓練的應用程序，主要應用于醫療領域，目的在于保護患者的隱私且實現聯邦訓練.該應用程序面向邊緣服務器并部署這些分布式客戶端系統，可以實現本地深度學習訓練，并協同訓練出更為實用的全局模型.

8) Federated-averaging-tutorials[40].該項目是在TensorFlow框架上實現聯邦平均算法的一組開源教程，主要的目標是把隱私保護相關技術應用在分布式機器學習算法上.Federated-averaging-tutorials使用Keras深度學習框架作為基礎，并提供本地、分布式、聯邦平均3種方法來訓練TensorFlow模型.

9) 華為聯邦學習平臺NAIE(network AI engine). NAIE[41]提供了一套自動化的聯邦學習服務，實現了一鍵式從創建聯邦實例到管理邊緣節點的平臺服務.用戶只要下載一個客戶端就可以輕松加入或退出聯邦學習，且平臺對聯邦學習的整個過程實現了可視化的管理.華為NAIE以橫向聯邦為基礎，內置了眾多聯邦學習能力，包括聯邦匯聚、梯度分叉、多方計算和壓縮算法等能力.用戶可以通過創建聯邦實例來發起眾籌式訓練，并能夠查看訓練狀態，享受共同訓練的成果.華為NAIE聯邦學習平臺具有聯邦實例管理能力、邊緣節點管理能力和運行聯邦實例能力，后續還將對縱向聯邦學習提供支持.

2 聯邦學習優化問題

我們在調研中發現設備與服務器之間的通信問題是影響聯邦學習效率的主要因素.移動邊緣網絡層與云服務器之間的距離較遠，而聯邦學習需要進行多輪訓練，這帶來了較多的通信時間與成本.此外，在聯邦學習過程的3個步驟中，每個步驟都影響聯邦學習的訓練效率.例如在初始化中，服務器需要選擇性能強大的移動設備參加訓練，從而加快本地訓練與上傳的速度；在聚合步驟中，需要控制聚合的頻率或內容來提高模型聚合的收斂效果.因此，本節將從通信、訓練以及由安全與隱私引起的效率優化問題等方面展開描述聯邦學習目前存在的優化問題.

2.1 通 信

傳統聯邦學習為2層結構，移動設備利用本地數據訓練得到本地模型，通過廣域網將模型傳送到云端服務器.然而參與聯邦學習的設備數量成千上萬，甚至更多，設備與服務器之間的大量通信必然會占用過多的帶寬.同時，設備的信號與能量狀態也會影響與服務器的通信，導致網絡延遲，消耗更高的通信成本.因此為了提高訓練的實時性，聯邦學習需要解決通信問題.

2.1.1 邊緣計算協調

參與聯邦學習的移動設備一般都具有高計算能力的處理芯片，能夠在短時間內滿足本地訓練的要求，所以模型的計算時間往往可忽略不計.然而，每個設備擁有的數據集大小以及分布情況不一致，需要通過多次聯邦訓練才可能使模型收斂，這就導致聯邦學習的通信消耗遠大于計算消耗[31].傳統聯邦學習在高通信效率和高模型性能之間難以平衡，而邊緣計算提供了合適的解決方案.利用邊緣計算的優勢，可以把更多的計算任務卸載到邊緣設備.在服務器全局聚合之前，在邊緣節點或者移動設備上增加本地訓練迭代次數或更多的計算，使本地模型的精度更高，以減少聯邦學習的訓練輪數.此外，在訓練優化中使用更合理的模型聚合方式或更快速的模型收斂方法，也可以減少通信次數.

2.1.2 模型傳輸消耗

聯邦學習大多是通過訓練復雜的模型來實現最終的目的，一個復雜的模型可能包含上百萬個參數[42]，在網絡中傳輸高維度的模型參數也會消耗更多的通信資源.為了減少分布式訓練帶來的通信開銷，模型壓縮是一種解決方法[43].利用梯度量化和梯度稀疏化技術，將帶有數百萬參數的模型轉化為一個簡單的、能保證訓練質量的模型.梯度量化通過將梯度向量的每個元素量化為有限位的低精度值來對梯度向量進行有損壓縮，而梯度稀疏化是通過選擇性地傳輸部分梯度向量來減少通信消耗[44].文獻[45]觀察到分布式梯度下降方法的參數優化過程中存在99.9%的梯度交換是冗余的.基于這一觀察結果，文獻[45]的作者提出了深度梯度壓縮(deep gradient com-pression, DGC)，并且在對CNN和RNN進行了大量實驗后，證明了模型梯度壓縮在效果上是可行的.

2.2 訓 練

聯邦學習的本地訓練與常規深度學習訓練過程類似，而聯邦學習中存在的異構計算資源、模型聚合以及數據質量是影響其訓練效率的關鍵.

2.2.1 移動設備異構

聯邦學習協議[46]如圖9所示.在每一輪訓練開始之前，都要選擇設備來加入聯邦訓練.傳統方案中，服務器會隨機選擇一組設備作為參與者，把共享模型發送到這些設備進行訓練，然后服務器需要收集這一輪所有設備的本地模型來更新全局模型[31].這意味著，聯邦學習整體的訓練過程受到訓練時間最長的設備的影響.

在包含無數設備的網絡中，每個設備的性能、網絡狀態和能量都不一樣，導致每個設備訓練模型的時間也不一樣.同時，除了設備在硬件上的差異之外，每個用戶的使用情況也不一樣.例如有的用戶只有在連入了無線網絡的情況下才愿意接受聯邦訓練[47].因此，為了解決這一問題，相關研究者已經研究出新的聯邦學習參與者選擇協議，在聯邦學習初始化時，評估每個設備的資源狀態，通過解決參與設備的資源約束問題來減少本地訓練的時間，從而提高聯邦學習訓練的效率.

Fig. 9 Communication protocol of federated learning[46]圖9 聯邦學習通信協議[46]

2.2.2 服務器聚合頻率

在邊緣計算環境下實現分布式地訓練深度學習模型，通常都是采用先局部后集中的方法.聯邦學習訓練過程中本地模型訓練完成后，這些模型參數就被傳遞到聯邦學習服務器進行聚合.在這種情況下，服務器如何控制模型的聚合更新，顯然會影響聯邦學習的訓練效率.聚合控制的過程包括聚合的內容(即本地模型參數)和聚合的頻率.圖9中處理全局聚合的傳統方法是同步方法，即聚合操作在固定的時間間隔進行，模型的訓練受到最壞設備的約束.

另一種選擇性聚合可以控制聯邦學習服務器聚合的內容.大量的設備在不安全的邊緣網絡中訓練模型，模型參數冗余或遭到惡意篡改的可能性很大[48]，這些不可用的模型參數會大大降低全局模型的準確率.因此，盡可能聚合正確的本地模型可以大大提高聯邦學習的訓練效率.

2.2.3 數據質量

在聯邦學習過程中，移動設備上數據集的非獨立同分布(non-independent and identically distributed, non-IID)問題是影響聯邦學習訓練效果的重要因素.同分布性意味著數據沒有總體趨勢，分布不會波動，樣本中的所有數據都取自同一概率分布.獨立性意味著樣本都是獨立的事件，沒有任何關聯.傳統的分布式深度學習，云服務器將收集到的數據集劃分為若干個子數據集，這些子數據集被發送到各個分布式節點進行訓練.這樣，即使是較小的數據集，同樣能代表總體分布，訓練出的模型在準確率上沒有差別.然而，這種方式不符合聯邦學習，并且假設每個移動設備上的本地數據符合獨立同分布(independent and identically distributed, IID)原則也是不現實的.具體來說，有2個原因：

1) 違背獨立性原則.如果設備上的數據生成或收集不夠隨機.例如，數據是按時間排序的，則違背了獨立性原則.此外，同一地理位置內設備的數據可能具有一定程度的關聯，同樣違背了獨立性原則.

2) 違背同分布性原則.由于移動設備與特定地理區域相關聯，標簽的分布因分區而異.此外，由于設備存儲能力的不同，本地數據量也不同，所以違背了同分布性原則.因此，聯邦學習中的數據集屬于non-IID.

文獻[31]提出FedAvg算法以緩解non-IID數據帶來的影響.但隨著技術研究的深入，該算法并不完全適用.因此，為了提高聯邦學習的學習效率以及收斂速度，解決移動設備上數據的non-IID問題是非常關鍵的.

2.2.4 模型收斂

通常來說，如果模型具有較快的收斂速率，則在聯邦學習過程中可以節省參與設備訓練所需的時間和資源消耗，能夠極大地提高聯邦學習的效率.以一個簡單的神經網絡模型fθ(x)的優化為例，訓練的過程就是找到一個最優的模型參數使得模型預測值與樣本標簽真實值之間的損失最小，此時模型達到收斂.用數學表達式表示為：

(1)

其中,θ為神經網絡模型的權重參數，為損失函數，(xi,yi)為n個樣本中的第i個樣本.

(2)

由于GD每次都要對所有樣本計算梯度，造成了冗余計算.因此，隨機梯度下降(stochastic gradient descent, SGD)通過隨機選擇樣本進行梯度計算從而提高計算效率.SGD的優化目標通過式(1)可得到式(3)：

(3)

其中,B為樣本批量的數量.同樣地，在第t次的訓練中隨機選擇第i個樣本批量來計算梯度，而無須計算所有的樣本，SGD的數學表達式為

(4)

然而，SGD方法可能在優化過程中產生左右振蕩的情況.為了加快模型的收斂速率，文獻[49]提出通過考慮更多先前的迭代來提高GD的收斂速度.因此，考慮了動量梯度下降法(momentum gradient descent, MGD)以加速模型收斂[50].具體來說，MGD像傳統GD一樣計算梯度，但是不直接用計算出的梯度進行參數更新，而是賦予當前梯度一個權值，并綜合考慮之前的梯度得到一個加權的平均值，再進行參數更新.MGD在第t+1次的參數更新為：

(5)

θt+1=θt-ηtd(t+1),

(6)

其中,d(t)是動量項，γ是衰減因子.由于基于動量的梯度方法能改進模型的收斂速率，在分布式機器學習領域中有一些將動量項應用于SGD優化的工作.例如在文獻[51]中，動量應用于每個聚合回合的更新，以改善優化和泛化.在文獻[52]中，證明了帶有動量的分布式SGD的線性收斂性.

文獻[53]提出了一種新的動量聯邦學習(mom-entum federated learning, MFL).該文作者在聯邦學習的本地更新中引入動量項，并利用MGD執行本地迭代.理論證明了所提出的MFL的全局收斂性，并推導了MFL的收斂邊界.與傳統聯邦學習相比，提出的MFL具有更快的模型收斂速度.

聯邦學習不同于傳統深度學習，由于設備上的數據屬于non-IID，導致本地模型訓練的質量不一致，在驗證集上的損失可能超出估計值，這也是影響聯邦學習模型收斂的主要因素.文獻[54]提出了可以自適應調整的FedProx算法，它對損失函數進行了修改，包括一個可調節的參數，該參數限制了本地更新對初始模型參數的影響程度.當訓練損失增加時，可以調整模型更新以減小對當前參數的影響.

同樣地，文獻[55]提出的LoAdaBoost FedAvg算法，在參與設備訓練完本地模型后，將交叉損耗與前一輪訓練的中值損耗進行比較.如果損失較大，則在聚合之前對本地模型再次進行訓練，以提高學習效率.實驗證明該算法具有較快的收斂速度.更多優化聯邦學習non-IID問題的解決方案在3.2節中進行詳細的討論.

2.3 安全與隱私

與集中式學習相比，聯邦學習的環境不可控，來自惡意設備的攻擊成為主要的隱患.研究表明，惡意的攻擊者仍可以根據其他參與者的共享模型來推斷用戶相關的隱私信息(例如生成式對抗網絡攻擊、模型反演攻擊等)，并且精度高達90%[56-57].這種攻擊也可以成功地從各種訓練模型中提取模型信息[58].此外，聯邦學習中也存在許多安全威脅，例如中毒攻擊，這也會導致聯邦學習的訓練效率瓶頸.聯邦學習中的中毒攻擊可分為2類：

1) 數據中毒.在聯邦學習中，設備使用本地數據進行模型訓練，并將訓練后的模型發送到服務器以進行進一步處理.在這種情況下，服務器難以確定每個設備的本地數據是否真實.因此，惡意參與者可以通過創建臟標簽數據來訓練模型，以產生錯誤的參數，降低全局模型的準確性.文獻[59]研究了聯邦學習中的基于標簽反轉的數據中毒攻擊，攻擊者使用與其他參與者相同的損失函數和超參數訓練的本地模型，利用標簽反轉污染數據集.實驗表明攻擊成功率、效率隨中毒樣本和攻擊者數量呈線性增加.

2) 模型參數中毒.另一種比數據中毒更為有效的攻擊是模型中毒攻擊[60].對于模型中毒攻擊，攻擊者可以直接修改模型的參數，該模型直接發送到服務器以進行聚合.相比數據中毒，即使只有一個模型中毒攻擊者，也能迅速降低全局模型的精度.

安全與隱私問題除了破壞模型的訓練精度，更嚴重的是導致用戶不再信任聯邦學習服務器，用戶將不愿意參與共同訓練，而過低的設備參與率導致全局模型的性能低下，甚至造成模型收斂的瓶頸.為了提高模型訓練的效率與精度，需要結合相關隱私與安全機制，解決針對聯邦學習環境的安全與隱私問題，提高模型的穩定性與用戶的參與度，為高效的聯邦學習提供可靠環境.

3 現有優化研究方案

第2節討論了當前聯邦學習存在的優化問題，本節將詳細介紹與分析目前針對聯邦學習效率優化的相關研究與技術方案.通信效率的研究主要為解決在基于云或基于邊緣的環境中實現聯邦學習帶來的通信時間與負載的問題.而訓練優化是對聯邦學習訓練的每個步驟進行優化，包括參與設備選擇與協調、模型聚合控制.此外，還針對數據質量問題，總結了聯邦學習收斂優化等相關的研究方案.最后列舉了通過保護聯邦學習安全與隱私從而提高模型性能的方案.

3.1 通信優化

3.1.1 增加邊緣端的計算

為了減少由多輪通信帶來的通信消耗，文獻[31]提出2種方法來增加設備上的計算量：1)增加任務的并行性，通過在每一輪選擇更多的設備參與聯邦訓練來減少訓練的輪數；2)增加設備的計算，即在全局聚合更新之前，在每個設備上執行更多的訓練任務.因此，文獻[31]的作者提出了一種基于平均迭代模型的深度神經網絡聯邦學習的FedAvg算法，考慮了不同的模型體系結構和數據集，進行了廣泛的實驗評估.根據聯邦學習的規則，每輪隨機選擇的設備訓練出來的本地模型精度都不相同，FedAvg算法對這些模型參數進行平均操作.具體來說，文獻[31]的作者定義了聯邦學習的優化問題，將式(1)的深度學習優化問題改寫為

(7)

(8)

其中,f(w)為損失函數，w為模型參數，K代表參加訓練的設備數量，數據樣本總量為D，pk代表設備k擁有的數據集，其大小為Dk=|pk|.該文作者首先分析了目前主流的SGD優化方法，并將其直接應用于聯邦學習，即每一輪訓練在設備上進行一次梯度計算，對于每個設備k有

(9)

(10)

其中,t表示當前聯邦學習的訓練輪數.傳統SGD的計算效率雖然很高，但是需要進行大量的訓練輪數才能得到好的模型.為了讓每個設備執行更多的計算以減少通信，FedAvg算法將本地的一次梯度計算改進為多次，即設備進行多次本地訓練：

(11)

此外，算法還設置了超參數C，E，B.其中C表示每一輪選擇設備的比例；E表示設備上本地迭代的次數；B表示設備訓練的本地數據批量大小.通過調整這些超參數的值來增加設備端的計算量，從而使本地模型的精度更高.本地訓練之后，對所有的本地模型進行平均得到更新后的全局模型，并將其作為新的初始模型發送給下一輪訓練的設備，算法1完整地表示了FedAvg的細節.根據仿真實驗結果，FedAvg算法的通信輪數減少到SGD算法的1/30，也證明了當模型精度達到一定的閾值時，增加計算量并不會帶來額外的通信消耗.

算法1.FedAvg.

輸入：設備數量K和選擇比例C、本地數據批量大小B、本地迭代次數E、學習率η；

輸出：模型參數w.

服務器端：

① 初始化全局模型w0；

② 確定需要選擇設備的數量m←max(C×K，1)；

③ 服務器隨機選擇m個設備并下發全局模型；

⑤ 利用式(10)全局聚合；

⑥ 重復②～⑤直到模型w收斂，其中t為輪數.

設備端(k，w)：

① 將本地數據集pk劃分為大小為B的樣本批量；

② 對于B中的樣本用式(11)進行權值更新；

③ 重復E次步驟②；

④ 將訓練好的本地模型w發送到服務器端.

Fig. 10 AlexNet model based on two-stream federated learning[61]圖10 基于雙流聯邦學習的AlexNet模型[61]

雖然FedAvg算法已經廣泛用于聯邦學習的研究，但是在non-IID數據集上的效果不明顯，會帶來更多的訓練輪數與通信消耗.文獻[61]基于文獻[31]的思想，為了增加每個參與設備的計算量，提出了帶有最大平均偏差(maximum mean discrepancy, MMD)的雙流聯邦學習模型.MMD用來測量數據分布均值之間的距離.例如，給定數據分布ρ1和ρ2，則MMD可用數學表達式表示為

ZMMD(ρ1,ρ2)(E[φ(ρ1)]-E[φ(ρ2)])2,

(12)

其中,φ(·)表示映射到再生核希爾伯特空間.

文獻[61]的作者認為全局模型包含來自多個設備的信息，有利于本地模型的訓練.如圖10所示，雙流聯邦學習算法與傳統FedAvg對比，可以使參與設備在每一輪的本地訓練中保留全局模型作為參考，除了訓練本地數據之外，還參考全局模型從其他設備中學習.具體來說，雙流模型在本地訓練中，通過最小化全局模型與本地模型之間的損失來保證設備學習到其他設備數據之外的特征，從而加快模型收斂的進程，減少通信的輪數，計算公式為：

(wk|w,Xk,Yk)=cls+MMD,

(13)

(14)

MMD=λZMMD(w(Xk),wk(Xk)),

(15)

其中,X，Y分別表示樣本(xi,yi)的數據與標簽，表示全局模型與本地模型之間的損失，J為模型分類損失，λ為系數.在實驗中，文獻[61]的作者使用CNN模型在CIFAR-10和MNIST數據集上進行了評估.結果表明，即使參與設備上的數據是non-IID形式的，提出的雙流模型算法也可以在少于20%的通信輪數的情況下，使聯邦學習的全局模型達到理想的精度，優于傳統的方案.

目前，聯邦學習的方案大多數是基于服務器與設備之間的2層結構.長距離的通信與交流顯然會帶來更多的通信成本，將服務部署在邊緣服務器成為一種解決方案.例如，文獻[62]將深度強化學習技術和聯邦學習框架與移動邊緣系統相結合，以對MEC、緩存和通信進行優化.為了更好地利用設備和邊緣節點之間的協作交流，加快模型訓練和模型推理，文獻[62]的作者設計了一個“In-Edge-AI”框架，從而實現動態的優化和增強效果，同時減少不必要的系統通信負載.此框架通過深度強化學習來共同管理與優化邊緣通信和計算資源，并通過聯邦學習來分布式地訓練深度強化學習代理.

文獻[63]的作者認為，聯邦學習反復地訓練會帶來巨大的通信延遲，同樣基于邊緣智能的理念，引入了MEC平臺作為聯邦學習的中間層.該文作者提出了一種分層的聯邦學習架構用來減少用戶和云之間的通信輪數.此外，還提出了HierFAVG分層聯邦學習平均算法.該算法與FedAvg相比，利用邊緣層節點的計算能力，在聯邦學習服務器全局聚合前，使邊緣服務器聚合多個設備的本地模型，以減少設備的通信連接次數.文獻[63]的作者對比了基于云和基于邊緣的聯邦學習框架，如圖11所示.基于云的聯邦學習服務器需要與每個設備進行遠程通信連接，并且頻繁的通信連接會消耗大量的網絡帶寬資源.而完全基于邊緣服務器的聯邦學習雖然通信距離縮短了，但邊緣服務器的計算性能不如強大的云服務器，在計算時延上有所妥協.可以看出基于邊緣的分層聯邦學習與云服務器的通信連接次數更少，并且保留云服務器的計算資源，在減少與云通信的同時，系統的計算性能也得到了保障.仿真結果表明，HierFAVG算法利用更多邊緣服務器進行邊緣聚合，比傳統FedAvg算法在云中統一聚合方案的通信開銷更少，但是應用在non-IID數據上，模型還達不到期望的效果.

Fig. 11 Cloud-based versus edge-based federated learning[63]圖11 基于云與基于邊緣的聯邦學習框架對比[63]

3.1.2 模型壓縮

為了解決傳輸復雜模型帶來的過多通信消耗，文獻[64]在FedAvg算法的基礎上進行了調整，結合分布式的Adam優化形式和新型壓縮技術，提出了基于通信效率的CE-FedAvg算法.該文作者通過結合均勻量化和指數量化2種方法來減少每輪訓練上傳的總數據量與通信的次數，并且對不同數量的設備設置IID數據與non-IID數據，通過大量實驗測試了設備的參與率和壓縮率.結果表明，當模型收斂時，CE-FedAvg的通信輪數僅為FedAvg的通信輪數的1/6.CE-FedAvg的優勢在于能夠以更少的通信輪次來使模型達到收斂，同時壓縮了上傳的數據，大大減少了通信損耗.此優化方案在FedAvg算法的基礎上加入了壓縮與量化的思想，從而減少聯邦學習傳輸過程中的通信消耗.

文獻[65]提出了一種將模型剪枝與聯邦學習相結合的方法，目的就是壓縮模型的大小來降低傳輸時的通信成本.剪枝包括在服務器上對初始模型剪枝和在設備上對本地模型的剪枝，其他部分與傳統的聯邦學習過程保持一致.模型剪枝[66]就是刪除一定剪枝率的最小絕對值權值，當模型訓練和剪枝同時反復進行后，最終會得到一個小尺寸的模型.

如圖12所示，在服務器上對初始模型剪枝后，根據聯邦剪枝需要，進一步再對聚合后的全局模型進行剪枝以刪除小幅度的權重值，直到模型的大小達到所需的修剪水平.文獻[65]的作者通過復雜性分析和大量的模擬與真實實驗，證明了該方法可以大大降低通信和計算的負載.該文作者還討論了在各種條件下模型剪枝的效果，例如在不同類型的優化方法上對聯邦學習模型剪枝的影響.

Fig. 12 Model pruning圖12 剪枝模型

文獻[47]為了降低聯邦學習上行鏈路的通信消耗，基于模型壓縮的思想提出了結構化更新和概略化更新2種方法.結構化更新的目的是使本地模型在具有較少變量的有限空間結構(例如低秩或隨機掩碼)上進行更新與訓練；概略化更新指的是在與服務器通信之前，結合量化、隨機旋轉與子采樣等壓縮形式對模型進行編碼，然后在服務器聚合之前對模型解碼的方法.實驗結果表明，結構化與概略化更新可以將通信成本降低2個數量級.同時，在損失一定精度的條件下，可以實現更高的壓縮率和更快的收斂速度.

文獻[67]認為設備和云服務器之間的梯度和參數同步是影響通信成本的重要因素.因此，該文作者提出了一種基于邊緣隨機梯度下降(edge stochastic gradient descent, eSGD)的方法，以擴大CNN的邊緣訓練.eSGD是一組具有收斂性和實際性能保證的稀疏方案.首先，eSGD確定哪些梯度坐標是重要的，并且只將重要的梯度坐標傳輸給云進行同步.這個重要的更新可以大大降低通信成本.其次，使用動量殘差累積來跟蹤過期的殘差梯度坐標，以避免稀疏更新導致的低收斂速度.實驗表明，在梯度下降比分別為50%，75%，87.5%的時候，該算法在MNIST數據集上訓練的準確率分別為91.2%，86.7%，81.5%.該方案利用了梯度稀疏化等技術，減少了邊緣到云傳輸的數據量，從而減小通信消耗.

文獻[68]提出了2種技術來減少聯邦學習中的通信開銷.一種是在服務器到設備之間的通信中使用有損壓縮技術；另一種是使用聯邦Dropout技術，即向每個設備傳遞全局模型的子模型.在有損壓縮過程中，首先將模型中每個要壓縮的權值矩陣重構成向量形式，然后進行基礎變換、子采樣和量化操作.此時的模型大小已經比原始模型小，為進一步減少通信消耗，該文作者通過聯邦Dropout在模型的全連接層將固定數量的激活向量丟棄，從而得到一個簡化的子模型.如圖13所示，具體過程為：①通過聯邦Dropout構造子模型；②有損壓縮結果對象，壓縮了要進行通信的模型大??；③將這個壓縮模型發送給設備，設備使用本地數據對其進行解壓和訓練；④壓縮最后的更新；⑤這個更新被發送回服務器進行解壓；⑥聚合到全局模型中.文獻[68]的作者在常用的數據集上進行了大量的對比實驗，結果表明在不影響模型質量的情況下，該通信策略大大減少了服務器到設備的通信，節約了本地計算資源以及模型上傳時產生的通信延遲.

Fig. 13 A compression process that combines two technologies[68]圖13 結合2種技術的壓縮過程[68]

現有的壓縮技術多數只有在理想條件下表現良好，例如設備上數據的分布是均衡的，對于non-IID數據的模型收斂性不能保證.為了解決基于模型壓縮的通信友好但收斂效果差的問題，文獻[69]的作者通過對比實驗，發現在現有的壓縮算法中，top-k稀疏化算法對于聯邦學習模型的收斂影響最小，因此提出了一種新的壓縮框架——稀疏三元壓縮(sparse ternary compression, STC).STC擴展了現有的top-k梯度稀疏化壓縮技術，并提供了一種新的機制，實現對權值更新的分層與最優格倫布編碼[70].實驗表明，STC的性能明顯優于FedAvg算法，STC方案下的聯邦學習在訓練迭代次數和通信比特數方面的收斂速度都快于FedAvg.因此，該方案適用于設備與服務器之間低延遲和低帶寬的聯邦學習環境.

3.1.3 歸納總結

本節主要從增加端設備的計算量、模型壓縮2種策略來討論降低聯邦學習的通信消耗的方案，在表3中總結了這些方法.

聯邦學習把訓練任務分散到每個移動設備上，服務器與設備之間的通信消耗是影響訓練的首要因素.研究者通過云端協作與云邊端協作的方式，結合MEC等邊緣計算平臺，將更多的計算卸載到邊緣或設備端，以減少訓練輪數.從表3中可以看出，目前通信優化的方案大部分是基于云端2層結構的協作，然而，云服務器與移動設備的距離較遠，當參加訓練的設備數量很大時，帶寬的限制與通信延遲仍是一大挑戰.

此外，丟棄部分冗余的梯度或壓縮模型也是降低通信時延和負載的方法.然而，許多通過壓縮技術來降低通信消耗的方案會帶來其他方面的不利影響，例如模型剪枝可以丟棄不必要的數據以達到減少傳輸量的目的，但是，這些數據或多或少都與模型的收斂相關，模型的精度在一定程度上會受到影響.表3的方案還存在一些不足，大部分支持通信效率的研究方案在面對分布式機器學習帶來的數據質量問題時并不能很好地適用，只是在數據分布理想的狀態下保證了通信的效率和模型的收斂.因此，設計權衡通信消耗與模型收斂的算法來提高聯邦學習整體的效率仍然是重要的研究點.

Table 3 Summary and Comparison of Researches on Federated Learning Communication Optimization表3 聯邦學習通信優化研究方案的總結與對比

3.2 訓練優化

3.2.1 設備選擇

在文獻[31]中，為了使聯邦學習訓練效果達到最佳，該文作者提出最大化選擇參與設備的方法.但是，文獻[71]的作者認為在某些設備計算資源有限或無線信道條件差的情況下，會導致聯邦學習需要更長的訓練時間和上傳時間.因此，為了解決這個問題，文獻[71]的作者提出一種新的聯邦學習協議，稱之為FedCS.該協議基于MEC框架，根據設備的資源狀況動態地選擇設備參與并有效地執行聯邦學習.FedCS協議解決了帶有資源約束的設備選擇的問題，允許服務器盡可能多地聚合來自設備的模型更新.

Fig. 14 Protocol of FedCS[71]圖14 FedCS協議[71]

?i

(16)

(17)

(18)

(19)

則認為該設備集S中存在資源受約束的設備，需要重新通過計算來選擇一組更好的設備.

文獻[71]的作者在MEC環境中使用ClFAR-10圖像數據集進行了實驗評估，實驗結果表明，與傳統的聯邦學習協議相比，FedCS協議通過對具有不同約束的設備進行選擇，使聯邦學習能夠在預期的時間內完成訓練過程.然而，FedCS僅在簡單的模型上進行了測試.當擴展到更復雜的模型上或者面對數量龐大的設備集時，不斷計算設備的時間會帶來額外的負載與計算時延，并且FedCS協議不關注模型聚合的精度，對于數據non-IID問題不能完全適用.

在此基礎上，文獻[72]提出一種基于多標準的聯邦學習設備選擇方法，并預測設備是否能夠執行聯邦學習任務.特別是在每一輪中，該選擇算法中的設備數量都最大化，同時考慮到每個設備的資源及其完成訓練和發送所需更新的能力.

文獻[73]假設一些設備是可用的，而另一些設備為脫機或超出通信范圍.基于這個假設提出一個啟發式算法，在保證模型的測試精度的前提下選擇最佳的設備參加訓練，從而解決了當設備達到預算的目標數量時優化模型準確性的問題.文獻[74]為長期處在能量約束下的聯邦學習設備選擇和帶寬分配制定了一個隨機優化問題，并設計了一種僅利用當前可用無線信道信息但可以實現長期性能保證的算法.文獻[75]從最小模型交換時間的角度研究聯邦學習中的設備選擇方案，并使用動態隊列量化設備的參與率.

3.2.2 資源協調

一般情況下，移動邊緣網絡環境是動態的、不確定的，設備所擁有的資源時刻都在變化，例如無線網絡和能量等條件都會影響聯邦學習的訓練.為此，文獻[76]考慮了基于移動群體機器學習(mobile crowd-machine learning, MCML)的聯邦學習模型.同樣地，MCML使邊緣網絡中的移動設備能夠協同訓練服務器所需的DNN模型，同時將數據保存在移動設備上，解決了傳統機器學習的數據隱私問題.為了解決動態網絡環境中資源的限制，同時將能耗、時間和通信的成本最小化，服務器需要確定設備用于訓練的適當數據量和能量.為此，文獻[76]的作者采用基于雙深度Q-Network[77]的算法，允許服務器在不具備任何網絡動態先驗知識的情況下學習并找到最優決策.具體來說，為了使聯邦學習長期累積的回報最大化，服務器在給定狀態s的情況下確定最優的決策a.基于Q-learning構造了一個最優策略的狀態-動作查詢表Q(s,a)，并通過以下方式進行更新：

Qnew(s,a)=(1-η)Q(s,a)+η(r(s,a)+γmaxQ(s′,a′)),

(20)

(21)

其中,γ是衰減因子，r(s,a)是回報函數，G，H，I分別代表累積的數據、訓練延遲與能量消耗，α是比例因子.根據查詢表，服務器可以從任何狀態找到對應的最佳決策，使整個系統的能耗與成本最低.然而，Q-learning受到服務器的大規模狀態和動作空間的困擾，為此采用深度Q-learning為服務器找到最優策略.實驗結果表明，該算法在能量消耗和訓練延遲方面均優于靜態算法；與貪婪算法相比，該方案能減少31%左右的能量消耗；與隨機方案相比，訓練延遲減少55%左右，大大提高了聯邦學習的效率.

文獻[78]的作者認為，現有的聯邦訓練和推理結果可能會偏向個別設備，即本地訓練中模型損失最高的設備將會主導整個全局模型的損失,意味著在進行模型推理時不利于其他設備.因此，提出了一個不可知的聯邦學習框架.該文作者證明該框架會使聯邦學習產生公平的訓練效果.此外，該文作者還提出了公平聯邦學習(q-fair federated learning,q-FFL)資源分配的優化目標，通過這個目標可以動態地為每個本地模型分配不同的權重，即

(22)

其中,q為公平性參數.當q=0時，該優化目標相當于傳統聯邦學習的目標，如式(23)所示；當q的值較大時，說明此本地模型的損失較大，需要優化此本地模型以減小訓練精度分布的方差.

(23)

為了解決q-FFL問題，文獻[78]的作者相應地設計了一種適合于聯邦學習的高效率方案q-FedAvg，對傳統FedAvg算法中的目標函數進行重新加權，將較高的權重分配給損失較大的設備，整體的優化目標就偏向本地經驗風險較大的設備.實驗證明了該方案在公平性、靈活性和效率方面均優于現有方案.

考慮到無線信道的資源分配問題，文獻[79]提出了一種基于空中計算的帶寬模擬聚合技術(broad-band analog aggregation, BAA)的聯邦學習框架.圖15(a)表示傳統的多址通信系統，其中不同線型表示相互正交的通信信道.為了避免傳輸節點間的相互干擾，每個節點都需要通過某種多址方式來實現在不同信道同時傳輸，在接入點再恢復每個節點的數據進行計算.當節點數目增多且無線資源有限時，計算等待時延將會大大增加.相反，圖15(b)所示的空中計算將所有發送節點并發傳輸，接入點直接計算數據，只需一次信道使用，大大節省了帶寬資源.

Fig. 15 Air computing versus traditional multiple access communication圖15 空中計算與傳統多址通信對比

文獻[79]的作者利用了多址信道的波形疊加特性，實現了設備同時占用全部帶寬的傳輸.與此同時，BAA考慮了衰落信道模型，通過信道翻轉對移動設備發射功率進行控制，同時限制了信道質量差的設備的傳輸，以減少通信延遲，同時在一定程度上減少了傳輸的數據量.作為延伸，在文獻[80]中還引入了除空中計算外的誤差累積和梯度稀疏化.為了提高模型精度，未經掃描的梯度向量可以首先存儲在誤差累積向量中，在下一輪中使用誤差向量校正局部梯度估計.另外，當存在帶寬限制時，參與設備可以應用梯度稀疏，以確保更新幅度大的參數進行傳輸.

文獻[81]還提出了一種高效節能的帶寬分配和調度策略，用來降低設備的能耗.該方案一方面適應設備的信道狀態和計算能力，從而在保證學習性能的同時降低總能耗.與傳統聯邦學習的時間優化設計相比，該策略將更多的帶寬資源分配給那些信道較弱或計算能力較差的調度設備.另一方面，封閉式的調度優先級函數對具有更好的信道狀態和計算能力的設備具有優先偏向.實驗證明了所提出的策略能夠降低大量的能耗，同時保證了模型訓練的速率.文獻[82]針對邊緣計算環境中的聯邦學習，引入了帶寬切片來支持聯邦學習，以保證訓練帶寬的低通信延遲.帶寬切片可以保留專門用于學習任務的網絡資源，打破了在訓練過程中落后設備帶來的瓶頸.

3.2.3 聚合控制

傳統的FedAvg算法，模型的全局聚合是在收集到所有設備上的本地更新后再進行的，雖然可以通過對參與設備的選擇與協調來加快聯邦學習的進程，但是同步聚合總是會受到最后一個上傳模型的設備的影響.對此，為了加快全局模型聚合和收斂，文獻[83]提出一種新的異步聯邦學習算法，只要設備的本地訓練完成，即可上傳本地模型.

圖16對同步聯邦學習與異步聯邦學習進行了對比.該異步模型允許參與設備在聯邦學習訓練過程中，只要訓練完本地模型就可以立即上傳到服務器進行聚合，而無須等待所有設備都上傳完畢后再聚合.文獻[83]的作者還發現，異步聯邦學習模型對于在訓練時中途加入的設備具有魯棒性，不會影響訓練效果.通過對聯邦同步學習和異步學習的對比實驗，證明了異步學習模型的訓練效果更好.然而，在non-IID數據集上模型的準確性依然存在不足.

為了更好地管理動態資源約束，實現全局最佳聚合，文獻[84]的作者基于梯度下降的訓練方法，提出了一種自適應的全局聚合方案.該方案改變了全局模型的聚合頻率，從而在保證聯邦學習訓練過程中有效利用可用資源的同時，保證了模型的性能.該文作者還認為當服務器聚合模型總數和聚合間隔之間的本地模型的總數不同時，訓練損失是隨之受到影響的.為此，提出了一種基于最新系統狀態自適應選擇最優全局聚合頻率的控制算法，該算法能夠確定本地更新和全局參數聚合之間的最佳折中，以在給定資源預算下將損失函數最小化.例如，如果全局聚合耗費大量時間，那么在與聯邦學習服務器的通信之前，會進行更多的邊緣聚合.仿真結果表明，在相同的時間預算下，自適應聚合方案在損失函數最小化和精度方面都優于固定聚合方案.

文獻[85]提出了一種提高聯邦學習通信與訓練效率的模型選擇性聚合算法CMFL(communication-mitigated federated learning).關鍵思想是識別和排除有偏差的、與全局收斂不相關的本地更新.首先用式(24)證明了連續的全局模型wt和wt+1之間的歸一化差值很小，即

(24)

基于這一結果，提出CMFL方案根據參與設備的本地更新與所有參與的設備協作生成的全局更新的一致性來度量設備上的本地模型參數的相關性，即比較本地更新與全局更新中模型參數的符號.具體來說，CMFL設置了一個可調的閾值來識別和排除不相關的更新.假設本地模型w具有N個模型參數u1,u2,…,uN，全局模型w*具有N個模型參數g1,g2,…,gN.若本地模型與全局模型參數符號相同的比例大于這個閾值，則認為本地模型是相關的，反之則不相關，即：

(25)

當模型的參數符號相等時，設置I(·)=1；否則I(·)=0.若e大于閾值，則保留該本地模型并上傳到服務器中聚合，反之丟棄.從理論上證明了CMFL是收斂的，并通過與現有解決方案相比，證明了CMFL可以顯著地減少網絡通信帶寬的占用，排除不相關的本地模型后全局模型聚合的收斂程度也得到提高.在聯邦多任務學習場景下，CMFL方案提高了5.7倍的通信效率和4%的模型預測精度.

通過對聯邦學習通信優化的討論，可知有限的通信帶寬是聚合本地模型更新的主要瓶頸.為了加快聯邦學習全局聚合的速度，文獻[86]提出了基于空中計算的快速全局模型聚合方法.該方法通過設備選擇和波束成形設計來實現，能夠在滿足模型聚合的均方誤差要求下最大化所選參與聯邦學習的設備數量.該文作者利用稀疏和低秩優化來提升該方法的性能.考慮到現有算法在稀疏和低秩優化中的局限性，該文作者使用凸差函數(difference-of-convex-functions, DC)表示稀疏低秩函數，并在設備選擇過程中準確地檢測出固定秩約束.為了進一步改進DC算法，將DC函數重寫為強凸差函數，更優化了DC算法的全局收斂速度.實驗結果證明了所提出的DC方法的可行性，在CIFAR-10數據集上訓練的支持向量機分類器可以實現更高的預測精度和更快的收斂速度.

3.2.4 數據優化

數據的non-IID是影響聯邦學習模型訓練效果主要的因素.文獻[87]指出如果使用non-IID數據訓練CNN模型，則FedAvg的準確性將大大下降.對于MNIST數據集，模型下降的準確率可達11%；對于CIFAR-10數據集，模型下降的準確率可達51%.聯邦學習模型在IID數據集與non-IID數據集下的訓練效果如圖17所示，可以看出由于數據的non-IID，隨著時間的推移，導致本地訓練后的本地模型之間的差距較大，意味著全局模型將緩慢收斂，甚至無法收斂.

為了緩解此問題，文獻[87]基于在設備上的本地訓練中引入其他機制的思想來提出2個潛在的解決方案.首先采用基于最大平均差異算法的聯邦雙流模型FedMMD(federated maximum mean discrepancy)，以解決在傳統聯邦學習設置下，設備上訓練單一本地模型的不足.最大平均差異算法被引入設備上的訓練迭代中，使本地模型集成來自全局模型的更多知識.實驗表明，所提出的FedMMD模型在不影響最終測試性能的情況下減少了所需的通信次數.文獻[87]的作者進一步提出了具有特征融合機制的聯邦學習算法(federated learning feature fusion, FedFusion)，以降低通信成本.通過引入特征融合模塊，可以在特征提取階段之后從本地模型和全局模型中聚合特征，而無須耗費額外的計算成本.這些模塊使每個移動設備上的訓練過程更加高效，并且可以更恰當地處理non-IID的數據，因為每個設備將為其自身學習最合適的功能融合模塊.圖18展示了特征融合的過程，在第t輪開始時，保留了全局模型的特征提取器，通過聚合本地和全局模型的特征，以更低的通信成本獲得了更高的精度.此外，特征融合模塊為新加入訓練的參與設備提供了更好的初始化，從而加快了收斂速度.實驗表明，FedFusion在準確性和泛化能力方面都優于標準的聯邦學習算法，同時將所需的通信輪數減少了60%以上.

Fig. 17 The difference between the models in IID and non-IID datasets圖17 在IID與non-IID數據集下模型的差別

Fig. 18 Training iteration of FedFusion[87]圖18 FedFusion的訓練迭代[87]

文獻[88]提出了聯邦擴展(federated augmenta-tion, FAug)方案，其中每個設備共同訓練一個生成模型，每個設備可以使用生成模型生成缺失的數據樣本，從而將其本地數據擴展為一個IID數據集.具體來說，FAug中的每個設備都能識別出自己的數據樣本中缺少的標簽，即所謂的目標標簽，并通過無線鏈路將這些目標標簽的少數種子數據樣本上傳到服務器.服務器對上傳的種子數據樣本進行過采樣，從而訓練出一個GAN模型.最后，每個設備可以下載經過訓練的GAN生成器使每個設備能夠補充目標標簽，直到得到一個平衡的IID數據集.這大大減少了與直接數據樣本交換相比的通信開銷.實驗表明，FAug相比傳統聯邦學習僅需要1/26的通信輪數就能實現95%以上的測試準確性.通過數據擴充，每個設備可以根據生成的數據集訓練出一個更加個性化和精確的用于分類或推理任務的模型.值得注意的是，FAug方法中的服務器需要是可信的，這樣用戶才愿意上傳數據.

文獻[89]的作者認為對于高度傾斜的non-IID數據集訓練的神經網絡，最高會使聯邦學習的精度降低55%左右.該文作者進一步證明了這種精度下降可以用權值散度來解釋，權值散度可以用每個設備上的類分布與總體分布之間的陸地移動距離(earth’s mover’s distance, EMD)來量化.因此，提出了一種策略，通過創建一個在所有邊緣設備之間全局共享的數據子集來縮小每個模型之間的距離，從而改進對non-IID數據的訓練效果.實驗表明，僅使用5%的全局共享數據，CIFAR-10數據集的準確性可提高約30%.

文獻[90]在文獻[71]的基礎上，假設有限數量(例如低于1%)的設備讓它們的數據上傳到服務器，提出一個新穎的學習機制Hybrid-FL.服務器使用從隱私敏感度低的設備收集的數據來構造部分IID數據，服務器利用構造的數據訓練模型并聚合到全局模型中來更新模型，如圖19所示.在Hybrid-FL算法中，文獻[90]的作者設計了一種啟發式算法，從而在帶寬和時間的約束下在服務器上構建分布良好的數據集.具體來說，假設Dr={d1,d2,…,dcate}為第r輪訓練中參與設備上存儲的每個類的總數據量，則設備上數據之間的偏差為

(26)

(27)

Fig. 19 Framework of Hybrid-FL[90]圖19 Hybrid-FL框架[90]

通過分類數據中固有的異構屬性內和屬性間耦合以及屬性到對象的耦合來學習相似性，可以計算數據之間的相關性，從而提高移動設備模型訓練所需數據的質量以及提高模型訓練的收斂性[91].通過該算法可以使訓練數據集的每個類別更加均勻.此外，該算法增加了從設備收集的數據量，使數據近似IID，以提高模型性能.實驗結果表明，在non-IID情況下，該方法的分類精度明顯高于已有方法.但是考慮到用戶對隱私的注重，可能不愿意共享數據，因此，該方法存在一定的局限性.

作為異步聯邦學習的改進，考慮到落后的本地模型對全局收斂的貢獻大小，文獻[92]提出了基于non-IID數據集的異步聯邦優化FedAsync算法.因為服務器和參與設備并不是同步工作，所以服務器不會一直等待.由于設備上傳時受通信的延遲或訓練的先后順序影響，當服務器接收到該模型參數時，可能此時已經進行過幾輪全局聚合，導致服務器接收模型與聚合之間存在延遲.該延遲越大對模型收斂結果的影響也就越大.因此，提出了一個混合超參數來控制由延遲影響的模型權重.每個新接收的本地更新根據時效性自適應加權，時效性定義為當前訓練迭代與所接收更新所屬迭代的差值.例如，來自落后設備的過時更新是沒有價值的，因為它應該在前幾輪訓練中收到.因此，它的權重相對更小.此外，為了解決由于數據non-IID所導致的模型收斂緩慢問題，文獻[93]還在損失函數中加入一個懲罰項，迫使所有本地模型收斂到一個共享最優值.該文作者證明，在保證隱私的前提下可以有效地實現通信，并且這個懲罰項可以隨著分布式設置中節點的數量變化而進行縮放.實驗結果表明，該方法在MNIST數據集上的圖像識別的效果優于其他方法.

3.2.5 歸納總結

由于在聯邦學習中會涉及到不同計算能力的設備和不同質量與數量的數據集，這些異構因素在很大程度上會影響訓練的效率.針對這些因素，本文從聯邦學習訓練優化的3個方面來介紹相關解決方案，如表4所示.

從表4中可以看出，目前聯邦學習在訓練上的優化主要是在設備選擇、資源協調、聚合控制和數據優化這4個方面.設備的選擇打破了訓練的瓶頸，使訓練不受最慢設備的影響.為了使訓練結果不偏向某個設備，許多文獻提出資源協調的方案，讓聯邦學習變得更加公平與準確.除此之外，現有技術對模型的全局聚合進行了優化，通過調整聚合的頻率或聚合的內容，讓聚合的速率與模型效果更加優于傳統的聯邦學習.

Table 4 Summary and Comparison of Researches on Federated Learning Training Optimization表4 聯邦學習訓練優化研究方案的總結與對比

然而，non-IID數據仍是影響模型收斂最重要的因素，要想保證模型訓練的準確度，就必須優化數據的non-IID問題.為此，本文專門討論了基于該問題的優化技術.我們發現提出的解決方案之一是人為地共享或構造一個IID數據集，而這些數據是來自用戶的，這可能在實際應用中并不適用，也不符合聯邦學習的初始設置.因此，對于聯邦學習收斂效率的研究還有很大的空間.

從結果上來看，目前訓練優化方面的技術方案在訓練能耗、時間與收斂效果上與傳統的聯邦學習相比，得到了有效的提升.

3.3 安全與隱私保護

3.3.1 安 全

1) 數據安全.聯邦學習能夠為分布式訓練和模型推理提供可擴展的共享環境.然而，聯邦學習架構潛在的安全漏洞，特別是對于從用戶傳入聯邦的數據中毒攻擊，造成全局模型收斂的阻礙.在這種情況下，惡意參與者可能會偽造錯誤數據以破壞訓練結果，此類攻擊可能會降低學習模型的總體性能.文獻[94]研究了針對聯邦學習系統的數據中毒攻擊，其中參與者的惡意子集旨在通過發送源自錯誤標記數據的模型更新來毒害全局模型.該文作者證明，即使有一小部分惡意參與者，此類數據中毒攻擊也會導致分類準確度和召回率的大幅下降.

文獻[95]評估了基于女巫攻擊的數據中毒對聯邦學習系統的影響.惡意攻擊者通過創建大量的假數據標簽或臟標簽來破壞訓練全局模型時的有效性.為了減輕女巫攻擊，該文作者提出了一種稱為FoolsGold的防御策略.該方案的關鍵思想是可以根據更新的梯度將誠實的參與者與女巫攻擊者區分.具體來說，每個參與者的訓練數據都有其自身的特殊性，根據學習過程中參與者本地更新的多樣性來識別數據中毒攻擊.借助FoolsGold，系統可以在傳統聯邦學習過程進行最小更改的情況下防御數據中毒攻擊，并且不需要學習過程之外的任何輔助信息.實驗結果表明，FoolsGold超過了現有最先進方法的能力，可以應對基于女巫攻擊的數據標簽翻轉，并且可以適用于不同分布的用戶數據、不同的中毒目標和各種女巫策略.文獻[96]提出了一個檢測惡意用戶并生成準確模型的系統，用戶不再向服務器傳送模型梯度而是上傳偽裝特征，并設計了一種基于這些偽裝特征的自動統計機制來抵御數據中毒攻擊.在這種解決方案中,使用均值聚類算法對每輪通信過程中的本地模型更新(偽裝特征)進行聚類,并識別出異常分布的孤立點，即數據中毒后的本地模型.

2) 模型參數安全.對于模型中毒攻擊，惡意參與者可以直接修改更新后的模型，然后將其發送到服務器進行聚合.即使只有一個攻擊者，整個全局模型也可能中毒.文獻[97]提出了一些防止全局模型受到惡意本地模型影響的解決方案.第1種解決方案，根據移動設備共享的更新模型，服務器可以檢查共享模型是否有助于提高全局模型的性能；否則，該設備將被標記為潛在的攻擊者，并且在經過幾輪該設備的更新模型觀察之后，服務器可以確定這是否是惡意用戶.第2種解決方案是移動設備上的互相比較.如果某個移動設備的更新模型與其他設備上的模型有很大差別，則該設備可能是惡意模型；然后，服務器將繼續觀察該設備的更新，才能確定這是否是惡意用戶.

為防止由于移動設備上傳不可靠的模型從而導致聯邦學習被破壞，或由于能量限制以及高速移動而導致劣質數據對模型訓練的影響，文獻[98]引入了信譽的概念作為度量指標，以防止設備發送不可靠或惡意的模型更新等危險行為.此外，文獻[99]提出了一種方法，利用預先訓練好的異常檢測模型來檢測移動邊緣網絡中存在異常行為的設備，及時消除惡意用戶對全局模型以及聯邦學習系統產生的不利影響.

3.3.2 隱私保護

文獻[100]的作者將服務器設置成惡意的，當進行全局模型聚合時，通過利用設備發送到服務器的本地模型，結合GAN網絡模型共同推斷并精準地偽造出受害者設備上的一些隱私數據.如圖20所示，惡意服務器獲取到來自設備的本地模型后，將某個設備的本地模型復制到GAN模型的鑒別器中進行訓練，并通過數據分布計算與附加數據集的訓練，使鑒別器與生成器能夠得到更準確的訓練.最后，生成器能夠生成該設備的隱私數據.這種攻擊方式對特定的設備進行攻擊，生成該設備上的具體數據信息，是聯邦學習中一種較嚴重的隱私威脅.

Fig. 20 Federated learning GAN attack model based on malicious server圖20 基于惡意服務器的聯邦學習GAN攻擊模型

為了保護用戶模型參數的私密性，文獻[101]介紹了一種稱為差分隱私的隨機梯度下降技術，該技術可以在傳統深度學習算法上有效地實現.在此基礎上，文獻[102]將差分隱私技術應用到聯邦學習環境，關鍵思想是在模型參數發送到服務器之前，在移動設備上部署差分隱私技術,在訓練后的本地參數上添加一些噪聲.該文作者還分析了該方案下聯邦平均聚合的收斂效果，結果表明可以達到效率和所需隱私保護級別之間的平衡.通過這種方式，參與設備可以降低從其共享參數中泄露隱私的風險.

文獻[103]中的作者提出了一種更全面的隱私保護方案.對于每個訓練輪次，服務器首先選擇隨機數量的參與者以訓練全局模型，然后進一步在模型參數上添加噪聲.因為無法得知哪些設備參與了訓練，所以能夠有效防止惡意設備通過共享模型來推斷其他設備的隱私.

3.3.3 歸納總結

本節討論了在聯邦學習訓練模型的過程中存在的惡意攻擊行為，從安全性和隱私性2個方面分析了當前的安全與隱私保護機制.聯邦學習的目的是供移動設備執行有效的且保護隱私的協作模型訓練方案.但是，針對聯邦學習的隱私攻擊過程，攻擊惡意設備可以獲得其他參與者敏感信息的訪問權限.此外，在傳輸共享模型的階段，攻擊者也可以執行模型中毒攻擊，這些攻擊將會破壞整個學習系統.本文對比分析了目前聯邦學習的隱私與安全的策略，在表5中進行了總結.

Table 5 Federated Learning Security and Privacy Strategies表5 聯邦學習安全與隱私策略

4 挑戰及未來研究方向

聯邦學習由于其分布式的特性，以及移動邊緣網絡環境的復雜性，使聯邦學習系統的穩定性不如傳統分布式學習.用戶的不可控性造成許多未知因素，這給聯邦學習的效率優化帶來了極大的挑戰.目前，聯邦學習的研究仍處于初期，沒有一套完善的方案解決穩定性、效率優化問題，訓練過程容易受到影響.通過對移動邊緣網絡中聯邦學習效率優化研究現狀的深入分析，我們認為未來聯邦學習的優化研究可以重點從7個方面展開：

4.1 基于更多邊緣計算的聯邦學習

聯邦學習的研究還處于初級階段，大多數是基于云和端的2層學習架構.大量的移動設備與云服務器直接通信會帶來更多的能耗和通信成本.同時，隨著模型的日漸復雜化，服務器也會承受越來越大的負載.為了高效利用移動邊緣網絡中設備的計算資源并進一步釋放人工智能的潛力，將傳統基于集中式(例如數據中心)的人工智能下沉到靠近用戶的網絡邊緣已成為一種技術趨勢，例如目前新興的邊緣智能[104].在聯邦學習領域中利用云—邊—端協作方式的技術還比較少，或只是簡單地用邊緣層來存放數據，沒有真正發揮邊緣的價值.相比基于云的云—端協作，邊緣化學習的優勢有4方面：

1) 低時延與低能耗.在實時性較高的場景，例如智能交通系統、智能醫療系統等，這些場景對時延非常敏感，如果數據沒有及時傳送，可能會造成模型決策錯誤.云和端之間的傳輸需要更長的時間，邊緣化學習可以降低通信的響應時間以及成本.

2) 高安全性與高隱私性.在通信過程中，聯邦學習以及設備本身容易受到惡意攻擊，但移動設備的能力有限，不能保證模型以及自身的安全性.利用邊緣設備，例如小型基站和服務器，結合同態加密和多方安全計算等安全機制可以降低設備被攻擊的風險[105].

3) 易管理.在實際應用中，由于網絡連接不穩定等因素，設備可能在訓練中途退出，導致模型性能下降.邊緣服務器靠近用戶，通信連接相對穩定，可以更方便地監控設備狀態并進行管理.

4) 易擴展.云服務器的建立和維護的成本很高，而人工智技術更新換代迅速，使云數據中心需要不斷地升級與擴展.相反，邊緣設備成本更低、靈活易擴展.可以將更多的任務部署到邊緣設備中，而不需要更多的服務成本.

結合更多的邊緣計算可以為聯邦學習帶來更多的學習場景.例如，傳統的Gossip算法[33]作為移動邊緣網絡中一種點對點的通信方式，也可以看作去中心化的邊緣計算模式.具體來說，在一個有界網絡中，每個節點都隨機地與其他節點通信，經過幾輪隨機的通信，最終所有節點的狀態都會達成一致.考慮到聯邦學習設備的異構性，在本地訓練階段可以基于Gossip使設備之間進行互相學習，提高本地模型的質量，從而加速全局模型的收斂.

4.2 針對聯邦學習的數據清洗

聯邦學習應用在移動邊緣網絡，用戶的數據無法進行統一的預處理，除了來自第三方的惡意攻擊，設備自身存在的錯誤數據、數據冗余等問題無法避免.數據質量是模型快速收斂的關鍵，因此，針對聯邦學習的數據清洗是一個很大的挑戰.

文獻[106]提出一種基于移動邊緣節點的數據清洗模型，在邊緣節點上建立分類模型以辨別異常數據.同樣地，在參與聯邦學習的移動設備上建立數據清洗模型也是一個解決方案.因此，在保證設備計算資源足夠的前提下，本文提出一種聯邦學習數據清洗方案.服務器在聯邦學習任務初始化過程中同時準備一個先驗的數據清洗模型，并將該模型一同發送給設備.設備在進行本地訓練之前，先經過數據清洗模型以篩選并剔除部分錯誤或無用的數據.這樣能減小本地模型訓練的誤差，大大提高聯邦學習模型的學習效果.

考慮到無法直接對用戶數據進行處理或清洗，可以利用邊緣的計算和通信資源來獲得最佳的聯邦學習性能.例如，在不同的網絡位置部署移動邊緣節點，使其成為遠程云和移動設備通信的樞紐.在本地更新階段，每個移動設備計算本地模型和全局模型參數之間的相似度，如果二者之間的相似性較低，則推測該本地模型所使用的數據集質量低，存在錯誤數據或臟標簽的可能性高，選擇丟棄而不上傳到邊緣服務器；本地訓練結束后，部署在不同網絡位置的移動邊緣節點聚合簇內的必要本地更新，然后將邊緣聚合后的模型發送到云服務器進行全局聚合，從而減少由錯誤數據訓練的本地模型，達到模型清洗的目的.

4.3 自適應聯邦學習

聯邦學習作為分布式學習的一種延伸，通信消耗與收斂性能是系統的主要評價指標.在本文的聯邦學習通信與訓練優化方案中，很難將二者同時滿足.例如模型壓縮技術壓縮了模型大小，雖然能夠降低傳輸過程中的消耗，但是在模型精度上有一定的妥協.因此，文獻[76]綜合考慮了將能耗、訓練時間和通信成本最小化，提出設備資源最優決策方案.然而，隨著模型的復雜化和訓練任務的增加，綜合各方面提升聯邦學習的效率是非常困難的，考慮自適應的訓練算法變得尤為重要，我們給出2個自適應方向：

1) 自適應通信與訓練時間的折中.根據聯邦學習系統的通信與能量消耗的側重點，對移動邊緣網絡的環境進行建模并設計動態的決策算法，以保持訓練過程動態平衡地進行.例如，當訓練時通信所消耗的資源過多或時延過高時，則可通過算法調整本地訓練與更新的時間，或通過壓縮減少模型的數據量；反之，可以增加本地更新的次數，或傳輸完整的模型參數，以學習更多的知識來提高模型的收斂速率.

2) 自適應本地訓練.在本地模型迭代優化時，學習率是一個非常重要的超參數.學習率是梯度下降優化方法中的步長，若步長過大則可能導致模型的振蕩，若步長過小又會使模型收斂的速率很慢.由于聯邦學習使用的數據集的分布因用戶而異，依賴于歷史經驗的步長不能準確地適應模型的訓練狀況，步長的設置變得非常困難.因此，采用設備的自適應訓練以優化模型收斂也是提高聯邦學習效率的重要方法.

4.4 激勵機制與服務定價

大多數聯邦學習的框架僅由一個服務器與多個參與設備組成，即單一服務器的聯邦學習.在實際情況下，可能會存在2種情況：1)參與設備可能是不愿共享其模型參數的競爭者，并且還受益于訓練好的全局模型，但沒有對全局模型做出貢獻；2)聯邦學習服務器可能正在與其他服務器競爭，在極端情況下，服務器可能接收不到設備的本地模型.此外，由于參與設備對它們的可用計算資源和數據質量有更多的了解，在聯邦學習服務器與參與設備之間存在信息不對稱.因此，設計更合理的激勵機制[107]，以激勵移動設備用戶參與聯邦學習并減小由于信息不對稱帶來的潛在不利影響，以及解決服務器之間的競爭問題.此外，對于聯邦學習，用戶可以是服務使用者，同時也可以是數據生成器.在這種情況下，需要一種新穎的服務定價機制[108]來考慮用戶的服務消耗及其數據貢獻的價值.

例如，移動設備和服務器之間的通信可以利用Stackelberg博弈論[109-110]進行建模，其中服務器是買方，移動設備是賣方，每個設備都可以非合作地決定自己的利潤最大化價格.首先，服務器考慮模型的學習準確性與訓練數據大小之間不斷增加的凹關系，確定訓練數據的大小以使模型學習的利潤最大化；然后，移動設備決定每單位數據的價格以最大化個人利潤.

文獻[111]的作者提出了一種利用合同理論[112]的激勵設計，以吸引具有高質量數據的移動設備.該合同可以通過自我披露機制來減少信息不對稱，在這種激勵機制下，每個合同必須確保每個設備參加聯邦學習時都具有積極作用，并且每個最大化效用的設備都只會選擇為其類型設計的合同.服務器的目標則是在該合同的約束情況下最大化自己的利潤，通過這種方式來達到聯邦學習參與設備與服務器的效率平衡.隨著聯邦學習參與用戶對利益的要求發生變化，設計合理的服務定價也是未來重要的研究方向.

4.5 資源友好的安全與隱私保護

由于移動邊緣網絡的復雜性與不確定因素較多，且移動設備的計算資源不足，在聯邦學習過程中發生故障或被攻擊的可能性大，用戶的隱私仍然受到來自第三方的威脅.目前的聯邦學習隱私保護方案依賴于傳統的加密與數據擾動的方式，例如同態加密和差分隱私.然而，由于現有技術的局限性，權衡模型的可用性與隱私性成為聯邦學習的挑戰.

例如，差分隱私的優點在于添加隨機噪聲不會造成過高的性能代價，而缺點在于擾動機制將可能使模型精度變差.同樣地，同態加密雖然能夠保證數據在存儲、傳輸與計算過程中的隱私與安全，但加密過程涉及大量的復雜計算和密鑰傳輸，對于復雜模型來說，計算和通信的開銷都非常大.為了保證聯邦學習的效率，對隱私的保護雖然重要，而對于隱私保護的可行性更為重要.在未來的工作中，需要考慮權衡算法的可行性與隱私性，研究輕量級的安全與隱私保護策略，從整體上提高聯邦學習的性能.

4.6 聯邦學習與前沿技術結合

聯邦學習中由于用戶與用戶之間的差異，本地non-IID數據隨著用戶地域分布以及偏好而變動，導致每個用戶自身的模型參數僅適合本身的數據，全局模型很難滿足所有參與者的需求.因此，需要考慮一種新穎的方法使全局模型針對每個用戶進行優化，提高全局模型在統計學異構性方面的泛化能力.

4.6.1 個性化

基于模型初始化的元學習(例如模型無關元學習)對任務的快速收斂擁有良好的適應性和泛化性.例如，文獻[113]將元學習方法與聯邦學習方法相結合.具體來說，每個設備被看成一個任務，設備的本地數據被分為support set與query set.參與訓練的設備接收元學習器參數meta-learner進行模型訓練，利用support set更新本地任務的參數learner，然后基于更新后的learner在query set上更新meta-learner.經過幾輪訓練后，元學習器參數meta-learner不會偏袒任何設備，提升了在所有設備上的泛化能力.相比傳統的聯邦學習，聯邦元學習共享的不再是整個模型，而是元模型參數，使聯邦元學習可以應用得更加靈活.與傳統的聯邦平均算法相比，聯邦元學習在模型精度和通信成本上都有所改善.文獻[114]通過聯邦元學習方法，使模型僅用少量的樣本就能迅速適應學習新的學習任務，減少了大量計算成本.文獻[115]在聯邦學習環境中構建了一種個性化的模型，并提出基于多任務學習的MOCHA算法以解決移動邊緣網絡中通信、設備斷線和容錯性等問題，從而增加模型的泛化能力.

4.6.2 去中心化

目前主流的方法都是基于中心化聯邦學習，而中心化聯邦學習方法的缺點是依賴一個中央服務器，這需要所有設備同意一個可信的中央服務器.目前，從系統架構上通過去中心化等方式優化通信效率也正在深入研究.文獻[116]提出了一個去中心化的聯邦學習框架BrainTorrent，所有的參與者相互作用，而不依賴于一個中央服務器.在參與者之間進行點對點學習，模型隨時根據不同的參與者動態調整，從而提升模型的性能.而文獻[117]考慮了去中心化聯邦學習下的單向信任問題(即用戶A信任用戶B，用戶B不信任用戶A).該文作者提出了無中央服務器的聯邦學習算法，每個節點只需要知道它的外部鄰居節點，而不需要知道全局拓撲，因此在訓練過程中更加靈活，并且被證明具有最佳的收斂速度.除此之外，基于區塊鏈的聯邦學習除了可以實現去中心化，還能避免數據或模型受到攻擊，提高效率的同時還能增強系統的穩定性[118].聯邦學習與前沿技術結合的研究還處于起步階段，正逐步成為研究熱點，技術的融合能促進共同發展，因此值得不斷探索.

4.7 聯邦學習與智能場景結合

隨著對個人隱私的關注，聯邦學習在許多應用中扮演著越來越重要的角色.將現有的智能場景與聯邦學習結合，可以實現保護用戶隱私的智能服務，同時，通過實踐中的反饋能夠為聯邦學習的改進與發展奠定良好的基礎.目前，主要有3種結合的智能場景：

1) 計算卸載與緩存.計算卸載是給定邊緣設備的計算和存儲容量約束，將移動設備上一些計算量大的任務卸載到云服務器上進行計算[119-120].然而，來自用戶的計算涉及用戶的隱私信息，服務器提供商并不是完全可信的，用戶的隱私因此受到威脅.此外，可以將常用的請求文件或服務緩存在邊緣服務器以加快檢索速度，不必與遠距離的云進行通信[121].同樣出于對用戶隱私的考慮，可以利用聯邦學習的優勢，設計保護隱私的智能計算卸載與緩存方案.文獻[122]介紹了一種隱私感知邊緣緩存方案，提出了一種基于聯邦學習的方法來訓練偏好模型，同時將用戶的數據保留在其個人設備上.目標在不受資源約束的情況下，最大限度地增加了邊緣需求的服務數量，既保證了用戶數據的隱私，又實現了最優邊緣緩存.

2) 車聯網.車聯網是智慧城市服務的一方面，智能車輛具有數據收集、計算和通信等功能，例如導航和交通管理.由于這些信息可以包含駕駛員的位置和個人信息，若共享這些數據，會導致用戶隱私得不到保障[123].利用聯邦學習，可以實現在車聯網環境中高效地學習與交互，有效保護用戶的隱私.

3) 智能醫療.目前，全世界的數據庫都包含海量的數字醫療圖像[124].結合數據科學的發展，醫療數據提供了認識與治療疾病的基礎.然而，由于隱私和法律方面的考慮，存儲在不同醫院與機構中的異構數據集無法直接共享.因此，醫療圖像數據的價值無法利用，這限制了醫療學者對疾病的研究.結合聯邦學習框架，可以安全地進行生物醫學數據的識別與分析，而無需共享患者的個人隱私信息.

5 結束語

隨著大數據時代的來臨，用戶對數據隱私的要求越來越高，深度學習需要從集中的方式轉變為面向用戶的分布式方式.聯邦學習的效率決定著人工智能技術面向用戶的普及與應用程度.在異構的移動邊緣網絡中，由于帶寬與通信距離的限制，聯邦學習的通信效率是主要的問題.因而，許多學者基于模型壓縮技術提出了解決方案.此外，移動設備的選擇、模型聚合與數據分布等資源分配問題同樣影響著聯邦學習的訓練，本文將這些歸納為訓練優化，并系統性地對比分析了相關的方案.針對聯邦學習中可能發生的安全與隱私問題，本文總結了現有的聯邦學習安全與隱私保護機制.

同時，我們在文獻調研過程中發現目前的大多數解決方案都屬于基本的設備層與服務器層的聯邦學習框架，在訓練任務比較復雜的情況下，移動設備可能無法承受巨大的計算壓力.而邊緣計算模式能為聯邦學習提供適應的場景，可以利用邊緣技術將更多的計算卸載到邊緣(例如邊緣服務器)以充分釋放邊緣的價值，為聯邦學習的優化提供更多的可能性.本文從通信、模型訓練和安全與隱私3個方面分析與對比了聯邦學習效率優化的研究方案.根據現有方案的不足，本文總結了聯邦學習面臨的一些新挑戰，從邊緣計算、數據優化、自適應學習、激勵機制以及可行性隱私保護等方面給出了聯邦學習未來的研究方向，并提出了針對聯邦學習效率優化的前沿技術與解決方案，為聯邦學習進一步發展提供參考.聯邦學習的研究目前雖然還處于發展階段，但我們認為結合更多邊緣計算的聯邦學習是未來的重要課題，也將成為實現聯邦學習落地的最后一公里.

作者貢獻聲明：孫兵負責相關文獻資料的收集、分析和論文初稿的撰寫；劉艷負責文獻補充和相關圖表的修正；王田提出寫作思路并指導論文撰寫與修改；彭紹亮針對文獻調研提出意見并指導修改；王國軍和賈維嘉提出論文格式排版建議并校對全文.