邊緣計算下的聯邦學習挑戰及進展

中國電子科技集團公司第三十二研究所 張燕 胡明星

近年來，邊緣計算和聯邦學習技術受到了學術界和工業界的廣泛關注。邊緣計算充分利用位于邊緣設備、邊緣節點及邊緣服務器上的計算和存儲資源，減少對通信資源的消耗，提供了分布式計算和數據處理的能力。聯邦學習作為一種分布式的機器學習方法，通過在本地進行模型訓練，以達到保護數據隱私安全的目的。邊緣計算和聯邦學習這兩項技術的結合，不僅可以實現邊緣端的智能決策，還能減少通信開銷，保護用戶數據隱私安全。本文首先描述了邊緣計算下的聯邦學習所面臨的一系列挑戰，例如，通信、計算資源及能耗等受限，設備異構、數據異構、設備連接不穩定以及安全隱私保護等，然后分別從這三個方面對近兩年有代表性的研究進展進行了概括，最后對全文進行了總結。

聯邦學習是一種分布式的機器學習技術，由多個參與方分別持有本地數據，在本地進行模型訓練，然后將本地訓練的模型參數上傳，而非將本地數據上傳，進行模型聚合和參數更新，共同完成對全局模型的訓練。邊緣計算從終端采集到的數據直接在本地設備或網絡中進行分析，將智能服務提供到靠近物或數據源頭的網絡邊緣側，無需傳輸到云端數據處理中心。

在邊緣側使用聯邦學習，不僅可以保護用戶的隱私安全，還可以充分利用邊緣設備的計算能力、存儲資源，減少通信開銷，因此聯邦學習和邊緣計算技術的結合吸引了大量的關注與研究。但同時邊緣計算應用場景中存在的問題，如：受限的通信資源、計算資源及能耗、更加不均衡的用戶數據、不穩定的通信條件以及隱私與安全需求等也為聯邦學習本身帶來了新的挑戰。

本文的結構如下：首先，介紹了邊緣計算下的聯邦學習所面臨的挑戰，然后分別從通信及其他資源受限、數據及系統異構、隱私安全這三方面對近兩年有代表性的研究工作進行了概括歸納，最后進行了總結。

1 面臨的挑戰

綜述[1]中總結了聯邦學習技術當前的挑戰，包括：通信效率短板明顯、隱私安全仍有缺陷等。這些挑戰在邊緣計算環境下依然存在，并且由于邊緣計算環境本身的特質，上述問題還會變得更加嚴峻。本節將從以下三個方面：（1）資源受限；（2）異構；（3）隱私安全來簡述邊緣計算環境下的聯邦學習技術所面臨的挑戰。

1.1 資源受限

首先，在聯邦學習中，設備之間需要頻繁交換模型參數和梯度信息，由于邊緣設備的帶寬通常很有限，無法同時處理大量數據和傳輸數據，設備之間的通信可能會出現較高的延遲，從而影響模型的訓練效率和準確性。其次，邊緣計算設備的計算能力、存儲資源也有限，另外，邊緣計算設備對能耗也有著更高的要求，這些限制對聯邦學習這種分布式機器學習方法提出了挑戰。

1.2 異構

數據異構，特別是數據非獨立同分布，一直是聯邦學習的一個挑戰，而這個問題在邊緣計算下由于邊緣設備的異構性而變得更加突出。邊緣設備不僅本身的差異非常大，例如，智能傳感器、邊緣智能路由、ICT 融合網關等，這些設備產生的數據更是復雜多樣，并且由于受到設備性能及網絡等因素影響，邊緣設備可能產生數據缺失，以及產生的數據往往還具有實時性的特征，也容易引起數據時效性問題。另外，邊緣設備還存在移動性和不穩定性，邊緣網絡中鏈路的帶寬資源可能發生變化，不僅影響鏈路的實際帶寬，甚至還可能出現連接中斷的情況，這些給聯邦學習帶來了更大的挑戰。

1.3 隱私安全

聯邦學習在隱私安全方面的研究一直是一個熱門話題，因此，在邊緣計算背景下的聯邦學習隱私安全問題也同樣受到關注。另外，對邊緣服務器本地子網絡進行部分參數聚合，不僅可以減少通信開銷，還可以更好地實現隱私安全保護。因此，邊緣計算本身也為隱私安全保護提供了新的思路。

2 研究進展

本節從邊緣計算下的聯邦學習的挑戰角度出發，對近兩年具有一定代表性的研究工作進行了概括和總結。

2.1 通信資源受限

邊緣計算下的聯邦學習通信資源受限問題引起了研究者的廣泛關注。針對分層聯邦邊緣學習系統（H-FEEL），Wen 等[2]將子信道分配和助手調度問題抽象為非線性規劃問題的理論分析，在某些特定情況下給出了最優解/次優解。Wu 等[3]則考慮云-邊-端協同的情況，通過同步客戶端-邊緣模型聚合和異步邊緣-云模型聚合相結合的方式，并通過大量實驗證實，WAN 通信開銷有非常明顯的減少。

空中計算的通信資源受限問題也受到了廣泛關注，Wang 等[4]利用可重構智能表面（RIS），來緩解朝向邊緣服務器的信道條件最差的設備的限制。Yang 等[5]對設備選擇和波束成形問題的組合算法進行設計，提供了一種稀疏和低秩建模方法，并對這個非凸二次約束的組合優化問題進行處理。

此外，引用[6]基于移動邊緣計算（MEC），提出用通信流水線來上傳所有客戶端的本地更新來減少迭代次數，但未對總的通訊開銷及所有用戶參加計算過程所涉及的隱私安全情況展開討論。通信資源受限的問題研究總結如表1 所示。

表1 通信資源受限問題研究總結Tab.1 Summary of research on communication resource limitation

2.2 計算及能耗資源受限

針對移動邊緣計算（MEC）場景下的計算及能耗資源受限問題，有一些研究通過模型壓縮減少計算資源的消耗，還有一些研究利用聯邦學習框架，來解決任務卸載最小化延遲和能耗的組合優化問題。

2.3 數據異構

對于數據異構挑戰，一些學者通過增加全局信息來緩解數據異構問題，如設計一個本地網絡架構和一個全局原型對比損失來調節本地模型的訓練；或者是生成滿足全局分布的聯邦虛擬數據集。另一種思路則是通過對客戶端進行分組來緩解數據異構問題，如提出自動對用戶進行分組的機制，以及利用權重來調整偏差。

2.4 系統異構及不穩定

邊緣設備的移動性和不穩定性給聯邦學習帶來了巨大挑戰，近兩年，很多研究者也在系統異構及不穩定方面做了大量的研究工作。

首先，一部分研究者考慮了客戶端方面，如引用[7]提出了根據客戶端的異構訓練能力將所有客戶端分組到多個集群中。集群間采用異步方式進行全局集合，而同一集群內則采用同步方式將其本地更新轉發給集群頭進行聚合。Herabad[8]使用加權聚合方法來克服在異構智能物聯網邊緣環境中的不平衡訓練問題。

其次，也有一部分研究者利用邊緣服務器等邊緣節點來進行優化，如引用[9]提出了一種每個邊緣節點能夠根據網絡動態自適應地調整其訓練策略的方法。Chahoud等[10]利用容器化技術（Docker），使用任何類型的客戶端設備作為志愿設備，來處理部分移動和車輛設備無法作為聯邦學習中的客戶端使用問題。系統異構方面的工作總結如表2 所示。

表2 系統異構問題研究總結Tab.2 Summarizes the research on system heterogeneity

2.5 隱私安全

針對邊緣計算背景下的隱私安全挑戰，一些研究者對聯邦學習技術本身進行了進一步提高，如利用云-邊緣-端協作，提出分層的聯邦學習框架，以提高對惡意攻擊的抵抗能力，以及使用多種隱私計算技術，如，多方安全協議、差分隱私等，對客戶端上傳的參數及服務器的聚合結果進行檢查。此外，區塊鏈技術與聯邦學習的結合也是當前聯邦學習隱私安全研究方面的一個熱點，其中綜述[11]提供了一個關于基于區塊鏈的聯邦學習方法在物聯網應用中的詳細文獻綜述。

3 總結

當前研究者們針對邊緣計算背景下的聯邦學習所面臨的挑戰開展了大量的研究工作，但這些研究主要還是面向具體的應用場景，對現有的聯邦學習算法進行了不同程度和方向上的優化和改進，理論分析相對缺乏且難度較大，還有對在其他同類型應用場景中的擴展討論較少，以及對通用的解決方法研究較少，因此，邊緣計算下的聯邦學習挑戰仍然存在，還需繼續研究完善。隨著6G 等通信技術的不斷進步，邊緣設備計算能力的不斷提高以及聯邦學習技術的不斷完善，相信邊緣計算下的聯邦學習將為各行各業帶來更安全、高效和可持續的機器學習解決方案。

引用

[1] 周傳鑫,孫奕,汪德剛,等.聯邦學習研究綜述[J].網絡與信息安全學報,2021,7(5):77-92.

[2] WEN W,CHEN Z,YANG H H,et al.Joint Scheduling and Resource Allocation for Hierarchical Federated Edge Learning[J].IEEE Transactions on Wireless Communications,2022,21(8):5857-5872.

[3] WU Q,CHEN X,OU Y T,et al.HiFlash:Communication-Efficient Hierarchical Federated Learning with Adaptive Staleness Control and Heterogeneity-aware Client-Edge Association[J].IEEE Transactions on Parallel and Distributed Systems,2023,34(5):1560-1579.

[4] WANG Z X,ZHOU Y,ZOU Y N,et al.A Graph Neural Network Learning Approach to Optimize RIS-Assisted Federated Learning[J].IEEE Transactions on Wireless Communications,2023,(99):1.

[5] YANG K,JIANG T,SHI Y M,et al.Federated Learning Via Over-the-Air Computation[J].IEEE Transactions on Wireless Communications, 2020,19(3):2022-2035.

[6] KE?ECI C,SHAQFEH M,AL-QAHTANI F,et al.Clustered Scheduling and Communication Pipelining for Efficient Resource Management of Wireless Federated Learning[J].IEEE Internet of Things Journal,2023,28(3):1.

[7] WANG Z,XU H,LIU J,et al.Accelerating Federated Learning with Cluster Construction and Hierarchical Aggregation[J].IEEE Transactions on Mobile Computing,2022,22(7):3805-3822.

[8] Mohammadsadeq Garshasbi Herabad.Communication-efficient Semi-synchronous Hierarchical Federated Learning with Balanced Training in Heterogeneous IoT edge Environments[J].Internet of Things,2023,21(1):642-656.

[9] SUN W,ZHAO Y,MA W,et al.Duong.Accelerating Convergence of Federated Learning in MEC with Dynamic Community[J].IEEE Transactions on Mobile Computing,2023,2 (2):1-17.

[10] Mario Chahoud,Safa Otoum,Azzam Mourad.On the Feasibility of Federated Learning Towards on-Demand Client Deployment at the Edge[J].Information Processing & Management,2023,60(1):150-160.

[11] ISSA W,MOUSTAFA N,TURNBULL B,et al.Blockchainbased Federated Learning for Securing Internet of Things:a Comprehensive Survey[J].ACM Computing Surveys,2023,55(9):1-43.