聯邦學習在移動通信網絡智能化的應用

吳墨翰，馬麗萌，楊愛東，王達，葉曉舟，歐陽曄

（亞信科技（中國）有限公司，北京 100089）

0 引言

近年來，物聯網設備、各種傳感器、智能手機等設備呈現爆發式增長，產生了大量的不同類型的數據[1-2]，為了提高移動通信服務質量并實現更智能化的移動應用，在移動通信網絡中引入人工智能技術受到廣泛的關注。傳統的思路是將利用機器學習所需的數據集中在一個中央服務器中進行模型訓練和分析，然而，在部分場景下，出于隱私保護的考慮，基于數據集中式的機器學習將無法實施。同時，網絡還涉及不同廠家、跨網元、跨域以及第三方應用的數據，由于廠家競爭、數據安全和地址位置等因素，數據往往以孤島形式存在[3]，無法互通，難以滿足網絡智能化對數據標簽和特征維度的要求[4]。此外，網絡地域覆蓋廣、數據體量大，即使數據可傳輸到中央服務器，也可能會占用較大的帶寬和較長的傳輸時延，導致AI 分析效率低下[5]。

因此，移動網絡需引入分布式可信的人工智能技術，能夠在保護數據隱私的前提下，打破數據孤島，解決傳輸短板。聯邦學習作為一種能夠讓數據擁有者利用數據/計算/ 模型加密實現本地化共同建模的技術，可實現數據無法直接互通下的模型訓練，保障用戶隱私和數據安全，降低數據傳輸開銷，為網絡智能化的開展打開了新思路。本文對聯邦學習的現狀進行了分析，介紹了基于聯邦學習的網絡智能化架構，并基于該架構對客戶體驗管理應用案例進行了分析，對有/ 無聯邦學習、獨立/ 非獨立同分布的實驗結果分別做出了對比。實驗證明，聯邦學習可在無需集中匯聚各地域數據的前提下，通過聯合建模的方式，提高訓練模型效果，并且相比較數據的非獨立同分布，獨立同分布更有利于提高模型的預測能力。

1 研究背景

1.1 聯邦學習研究現狀

隨著數據在生產生活中的重要性不斷提高，數據安全問題已被人們廣泛關注。2016 年，歐盟通過了通用數據保護法案（GDPR,General Data Protection Regulation）[6]，并且于2018 年強制在所有歐盟國家全面實施該GDPR 法案[7-8]，目的是讓用戶對個人數據有更強的控制能力與保護能力。與之相似地，中國政府近年來也發布了關于數據管理的法律條文，2016 年通過了《中華人民共和國網絡安全法》[9]，2021 年通過并實施《中華人民共和國數據安全法》與《中華人民共和國個人信息保護法》。

數據安全相關法規使現有人工智能研究面臨一個重要的問題，即如何合法合規利用數據。聯邦學習作為一種新的人工智能學習框架應運而生：數據源之間不直接交換原始數據，而是交換加密后的模型信息，即數據不動模型動，參與方實現數據隱私保護的同時，共同協作構建共享的學習模型。

聯邦學習包含兩個過程，即模型訓練及模型推理。在模型訓練過程中，模型相關信息以加密的方式在各參與方之間進行傳輸交換，合作訓練好的模型，再發送給各參與方，更新各參與方本地模型，直至全局模型性能最優為止。模型推理時，訓練好的模型可以運用新的數據實例進行推理預測，例如在醫療行業應用，聯邦醫療圖像系統可能會接受一名患者，該患者的診斷數據來自不同醫院，各方協作進行病情預測，并將預測結果反饋給用戶。

聯邦學習的架構有兩種，分別為有協調方的聯邦學習架構和無協調方的聯邦學習架構。有協調方的聯邦學習架構即客戶-服務器架構，如圖1 所示，協調方視為一臺聚合服務器，將初始的模型發送給各個參與方，各個參與方將各自的數據集進行訓練，并將模型更新發送到聚合服務器，協調方聚合從各個參與方接收到的模型，并將聚合后的模型發送給各個參與方。無協調方的聯邦學習架構即對等網絡架構，如圖2 所示，各個參與方之間無須借助協調方即可直接通信，提高了數據和系統的安全性，但可能需要很多的計算操作來對消息內容進行加密和解密。

圖1 客戶-服務器架構

圖2 對等網絡架構

1.2 聯邦學習標準現狀

近年來，移動通信網絡領域的聯邦學習相關標準工作已逐步開展。國際上，2018 年12 月，IEEE 標準化協會批準了聯邦學習架構和應用規范的標準P3652.1（聯邦學習基礎架構與應用指南）立項，2021 年3 月30 日聯邦學習標準通過IEEE 確認并形成正式標準文件進行發布。2020 年6 月，3GPP R17 標準提案TR23.700-91 中提出“多NWDAF 用例之間的聯邦學習”，將聯邦學習引入5G 網絡中[10]。在2021 年第四季度，推動“使能網絡自動化階段三”（FS_eNA_Ph3）和“5G 系統支持基于AI/ML 的服務”（FS_5GAIML）這兩個R18 課題在3GPP SA2 立項，其中：在FS_eNA_Ph3 中，研究5G-Advanced 中聯邦學習的應用場景、智能架構、關鍵技術等；在FS_5GAIML 中，研究應用層與終端之間的聯邦學習。2021 年，ITU-T 在SG16 發起“聯邦機器學習服務可信貢獻評估框架”的新項目立項，SG20 Q3 發起“面向物聯網和智慧城市的聯邦學習需求與參考框架”新項目立項。在國內，2019 年3 月，中國人工智能開源軟件發展聯盟（AIOSS）發布團體標準《信息技術服務聯邦學習參考架構》，包括聯邦學習參考架構的概念、用戶視圖、功能視圖以及兩者之間的關系。中國通信標準化協會（CCSA）密切關注聯邦學習，2021 年涉及聯邦學習的項目包括研究課題《聯邦學習數據安全保護技術研究》、《面向電信領域的人工智能聯合學習應用場景和需求》、《基于分布式聯合學習的5G 及演進移動通信網關鍵技術研究》，研究聯邦學習與5G-Advanced 結合的關鍵使能技術及應用。

2 基于聯邦學習的網絡智能化架構

2.1 總體架構

基于聯邦學習的網絡智能化需要聯邦學習技術與移動通信網絡緊密結合，使得網絡中各個參與方在保護數據隱私的前提下以聯邦學習的方式開展網絡智能化，以滿足用戶、運營商和行業的聯合建模需求。圖3 為中國移動提出的面向聯邦學習的分布式智能網絡架構[11]。

圖3 面向聯邦學習的分布式智能網絡架構

該架構包括域內聯邦、跨域聯邦、全局聯邦三層，涉及用戶、運營商和行業等AI 建模需求方。在全局聯邦層中，運營商可作為Central Coordinator，成為用戶和行業的紐帶，提供跨界互通、任務協調、資源調度、安全認證等功能，解決用戶與行業之間的跨域隱私等問題，打破各行業間的數據孤島。在跨域聯邦層中，運營商側主要包括OAM（Operation Administration and Maintenance，操作、維護和管理）、CN（Core Network，核心網絡）等網絡節點，這些節點可承擔Client、Coordinator 雙重角色。當作為Coordinator 時，協調域內或者域間各個節點間聯邦學習；當作為Client 時，作為參與方參與域內或者域間聯邦學習，例如CN 中的NWDAF[12]（Network Data Analytics Function，網絡能力分析功能）可以協調域內NF（Network Function，網絡功能）/其他域聯邦學習，用戶側的UE 和行業側AF 均可作為Coordinator/Client 實現域內或者域間聯邦學習。

2.2 實現架構分類

基于聯邦學習分類特征（客戶-服務器架構、對等網絡架構）及未來網絡的發展，基于聯邦學習的網絡智能化架構可分為中心化的聯邦學習網絡架構和去中心化的聯邦學習架構[13]。

如圖4 所示，以核心AI 單元的Coordinator 為中心節點，協助核心網、終端、無線、網管、應用等領域進行域內或者域間聯邦學習。中心節點將初始模型發送至分布式節點，分布式節點使用自己本地的數據集訓練模型，并將模型權重更新信息發送至中心節點，數據不出本地，保證了用戶隱私和數據安全，中心節點將從各個分布式節點接收到的模型更新進行聚合，并將聚合后的模型發送給各個分布式節點，分布式節點接受聚合后的模型，開始更新本地模型，應用新的數據實例，進行本地化推理[14]。例如在移動通信網絡架構中，核心網元NWDAF 可作為中心節點協助域內或者域間聯邦學習，應用于監測域內各節點的異常情況或者提供端到端的整體業務質量服務。

圖4 中心化的聯邦學習網絡架構

去中心化聯邦學習網絡架構如圖5 所示，該架構無需中心節點Coordinator，核心網、終端、無線、網管、應用等領域智能單元之間也無需借助第三方即可直接通信，交換模型中間結果進行共同建模，可采用輪流制，各個分布式節點可以臨時承擔中心節點任務。臨時中心節點將初始模型發送至分布式節點，分布式節點使用自己本地的數據集訓練模型，并將模型權重更新信息發送至臨時分布式節點，數據不出本地，保證了用戶隱私和數據安全，臨時中心節點將從各個分布式節點接收到的模型更新進行聚合，并將聚合后的模型發送給各個分布式節點，分布式節點接受聚合后的模型，開始更新本地模型，應用新的數據實例，進行本地化推理。臨時中心節點應選擇當前性能相對較高或者資源空閑的分布式節點，例如域內各節點的智能業務監測或者域間端到端智能輔助用戶選網等場景。

圖5 去中心化的聯邦學習網絡架構

綜上所述，中心化的聯邦學習網絡架構可面向規模大、跨域的業務場景應用，去中心化聯邦學習網絡架構則適用于小規模、域內的場景應用，兩種架構可相互補充、結合使用。在選擇聯邦學習網絡架構時，可根據業務應用場景統籌考慮。

3 客戶體驗管理應用案例

3.1 案例簡介

情感鏈結分數（ECS,Emotional Connection Scoring）是評價用戶對公司品牌忠誠度的一個重要標準，更高的分數意味著用戶對公司產品理念的認同感更高。相對于用戶對公司及相關產品的滿意度評分，ECS 更好地描述了一個用戶的未來潛在價值。為了獲得更加精準的ECS，大量的數據分析是必不可少的。通常ECS 的計算方法是結合用戶體驗評分和服務信息計算，按照規定，用戶體驗評分屬于用戶隱私數據，不能隨意交換，因此，需要使用聯邦學習框架來進行分析，以遵守相關的數據安全規則。

客戶體驗管理（CEM,Customer Experience Management）是一個結合聯邦學習與ECS 的實際應用案例。CEM 是近年興起的一種嶄新客戶管理方法和技術，是戰略性地管理客戶對產品/業務或公司全面體驗的過程，通過對客戶體驗加以有效把握和管理，可以提高客戶對公司的滿意度和忠誠度，并最終提升公司價值。該場景的目標是獲得ECS 端到端體驗評估，從而為后續服務與用戶反饋提供幫助。所需分析的數據一方面是O 域（OSS,Operation Support System）信息，如終端和網絡故障的數據；另一方面是B 域（BSS,Business Support System）信息，如用戶的關鍵事件詳細信息、退服影響、工單開啟和關閉等。具體輸入信息如表1 所示。基于這些輸入，使用基于電信心理學的ECS 評測算法，計算得到用戶對于高清語音和數據業務的評分。最后根據評分的變化趨勢為用戶提供服務，主動向客戶提出解決方案以及賦予開啟工單并反饋的能力。

表1 客戶體驗評分ECS算法輸入數據

本案例選取了重慶市的渝南、城一、渝中南、渝東、渝東北、城三、渝西北、渝東南、城二、渝西北等10 個大區的數據進行實驗。

3.2 部署架構

本案例共選取10 個大區，每個大區可視為一個節點，將模型訓練放置于每個大區中的NWDAF 網元節點中，由于涉及的大區數量較多，將以3 個大區進行具體說明。由于本案例中各個區域節點所包含的數據類型相似，且具有相同的數據特征和標簽，因此符合使用橫向聯邦學習算法的條件。如圖6 所示，本案例架構采用了基于橫向聯邦學習的網絡智能化架構中的中心化聯邦學習架構，在此架構中將首次發起聯邦學習的大區節點設置為中心節點，其他大區設為分布式節點即從節點，根據上述的輸入數據信息，各個大區節點將收集來自UPF（User Platform Function,用戶平面功能）網元、OMC（Operation and Maintenance Center,操作維護中心）的數據。

圖6 客戶體驗管理應用架構

3.3 工作流程和算法

在本案例中，工作流程如圖7 所示。

圖7 聯邦學習工作流程圖

①10 個大區中的某個大區的節點向本區內的NWDAF A 發起聯邦學習請求。

②將首次被觸發聯邦學習的NWDAF 設為中心節點，即將NWDAF A 作為中心節點，開啟聯邦學習。

③中心節點NWDAF A 向從節點NWDAF B 和NWDAF C 發起聯邦學習請求，包括一些參數（數據類型列表、最大響應時間窗口），以幫助本地模型訓練進行聯邦學習。

④從節點NWDAF B 和NWDAF C 向中心節點NWDAF A 響應，同意加入聯邦學習。

⑤各個從節點NWDAF 通過從OMC 和UPF 中收集其本地數據，從節點NWDAF B 和NWDAF C 根據其自身的數據和從中心節點NWDAF A 接受到的參數，進行客戶體驗感知模型訓練，根據算法需要，NWDAF B 和NWDAF C 可以對中間結果進行加密和交換。中間結果雙方用來計算模型的梯度（參數）和損失。

⑥從節點NWDAF B 和NWDAF C 將加密模型梯度（參數）與加密損失傳輸給NWDAF A。

⑦中心節點NWDAF A 聚合各個從節點發送的模型信息，將聚合后的模型信息發送給從節點NWDAF B 和NWDAF C，各個從節點根據中心節點分發的聚合模型信息更新本地模型。

⑧重復步驟⑤～ ⑦，直到完成整個客戶體驗感知模型的訓練。

⑨訓練過程完成后，可以將全局最優的客戶體驗感知模型或模型參數分配給各個從節點NWDAF 進行推理應用。

整個訓練過程中雙方數據都不出本地，互相交換的是模型加密梯度（參數）和中間結果，沒有暴露彼此的用戶隱私數據，符合相關數據隱私法規，因此整個模型是安全的、可控的。

具體算法如下：

事先定義：B 節點數據集{xb}和對應標簽集{yb}，C 節點數據集{xc}和對應標簽集{yc}，同態加密算法[[·]]，滿意度預測算法F(x,θ)，其中F是各參與方共同使用的神經網絡預測算法、x是輸入數據、θ是神經網絡參數、F(x,θ)是通過神經網絡預測的標簽結果，損失函數L采用平方損失函數。

3.4 實驗結果

（1）無聯邦學習與有聯邦學習測試結果

用于實驗的案例設定為通過用戶數據預測用戶對于各項服務的滿意度以及整體滿意度，其中用戶數據包括套餐費用、上傳下載速率、通信時延、音視頻時延等O 域及B 域等信息，目標滿意度包括手機上網滿意度、資費滿意度、語音通話滿意度和整體滿意度。為了測試聯邦學習對實際預測效果的影響，每個地區的用戶數據匯集在各自地區所分配的NWDAF中，隨機抽取90%數據作為訓練集，剩下10%數據作為測試集。實驗時先使用本地區數據在本地NWDAF 執行無聯邦學習的模型訓練，再使用全部地區數據在全區NWDAF 組成的聯邦學習架構中進行多數據源的聯邦學習訓練。結果如圖8 所示，在所有地區，使用聯邦學習的模型準確度都顯著高于無聯邦學習的準確度。實驗結果證實聯邦學習可以有效整合多個數據源的數據，并提高訓練模型效果。

圖8 無聯邦學習與有聯邦學習測試結果

（2）獨立同分布與非獨立同分布的測試結果

另外在實驗時，數據的分布也會對結果造成影響。在概率統計理論中，如果變量序列或者其他隨機變量有相同的概率分布，并且互相獨立，那么這些隨機變量是獨立同分布的。而當變量不滿足獨立或者不滿足相同概率分布時，這些隨機變量被稱為非獨立同分布（Non-IID,None Independently Identically Distribution）變量。在傳統應用場景中，數據存儲在中心，機器學習模型可以獲取所有數據的整體信息，因此可以假設訓練數據和測試數據是滿足相同分布的，它是通過訓練數據獲得的模型，能夠在測試集獲得好效果的一個基本保障。但是在聯邦學習中，由于數據僅存儲在本地，不同用戶間由于地理位置和個人習慣等因素，導致數據之間存在概率分布的不一致性，因此聯邦學習使用的是非獨立同分布數據。而且由于模型的訓練是先在本地進行，生成局部模型參數，因此可能會導致整合后的全局模型效果并不能很好地適應局部數據的特點。

為測試獨立同分布特性對聯邦學習的影響，本案例增加了相關實驗。由于用戶對各項業務的需求不同，因此數據的分布會出現差異。實驗設計如下：首先使用每個地區的語音通話滿意度及相關用戶數據進行聯邦學習，兩個預測模型結構分別為多層感知器（MLP）和卷積神經網絡（CNN），計算10 個訓練周期后模型精度，然后使用整體滿意度和與上一步同數量級的數據重復之前的實驗。實驗結果如表2 所示，對于不同的訓練模型結構，使用同一數量級的非獨立同分布數據的模型預測結果比獨立同分布數據的準確度都有所下降。這個結果意味著當使用聯邦學習時，確保數據的獨立同分布特性可以提高模型的預測能力。

表2 IID與Non-IID數據的聯邦學習測試準確度

4 結束語

本文介紹了聯邦學習發展背景、技術概念、算法原理與分類，研究了聯邦學習在移動通信網絡中應用的標準進展以及基于聯邦學習的網絡智能化整體架構與分類，并通過應用此架構進行了客戶體驗管理案例分析，對訓練結果做出歸納總結，為該架構的實際應用提供了參考和借鑒。未來聯邦學習的發展方向可以是設計模型算法來降低非獨立同分布的數據對模型效果的影響，從而提高聯邦學習的適用性，推進聯邦學習在移動通信網絡應用的標準，更好地應用于各行各業，發揮更大的效能。