聯邦學習框架實現難點剖析

董耀眾，褚晨曦，劉文婷，李濟偉，李偉良

（國家電網有限公司信息通信分公司，北京，100761）

1 聯邦學習概述

聯邦學習是一種快速發展的機器學習技術，特點是分布式和隱私保護。外圍設備在不加載本地數據聯合訓練，由任務發布者的共享全局模型。每個終端設備接收到全局模型后，會使用私有數據在訓練模型。終端設備加載新參數。每個移動設備都有本地訓練數據，用作訓練數據的樣本。聯邦學習的目標是通過最小化端節點使用本地數據集，學習到的局部函數的加權平均值，減少總損失并最小化總損失。一般聯邦學習框架使用隨機梯度下降法迭代，迭代地選擇訓練樣例，計算相對于梯度值，并使用適當方向的梯度來最小化。在聯邦學習中，看到具有更好質量和本地數據采樣的端點，使本地損失和全局損失函數更接近。因此，高質量的邊界節點可以提高聯邦學習整個任務的精度和效率，降低聯邦學習的時間和成本。由于聯邦學習的保密性，在物聯網上的也是無窮無盡的。應用包括智慧交通和5G網絡。在智能交通方面，聯邦學習用作工人，單位用作任務發布。車輛充當更新數據的工作者，路邊單位充當收集更新的發布。可用于智能交通中的車輛預測和路線規劃。數據分析是5G中的一個重要問題，數據分析是關鍵問題。直接獲取信息進行分析會導致機密性泄漏，在線數據可能包含機密內容。因此，在區域網絡中使用聯邦技術進行學習，只將模型上傳到中心，保護了數據的機密性，提高了運行的使用安全性。

2 聯邦學習系統框架

為基于聯邦區塊鏈的物聯網系統制定功能需求和非功能需求。功能需求包括：本地服務器模型學習，基于局部模型創建全局模型，并且無需加載局部數據。采用全局合并模型分類，基于客戶對模型學習的貢獻報酬。維護邊界數據的機密性，有良好的模型精度。保證資料的完整性，維護區塊鏈設施的可用性。提供基本的系統架構，滿足聯邦學習框架和區塊鏈的功能性要求。客戶端數據穩定協議，以確保使用數據的完整性，并鼓勵積極參與模型學習。各個聯邦培訓系統的所有者作為組織，負責根據系統測試支持所有行業服務，組織負責提供數據和本地訓練的計算資源模型，客戶端組織有傳感器、客戶端設備、服務器和完整的區塊鏈節點。中心組織包含中心服務器和區塊完整的區塊節點。設備通過數據采集器采集傳感器接收到的數據，通過客戶端數據預處理器對數據處理。所有收集的環境數據都存儲在數據庫中。選擇客戶端組時，服務器從中央服務器下載模型最新版本并傳輸模型。更新數據集和模型參數，將更新后的參數傳遞給服務器上，結合從客戶端接收的參數，最終返回新的全局模型。當檢測到設備缺陷時，將結果加密并發送到機構，操作員將通過解碼器獲得的結果解密，并做出處理決策。每個服務器定期創建節點數據記錄，在聯邦訓練中，參與訓練的客戶端的信息使用的數據量，因為訓練模型存儲在合約中，由于數據的綁定，智能合約部署在區塊鏈中，存儲在各種組織。

3 聯邦學習框設計

保護客戶端組織的機密業務數據，在本地進行訓練，服務器負責遷移合并設備。區塊鏈存儲容量有限，服務器定期創建記錄，并通過數據鏈接將節點存儲在智能合同。為了鼓勵積極參與模型學習，架構開發基于智能激勵機制。根據使用的數據大小，客戶組織獎勵客戶組織本地培訓。獎勵記錄在智能合約中。在這種情況下，每個參與組織都擁有完整的區塊鏈節點，每個組織都擁有用于審計的數據的精確副本，確保整個系統的可用性。

4 聯邦學習框架實現難點

4.1 縱向聯邦學習框架難以實施

大多數研究都是基于橫向聯邦學習，但橫向聯邦只能解決機器學習實例數量不足的問題，對于實際應用很少。大多數實際場景是學習的縱向問題，意味著聯邦學習參與者都有足夠的例子來聯合建模大小。在聯邦學習框架的橫向問題中，參與者都擁有功能。訓練所需的數據標簽數據，以便參與者可以在迭代模型將迭代結果上傳到服務器更新，這相對容易實現。在縱向聯邦訓練中，每個參與者的特征不同，多數參與者沒有標記數據。由于學習要求并非所有參與者都能共享數據，導致了垂直聯合。在訓練過程中，并不是每個參與者能在完成模型的迭代學習。為了實現垂直學習系統，需要針對機器學習模型在算法層面對模型進行細化，以確保機器學習都基于參與者下載的數據。目前，縱向聯邦訓練所有研究都是針對機器學習算法的，很難建立通用的系統結構。

4.2 聯邦學習速度難點

聯邦學習在解決機器學習程中的安全問題，即學習是否安全。除了源模型的參數外，任何數據信息都不應在流動，數據信息的結果不應發生變化。在聯邦學習框架學習中，模型的迭代都需要經過訓練來解密和加密。每次迭代都必須與服務器交互，數據無法聚合，經常出現溝通問題。為減少涉及的系統中加解密的壓力，加密算法是目前聯邦學習框架中使用廣泛的算法，但會增加數量。需要傳輸字節的數據，但需要傳輸千字節，導致聯邦學習學習速度比傳統的機器學習降低。由于算法在學習中通常有大量的數據進行交互，需要考慮真實情況下的穩定性，從而提高聯邦學習框架速度[1]。

5 業務模型

5.1 學習規劃流程

加密學習規劃是確保分布式協作機制學習影響和計算效率的重要部分。在此背景下研究規劃方法，從時間組件到每個模型，在時間分量中加載加密損失函數的加密估計值，其他模型的處理相同。將網絡層數據中心加載到規劃組件中，局部模型得到總損失函數后才能更新，規劃組件必須取局部模型加載的參數，用同態加密計算和規劃總函數。根據損失函數，每個局部模型更新組件傳遞。網絡層數據中心業務必須更新各個子模型，而本地模型根據等式需要網絡層數據加密參數，重現聯邦培訓的機制。通過使用協作機制獲取和總結參與者的計算結果，完成局部模型的更新。由于網絡級數據中心在樣本量接受二次統計，網絡級數據中心覆蓋了各用戶群體。根據聯邦機制，各數據就職能規模達成一致，但樣本組不同。網絡層面的數據提供了滿足業務的標簽，作為參與者在聯合演習中的相同，與附屬不匹配的唯一數據。通過合作機制，分析整個聯邦學習過程的信息安全問題。每個本地模型的學習不會將自己的模型和訓練數據發送到組件，因此其他參與者無法獲得。由于同態加密計算的不變性，損失函數的初值和加密后可以給出相同的計算結果。參與者下載的都是同態加密的，不能了解參與者內容。合作組件將整體損失傳遞給每個參與者，訪問協作組中的設置，內容本身不會透露本地數據的模型[2]。

5.2 獎勵機制

聯邦學習的重要特征是不同的機構參與聯合學習。這種機制與獎勵機制進行比較。聯邦學習框架中涉及的數據主體越多，模型就越好。對于網格系統，傳統的運行是數據中心在網絡層保持數據層的通信，將最終信息傳輸到網絡層。數據中心和網絡層中心使用數據。執行整個系統中的數據任務，網絡級數據中心承擔了大部分的工作。隨著數據的增長，中心大數據模型對應用并不大。去中心化學習的思想，將計算負載轉化為分布式，供多個參與者完成給定任務。多個所有者提供自己的本地數據，每個數據所有者提供計算能力，而不是數據本身。保護了各信息安全，還提高了業務處理能力。由于模型是通用的，結構與所有其他模型相似，實際測量可以在網絡數據中心中進行，意味著其他員工可以通過聯邦從提高處理效率中受益。多個參與者共享總計算負載，根據運營模式，網絡層的數據中心必須合作，會產生不必要的資源。大部分計算負載集中在網絡層中心。使用聯邦學習框架機制，可以將計算負載配給每個參與者，提高了模型的計算能力[3]。

5.3 聯邦仿真框架系統和基本算法

通過模擬訓練，模仿學習通常被稱為克隆或回溯學習。模擬訓練通過消除訓練缺點，如研究和獎勵率，提高了機器訓練的有效性。使用獲取本地機器人知識是行為克隆，使用受控學習來訓練專家的策略。行為克隆為了演示這項工作，這些對作為學習示例，應用監督學習獲取知識。在云機器人系統中實現，由本地機器人、云服務器和計算機組成。通過模擬學習技能，服務器整合知識。基于聯邦學習框架的方法，將私有模型集成到云中的共享模型。通過共享模型，可以根據本地機器人生成合適的引導模型。本地機器人根據模型執行瞬態學習，達成最終的策略。使用模擬訓練獲得異構數據的策略模型，包含了RGB圖像和語義分割圖像。輸出數據不能在本地機器人傳輸，也不能在機器人和云之間傳輸。只有策略參數會被加載和集成，云端會根據機器人的要求提供引導模型。基于自動任務，通常會收集類型數據。本地作業使用不同類型的數據集，機器人數據集標記但未發送到云端。機器人的動作由輸出決定，輸出是一些動作或參數。每個模型都有不同的輸入，將模型的設置上傳到合并云。云將能夠為不同的輸入創建指南模型。當機器人請求服務時，云端會提供與傳感器數型匹配的引導模型[4]。

5.4 FIL中的云計算

信息融合算法部署在云端，本地機器人通過模擬訓練獲得模型。云為場景存儲不同類型的傳感器數據。從云數據中收集的適當傳感器數據輸入到模型中。計算自定義模型的輸出，是場景的數字屬性。這個數據不是本地下載，而是云端收集的，數據集比本地數據集都要大很多。使用多種傳感器數據，可以創建與本地機器人類型匹配的模型。通過集中存儲數據來整合知識，由于通信有限，不能用于具有大規模數據集的云機器人系統。引入聯邦學習框架體系，移動設備根據模型發布的模型對學習數據進行學習的本地計算。這種設計允許設備通過研究模型和共享模型協作，將所有數據存儲在設備上。許多機器人任務也需要將數據與多個傳感器合并。無法將傳感器數據上傳到云端，在云機器人系統中提供了通用的模擬系統，以提高機器人能力。在框架和算法中，不需要將傳感器加載到云端，只需在云端使用模型參數。云的職責是標記場景，先收集一些數據用于云訓練，數據類型必須覆蓋本地數據集。必須為云端收集RGB圖像和語義分割圖像。因此，場景具有傳感器。每個模型都有對應的特殊下載模型，提供了標記云的建議。結合這些以獲得場景的最終標簽。標記的計算可以從根據應用場景定義的集群訓練中學習，在這種情況下選擇初始決策作為標簽。根據模型給出一個預測，使用云中的共享作為本地機器人引導模型。共享模型是智能策略模型，意味著在特殊的非結構化環境中不會產生嚴重的錯誤，但所采取的行動不是最好的。因此，本地機器人必須基于云端的通用模型訓練模型。通過源區分布與目標區分布關系，需要來自本地機器人數據，是一種遷移學習，可以在限制下執行層遷移。層遷移是模型中由源數據的某些層直接復制，其他層由目標數據。目標數據只需要用較少的參數訓練，避免了重新裝備。具有更高的學習速度和準確率。在不同的任務中，傳輸層通常不同。在語音識別中，通常會復制最后一層并訓練第一層。因為語音識別神經網絡是識別說話人發音，最后一層是識別。在識別圖像時，通常復制前層并訓練后層[5]。