深度學習模型的云邊協同訓練和部署

吳子強 劉敏 張義偉 李松珂

摘要：將云邊協同技術應用到深度學習模型的訓練和部署，可以解決目前工業質檢領域深度學習模型訓練和部署方法的不足，使模型的訓練和部署更加安全、高效、智能化、低成本。

關鍵詞：云邊協同；深度學習；服務器部署；

*基金項目：安徽省科技重大專項項目，基于5G通信的運化視覺檢測系統研發（202003a05020002）。

0引言

從“工業4.0”到“中國制造2025”，在國家大力提倡和發展工業生產智能制造的環境下，人工智能工業質檢解決方案將全面賦能工業生產制造。目前視覺檢測系統憑借其獨特的優勢逐漸替代人工檢測方式，廣泛應用于生產流水線中。與傳統方式相比，深度學習可以在訓練過程中自學習相關屬性，省去特征工程環節，識別精度更高、更加靈活。

深度學習模型的訓練往往要進行大量數據的處理工作，對硬件的內存和計算能力要求較高，因此需要在資源充足的數據中心完成。在視覺檢測系統中，檢測器本身從硬件成本和檢測實時性考慮，都不適合充當數據中心。而在工廠內各車間、產線部署服務器單獨進行模型訓練，既效率低，也無法實現模型的統一管理和部署。收集大量的樣本數據送往云端數據中心進行模型訓練則存在兩個主要的弊端。一方面，將所有產線數據傳輸到云端會給核心網絡帶來沉重負擔，造成服務延時。另一方面，大量的原始數據通過廣域網傳輸容易泄露用戶數據隱私，違背用戶意愿。

隨著工業互聯網和邊緣計算[2]的發展，將云邊協同[3]技術應用到深度學習模型的訓練和部署，可以解決目前工業質檢領域深度學習模型訓練[4]和部署方法的不足，使模型的訓練和部署更加安全、高效、智能化、低成本。

1系統架構組成

為了推動工業質檢領域深度學習技術的應用，本文提供了一種深度學習模型的云邊協同訓練和部署方法，為了實現上述目的采用如下技術方案，通過工業視覺檢測系統實現檢測模型的自動化訓練和部署，具體系統架構組成如下。

1）如圖1所示，工業視覺檢測系統包括檢測器、邊緣服務器、中心云服務器組成。

2）如圖2所示，中心云服務器 Web 應用執行分布式任務處理。在收到控制終端的控制命令后，發布異步任務（訓練或部署模型），發布定時任務更新任務執行進度，任務信息立即放入消息隊列中，任務執行單元從消息隊列中依次取出任務執行，并存儲執行結果。

3）如圖3所示，模型訓練任務流程。模型的訓練配置數據，包括訓練集、驗證集生成器配置、模型尺寸、迭代次數、分類種類配置，以及數據預處理、預訓練權重、回調函數、模型微調等項目配置，通過前端傳遞到中心云服務器后端，后端將任務消息放入 Redis 隊列，任務執行單元從隊列取出并解析任務信息，向保持長連接的邊緣服務器發送任務，同時開啟定時任務，獲取任務執行進度，如圖4所示。邊緣服務器接收到任務之后，采集相應檢測器存儲的原始數據，采集完成后按照任務要求，開展模型訓練，如圖5所示。在回調函數中每次訓練 Batch開始的時候記錄訓練進度、模型精度和損失值，向中心云服務器定時返回模型訓練進度和訓練效果。模型訓練完成，可自動上傳至中心云服務器進行進一步的評估測試。

4）如圖6所示，模型部署任務流程。模型的部署配置數據，包括指定產線、指定檢測器、指定品牌模型等項目配置，通過前端傳遞到中心云服務器后端，后端將任務消息放入 Redis 隊列，任務執行單元從隊列取出并解析任務信息，向保持長連接的邊緣服務器發送任務，同時開啟定時任務，獲取任務執行進度。邊緣服務器接收到任務之后，向指定檢測器發送訓練好的模型文件。向中心云服務器定時返回模型下發進度。檢測器接收完成模型文件，放入指定的品牌參數文件夾下，檢測器執行加載模型。邊緣服務器向中心云服務器返回模型部署成功消息。

通過上面具體實施方式，所述技術領域的技術人員可容易地實現本發明。但是應當理解，本發明并不限于上述的具體實施方式。在公開的實施方式的基礎上，所述技術領域的技術人員可任意組合不同的技術特征，實現不同的技術方案。

2部署方法

云邊協同的模型訓練和部署方法操作步驟如下：

1）檢測器由工控機、單片機、圖像采集通訊組件、光源控制電路、編碼器信號采集電路等部分組成，工廠內各產線檢測器調用深度學習模型對產品質量進行實時檢測，此外檢測器還負責將歷史數據傳送到該產線的邊緣服務器中。

2）邊緣服務器與中心云服務器保持長連接，在收到中心云服務模型訓練命令后，解析命令，獲取任務參數信息，采集指定檢測器存儲數據，進行模型訓練。同時定時更新訓練進度、訓練精度、訓練損失值等過程信息給中心云服務器。

3）邊緣服務器與中心云服務器保持長連接，在收到中心云服務模型部署命令后，解析命令，向檢測器下發訓練好的模型文件。同時定時更新模型下發進度、檢測器加載模型進度等過程信息給中心云服務器。

4）中心云服務器搭建 Web 應用，接收用戶的遠程控制，向中心云服務器發送模型訓練和部署命令，以及接收中心云服務器返回信息，向用戶顯示任務執行情況。

3結束語

通過云邊協同的方式訓練和部署深度學習模型，可以實現模型更加便捷地發布到檢測設備，確保生產車間數據不出廠，降低了網絡負載和數據泄露風險。同時，充分利用邊緣服務器硬件資源，可視化和自動化的深度學習模型訓練和部署，有利于推動深度學習在智能制造、工業質檢領域的商業化應用。基于這種檢測方法可以開發出應用于各種工業視覺檢測系統，具有廣泛的應用空間。

參考文獻：

[1]曲春光.分布式深度學習訓練優化設計與實現[D].重慶：西南大學，2020：14-17.

[2]劉建甌.基于邊緣計算的計算和網絡融合系統架構設計和實現[D].西安：西安電子科技大學，2020：17-19.

[3]崔羽飛，張云勇，張第，等.基于云邊協同的工業互聯網實踐[J].電信科學.2020（2）：110-115.

[4]王海川.面向邊緣智能的模型訓練服務部署和任務卸載研究[D].合肥：中國科學技術大學，2020：16-33.