前端化目標檢測技術在電力巡檢中的應用研究

楊學杰，宋 凱，曹付勇，王一夔，許榮浩

（1.國網山東省電力公司淄博供電公司，山東 淄博 255000；2.國網智能科技股份有限公司，山東 濟南 250101）

0 引言

當前深度學習模型在輸變電巡檢中的應用不斷深入，為適應輸變電巡檢中巡檢目標種類繁多、巡檢場景復雜的現狀，深度學習巡檢模型采用深網絡、大參數進行訓練。其最終模型體積大，對硬件資源占用大、推理速度慢、功耗高，過度依賴后端服務器，響應不及時，不適用于移動設備和嵌入式設備［1］。

為解決此問題，針對輸電線路巡檢，方遠征等［2］研究了無人機自動避障在輸電線路巡檢中的應用，但無法使用無人機實現輸電線路自動巡檢；李寧等［3］提出了無人機巡檢數據智能管理平臺的方案，此方法需無人機將巡檢圖像回傳至后臺分析；陳嘉琛等［4］提出改進的YOLOv3算法，需依賴高算力服務器，且識別速度無法滿足實時性要求；周仿榮等［5］提出的另一種YOLOv3 改進方法，可在GTX 1080Ti 顯卡實現40 幀/s 的推理速度，但須回傳服務器；馮源等［6］提出了一種基于深度學習模型小型化技術的輸電線路智能巡檢方案，該方案主要將深度學習小型化模型應用于輸電線路通道可視化監拍中，其識別速度為0.5幀/s，無法滿足實時作業要求；針對變電站設備巡檢，林煒等［7］提出通過紅外圖像采集，實現變電設備的巡檢與缺陷檢測，但需將巡檢圖像回傳至服務器，實時性較低；尹子會等［8］提出融合邊緣計算和改進Faster R-CNN 的變電站設備典型視覺缺陷檢測系統，將Faster R-CNN 模型移植進入前端模塊，但其檢測速度低，實時性差；蘇華權等［9］提出基于邊緣計算的電網邊緣側設備缺陷智能識別模型，采用動態時間規整算法和樹突神經元模型對設備缺陷進行識別，但對在視野內占比較小的缺陷識別率低。曾林等［10］研究了變電站機器人多維巡檢技術，結合空間區域融合濾波實現變電站視頻實時監控跟蹤，但其識別模型部署于后臺服務器，實時性差；周博曦等［11］設計了基于人工神經網絡與有限狀態機的變電站告警處理系統，對變電站告警信息進行處理，但其拓撲結構復雜，網絡特征要求高，魯棒性較差。綜上所述，當前在電力巡檢中，還未出現可同時滿足邊緣側部署、實時性高和識別精度高的巡檢模型或系統。

研究深度學習模型輕量化方法，提出層間合并、參數量化的模型壓縮方法，將深度學習模型體積壓縮為原模型的60%，降低模型內存占用和推理顯存占用，模型推理效率提升10～20 倍；研究輕量化模型在電力巡檢邊端側的應用方式，結合輸變電巡檢場景，設計電力巡檢圖像前端化目標檢測系統，與輸電線路巡檢無人機及云端無人機管控系統結合，形成輸電線路無人機智能巡檢系統，與變電站巡檢機器人和變電站監控設備結合及集控站服務器結合，對變電站巡檢設備進行智能化升級，構建輸變電“云-邊-端”協同運檢體系，提升電力巡檢效率、降低了巡檢成本。

1 模型輕量化方法

針對模型輕量化要求模型體積小、推理速度快的特點，基本模型選擇目標檢測經典網絡YOLOv3［12］，YOLOv3 為單階段檢測方法，共107 層網絡，其中，0～74 層為卷積層和res 層；75～106 層為YOLO 網絡的特征交互層，具備檢測、分類和回歸功能［13］。其模型占用存儲空間最小為240MB，在移動設備對1 920×1 080 分辨率視頻最快推理速度為0.5 幀/s。為降低模型占用內存，提高推理速度，須在保持模型精度的同時，減少模型網絡層數、權重參數個數及推理計算復雜度［14-17］，針對此問題提出層間合并、參數量化的模型輕量化方法，對模型網絡層進行合并剪枝與參數復用合并，降低網絡層數和權重參數數量；對權重參數進行低精度量化，減少模型推理計算過程的復雜度和計算量。層間合并剪枝，首先對豎直方向網絡結構進行整合，豎直方向同一結構的網絡層合并為一個卷積層、偏置量和激活函數的合并層（Convolution Bias and Relu，CBR），然后將水平方向同結構的CBR 層合并為一層，最后將cancat的輸入和input 合并，減少數據在網絡結構的傳輸路徑，減少傳輸吞吐量，最終實現復雜網絡結構的精簡。層間合并剪枝如圖1 所示。其中，conv 為卷積層；bias為偏置量；relu為激活函數；concat為網絡層連接計算；max pool 為最大池化層；input 為網絡層輸入；next input為下一層網絡輸入。

圖1 層間合并剪枝實現方案

權重參數整型量化，主要是通過減少表示每個權重所需的比特數來壓縮原始網絡［18］，主要方式包括二值化網絡［19］、三值化網絡［20］轉化及int8 量化等。因YOLOv3 模型每個層的權重參數范圍基本確定，且波動不大，故可以通過量化實現模型內存占用的減少和計算量的降低。int8量化相比二值化網絡和三值化網絡，保留的權重特征更多，更容易通過微調實現精度的保留［21］，本文使用int8 對卷積計算過程中的float32類型數據進行量化。

float32 量化為int8，首先準備一個校準數據集，并對模型的每一層收集激活值的直方圖，基于不同的閾值將激活值映射到±128 范圍內，對校準數據進行推理，產生不同的量化分布，然后計算每個分布與原分布的相對熵，選擇相對熵最小的分布，作為最終的模型映射閾值。int8量化過程如圖2所示。

圖2 int8量化過程

經層間合并、參數量化的模型輕量化方法對YOLOv3 模型進行壓縮后，YOLOv3 模型性能比較如表1所示。

表1 YOLOv3模型輕量化前后性能

經模型輕量化方法對YOLOv3 進行輕量化壓縮后，其模型占用存儲空間降低為原模型的60%，顯存占用降低為原模型的40%，推理速度比原模型提升20倍。

2 電力巡檢圖像前端化目標檢測系統設計

邊緣側設備可通過部署輕量化模型，形成電力巡檢圖像前端化目標檢測系統，對終端執行部件進行智能控制，實現邊緣側執行設備的智能作業。輕量化模型在邊緣側設備的部署內容主要包括：輕量化模型的移植、視頻圖像等信息流的采集與預處理、信息流的推理及結果輸出和邊緣側設備與執行設備的交互。電力巡檢圖像前端化目標檢測系統整體設計架構如圖3 所示。電力巡檢圖像前端化目標檢測系統包括信息流處理接口模塊、處理器模塊、推理結果顯示接口模塊、交互通信接口模塊。其中，處理器模塊作為邊緣設備的中心模塊主要負責對信息流數據的分發和輕量化模型加載及對信息流的推理；信息流接收處理接口模塊負責由設備獲取視頻圖像等信息流，并對信息流進行預處理，然后送入處理器模塊，有推理芯片對信息流進行推理檢測，將檢測結果傳入推理結果顯示接口和交互通信接口；交互通信接口負責與終端執行機構的交互控制，根據處理器推理結果，控制執行機構進行相應的運動；推理結果顯示接口負責將推理結果以可視化的方式呈現在顯示設備上。

圖3 電力巡檢圖像前端化目標檢測系統整體設計架構

電力巡檢圖像前端化目標檢測系統的核心在于獲取視頻圖像等信息流，并對信息流進行推理的過程，此過程直接對1 920×1 080 視頻流進行推理最快只有10 幀/s，實時性不夠強，本文采用批處理的方式，可實現20 幀/s 的處理速度，具體實現方案為：以h264 格式的視頻流為例，首先獲取一批8 幀的h264視頻流進行解碼，獲取完整的視頻流信息，將8 幀h264 數據流信息按順序合并為一幀視頻流信息，將視頻流信息送入推理芯片進行推理，將推理結果重新解析為8 幀數據結果輸出。視頻流推理實現方案如圖4所示。

圖4 視頻流推理方案

3 電力巡檢圖像前端化目標檢測系統在輸變電巡檢的應用

電力巡檢圖像前端化目標檢測系統在輸變電巡檢中的應用，基于視覺反饋伺服控制策略，實現機器人相機視頻流推理，自動檢測識別輸變電設備缺陷在圖像中的位置，實時調整云臺保持目標在視場中央，并控制相機自動變焦，對缺陷進行自主采集。視覺反饋伺服控制策略實現方案如圖5所示。

圖5 視覺反饋伺服控制策略實現方案

3.1 電力巡檢圖像前端化目標檢測系統在輸電線路巡檢無人機的應用

將電力巡檢圖像前端化目標檢測系統與輸電線路巡檢無人機及云端無人機管控系統結合，設計了輸電線路無人機智能巡檢系統，建立了輸電線路巡檢“云-邊-端”協同運檢體系。其系統組成如圖6 所示，無人機管控系統作為云端，負責整體無人機作業管控規劃，無人機與電力巡檢圖像前端化目標檢測系統構成“邊-端”側，可實現大視場下小目標的實時搜索定位與載荷平臺視覺反饋控制和巡檢過程中桿塔、絕緣子、金具等設備缺陷的實時自主辨識與自主采集。電力巡檢前端化目標檢測系統由無人機云臺相機獲取視頻流，對視頻流進行實時推理檢測，獲取缺陷設備在相機視場的位置，通過飛控系統，調整無人機飛行姿態和相機的云臺方向，將缺陷設備調整至視野中央，開啟自動采集功能，實現缺陷設備的現場實時自主識別和自動采集，同時將設備缺陷信息上傳至云端無人機管控系統，生成設備缺陷信息，下發至巡檢人員。

圖6 輸電線路無人機智能巡檢系統組成

輸電線路無人機智能巡檢系統與人工巡檢功能比較如表2所示。

表2 智能巡檢系統與人工巡檢比較

智能巡檢系統與人工巡檢相比，圖像分析方式由人工上傳后臺的非實時升級為實時分析，圖像分析效率為20 幀/s，可實現設備缺陷的全自主分析和自動采集，作業效率提升至原來的5倍。

3.2 電力巡檢圖像前端化目標檢測系統在變電站巡檢機器人中的應用

變電站巡檢機器人和變電站監控終端搭載電力巡檢圖像前端化目標檢測系統，與變電站邊端后臺及集控站云端大腦結合，構建變電站“云-邊-端”協同運檢體系，對變電站巡檢機器人和變電站監控終端進行智能升級，如圖7 所示。能夠實現變電站設備缺陷的邊緣側智能識別與缺陷自主采集，并將結果上傳至集控站；集控站云端服務器開展樣本收集及模型訓練，將更新后的模型推送至邊端設備，實現模型迭代更新。

圖7 變電站巡檢機器人和變電站監控終端智能升級

將機器人巡檢相機、激光傳感器、雙目相機、雙自由云臺等多種模塊與電力巡檢前端化目標檢測系統結合，對變電站巡檢機器人進行智能化升級，架構如圖8 所示，由雙目相機、激光雷達及GPS/慣性導航數據獲取導航數據，實現機器人導航自主規劃、并控制巡檢相機完成巡檢數據智能分析，同時控制云臺和機器人移動平臺對巡檢相機位姿進行調整，實現變電站設備缺陷智能采集。

圖8 變電站巡檢機器人智能化升級架構

變電站巡檢機器人升級前后功能及指標對比如表3所示。

表3 變電站巡檢機器人升級前后功能及指標對比

變電站巡檢機器人智能化升級后，圖像分析方式由后臺的非實時升級為實時分析，圖像分析效率為20 幀/s，可實現設備缺陷的全自主分析和自動采集，巡檢范圍可實現變電站自主覆蓋巡檢，巡檢時間由48 h提升至3 h，作業效率提升至原來的16倍。

4 結語

研究前端化目標檢測技術，提出層間合并、參數量化的深度學習模型輕量化方法，模型體積壓縮為原模型的60%，模型推理效率提升10～20 倍，解決了深度學習模型網絡層數深、結構復雜、存儲占用多、推理效率低的問題；將輕量化模型部署在邊緣側設備中，設計了電力巡檢圖像前端化目標檢測系統，分別與無人機、變電站巡檢機器人和變電站監控終端進行了集成，實現輸電站巡檢無人機的全自主巡檢與缺陷自動采集和變電站巡檢機器人對變電站巡檢路徑自主規劃、巡檢數據智能分析和變電站缺陷的實時定位與智能采集，實現輸變電站機器人智能化升級，同時與后端服務器進行協同交互，建立了“云-邊-端”協同運檢體系，輸電線路巡檢效率提升至原來的5 倍，變電站巡檢機器人巡檢效率提升至原來的16倍。