基于深度學習與邊緣計算的變電站安全管控技術研究

劉子豪,趙智龍,楊世博,孟 榮,孟延輝

(國網河北省電力有限公司超高壓分公司,河北 石家莊 050000)

0 引言

在當前變電站實際生產作業中,巡檢作業人員安全意識不強,忽視電力系統規章制度的違章作業行為(如未規范佩戴安全帽、未穿著工作服等)較為常見,給巡檢人員的人身安全以及電力系統的安全穩定運行都會帶來極大的隱患[1-2]。目前,針對工況下巡檢人員安全問題主要依賴人工監督檢查,存在工作量大、效率低、安全隱患高等缺點,無法實現對整個變電站工況現場作業人員安全的實時、高效、全局管控[3]。因此,提升對變電站工況現場的安全管控水平,對于保障變電站安全與電力系統的安全穩定運行具有重要意義。

在變電站安全施工監測管控方面,國內外學者已進行了相關研究[4-6]。結合物聯網技術,文獻[4]提出了一種“傳統安全+物聯網安全”的創新管控模式,建立可移動電子圍欄系統、人員行為軌跡監控系統、車輛定位監控系統以及一體化智慧監管云平臺等,實現了對作業現場全方位、一體化的遠程管控;文獻[5]利用可穿戴設備無線傳感自組網技術,實現了人體與環境的信息反饋以及工作人員的精準定位,提升了電力施工安全性。但上述方法大都只能完成對變電站巡檢人員行動軌跡及位置信息的管理,無法實現對變電站施工現場護具佩戴情況的有效監管,且無法滿足變電站安全管控的實時可視化。

隨著人工智能技術的發展,將計算機視覺和深度學習等技術應用于變電站內人員安全管控成為了可能。基于傳統機器視覺技術,文獻[7]提出了一種施工區安全帽智能識別方法,該方法采用混合高斯模型進行前景檢測,通過對連通區域人體邊緣的檢測處理,實現對作業人員的自動判別和跟蹤,最后對估測矩形內的像素進行統計分析,實現了安全帽佩戴情況的自動識別檢測,但該方法較為復雜,計算量大,無法滿足復雜施工場景下的實時檢測。

近年來,深度學習目標檢測算法日益成熟,相關學者也逐漸將深度學習算法應用于變電站管控場景中[8-10]。針對小目標安全帽識別、數據集中類別不平衡以及安全帽預測區域不匹配等問題,文獻[8]對Faster R-CNN 網絡框架進行改進,提升了對施工現場個人防護用品佩戴情況的有效監管;文獻[9]運用SSD 目標檢測框架和自注意力機制,通過對原始SSD 目標檢測框架進行調參并添加自注意力模塊,提升了小目標檢測的準確率;文獻[10]利用人體關鍵點檢測模型從攝像頭拍攝視頻中提取現場人員圖像,而后利用YOLOv3算法完成對現場作業人員安全帽佩戴情況的檢測;但上述方法大都只針對安全帽佩戴情況進行離線檢測,無法實現對“未穿著工作服”、“未佩戴絕緣手套”等違規施工行為的有效檢測,且無法實現變電站復雜施工場景下的算法部署應用與在線實時安全管控。

針對變電站安全管控現狀的不足以及管控的實時性和準確性需求,提出一種“深度學習+邊緣計算”變電站安全管控方法。通過在變電站實地拍攝,構建變電站巡檢人員行為數據集,將深度學習算法模型在服務器計算平臺進行訓練以及測試;開發變電站安監邊緣計算設備,并部署所訓練的深度學習算法模型,從而實現變電站復雜施工場景下巡檢人員違規施工行為的實時精準識別檢測與預警。

1 深度學習理論依據

隨著深度學習理論的發展,目標檢測算法日益成熟。以R-CNN 系列算法為代表的基于區域建議網絡的目標檢測算法精準度較高,但速度較慢,無法滿足目標檢測的實時性需求;以YOLO系列算法為代表的one-stage目標檢測算法,沒有使用區域建議網絡(Region Proposal Network,RPN),檢測速度較快,可應用于變電站工作人員安全的實時管控。

1.1 YOLO 系列網絡模型

YOLO 系列算法為典型one-stage目標檢測算法。2015年,one-stage目標檢測算法的開山之作YOLOv1正式發布,大大提升了目標檢測的速度;YOLOv2算法的提出從識別準確率、速度、識別類別數3個角度對YOLOv1算法進行了改進;YOLOv3算法利用殘差模型Darknet-53 實現了對特征的提取,并利用特征金字塔FPN 網絡結構實現了多尺度檢測;YOLOv4在YOLOv3的基礎上,針對數據處理、主干網絡、網絡訓練、激活函數、損失函數等方面進行優化,實現了檢測速度與精度的最佳權衡,此外,YOLOv4 較前幾代YOLO 算法更適合在單GPU 上部署應用。

1.2 YOLOv4網絡模型

YOLOv4[11]網 絡 是Alexey Bochkovskiy 在YOLOv3網絡模型上進行的改進。YOLOv4 網絡模型結構主要由輸入端Input、特征提取骨干網絡Backbone、進行特征融合的Neck 部分和檢測頭Head四部分組成[12],如圖1所示。在輸入端,YOLOv4網絡引入Mosaic數據增強技術[13],增加了小目標圖像數據,豐富了檢測數據集,提升了網絡的魯棒性,且減少了對GPU 的性能需求。

圖1 YOLOv4網絡框架

在YOLOv3主干網絡Darknet53的基礎上,YOLOv4借鑒跨階段局部網絡(Cross Stage Paritial Network,CSPNet)思想,形成準確性高、計算瓶頸小、內存成本低的主干網絡CSPDarknet53。CSPDarknet53結構包含5個CSP模塊,可以減少網絡計算量,同時可以保證準確率。

YOLOv4的Neck部分由空間金字塔池化網絡[14](Spatial Pyramid Pooling,SPP)、特征金字塔網絡(Feature Pyramid Network,FPN)和路徑聚合網絡(Path Aggregation Network,PAN)組成。SPP網絡可增加網絡的感受野,在FPN 網絡基礎上通過PAN 網絡加入自下向上的路徑增強,有效避免了路徑丟失的問題,可實現骨干網絡深層特征與淺層特征的融合。

YOLOv4檢測頭Head 部分沿用YOLOv3檢測頭,進行兩次卷積完成檢測。FPN+PAN 網絡如圖2所示。

圖2 FPN+PAN網絡

2 模型訓練與測試

2.1 變電站巡檢人員行為數據集構建

變電站巡檢人員行為數據集拍攝的地點為國家電網有限公司某變電站。采用高清相機對變電站室內室外不同場景以及不同光照條件、攝像頭角度下的巡檢人員施工行為進行拍攝存儲,構建了一個包含“違規施工行為”和“正常施工行為”共計8 000張的變電站巡檢人員施工行為數據集,變電站巡檢人員施工行為樣圖如圖3所示。

圖3 變電站巡檢人員行為數據集樣圖

2.2 數據集劃分與數據標注

變電站巡檢人員施工行為數據集中6 400張圖像用于模型訓練,剩余1 600張圖像用于模型的測試與評價。采用LabelImg圖像標注工具對數據集進行標注,其中bounding box標簽YesHelmet表示佩戴施工安全帽、No Helmet表示未佩戴施工安全帽、YesClothes表示穿著工作服、NoClothes表示未穿著工作服、YesGlove表示佩戴絕緣手套、NoGlove表示未佩戴絕緣手套、Body表示人體、ElectricPole表示驗電桿、EarthedPole表示接地桿、BlackoutPole表示絕緣桿。變電站巡檢人員行為數據集標注樣如圖4所示。

圖4 變電站巡檢人員行為數據集標注樣

2.3 模型訓練

選用服務器作為目標檢測模型的訓練測試計算平臺,其相關性能參數如表1所示。選用具有12 G 顯存的NVIDA GeForce1080Ti顯卡來滿足模型訓練對GPU 計算力的需求。

表1 服務器計算平臺參數

在Ubuntu系統中采用Darknet深度學習框架分別搭建YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny 4種代表性YOLO 網絡模型。根據變電站巡檢人員施工行為數據集對預訓練模型參數進行微調,并通過調整訓練過程中的學習率(learning_rate)、動量常數(momentum)、權值衰減系數(decay)等參數,使各網絡模型訓練效果良好。

2.4 檢測結果及分析

YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny模型的識別準確率對比結果如圖5所示。

圖5 迭代次數與準確率關系

由圖5可知,YOLOv4、YOLOv3模型與輕量化的YOLOv4-Tiny、YOLOv3-Tiny模型相比,擁有較高的準確率,且YOLOv4網絡模型的準確率要高于YOLOv3。YOLOv4 模型在迭代了前2 000次后,識別準確率上升到0.8左右,最終穩定在93.80%。

測試集中,YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny模型對不同目標類別的檢測準確率與平均檢測準確率對比見表2。

表2 __模型準確率對比 %

由表2可知,YOLOv4模型針對不同目標類別的檢測準確率以及平均檢測準確率高于其他3種模型。YOLOv4模型針對復雜施工背景下大目標類別(Helmet類、Clothes類、Body類)的檢測準確率與YOLOv4-Tiny和YOLOv3模型相近,但針對小目標類別(Glove類、ElectricPole等)的檢測準確率要明顯高于其他模型;YOLOv3-Tiny模型除Clothes類和Body類目標檢測準確率與其他算法相近外,其他目標類別的檢測準確率明顯低于其他3種模型。

YOLOv4模型檢測結果如圖6所示。

圖6 YOLOv4檢測結果

3 現場應用

3.1 變電站安監裝置設計

變電站安監裝置為監督變電站施工作業的邊緣計算終端設備,可部署深度學習算法,實現對現場施工情況的本地端記錄以及違規施工行為的實時識別預警。變電站安監裝置的核心處理器為NVIDIA Jetson XAVIER NX 模塊,其體積小巧、接口資源豐富、計算功能強大,且擁有NVIDIA 深度學習加速器引擎,可滿足深度學習算法的嵌入以及邊緣端計算的需要;本裝置采用STM32F103RBT6單片機模塊作為協處理器,其為一款基于ARM 架構的32 位微處理器,支持I2C、USART、SPI、CAN、USB 等通信;本裝置選用螢石無極巡航系列互聯網攝像機作為第三視角攝像頭,搭配3D 數字降噪算法,畫質清晰,攝像頭云臺支持水平360°循環轉動,垂直俯仰轉動,且攝像頭模塊支持本地存儲、云存儲等功能;本裝置選用10.1英寸電容式可觸控IPS屏幕,分辨率高,亮度可達500 cd/m2;本裝置選用鋰電池供電方案,鋰電池容量為6 000 m Ah,滿電狀態下裝置續航時間可達5 h。

3.2 模型部署與應用驗證

上述變電站安監邊緣計算設備的核心處理器為NVIDIA Jetson XAVIER NX,在該計算平臺下進行OpenCV 的編譯,開啟DNN[15](Deep Neural Networks)模塊,可以實現深度學習網絡的正向推理加速。

將 訓 練 好 的 YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny模型部署在變電站安監邊緣計算設備,并開啟OpenCV DNN 推理加速進行模型的應用測試;YOLOv4等模型在NVIDIA Jetson XAVIER NX上的正向推理速度如表3所示。

表3 模型正向推理速度對比

由表3可見,YOLOv4模型的正向推理速度為28.12 FPS,雖低于其他3種模型的正向推理速度,但YOLOv4模型的檢測準確率相對較高,且該推理速度可滿足實時檢測的應用需求,因此YOLOv4模型相比于其他3種模型可實現邊緣端識別定位準確度與推理速度的最優平衡,滿足變電站巡檢人員安全的管控需求。

4 結論

本文提出了一種基于“深度學習+邊緣計算”的變電站安全管控方法。通過在服務器計算平臺對YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny模型進行訓練與測試,并將其部署到開發的變電站安監邊緣計算終端設備進行應用對比分析,得出YOLOv4 模型檢測準確率最高,可達93.80%,在邊緣端的正向平均推理速度為28.12 FPS,可實現邊緣端識別定位準確度與推理速度的最優平衡。針對變電站復雜施工場景下巡檢人員違規施工行為的實時精準識別檢測與預警,具有一定的推廣應用價值,為深度學習與邊緣計算在變電站安全管控中的綜合應用提供了參考。在后續的研究工作中,可嘗試加強安監邊緣計算終端設備與工況現場視頻監控設備的通信連接,并實現與電力系統內網運維系統之間的數據共享與融合應用。