基于音視頻多模態數據感知的智能巡檢系統設計與應用

摘" 要：為彌補巡檢機器人和無人機在新能源發電企業中巡檢范圍有限的不足，文章設計了面向新能源發電領域的音視頻融合智能巡檢系統。在場站感知側，綜合應用各類攝像機、音頻傳感器等感知設備采集風電機組、線路、光伏、升壓站各區域的音視頻多模態數據。經過基于深度學習的智能算法分析，數據被轉化為設備狀態識別結果。在區域中心應用側，部署智能巡檢應用服務，展示場站側設備狀態識別結果，并構建巡檢任務管理、告警管理等智能巡檢業務功能，便于設備運維人員操作。文章所提出的音視頻融合的感知方案，以及YOLO、ResNet、DeepLab等算法框架的集成應用，擴大了新能源場站智能巡檢點位的覆蓋范圍，減少了運維人員前往現場的頻次，有助于推動新能源無人場站的運維管理模式落地。

關鍵詞：智能巡檢；邊緣計算；感知設備；多模態數據；深度學習

中圖分類號：TP273；TP391.4 文獻標識碼：A 文章編號：2096-4706（2025）03-0189-05

Design and Application of an Intelligent Inspection System Based on Audio and Video Multimodal Data Perception

LI Yang1， QIU Jianpei2， SONG Kun3

（1.Gansu Company of China Huadian Co.， Ltd.， Lanzhou" 730300， China; 2.Fujian Company of China Huadian Co.， Ltd.， Fuzhou" 350013， China; 3.Nanjing Nanzi Information Technology Co.， Ltd.， Nanjing" 210000， China）

Abstract： To compensate for the shortage of limited inspection range of inspection robots and UAVs in new energy power generation enterprises， this paper designs an audio and video fusion intelligent inspection system for the field of new energy power generation. On the station perception side， various types of cameras， audio sensors， and other perception equipment are comprehensively applied to collect audio and video multimodal data of wind turbines， power lines， photovoltaics， and booster stations in various areas. After the analysis of intelligent algorithm based on Deep Learning， the data is converted into equipment status recognition results. On the application side of the regional center， it deploys intelligent inspection application service to display the recognition results of equipment status on the station side， and builds intelligent inspection business functions such as inspection task management and alarm management， so as to facilitate the operation of equipment maintenance personnel. The perception scheme of audio and video fusion proposed in this paper， and the integrated application of algorithm frameworks such as YOLO， ResNet and DeepLab， expand the coverage of intelligent inspection points in new energy stations， reduce the frequency of personnel going to the site， and help to promote the implementation of the operation and maintenance management mode of new energy power unmanned stations.

Keywords： intelligent inspection; edge computing; perception equipment; multimodal data; Deep Learning

0" 引" 言

智能巡檢[1-2]是電力企業數智化轉型的重要領域。當前，巡檢機器人[3]、無人機[4]等智能化裝備被廣泛應用在電力設備巡檢中，提高了升壓站開關室、風機葉片、集電線路等特定區域的巡檢效率。然而，新能源場站存在大量的巡檢點位還難以采用機器人和無人機的巡檢方式覆蓋，如風電機組機艙、塔筒。要實現新能源場站區域全覆蓋、低成本的智能巡檢能力，需要引入攝像機、音頻傳感器等多種類型的感知設備，構建音視頻融合的多模態智能巡檢系統。

本文提出的音視頻融合智能巡檢系統，綜合運用物聯網、人工智能、邊緣計算等技術，擴展應用多種類型的前端感知設備，以最大程度的滿足新能源場站巡檢點位的覆蓋范圍，實現智能巡檢系統代替人工巡檢，提高巡檢效率，節約人力成本。

1" 智能巡檢系統

1.1" 系統組成

智能巡檢系統采用新能源場站和區域中心兩級部署方式。在新能源場站，通過安裝可見光攝像機、紅外攝像機、音頻傳感器等前端感知設備，監視并采集新能源發電相關設備的音視頻多模態數據[5]。數據經邊緣計算一體機的智能算法進行分析和處理，結果上送區域中心智能巡檢應用。在區域中心，開發智能巡檢應用服務，B/S架構模式，具備巡檢任務的管理、告警推送等功能，服務于區域運維人員。新能源發電企業智能巡檢系統架構如圖1所示。

在場站側，部署前端感知設備、邊緣計算一體機。前端感知設備主要包括可見光攝像機、紅外熱成像攝像機、音頻傳感器等音視頻感知終端，以及集成感知設備的巡檢機器人和無人機。邊緣計算一體機是基于GPU芯片打造的智能算力設備，集成了音視頻多模態數據采集軟件、智能識別算法。數據采集軟件的圖片數據采集功能是基于計算機視覺庫OpenCV開發。智能識別算法是基于PyTorch深度學習框架[6]開發的儀表讀數、開關狀態、測溫、煙霧火焰等多種智能識別算法。音視頻數據存儲采用minio對象存儲庫保存。

在區域中心側，部署智能巡檢應用服務軟件。軟件基于微服務框架[7]開發，具有巡檢任務、告警中心、巡檢管理、設備管理四個應用功能，也具備權限管理、用戶組織、流程引擎等基礎服務和組件，集成關系數據庫、對象存儲庫、中間件，用于存儲系統參數、巡檢結果、緩存等異構數據。

1.2" 智能巡檢步驟

智能巡檢流程如圖2所示，具體步驟如下：1）配置巡檢模板建立定時巡檢任務。巡檢任務按照設定的時間規則觸發，并通過TCP遠傳接口下發至邊緣一體機；2）邊緣計算一體機接收到巡檢任務，按巡檢任務中列出的預置點位順序讀取攝像機、音頻傳感器等前端感知的數據，采集的多模態數據經數據預處理之后利用基于深度學習的智能識別算法分析，形成巡檢結果；3）巡檢結果數據經TCP遠傳接口上傳至區域中心的智能巡檢應用，巡檢結果信息包括點位信息、結果值及附圖、巡檢時間等；4）智能巡檢應用接收到返回的巡檢結果后，圖片、音頻等多模態結果數據保存在對象存儲庫中，并生成存儲路徑鏈接，指標屬性信息保存在關系數據庫中，結果數據支持按時間、任務編號等多維度查詢。

2" 感知設備配置

2.1" 風電機組巡檢感知設備

在機艙內配置半球攝像機、槍型攝像機，主要巡檢發電機、齒輪箱、聯軸器及高速剎車盤等部件，以及機艙內煙霧火焰、工器具遺留等安全事件。在塔筒馬鞍橋處安裝槍型攝像機，主要巡檢馬鞍橋處電纜下墜情況。在塔基配置半球攝像機，主要巡檢變流器柜/變頻柜、塔基控制柜等部件，以及煙霧火焰等安全事件。在箱變旁配置球型攝像機，主要巡檢箱變外觀及小動物入侵等安全事件。

風機葉片內部安裝音頻傳感器，實時感知風機葉片運行狀態，及時發現風機葉片內部破損情況。針對葉片加長改裝場景，在機艙部署凈空雷達，監測葉片掃塔風險。

2.2" 光伏巡檢感知設備

根據新能源場站地形、設備布局情況，選用適合的固定機巢式、車載式、手持式等類型巡檢無人機，主要巡檢光伏板的破損、熱斑、變形等情況。在光伏區箱變旁配置球型攝像機，主要巡檢光伏箱變外觀及小動物入侵等事件。

2.3" 集電線路巡檢感知設備

集電線路配置巡檢無人機，主要巡檢桿塔基礎、鐵塔桿身、導線/地線、絕緣子、金具及附件、避雷器等部件。

2.4" 升壓站巡檢感知設備

在升壓站的主變區域、AIS區域、GIS區域、開關室、繼保室等區域配置雙光譜云臺攝像機、雙光譜球型攝像機、白光云臺攝像機、槍型攝像機、球型攝像機，主要巡檢站內儀表讀數、開關狀態、接頭溫度、設備外觀、銹蝕、掛物等內容。

主變壓器配置音頻傳感器，實時采集本體運行聲音，監測內部異常放電、風扇運行異常等情況。

2.5" 邊緣計算一體機

邊緣計算一體機部署在場站，用于音視頻多模態數據采集及推理計算。本文設計的邊緣計算一體機具有CPU+GPU算力基礎，除了具備復雜邏輯計算能力，還具有基于深度學習框架的推理能力，并部署了基于容器管理技術的Agent服務，接受區域側的納管。邊緣計算一體機內部數據流向如圖3所示。

3" 智能識別算法

3.1" 基于視覺的設備狀態智能識別算法

智能識別算法基于深度學習技術，在YOLO目標檢測[8-9]、ResNet分類[10]、DeepLab語義分割[11-13]等框架基礎上，開發儀表讀數、開關狀態、設備外觀、煙霧火焰等多種智能識別算法。以儀表讀數算法為例，介紹基于視覺的設備狀態智能識別算法訓練和推理過程如圖4所示。

基于可見光的儀表讀數分析算法，結合目標檢測算法和表盤關鍵點預測算法來實現儀表自動識別讀數。算法訓練和推理過程包括以下步驟：1）收集現場視頻數據，并建立起指針儀表目標檢測數據集和指針儀表關鍵點預測數據集；2）分別進行目標檢測訓練和關鍵點預測訓練；3）先通過目標檢測定位表盤，再通過關鍵點預測獲得刻度和指針的關鍵點坐標；4）通過角度法計算讀數。

3.2" 基于聲紋的設備狀態智能識別算法

通過聲音傳感器采集設備運行音頻信息，采用梅爾頻率倒譜系數（MFCC）特征作為設備本體聲紋信號特征，構建MFCC-CNN識別模型[14]，訓練MFCC-CNN網絡模型，實現設備運行狀態的智能識別。基于聲紋的設備狀態智能識別模型訓練和推理如圖5所示。

4" 智能巡檢應用服務功能

智能巡檢應用服務基于微服務開發的B/S架構開發，部署在新能源區域中心云平臺，向下納管新能源場站各智能巡檢任務，提供面向運維人員的可視化的應用服務軟件。智能巡檢應用服務功能菜單如表1所示。

其中，巡檢任務支持巡檢任務的檢索、詳情查看等功能，支持巡檢報告下載到本地。告警中心支持巡檢告警的檢測、詳情查看、告警處理等功能，提供API接口，支持告警推送至其他系統。巡檢管理功能支持巡檢任務的新增、編輯、刪除等功能。設備管理支持對場站側攝像機、邊緣計算一體機等前端感知設備的新增、編輯、刪除等功能，可以遠程查看攝像機實時畫面。

5" 實踐案例

本文設計的智能巡檢系統試點部署在某區域新能源發電企業。在區域側部署智能巡檢應用服務，在場站側部署邊緣計算一體機并集成智能識別算法21類，含（主變油位）儀表讀數算法、（主變呼吸器）呼吸硅膠變色、（刀閘）設備銹蝕、（引接線）設備測溫等。邊緣計算一體機硬件配置為鯤鵬920×2，Atlas 300I Pro推理卡×4，操作系統為銀河麒麟V10。選取1個新能源場站進行智能巡檢任務測試，該場站具有492個視覺類智能巡檢點位。

按照特殊巡檢方式，區域側智能巡檢應用下發巡檢任務，在場站側執行智能巡檢任務，形成巡檢結果回傳區域側智能巡檢應用。截取部分基于攝像機的智能巡檢結果記錄在表2中。

通過智能巡檢記錄表可以看出，基于可見光、紅外攝像機獲取的巡檢圖片數據，經智能識別算法能夠被識別出來，且準確度比較高，分析原因在于融合了YOLO目標識別、ResNet分類、DeepLab分割等算法框架，不同的巡檢點位采用與之相適應的底層算法框架。巡檢結果被傳送至區域側智能巡檢系統數據庫，通過智能巡檢應用服務可視化頁面展示，具備智能巡檢任務查詢的功能。

6" 結" 論

智能巡檢系統是支撐新能源場站無人值守運營模式的重要技術手段。本文提出的多模態數據感知設備配置方案，較當前行業普遍采用機器人、無人機巡檢方式，增加了攝像機、音頻傳感器、雷達等感知設備類型，實現了新能源場站重要區域全覆蓋。與感知設備配套的智能識別算法，是智能巡檢系統的技術核心，需要不斷的優化、訓練模型，提高模型的推理精度。當然，現場還存在大量巡檢點位因成本、設備布局、技術難度等原因，無法實現智能化感知，如風電機組塔筒電纜溫度、光伏板背板破損/灼燒等，需要不斷優化新能源領域的智能巡檢系統。

參考文獻：

[1] 彭明智，許堯，胡永波，等.基于人工智能技術的變電站二次設備智能巡檢技術 [J].高電壓技術，2023，49（S1）：90-96.

[2] 張冀，馬也，張榮華，等.數字孿生變電站框架設計與關鍵技術研究 [J].工程科學與技術，2023，55（6）：15-30.

[3] 尹勝利.基于人工智能的變電站巡檢機器人研究 [J].自動化應用，2024，65（15）：42-44.

[4] 王浩，閆號，葉海瑞，等.基于無人機的光伏電站智能巡檢 [J].紅外技術，2022，44（5）：537-542.

[5] 袁同慶，席鵬.基于多模態音視頻融合的質量評價算法 [J].沈陽工業大學學報，2022，44（3）：331-335.

[6] 阿斯頓，扎卡里，李沐，等.動手學深度學習PyTorch版

[M].何孝霆，瑞潮兒，譯.北京：人民郵電出版社，2024：572.

[7] 辛園園，鈕俊，謝志軍，等.微服務體系結構實現框架綜述[J].計算機工程與應用，2018，54（19）：10-17.

[8] 裴傳福，崔凱，成功.基于YOLO-V2算法的翻車機摘鉤視覺識別[J].中國設備工程，2024，03（3）：161-1623.

[9] ZHANG R，XIE C，DENG L W. A Fine-Grained Object Detection Model for Aerial Images Based on YOLOv5 Deep Neural Network [J].Chinese Journal of Electronics，2023，32（1）：51-63.

[10] 郝帥，馬瑞澤，趙新生，等.基于超分辨深度殘差網絡的玻璃絕緣子自爆故障檢測算法 [J].高電壓技術，2022，48（5）：1817-1825.

[11] 陳廣華，葛夢瑩，黃白瑤，等.基于雙目視覺的電力塔傾斜檢測方法 [J].北京交通大學學報，2022，46（2）：128-137.

[12] CHEN L C，PAPANDREOU G，KOKKINOS I，et al. Semantic Image Segmentation With Deep Convolutional Nets and Fully Connected CRFs [J/OL].arXiv：1412.7062 [cs.CV].（2014-12-22）.https：//arxiv.org/abs/1412.7062.

[13] CHEN L C，PAPANDREOU G，KOKKINOS I，et al. DeepLab： Semantic Image Segmentation With Deep Convolutional Nets， Atrous Convolution， And fully Connected CRFs [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.

[14] 齊子豪，仝杰，張中浩，等.基于多粒度知識特征和Transformer網絡的電力變壓器故障聲紋辨識方法 [J/OL].中國電機工程學報，2023：1-13[2024-08-20].http：//kns.cnki.net/kcms/detail/11.2107.TM.20231204.1422.004.html.

作者簡介：李陽（1989—），男，漢族，內蒙古包頭人，工程師，本科，研究方向：電氣工程、智能巡檢、電力信息化；丘建培（1992—），男，漢族，福建龍巖人，工程師，本科，研究方向：自動化、通信網絡技術；宋坤（1983—），男，漢族，山東淄博人，高級工程師，碩士研究生，研究方向：電力信息化、大數據、人工智能。