多路視頻流邊緣智能識(shí)別設(shè)備設(shè)計(jì)

王興濤，廖 逍，邱 鎮(zhèn)，靳 敏，徐 凡，張曉航，李文璞

(國網(wǎng)信息通信產(chǎn)業(yè)集團(tuán)有限公司 信通研究院，北京 100052)

0 引言

變電站是電網(wǎng)輸、變、配、用電領(lǐng)域的重要環(huán)節(jié)，是電能輸送和配用的轉(zhuǎn)換樞紐，其穩(wěn)定可靠運(yùn)行是電網(wǎng)安全與用電質(zhì)量的重要保障，變電站運(yùn)行維護(hù)質(zhì)效直接決定了其運(yùn)行安全性和可靠性。傳統(tǒng)變電站運(yùn)維采用人工巡檢方式，工作強(qiáng)度大、效率低下、存在人為不可控因素和安全風(fēng)險(xiǎn)，隨著大電網(wǎng)建設(shè)的快速發(fā)展，變電設(shè)備數(shù)量增長(zhǎng)迅速，而運(yùn)維人員數(shù)量相對(duì)短缺，設(shè)備運(yùn)維工作量激增。近年來，人工智能和邊緣計(jì)算等先進(jìn)技術(shù)快速發(fā)展，電力物聯(lián)網(wǎng)和變電數(shù)字化建設(shè)的不斷推進(jìn)，變電站運(yùn)維對(duì)設(shè)備智能管控及管理精益化提出了更高要求，無人值守的智慧變電站成為解決人員短缺和集約化管理的重要手段[1-3]。

目前，人工智能已經(jīng)在變電站得到了廣泛推廣應(yīng)用[4-7]，可實(shí)現(xiàn)變電設(shè)備缺陷智能識(shí)別、人員行為智能管控、以及固定視頻相機(jī)和巡檢機(jī)器人聯(lián)合自主巡檢等功能。文獻(xiàn)[8]基于計(jì)算機(jī)視覺與深度神經(jīng)網(wǎng)絡(luò)技術(shù)開展了變電設(shè)備狀態(tài)監(jiān)測(cè)，能夠提高變電站運(yùn)行可靠性與安全性。文獻(xiàn)[9]開發(fā)了一套變電設(shè)備溫度預(yù)警系統(tǒng)，通過變電站自主巡視機(jī)器人，融合紅外測(cè)溫與可見光視覺，通過無線WiFi將數(shù)據(jù)上傳后臺(tái)服務(wù)器，并在遠(yuǎn)程監(jiān)控系統(tǒng)利用人工智能技術(shù)對(duì)數(shù)據(jù)進(jìn)行處理分析，預(yù)警異常缺陷故障。文獻(xiàn)[10]針對(duì)Mask-RCNN網(wǎng)絡(luò)進(jìn)行了優(yōu)化設(shè)計(jì)，實(shí)現(xiàn)了變電站設(shè)備銹蝕的智能檢測(cè)分析，取得了優(yōu)于原始的Mask-RCNN網(wǎng)絡(luò)的準(zhǔn)確率和召回率。人工智能技術(shù)在變電領(lǐng)域的成功應(yīng)用提高了日常運(yùn)行維護(hù)的工作效率，減輕了運(yùn)維人員的勞動(dòng)強(qiáng)度，但當(dāng)前變電設(shè)備視頻數(shù)據(jù)通常由光纖等信道統(tǒng)一傳輸?shù)胶笈_(tái)服務(wù)器進(jìn)行分析處理，增加了通信帶寬及數(shù)據(jù)集中管理的成本壓力，降低了數(shù)據(jù)分析的時(shí)效性和即時(shí)性，尤其變電站視頻采集終端數(shù)量大，且仍在不斷增加，前端視頻成像質(zhì)量和分辨率不斷提高，通信信道和后臺(tái)服務(wù)器性能要求持續(xù)提高，圖像識(shí)別和處理效率大幅下降。

因此，本文基于人工智能、邊緣計(jì)算、流媒體處理、以及深度學(xué)習(xí)計(jì)算加速等技術(shù)，開發(fā)了面向變電設(shè)備缺陷人工智能識(shí)別算法模型，研制了多路視頻流智能識(shí)別設(shè)備，并在變電站開展應(yīng)用，實(shí)現(xiàn)了變電多路視頻流實(shí)時(shí)采集、缺陷在線智能識(shí)別、邊緣計(jì)算推理加速、以及視頻處理推流等功能，每臺(tái)設(shè)備可接入32路視頻流，在邊緣側(cè)完成智能識(shí)別處理，減小了網(wǎng)絡(luò)傳輸帶寬壓力，提高了識(shí)別效率與時(shí)效性，運(yùn)維效率大幅提升，進(jìn)一步提升變電站智慧管理成效。

1 總體架構(gòu)設(shè)計(jì)

變電站多路視頻流智能識(shí)別設(shè)備可接入場(chǎng)站內(nèi)多路視頻裝置，同時(shí)對(duì)多路視頻流進(jìn)行抽幀、解碼、編碼、分析識(shí)別、推流等操作，主要包括“交互控制單元”和“推理加速單元”兩部分組成，具備AI芯片計(jì)算加速與推理功能，實(shí)現(xiàn)邊緣側(cè)圖像視頻的分析計(jì)算與智能識(shí)別，設(shè)備總體架構(gòu)如圖1所示。

圖1 設(shè)備總體架構(gòu)設(shè)計(jì)

1)交互控制單元：基于工控機(jī)處理器，采用嵌入式Linux操作系統(tǒng)，布設(shè)Docker容器，主要完成視頻流采集、抽幀、網(wǎng)絡(luò)通信、進(jìn)程調(diào)度、視頻流推送、人機(jī)交互等功能，提供網(wǎng)絡(luò)與PCIE通信接口，實(shí)現(xiàn)多路視頻流在不同推理加速單元進(jìn)行邊緣計(jì)算的調(diào)度控制。

2)推理加速單元：通過PCIE接口與交互控制單元通信，采用基于國產(chǎn)AI處理芯片的推理加速板卡，每個(gè)推理加速單元配置3個(gè)AI芯片，每個(gè)芯片可處理3路視頻流，根據(jù)交互控制單元PCIE接口個(gè)數(shù)，每臺(tái)設(shè)備可配置多個(gè)推理加速單元。支持Faster-RCNN、Yolo、TensorFlow等多種框架算法識(shí)別模型的固化調(diào)用與計(jì)算加速，單個(gè)加速單元可提供高達(dá)105.6TOPs INT8算力和6.6TOPs FP32算力，支持高精度計(jì)算。

多路視頻流智能識(shí)別設(shè)備通過中繼交換機(jī)接入多路攝像頭，由交互控制單元完成多路攝像頭視頻數(shù)據(jù)采集接入、抽幀操作，然后基于內(nèi)存交互，將抽幀圖片調(diào)入推理加速單元內(nèi)存，由推理加速單元調(diào)用人工智能算法模型對(duì)圖片進(jìn)行分析與識(shí)別，之后對(duì)圖片與視頻數(shù)據(jù)進(jìn)行硬壓縮，將結(jié)果轉(zhuǎn)發(fā)到交互控制單元內(nèi)存中，最終由交互控制單元對(duì)視頻流進(jìn)行優(yōu)化與推流，在主控端進(jìn)行實(shí)時(shí)顯示。通過對(duì)人工智能識(shí)別模型基礎(chǔ)算子歸類與自定義算子特性分析，面向多路視頻流邊緣智能識(shí)別設(shè)備的架構(gòu)特性，融合深度學(xué)習(xí)基礎(chǔ)算子與自定義算子技術(shù)，開發(fā)自定義算子的接口，建立基礎(chǔ)算子與自定義算子之間的高性能計(jì)算機(jī)制，提升底層計(jì)算硬件資源的利用效率，從而提升設(shè)備整體數(shù)據(jù)運(yùn)算與智能分析效率。

設(shè)備硬件結(jié)構(gòu)與接口面板如圖2所示，主要包括：電源接口、機(jī)械硬盤、開關(guān)按鈕、LED指示燈、USB端口、RJ45以太網(wǎng)端口、推理卡通道、VGA端口、以及RS232端口等部分組成，設(shè)備外殼背面由帶有散熱通道的蓋板組成，其他由側(cè)面蓋板組成。

圖2 設(shè)備硬件結(jié)構(gòu)及接口示意圖

2 主控軟件設(shè)計(jì)

多路視頻流智能識(shí)別設(shè)備采用YOLOv4的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)設(shè)備缺陷與人員作業(yè)行為的智能識(shí)別，采用Live555流媒體服務(wù)器與實(shí)時(shí)流傳輸協(xié)議(RTSP，real time streaming protocol)實(shí)現(xiàn)視頻流傳輸與推送[11-12]，設(shè)備主控軟件處理流程如圖3所示。

圖3 軟件處理流程圖

首先，在交互控制單元中，采集變電站內(nèi)多路攝像頭的視頻流數(shù)據(jù)，分別從每路視頻流中每5幀抽取一幀圖像數(shù)據(jù)，拷貝到推理加速單元的內(nèi)存中，推理加速單元調(diào)用YOLOv4識(shí)別模型，對(duì)圖像數(shù)據(jù)開展人工智能計(jì)算分析，實(shí)現(xiàn)表計(jì)讀數(shù)、設(shè)備缺陷、人員行為等目標(biāo)識(shí)別，得到目標(biāo)類別、坐標(biāo)等結(jié)果，并將識(shí)別結(jié)果標(biāo)識(shí)在圖片中；然后，加速推理單元將帶有識(shí)別結(jié)果標(biāo)識(shí)的圖片進(jìn)行硬件H.264編碼，并推送到碼流隊(duì)列中，若碼流隊(duì)列的長(zhǎng)度大于1，則先釋放隊(duì)首元素，使得碼流隊(duì)列中始終存儲(chǔ)當(dāng)前的最新圖像幀；最后，將碼流隊(duì)列拷貝到交互控制單元內(nèi)存中，搭建RTSP服務(wù)器，基于Live555流媒體框架完成多路視頻流的推流，用戶平臺(tái)端即可通過拉流實(shí)現(xiàn)多路視頻流的實(shí)時(shí)識(shí)別與展示。

變電站多路視頻流智能識(shí)別與展示要求檢測(cè)識(shí)別的高實(shí)時(shí)與低延時(shí)，而標(biāo)準(zhǔn)通用的Live555流媒體推流策略是將H.264碼流直接加入隊(duì)列中，且不對(duì)隊(duì)列進(jìn)行處理，當(dāng)RTSP客戶端發(fā)起接流請(qǐng)求后，服務(wù)器端將隊(duì)列中的H.264碼流按順序推流。當(dāng)RTSP客戶端長(zhǎng)時(shí)間不發(fā)起請(qǐng)求時(shí)，會(huì)不斷有新的H.264碼流加入隊(duì)列，直到內(nèi)存溢出，造成客戶端接流時(shí)最先解碼展示隊(duì)列中“過去態(tài)”的信息，實(shí)時(shí)性和展示效果不適配變電站智能運(yùn)檢業(yè)務(wù)[13-15]。

圖3所示設(shè)備主控軟件優(yōu)化了RTSP推流策略，可有效解決視頻展示延時(shí)大問題，提高多路視頻流智能識(shí)別實(shí)時(shí)性與變電智能運(yùn)檢業(yè)務(wù)適配性。首先，根據(jù)加速推理單元的性能指標(biāo)與測(cè)試驗(yàn)證，在視頻流采集抽幀階段，每5幀圖像抽取其中一幀進(jìn)行智能識(shí)別，其它4幀圖像復(fù)用該幀圖像的識(shí)別結(jié)果，縮短識(shí)別耗時(shí)，并保持識(shí)別結(jié)果的連續(xù)性，不影響展示端的視覺效果；其次，基于加速推理單元高性能硬件處理能力，采用硬件編碼方式，快速完成智能識(shí)別與結(jié)果標(biāo)識(shí)后的幀數(shù)據(jù)H.264編碼；最后，對(duì)碼流隊(duì)列進(jìn)行判斷處理，當(dāng)碼流隊(duì)列長(zhǎng)度大于1時(shí)，釋放隊(duì)列首元素，保持隊(duì)列存放當(dāng)前最新的幀數(shù)據(jù)。

3 算法模型設(shè)計(jì)

本文采用YOLOv4目標(biāo)檢測(cè)算法識(shí)別多路視頻流抽取的圖像，該算法包括Input、BackBone、Neck、以及Prediction四部分，每個(gè)部分均采用了一定的優(yōu)化策略，提升了算法檢測(cè)精度和識(shí)別速度[16-17]。

Input部分采用的優(yōu)化策略主要包括數(shù)據(jù)增強(qiáng)Mosaic、跨微批量標(biāo)準(zhǔn)化(CmBN,cross mini-batch normalization)、以及自對(duì)抗訓(xùn)練(SAT,self-adversarial-training)；BackBone部分采用CSPDarknet53主干特征提取網(wǎng)絡(luò)，分別從增強(qiáng)學(xué)習(xí)能力、降低計(jì)算瓶頸、降低內(nèi)存成本3個(gè)方面提升了性能，Backbone使用Mish激活函數(shù)，在訓(xùn)練穩(wěn)定性、平均準(zhǔn)確率以及峰值準(zhǔn)確率等方面進(jìn)行優(yōu)化[18-19]，如式(1)所示：

Mish=x·tanh(ln(1+ex))

(1)

Neck部分主要采用了SPP-Net (spatial pyramid pooling networks)和FPN (feature pyramid networks) + PAN (path aggregation network)的優(yōu)化策略，SPP-Net可有效增加主干特征的接收范圍，顯著分離出最重要的上下文特征，F(xiàn)PN與PAN相結(jié)合，從不同主干層對(duì)不同檢測(cè)層進(jìn)行參數(shù)聚合，有效融合了各層級(jí)信息[20]；Prediction部分采用CIOU進(jìn)行BBOX回歸損失計(jì)算，將預(yù)測(cè)框與真實(shí)框的重疊面積、中心點(diǎn)距離，長(zhǎng)寬比都融入到公式中，優(yōu)化提高了預(yù)測(cè)回歸的速度和精度，如式(2)所示：

(2)

其中：IOU是目標(biāo)檢測(cè)中常用的指標(biāo)，用來反映預(yù)測(cè)框和目標(biāo)框的檢測(cè)效果；Distance_2表示預(yù)測(cè)框與真實(shí)框中心點(diǎn)的歐氏距離；Distance_C表示預(yù)測(cè)框與真實(shí)框最小外接矩形的對(duì)角線距離；v是衡量長(zhǎng)寬比一致性的參數(shù)，其定義如式(3)所示:

(3)

CIOU表示預(yù)測(cè)框與真實(shí)框的偏離程度，其Loss函數(shù)如式(4)所示:

(4)

同時(shí)，YOLOv4將通用篩選預(yù)測(cè)框的Nms中計(jì)算IOU的部分優(yōu)化為DIOU的方式，提升了檢測(cè)效果[21]，如式(5)所示:

(5)

4 測(cè)試與應(yīng)用驗(yàn)證

4.1 算法識(shí)別精度測(cè)試

本文面向變電站智能運(yùn)維場(chǎng)景，基于國家電網(wǎng)變電影像樣本數(shù)據(jù)庫，開展變電設(shè)備缺陷、儀表讀取、人員行為識(shí)別等方面的檢測(cè)分析精度測(cè)試，完成算法模型設(shè)計(jì)、編譯、訓(xùn)練后，將算法模型部署在變電站多路視頻流智能識(shí)別設(shè)備，該設(shè)備內(nèi)置3個(gè)推理加速單元，每個(gè)加速推理單元配置3塊TPU，基于YOLOv4的各類型算法識(shí)別精度如表1所示。

表1 變電站識(shí)別算法精度

經(jīng)測(cè)試表明，該設(shè)備的算法模型識(shí)別精度能夠滿足變電站巡視業(yè)務(wù)需求，可輔助運(yùn)維人員開展變電站日常巡視工作，有效支撐無人值守變電站數(shù)字化建設(shè)。

4.2 變電站應(yīng)用驗(yàn)證

截止目前，該設(shè)備已在國家電網(wǎng)10余座變電站或換流站部署應(yīng)用，能夠接入站內(nèi)巡檢機(jī)器人、可見光攝像頭、以及紅外攝像頭采集的視頻流，并在邊緣側(cè)實(shí)現(xiàn)多路視頻流的實(shí)時(shí)高精度智能分析處理，通過分別部署不同的圖像識(shí)別算法模型，既可以識(shí)別可見光圖像，也可以識(shí)別紅外圖像，具備設(shè)備實(shí)時(shí)監(jiān)控、圖像智能識(shí)別、人員安全管控、紅外分析診斷、環(huán)境安全檢測(cè)等智能識(shí)別告警功能。如圖4所示，多路視頻流智能識(shí)別設(shè)備在邊緣側(cè)完成高精度分析處理后，將附帶識(shí)別結(jié)果的視頻流信息實(shí)時(shí)上傳至變電信息綜合處理系統(tǒng)，在應(yīng)用服務(wù)端實(shí)時(shí)展示多路視頻流分析識(shí)別情況，并將分析結(jié)果及時(shí)上報(bào)變電站運(yùn)維人員，同時(shí)還可以接收地市級(jí)巡視指令，輔助實(shí)現(xiàn)機(jī)器人與攝像頭聯(lián)合巡視，配合完成變電站“一鍵順控”等智能控制類業(yè)務(wù)，為變電站運(yùn)行維護(hù)從人工巡檢方式轉(zhuǎn)變?yōu)橹悄苎矙z無人值守方式提供強(qiáng)有力的技術(shù)支撐，極大地提升了變電站運(yùn)行安全水平。

圖4 變電站應(yīng)用驗(yàn)證

5 結(jié)束語

隨著智能電網(wǎng)及以新能源為主體的新型電力系統(tǒng)建設(shè)的不斷推進(jìn)，變電站設(shè)備數(shù)量和運(yùn)維工作量劇增，但變電運(yùn)維人員短缺的矛盾日益突出，且對(duì)運(yùn)維人員的綜合技術(shù)水平和能力要求越來越高。人工智能與邊緣計(jì)算技術(shù)的成熟

發(fā)展為解決這一問題提供了方法手段，因此，國家電網(wǎng)大力推動(dòng)智能變電站建設(shè)，采用人工智能技術(shù)、邊緣計(jì)算、以及大數(shù)據(jù)等先進(jìn)技術(shù)改造升級(jí)變電站運(yùn)維數(shù)字化與智能化水平，大量人工智能與邊緣計(jì)算設(shè)備被推廣應(yīng)用。本文根據(jù)變電站智能巡視需求，研制了變電站多路視頻流邊緣智能識(shí)別設(shè)備，分別從總體架構(gòu)、主控軟件、以及人工智能算法模型等方面開展了設(shè)計(jì)研發(fā)，并基于變電影像大數(shù)據(jù)樣本庫開展了算法模型識(shí)別精度測(cè)試，面向變電站運(yùn)維場(chǎng)景開展了試點(diǎn)應(yīng)用驗(yàn)證，通過測(cè)試和推廣應(yīng)用，驗(yàn)證了該設(shè)備指標(biāo)與性能能夠滿足智能變電站巡視業(yè)務(wù)需求，可輔助運(yùn)維人員開展變電站日常巡視工作，有利支撐了變電站智能運(yùn)維水平。