淺談基于小樣本學(xué)習(xí)前置圖像感知系統(tǒng)的研究

鄒帥

關(guān)鍵詞：小樣本；圖像；感知

中圖分類號(hào)：N945.23 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）20-0060-04

0 引言

隨著我國(guó)國(guó)民經(jīng)濟(jì)水平的前進(jìn)與發(fā)展，各行業(yè)對(duì)電力的需求不斷增長(zhǎng)，推動(dòng)我國(guó)電網(wǎng)數(shù)字化和智能化的進(jìn)步，對(duì)電網(wǎng)的穩(wěn)定性及可靠性提出更高的要求。根據(jù)統(tǒng)計(jì)分析，電氣設(shè)備故障產(chǎn)生最直接最重要的原因是其性能發(fā)生變性，特別是電網(wǎng)一次設(shè)備長(zhǎng)期處于高電壓、強(qiáng)電場(chǎng)運(yùn)行環(huán)境，并承受惡劣氣象影響，達(dá)到限值后易發(fā)生放電現(xiàn)象，嚴(yán)重情況下會(huì)導(dǎo)致設(shè)備擊穿、閃絡(luò)等現(xiàn)象，并極易導(dǎo)致“鏈?zhǔn)椒磻?yīng)”，并影響電網(wǎng)的正常運(yùn)行，存在著巨大的安全隱患，因此缺陷識(shí)別與診斷技術(shù)是電網(wǎng)建設(shè)研究的重要課題。

1 研究意義

在電網(wǎng)缺陷或故障監(jiān)測(cè)方面，歷經(jīng)三個(gè)發(fā)展階段。第一階段是傳統(tǒng)監(jiān)測(cè)，通過(guò)利用人工巡視和停電試驗(yàn)進(jìn)行缺陷識(shí)別和判斷，但作業(yè)人員水平參差不齊，效果難以保證，并且停電試驗(yàn)周期長(zhǎng)；第二階段是信息化監(jiān)測(cè)，通過(guò)利用在線監(jiān)測(cè)和帶電檢測(cè)技術(shù)應(yīng)用，開(kāi)展?fàn)顟B(tài)檢修及無(wú)人值守，以輸電線路無(wú)人機(jī)巡視、變電站紅外測(cè)溫、智能機(jī)器人應(yīng)用等各種在線監(jiān)測(cè)和帶電檢測(cè)手段，通過(guò)大量圖像信息進(jìn)行人工排查，但是效率低、工作量大，難以保證及時(shí)處理海量圖像數(shù)據(jù)；第三階段是智能化監(jiān)測(cè)，通過(guò)“大云物移智”技術(shù)應(yīng)用，建立機(jī)器學(xué)習(xí)、人工智能和深度學(xué)習(xí)技術(shù)的圖像識(shí)別處理技術(shù)鏈，基于海量監(jiān)測(cè)圖像數(shù)據(jù)，解決圖像排查與圖像信息急速增長(zhǎng)的矛盾，實(shí)現(xiàn)電網(wǎng)設(shè)備缺陷識(shí)別智能化推進(jìn)。

2 研究?jī)?nèi)容

2.1 基于邊緣計(jì)算的前置圖像處理

本文通過(guò)深度神經(jīng)網(wǎng)絡(luò)與小樣本學(xué)習(xí)有機(jī)結(jié)合的方法，以圖像識(shí)別處理為技術(shù)中心，解決以下圖像識(shí)別的問(wèn)題：

1） 攝像過(guò)程中由于光照條件的變化，光照強(qiáng)度與角度會(huì)隨著時(shí)間發(fā)生變化，使得采集圖像的亮度與分辨率得不到保證。

2） 由于圖像采集過(guò)程中噪聲與運(yùn)動(dòng)模糊的影響，使得圖像產(chǎn)生嚴(yán)重的降質(zhì)和退化。

3） 在復(fù)雜自然背景下輸電設(shè)備機(jī)拍圖像的處理非常困難更具挑戰(zhàn)性，特別是目標(biāo)圖像的提取與識(shí)別問(wèn)題。

4） 機(jī)拍圖像由于拍攝角度和視距的變化，同一目標(biāo)會(huì)呈現(xiàn)不同的形狀或形式。

2.2 輸電設(shè)備巡檢圖像異常特征量的簡(jiǎn)化分析

基于角度感知技術(shù)，研究前置設(shè)備的取景修正技術(shù)，提高圖像采集終端獲取的原始數(shù)據(jù)并進(jìn)行圖像分類[1]，獲得輸電設(shè)備巡檢圖像智能分析所需要的高可用性圖像或視頻。由于前置設(shè)備計(jì)算資源有限，研究輸電設(shè)備巡檢圖像異常特征量的簡(jiǎn)化分析方法，對(duì)巡檢圖像進(jìn)行有效、快速并且低功耗的預(yù)處理與數(shù)據(jù)過(guò)濾，實(shí)現(xiàn)部分異常特征量的實(shí)時(shí)檢測(cè)與低質(zhì)量重復(fù)圖像的快速濾除。

2.3 基于深度神經(jīng)網(wǎng)絡(luò)及FPGA芯片研究輕量化的嵌入式圖像處理

鑒于前置設(shè)備計(jì)算資源有限，同時(shí)受到重量與功耗限制的問(wèn)題，研究基于深度神經(jīng)網(wǎng)絡(luò)的輕量化圖像處理方法，構(gòu)建適用于前置設(shè)備的深度神經(jīng)網(wǎng)絡(luò)模型，并依托FPGA芯片，設(shè)計(jì)實(shí)現(xiàn)輕量化的嵌入式圖像處理方法，方便在前置端構(gòu)建快速的現(xiàn)場(chǎng)預(yù)處理感知、診斷系統(tǒng)，實(shí)現(xiàn)特征的實(shí)時(shí)判別，解決研究前置FPGA系統(tǒng)的遠(yuǎn)距離數(shù)據(jù)傳輸問(wèn)題，實(shí)現(xiàn)采集圖像的可信、高速回傳。

3 研究難點(diǎn)

3.1 卷積神經(jīng)網(wǎng)絡(luò)模型與FPGA 有限資源的協(xié)同

通過(guò)CNN層內(nèi)計(jì)算模型的循環(huán)計(jì)算，以不同的運(yùn)算結(jié)構(gòu)對(duì)層內(nèi)方式進(jìn)行劃分，完成對(duì)所有循環(huán)迭代的卷積核算進(jìn)行調(diào)度執(zhí)行[2]。基于不同分類方法的代價(jià)函數(shù)，在一定資源條件下，獲取不同運(yùn)算結(jié)構(gòu)的邏輯計(jì)算性能，進(jìn)而為卷積神經(jīng)網(wǎng)絡(luò)算法結(jié)構(gòu)提供不同的信息。但因?yàn)镕PGA 資源限制，運(yùn)算結(jié)構(gòu)無(wú)法在FPGA上實(shí)現(xiàn)，只能實(shí)現(xiàn)部分卷積核并行運(yùn)算，本研究將解決大量的卷積核運(yùn)算邏輯到計(jì)算單元的映射問(wèn)題。

3.2 輸變電設(shè)備圖像智能感知及匹配

在傳統(tǒng)的電網(wǎng)巡檢圖像采集過(guò)程中，會(huì)出現(xiàn)距離、旋轉(zhuǎn)、角度、遮擋、亮度等因素的影響，導(dǎo)致圖像清晰度不高，從而無(wú)法從低質(zhì)量的圖像中獲取關(guān)鍵數(shù)據(jù)。因此，通過(guò)圖像采集技術(shù)實(shí)現(xiàn)高精度圖像是本研究狀態(tài)感知的關(guān)鍵。傳統(tǒng)的變電站巡檢中，圖像存在大量可見(jiàn)光和紅外圖像，但存儲(chǔ)形式不統(tǒng)一，在進(jìn)行圖像分析時(shí)數(shù)據(jù)處理難度較大。因此，圖片的存儲(chǔ)模型的研究及快速匹配本研究的關(guān)鍵點(diǎn)。

4 研究方法

電網(wǎng)設(shè)備缺陷識(shí)別是智能巡檢的目的，基于小樣本學(xué)習(xí)的前置感知系統(tǒng)是保證識(shí)別準(zhǔn)確度的關(guān)鍵，是實(shí)現(xiàn)站內(nèi)智能巡檢的有效途徑。根據(jù)研究?jī)?nèi)容，采用如下具體研究方法：

4.1 變電設(shè)備圖像特征的語(yǔ)義分析方法

目標(biāo)特征的提取是目標(biāo)識(shí)別的基礎(chǔ)，提取出良好的特征能夠提高識(shí)別的精度，針對(duì)電力巡檢過(guò)程中需要識(shí)別的典型目標(biāo)和典型故障，研究針對(duì)典型目標(biāo)和故障的特征提取方法，主要研究?jī)?nèi)容包括：

1） 巡檢圖像低階特征分析方法

變電站內(nèi)的重點(diǎn)一次設(shè)備包括變壓器、隔離開(kāi)關(guān)、斷路器、避雷器等，需要研究利用設(shè)備典型特征，分類識(shí)別出設(shè)備類型，實(shí)現(xiàn)設(shè)備在圖像中的位置跟蹤。

2） 巡檢圖像的高階語(yǔ)義理解技術(shù)

圖像高階語(yǔ)義理解包含的對(duì)象、對(duì)象間的關(guān)系以及視頻場(chǎng)景描述等，針對(duì)電力設(shè)備圖像研究采用基于決策樹、貝葉斯網(wǎng)絡(luò)、樸素貝葉斯等方法對(duì)低階分析結(jié)果進(jìn)行轉(zhuǎn)換和映射并提取視頻圖像的高階語(yǔ)義特征。

3） 設(shè)備典型故障識(shí)別

進(jìn)行變壓器的過(guò)熱、漏油、外觀銹蝕等，隔離開(kāi)關(guān)的開(kāi)合狀態(tài)、引線接頭過(guò)熱等典型故障的特征采集及識(shí)別。

4.2 基于深度學(xué)習(xí)的變電設(shè)備故障自動(dòng)辨識(shí)方法

1） 基于卷積神經(jīng)網(wǎng)絡(luò)的高效訓(xùn)練

通過(guò)卷積神經(jīng)網(wǎng)絡(luò)，對(duì)圖像進(jìn)行有效的學(xué)習(xí)和識(shí)別，針對(duì)電力巡檢視頻圖像數(shù)據(jù)量大、待識(shí)別目標(biāo)較為復(fù)雜的特點(diǎn)，基于卷積神經(jīng)網(wǎng)絡(luò)的高效訓(xùn)練算法，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)高精度的識(shí)別。

2） 傳統(tǒng)圖像處理方法與深度學(xué)習(xí)方法的多層次圖像識(shí)別融合

通過(guò)基于深度學(xué)習(xí)的識(shí)別方法，進(jìn)行大量訓(xùn)練樣本的訓(xùn)練，結(jié)合傳統(tǒng)圖像處理和深度學(xué)習(xí)方法的多層次圖像識(shí)別方法。將傳統(tǒng)圖像處理方法和SVM等方法對(duì)目標(biāo)進(jìn)行粗提取[3]，再進(jìn)行精細(xì)識(shí)別，提高圖像識(shí)別的效率和準(zhǔn)確度。

4.3 基于遷徙學(xué)習(xí)的感知泛化方法

機(jī)器學(xué)習(xí)尤其是深度神經(jīng)網(wǎng)絡(luò)模型通常要求有足夠大的帶標(biāo)簽訓(xùn)練集，但是正如電力系統(tǒng)領(lǐng)域短期時(shí)間內(nèi)不可能出現(xiàn)大規(guī)模的故障數(shù)據(jù)集，通過(guò)遷移學(xué)習(xí)運(yùn)用，實(shí)現(xiàn)訓(xùn)練樣本和測(cè)試樣本服從不同的分布，有效的解決缺乏訓(xùn)練數(shù)據(jù)的問(wèn)題，提升視覺(jué)感知泛化能力。

5 系統(tǒng)設(shè)計(jì)

5.1 系統(tǒng)架構(gòu)設(shè)計(jì)

系統(tǒng)設(shè)計(jì)包括圖像采集層、數(shù)據(jù)傳輸層、服務(wù)層、數(shù)據(jù)管理層及平臺(tái)管理層，通過(guò)移動(dòng)采集終端及布控球的方式進(jìn)行現(xiàn)場(chǎng)設(shè)備缺陷數(shù)據(jù)采集，通過(guò)無(wú)線通信方式將采集圖像傳輸至邊緣計(jì)算裝置，進(jìn)行設(shè)備缺陷的分類及智能識(shí)別，同時(shí)將分析結(jié)果傳輸至數(shù)據(jù)管理層進(jìn)行業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)，最終通過(guò)云端平臺(tái)進(jìn)行數(shù)據(jù)的分析及可視化展示。

5.2 運(yùn)行環(huán)境設(shè)計(jì)

采用了全異步架構(gòu)，為系統(tǒng)提供基于Web的訪問(wèn)控制和管理，提供云平臺(tái)管理服務(wù)，包括訪問(wèn)控制、性能監(jiān)控和配置功能，管理節(jié)點(diǎn)將各臺(tái)計(jì)算服務(wù)器中的資源統(tǒng)一集中，形成一體化虛擬計(jì)算池，通過(guò)資源管理策略，將計(jì)算服務(wù)器資源進(jìn)行分配，能夠?qū)崿F(xiàn)更快、更小、更強(qiáng)的API請(qǐng)求，降低了IaaS軟件的復(fù)雜度，實(shí)現(xiàn)服務(wù)獨(dú)立靈活擴(kuò)展，完成對(duì)應(yīng)算法服務(wù)、輸出存儲(chǔ)、系統(tǒng)運(yùn)行等環(huán)境支撐。

5.3 安全防護(hù)設(shè)計(jì)

根據(jù)圖像采集端、前置服務(wù)器、安全接入平臺(tái)和網(wǎng)絡(luò)環(huán)境貫通方式，采用虛擬專網(wǎng)技術(shù)在GPRS APN/WCDMA VPDN上建立的虛擬隧道，前置服務(wù)器通過(guò)安全加固的接入終端，安全的接入終端可以保證杜絕危險(xiǎn)，保證數(shù)據(jù)的安全傳輸。

6 功能設(shè)計(jì)

6.1 數(shù)據(jù)智能分析

為直觀地展示報(bào)警監(jiān)控情況，設(shè)計(jì)可視化大屏展示，整體上體現(xiàn)總報(bào)警數(shù)及較昨日相比數(shù)量、總處理數(shù)及較昨日相比數(shù)量、報(bào)警類型統(tǒng)計(jì)及排名、各月報(bào)警信息類型數(shù)量趨勢(shì)、周報(bào)警數(shù)、周上傳數(shù)、最新報(bào)警信息、共有警情、警情處理狀態(tài)占比、報(bào)警類型統(tǒng)計(jì)、警情狀態(tài)管理、月報(bào)警趨勢(shì)。

6.2 設(shè)備位置展示

各區(qū)域設(shè)備數(shù)量、報(bào)警類型數(shù)量統(tǒng)計(jì)以及設(shè)備的位置統(tǒng)計(jì)展示。

6.3 報(bào)警展示

通過(guò)時(shí)間設(shè)定，可顯示設(shè)備報(bào)警圖片，并查看當(dāng)前報(bào)警的處理進(jìn)度。

6.4 設(shè)備管理

通過(guò)四級(jí)維度進(jìn)行報(bào)警類型管理，按照區(qū)域、線路、塔桿、設(shè)備添加塔桿經(jīng)緯度，該塔桿下級(jí)所有設(shè)備將繼承該塔桿的經(jīng)緯度信息，實(shí)現(xiàn)定位功能。

7 智能分析設(shè)計(jì)

通過(guò)執(zhí)法儀拍攝的視頻進(jìn)行分析，提取其中的目標(biāo)信息，完成對(duì)視頻的結(jié)構(gòu)化描述。本文圍繞對(duì)人的安全管理，利用智能分析算法檢測(cè)五類目標(biāo)，首先要檢測(cè)視頻中是否有人出現(xiàn)，并能檢測(cè)到每個(gè)人在視頻中的位置，在此基礎(chǔ)上，在單個(gè)人的特定區(qū)域內(nèi)檢測(cè)其他屬性目標(biāo)。通過(guò)五類屬性目標(biāo)要進(jìn)行檢查，分別是安全帽、袖章、絕緣手套、工作服和兩票。這五類目標(biāo)并不一定同時(shí)出現(xiàn)在某個(gè)人身上，而是根據(jù)具體的任務(wù)，在人身上檢測(cè)某個(gè)屬性目標(biāo)，以判定是否符合任務(wù)規(guī)范。

針對(duì)以上目標(biāo)，實(shí)現(xiàn)多路視頻的實(shí)時(shí)監(jiān)控，系統(tǒng)能保持高并發(fā)性和反應(yīng)敏捷性；系統(tǒng)對(duì)工作任務(wù)進(jìn)行靈活分解和配置，完成對(duì)執(zhí)法視頻的語(yǔ)義分析；對(duì)于存量視頻，可以進(jìn)行后期分析，濃縮視頻內(nèi)容，形成視頻摘要，方便對(duì)視頻進(jìn)行事件檢索。根據(jù)任務(wù)要求，選定目標(biāo)要素，分析視頻中是否檢測(cè)到了目標(biāo)要素，也即在返回的視頻中要先檢測(cè)到人，再在人的身上檢測(cè)是否戴有安全設(shè)備，如果視頻中以一定比例檢測(cè)到了這些目標(biāo)要素，則認(rèn)為這個(gè)視頻符合任務(wù)規(guī)范。

8 關(guān)鍵技術(shù)

8.1 面向FPGA 的輕量化深度卷積神經(jīng)網(wǎng)絡(luò)模型及實(shí)現(xiàn)技術(shù)

根據(jù)電路的性能和神經(jīng)網(wǎng)絡(luò)的影響，較長(zhǎng)的字長(zhǎng)雖然可提高神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性和收斂性，但卻增加了電路的面積、提高了成本、減小了速度，而低的精度則會(huì)對(duì)電路的性能和神經(jīng)網(wǎng)絡(luò)的性能產(chǎn)生相反的影響。同時(shí)由于FPGA硬件資源的限制，并行的CNN[4]計(jì)算結(jié)構(gòu)無(wú)法在FPGA上實(shí)現(xiàn)，只能對(duì)部分卷積核進(jìn)行并行計(jì)算進(jìn)行，如何把大量的卷積核循環(huán)語(yǔ)句映射到數(shù)量有限的計(jì)算單元仍然是一個(gè)需要解決的問(wèn)題。本項(xiàng)目構(gòu)建數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型，建立具有不同神經(jīng)元個(gè)數(shù)和層面連接方式的特征抽取濾波器，構(gòu)建權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行復(fù)雜特征提取和數(shù)據(jù)重建，解決低數(shù)據(jù)樣本下的模型過(guò)擬合問(wèn)題，提高巡檢回傳數(shù)據(jù)智能分析效率和準(zhǔn)確率。

8.2 基于混合學(xué)習(xí)方法的電力設(shè)備及故障智能感知技術(shù)

訓(xùn)練圖像識(shí)別模型，需大量的不同設(shè)備，不同背景、角度、光照、焦距、氣象條件以及不同故障類型的樣本數(shù)據(jù)，通過(guò)積累日常運(yùn)維檢修中采集的數(shù)據(jù)，在進(jìn)行分類設(shè)備故障樣本庫(kù)建設(shè)的同時(shí)，為了進(jìn)一步提升圖像識(shí)別的準(zhǔn)確性，提出了基于深度神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別技術(shù)；同時(shí)，對(duì)多神經(jīng)網(wǎng)絡(luò)硬件的連接、傳遞和訓(xùn)練機(jī)制進(jìn)行深入的研究，解決多神經(jīng)網(wǎng)絡(luò)的協(xié)同交互機(jī)制，構(gòu)建集群計(jì)算機(jī)多流處理系統(tǒng)的圖像識(shí)別[5]處理中心。

電力設(shè)備多種多樣，電力故障各種各樣，電力設(shè)備所處的環(huán)境也是千差萬(wàn)別，因此獲取的數(shù)據(jù)也存在非常大差異。本研究針對(duì)這種多樣性問(wèn)題，提出一種多層次混合學(xué)習(xí)方法，來(lái)提升電力設(shè)備及故障基于圖像的智能感知技術(shù)。首先采用深度學(xué)習(xí)方法，在不同電站實(shí)現(xiàn)電力設(shè)備與故障的基本識(shí)別能力，對(duì)于識(shí)別特征進(jìn)行初步提取與保存；然后在此基礎(chǔ)之上采用遷移學(xué)習(xí)的方法，實(shí)現(xiàn)不同站點(diǎn)間共享學(xué)習(xí)，提升感知能力；最后在每個(gè)站點(diǎn)采用增強(qiáng)學(xué)習(xí)方法[6]，采用偏好引導(dǎo)方式進(jìn)一步提升電力設(shè)備及故障的感知能力。

9 結(jié)束語(yǔ)

本文針對(duì)電力系統(tǒng)的安全性和穩(wěn)定性需求，引入先進(jìn)的人工智能技術(shù)理念，以深度學(xué)習(xí)技術(shù)為核心，充分利用高性能計(jì)算資源，研究基于小樣本學(xué)習(xí)的前置圖像感知系統(tǒng)，采用理論分析與設(shè)計(jì)實(shí)現(xiàn)相結(jié)合、離線仿真和在線測(cè)試相結(jié)合的研究方法，構(gòu)建視頻圖像智能分析技術(shù)框架，研究成果可用于電力輸電線路的巡檢、缺陷識(shí)別及作業(yè)監(jiān)控等業(yè)務(wù)場(chǎng)景中，解決了YOLOv3模型較大，無(wú)法直接在嵌入式端運(yùn)行、電路加速引擎設(shè)計(jì)、系統(tǒng)協(xié)調(diào)執(zhí)行應(yīng)用功能等技術(shù)瓶頸，實(shí)現(xiàn)巡檢視頻圖像常見(jiàn)的故障缺陷和風(fēng)險(xiǎn)識(shí)別，為保障電網(wǎng)穩(wěn)定，提升電網(wǎng)安全生產(chǎn)水平提供有力的信息技術(shù)支撐。