基于輕量化神經(jīng)網(wǎng)絡(luò)和SimAM注意力機(jī)制的電力儀表檢測(cè)與識(shí)別

摘要：通過(guò)圖像識(shí)別算法對(duì)電力儀表進(jìn)行識(shí)別與讀數(shù)可有效避免人工巡檢過(guò)程中的諸多不確定問(wèn)題。針對(duì)傳統(tǒng)儀表檢測(cè)識(shí)別方法工作量大以及指針?lè)指畈磺逦鷮?dǎo)致讀數(shù)不準(zhǔn)確的問(wèn)題，提出了一種基于輕量化神經(jīng)網(wǎng)絡(luò)模型和SimAM注意力機(jī)制的電力儀表檢測(cè)與識(shí)別方法。首先，通過(guò)引入SimAM注意力機(jī)制以及YOLOv5s輕量化神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)對(duì)電力儀表的識(shí)別與分類以及表盤區(qū)域的分割；然后分別采用CRNN文本識(shí)別算法和Hough圓檢測(cè)方法對(duì)數(shù)字式儀表以及指針式儀表進(jìn)行讀數(shù)。模型結(jié)合多種場(chǎng)景進(jìn)行訓(xùn)練，并對(duì)識(shí)別與讀數(shù)2個(gè)階段分別給出評(píng)價(jià)標(biāo)準(zhǔn)。實(shí)驗(yàn)結(jié)果表明，該方法能夠高效完成電力儀表的檢測(cè)與識(shí)別工作，在提高檢測(cè)準(zhǔn)確率的同時(shí)將總體檢測(cè)時(shí)間控制在1.00 s以內(nèi)，具有一定的實(shí)用性。

關(guān) 鍵 詞：深度學(xué)習(xí)； 目標(biāo)檢測(cè)； 儀表識(shí)別； 注意力機(jī)制； 圖像處理； YOLOv5氧化鈷; 納米結(jié)構(gòu); 電容器; 電催化

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)志碼：A

doi：10.3969/j.issn.1673-5862.2024.04.009

Detection and recognition of power meter based on lightweight neural network and SimAM attention mechanism

CUI Song^1，2， LYU Yan^1，2， CHEN Lanfeng^1，2ZHANG Yong¹， GAO Tianyu²， CUI Lili¹

（1. College of Physical Science and Technology， Shenyang Normal University， Shenyang 110034， China）（1. Software College， Shenyang Normal University， Shenyang 110034， China; 2. College of Computer Science and Technology， Xinjiang University， Urumqi 830046， China）

Abstract：Many uncertain factors in the process of manual patrol inspection can be effectively avoided by recognizing and reading electric power meters through image recognition algorithms. Aiming at the problem that the traditional instrument detection and recognition method has a large workload and the pointer segmentation is not clear， which leads to inaccurate readings， a method of power instrument detection and recognition based on lightweight neural network model and SimAM attention mechanism is proposed. Firstly， the recognition and classification of electric instruments and the division of dial area are realized by introducing SimAM attention mechanism and YOLOv5s lightweight neural network model. Then， CRNN text recognition algorithm and Hough circle detection method are used to read digital instruments and pointer instruments respectively. The model combines multiple scenarios for training， and gives evaluation criteria for recognition and reading. The experimental results show that the method can effectively complete the detection and identification of power instruments， improve the detection accuracy and control the overall detection time within 1.00 s， which has certain practicability.

Key words：deep learning; target detection; instrument identification; attention mechanism; image processing; YOLOv5

隨著機(jī)器視覺的發(fā)展與應(yīng)用，智能高效的圖像識(shí)別算法在社會(huì)各方面發(fā)揮著重要的建設(shè)作用，對(duì)社會(huì)的技術(shù)發(fā)展產(chǎn)生了深遠(yuǎn)的影響。以電力行業(yè)為例，為了保證電廠安全可靠運(yùn)行，在日常的巡檢任務(wù)中，可靠且準(zhǔn)確的電力儀表讀數(shù)至關(guān)重要，直接影響系統(tǒng)的運(yùn)行安全和供電質(zhì)量。然而，由于電力儀表設(shè)備種類繁多、所處環(huán)境復(fù)雜，巡檢人員的技術(shù)水平參差、對(duì)設(shè)備的熟悉程度不同等因素，人工巡檢效率低、危險(xiǎn)性高，可靠性與準(zhǔn)確性難以保證。

目前電力行業(yè)使用的儀表可分為2種：指針類和數(shù)字類。對(duì)于指針類儀表的圖像識(shí)別現(xiàn)已有以下幾種方法。沈云青等^［1］采用模板匹配法對(duì)儀表區(qū)域進(jìn)行匹配，但這類方法需要大量準(zhǔn)備工作，且可靠性不高。金愛萍等^［2］使用U-Net網(wǎng)絡(luò)進(jìn)行指針?lè)指睿嬖谥羔樀姆指畈磺逦膯?wèn)題，最終可能導(dǎo)致讀數(shù)不準(zhǔn)確，U-Net網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜并且對(duì)輸入圖像尺寸有限制，影響檢測(cè)效率。對(duì)于數(shù)字類儀表，陳開峰等^［3］使用YOLOv5s目標(biāo)檢測(cè)算法對(duì)表盤數(shù)字進(jìn)行檢測(cè)，雖速度較快但對(duì)于小目標(biāo)的預(yù)測(cè)精確度不高，容易導(dǎo)致識(shí)別結(jié)果不準(zhǔn)確。

本文提出一種基于輕量化神經(jīng)網(wǎng)絡(luò)和SimAM注意力機(jī)制的電力儀表檢測(cè)與識(shí)別方法，既可以對(duì)指針類儀表和數(shù)字類儀表進(jìn)行有效分類，又可以準(zhǔn)確識(shí)別儀表示數(shù)。如圖1所示，對(duì)輸入圖像，首先通過(guò)融合注意力機(jī)制的YOLOv5s模型進(jìn)行儀表的識(shí)別與分類，并對(duì)儀表區(qū)域進(jìn)行有效的分割。若識(shí)別結(jié)果為數(shù)字類儀表，則使用CRNN模型進(jìn)行讀數(shù)識(shí)別。若識(shí)別結(jié)果為指針類儀表，則采用Hough 圓檢測(cè)法對(duì)表盤區(qū)域進(jìn)行分割并僅保留表盤部分，再通過(guò)直線擬合確定圓心及指針?biāo)谥本€，繼而通過(guò)計(jì)算偏角得出儀表示數(shù)。該方法在提高識(shí)別速度的同時(shí)，可有效提高檢測(cè)精度。

1 基于YOLOv5s和SimAM的電力儀表識(shí)別與分類

1.1 YOLOv5s網(wǎng)絡(luò)

YOLOv5在目標(biāo)檢測(cè)領(lǐng)域中應(yīng)用廣泛，經(jīng)過(guò)多次的更新迭代現(xiàn)有n，s，m，l，x五種不同深度和寬度的網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)改變網(wǎng)絡(luò)的深度和寬度平衡性能、效率，使用者可根據(jù)應(yīng)用場(chǎng)景選擇適合的網(wǎng)絡(luò)規(guī)模。本文使用的YOLOv5s模型屬于輕量級(jí)網(wǎng)絡(luò)，具有網(wǎng)絡(luò)結(jié)構(gòu)小、運(yùn)行速度快、開銷小的特點(diǎn)。

YOLOv5s輸入端將三通道圖片送入backbone骨干網(wǎng)絡(luò)進(jìn)行特征提取，不同于YOLOv3使用的DarkNet53特征提取網(wǎng)絡(luò)，YOLOv5s使用新的特征提取網(wǎng)絡(luò)CSPDarknet53，在內(nèi)存消耗和計(jì)算復(fù)雜度上都有更好的表現(xiàn)。Neck部分采用拼接方式進(jìn)行特征融合，對(duì)底層特征進(jìn)行融合、增強(qiáng)加工以呈現(xiàn)出更多特征，將本層特征圖與上一層輸出的特征圖進(jìn)行拼接，最終在Prediction部分得到3個(gè)不同尺寸的特征圖。較小的特征圖有助于提取細(xì)節(jié)信息與識(shí)別捕捉小目標(biāo)，較大的特征圖可以更好地識(shí)別大的目標(biāo)或高層語(yǔ)義信息，綜合利用多尺度特征圖將有效提高檢測(cè)的效果^［4］。

1.2 SimAM注意力機(jī)制

人們通過(guò)對(duì)大腦和視覺的研究發(fā)現(xiàn)，當(dāng)人們?cè)陉P(guān)注某項(xiàng)事物時(shí)，首先對(duì)該事物進(jìn)行大致掃描，獲取需要重點(diǎn)關(guān)注的信息，同時(shí)抑制其他無(wú)用信息，這種方式使人們可以利用有限的注意力，快速高效地從大量信息中提取到有價(jià)值的內(nèi)容^［5］。

SimAM注意力機(jī)制是一種簡(jiǎn)單、體量小且高效的注意力機(jī)制^［6］，實(shí)現(xiàn)了通道注意力與空域注意力的協(xié)同工作，這種工作方式更接近人腦的感知過(guò)程。注意力函數(shù)定義如下：

其中sigmoid函數(shù)用于處理二分類任務(wù)；E表示能量函數(shù)在所有通道和空間維度上的和。可見，當(dāng)能量越低時(shí)該位置與其他區(qū)域區(qū)別越大，重要性也就越高^［7］。

1.3 數(shù)據(jù)增強(qiáng)與網(wǎng)絡(luò)效果

數(shù)據(jù)增強(qiáng)機(jī)制可以有效擴(kuò)充訓(xùn)練數(shù)據(jù)集，通過(guò)引入Mosaic數(shù)據(jù)增強(qiáng)機(jī)制對(duì)數(shù)據(jù)集進(jìn)行隨機(jī)裁剪、旋轉(zhuǎn)、縮放等變換后組合成一張圖片用于訓(xùn)練，在擴(kuò)充數(shù)據(jù)集的同時(shí)，可提高訓(xùn)練結(jié)果的泛化性^［8］。由于引入了Mosaic數(shù)據(jù)增強(qiáng)機(jī)制對(duì)數(shù)據(jù)集進(jìn)行了重新的組合，導(dǎo)致了其原有圖片的像素值和圖片內(nèi)部目標(biāo)的大小發(fā)生了變化，同時(shí)為了彌補(bǔ)YOLOv5s在小目標(biāo)檢測(cè)上的不足，本文在原有網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上引入了SimAM注意力機(jī)制。

將2組相同圖片分別送入原網(wǎng)絡(luò)與引入SimAM注意力機(jī)制后的網(wǎng)絡(luò)中，檢測(cè)置信度，如圖2和圖3所示。未添加注意力機(jī)制前數(shù)字儀表檢測(cè)置信度僅為0.47、指針儀表僅為0.8左右，添加注意力機(jī)制后數(shù)字儀表置信度提高至0.82，指針儀表平均置信度高于0.9。可見，添加注意力機(jī)制后網(wǎng)絡(luò)檢測(cè)效果遠(yuǎn)好于未添加注意力機(jī)制的網(wǎng)絡(luò)，對(duì)數(shù)字式儀表和指針式儀表的識(shí)別準(zhǔn)確率均有大幅度提升。

2 CRNN數(shù)字儀表讀數(shù)

在圖片中檢測(cè)到儀表并經(jīng)過(guò)YOLOv5s對(duì)儀表分類和裁切后，將帶有表盤信息的數(shù)字儀表圖片輸入卷積循環(huán)神經(jīng)網(wǎng)絡(luò)（convolutional recurrent neural network，CRNN）進(jìn)行讀數(shù)識(shí)別。首先由CNN網(wǎng)絡(luò)提取圖像的特征圖，進(jìn)入循環(huán)層由RNN網(wǎng)絡(luò)對(duì)特征序列進(jìn)行逐幀預(yù)測(cè)^［9］，再經(jīng)過(guò)翻譯層生成標(biāo)簽序列，最后將標(biāo)簽序列除重、拼接后，輸出預(yù)測(cè)序列^［10］。

2.1 CRNN網(wǎng)絡(luò)

CRNN網(wǎng)絡(luò)在文字序列識(shí)別領(lǐng)域有較好的效果，其網(wǎng)絡(luò)結(jié)構(gòu)由3個(gè)部分組成：卷積層、循環(huán)層和翻譯層^［11］。如圖4所示。

圖片經(jīng)過(guò)歸一化處理輸入卷積層（內(nèi)部為CNN網(wǎng)絡(luò)）提取特征信息組成特征圖。以圖片的一部分作為感受野進(jìn)行卷積操作和池化操作，提取該區(qū)域特征；采用最大池化操作以更好地保留主要特征，同時(shí)降低數(shù)據(jù)量和特征圖維度，避免過(guò)擬合問(wèn)題^［12］。

特征序列輸入循環(huán)層后，通過(guò)雙向長(zhǎng)短期記憶（bidirectional long short term memory，BiLSTM）網(wǎng)絡(luò)預(yù)測(cè)。BiLSTM由正向LSTM與反向LSTM組合而成，將二者的處理序列合并后交由翻譯層。翻譯層將每一序列中概率最高的幀預(yù)測(cè)作為該序列的標(biāo)簽，再將這些標(biāo)簽映射成一個(gè)連續(xù)的字符串，形成輸出序列。

2.2 輸出序列預(yù)測(cè)

當(dāng)由卷積層得到的特征圖被分割成特征序列輸入循環(huán)層后，得到由多個(gè)縱向序列組成的概率分布表X，任一序列均包含對(duì)所有字符概率的預(yù)測(cè)。在分布表X的不同序列中選取出一條橫向路徑π，經(jīng)過(guò)多對(duì)一轉(zhuǎn)化生成輸出結(jié)果。以選取序列中概率最大的字符為例，將所有輸出結(jié)果相同的路徑的概率求和，計(jì)算過(guò)程如下：

3 OpenCV指針儀表讀數(shù)

經(jīng)過(guò)對(duì)儀表進(jìn)行分類和裁切后，首先對(duì)包含指針類儀表的圖片進(jìn)行預(yù)處理，通過(guò)Hough圓檢測(cè)方法對(duì)表盤輪廓進(jìn)行擬合篩選，之后對(duì)指針和刻度線進(jìn)行擬合。通過(guò)儀表刻度線確定圓心后，即可結(jié)合指針讀取儀表示數(shù)。

3.1 Hough圓檢測(cè)算法

OpenCV函數(shù)庫(kù)為計(jì)算機(jī)視覺研究提供了豐富的圖像處理算法，其中就包括Hough圓檢測(cè)算法。Hough圓檢測(cè)算法基于霍夫變換，可實(shí)現(xiàn)直線與曲線的擬合，常用于簡(jiǎn)單圖形的特征提取。

在進(jìn)行檢測(cè)之前，首先要對(duì)圖像進(jìn)行預(yù)處理，解決圖片在拍攝時(shí)由于環(huán)境條件和相機(jī)質(zhì)量等問(wèn)題導(dǎo)致圖片出現(xiàn)噪聲的問(wèn)題，調(diào)用OpenCV中的cv2.pyrMeanShiftFiltering（）和cv2.cvtColor（）方法，對(duì)圖片進(jìn)行色彩均值漂移、二值化等預(yù)處理；再通過(guò)Hough圓檢測(cè)算法擬合表盤輪廓和刻度線，最終通過(guò)刻度線交點(diǎn)確定圓心，檢測(cè)結(jié)果如圖5所示。

3.2 指針讀數(shù)方法

指針儀表的讀數(shù)是通過(guò)識(shí)別指針的偏轉(zhuǎn)角來(lái)確定的，采用Hough直線檢測(cè)方法將指針確定為一條過(guò)圓心的直線，計(jì)算與零刻度所在直線的偏轉(zhuǎn)角度^［13］。示數(shù)α由偏轉(zhuǎn)角θ、指針最大偏角θ_max、最小偏角θ_min和量程r確定，計(jì)算公式如下：

圖5中儀表的指針偏轉(zhuǎn)角度為88.74°、儀表量程為0～10 MPa、指針最大偏角為270°最小偏角0°，由此確定的儀表讀數(shù)為3.28 MPa，與真實(shí)值3.29 MPa存在0.01 MPa的誤差。

4 實(shí)驗(yàn)設(shè)計(jì)與數(shù)據(jù)分析

4.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

為保證實(shí)驗(yàn)的可復(fù)現(xiàn)性及結(jié)果的可靠性，實(shí)驗(yàn)環(huán)境如表1所示。

本實(shí)驗(yàn)采用自制數(shù)據(jù)集，為了更好的提升YOLO模型的識(shí)別效果，實(shí)驗(yàn)收集了處于不同場(chǎng)景下的儀表圖片，其中包含帶有偏色、陰影、暗光和過(guò)曝等場(chǎng)景下的儀表對(duì)模型進(jìn)行訓(xùn)練^［14］，以提高模型的穩(wěn)定性和泛化能力。

數(shù)據(jù)集共計(jì)由1 000張圖片組成（包含指針式儀表500張、數(shù)字式儀表300張、組合儀表200張），按照8∶2的比例劃分為訓(xùn)練集和測(cè)試集：訓(xùn)練集800張使用Labeme進(jìn)行標(biāo)注，剩余200張為測(cè)試集。同時(shí)，為保證訓(xùn)練集和測(cè)試集中儀表的豐富性，將各類儀表圖片按5∶3∶2的比例進(jìn)行分配。

4.2 評(píng)價(jià)標(biāo)準(zhǔn)

本實(shí)驗(yàn)將模型的評(píng)價(jià)標(biāo)準(zhǔn)大致分為2部分，第一部分針對(duì)YOLO模型對(duì)儀表的識(shí)別與分割，以檢測(cè)2種不同類型儀表的識(shí)別率與類別平均精確度（mAP），作為檢驗(yàn)評(píng)判標(biāo)準(zhǔn)；第二部分是2類儀表的讀數(shù)評(píng)判標(biāo)準(zhǔn)，本實(shí)驗(yàn)以讀數(shù)準(zhǔn)確率、響應(yīng)速度和穩(wěn)定性作為評(píng)價(jià)標(biāo)準(zhǔn)。

4.3 實(shí)驗(yàn)與數(shù)據(jù)分析

經(jīng)多次實(shí)驗(yàn)發(fā)現(xiàn)，在400次迭代后儀表識(shí)別模型的整體損失值趨于穩(wěn)定，結(jié)果如圖6所示（圖中橫坐標(biāo)表示模型迭代次數(shù)，縱坐標(biāo)obj_loss表示目標(biāo)定位損失，cls_loss表示目標(biāo)分類損失^［15］）。將此次訓(xùn)練得到的權(quán)重文件用于下一步的預(yù)測(cè)任務(wù)。

將測(cè)試集送入預(yù)測(cè)模型，分析實(shí)驗(yàn)數(shù)據(jù)可以發(fā)現(xiàn)，雖然添加注意力機(jī)制后單位圖片的檢測(cè)時(shí)間略有增加，但相較原網(wǎng)絡(luò)而言，對(duì)2類儀表的平均檢測(cè)準(zhǔn)確度都有提升，特別是對(duì)數(shù)字類儀表的識(shí)別檢測(cè)準(zhǔn)確度提升更為明顯。2類儀表檢測(cè)的平均置信度見表2。

對(duì)于2類儀表讀數(shù)的提取，通過(guò)CRNN數(shù)字識(shí)別方法和Hough圓檢測(cè)方法對(duì)同一組圖片進(jìn)行多次實(shí)驗(yàn)，對(duì)比每次實(shí)驗(yàn)結(jié)果驗(yàn)證2類儀表讀數(shù)方法的穩(wěn)定性，實(shí)驗(yàn)示例如圖7所示。

對(duì)于數(shù)字儀表穩(wěn)定性的驗(yàn)證相對(duì)簡(jiǎn)單。經(jīng)過(guò)多次調(diào)試與改進(jìn)，模型可以有效處理字符“0”與字符“o”的識(shí)別混淆等問(wèn)題，實(shí)現(xiàn)95%以上的識(shí)別準(zhǔn)確率，同時(shí)將平均識(shí)別速度控制在0.05 s以內(nèi)。

對(duì)于指針儀表穩(wěn)定性的驗(yàn)證，需要將模型輸出與人工讀數(shù)進(jìn)行對(duì)比，實(shí)驗(yàn)采用量程為0～10 MPa、指針最大偏角270°的單指針儀表，輸出結(jié)果取小數(shù)點(diǎn)后2位計(jì)算相對(duì)誤差，部分實(shí)驗(yàn)數(shù)據(jù)見表3。

5 結(jié)語(yǔ)

本文基于輕量型神經(jīng)網(wǎng)絡(luò)和SimAM注意力機(jī)制，提出了一種功能較為全面且準(zhǔn)確率高的電力儀表檢測(cè)與識(shí)別方法，實(shí)現(xiàn)了對(duì)數(shù)字儀表和指針式儀表的檢測(cè)與識(shí)別。實(shí)驗(yàn)結(jié)果驗(yàn)證了所提出的方法對(duì)2類電力儀表的平均檢測(cè)準(zhǔn)確度均有所提升，具有一定的實(shí)用性。

參考文獻(xiàn)：

［1］沈云青，熊衛(wèi)華，黃為民，等.基于模板匹配與Hough圓檢測(cè)的儀表識(shí)別［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2021，31（4）：69-73.

［2］金愛萍，袁亮，周德勤，等.基于YOLOv5和U-net的指針式儀表讀數(shù)識(shí)別方法［J］.儀表技術(shù)與傳感器，2022（11）：29-33.

［3］陳開峰，俞偉聰，唐雁文，等.基于輕量化深度學(xué)習(xí)網(wǎng)絡(luò)的數(shù)字儀表識(shí)別［J］.科學(xué)技術(shù)與工程，2023，23（2）：674-680.

［4］邵延華，張鐸，楚紅雨，等.基于深度學(xué)習(xí)的YOLO目標(biāo)檢測(cè)綜述［J］.電子與信息學(xué)報(bào)，2022，44（10）：3697-3708.

［5］VASWANI A，SHAZEER N，PARMAR N，et al.Attention is all you need［J］.Neural Inf Process Syst，2017：3762.

［6］朱傳軍，劉榮光，成佳聞，等.基于SimAM模塊與ResNet34網(wǎng)絡(luò)的混合缺陷檢測(cè)模型［J］.現(xiàn)代制造工程，2023（2）：1-9.

［7］YANG L X，ZHANG R Y，LI L D，et al.SimAM：A simple，parameter-free attention module for convolutional neural networks［C］// International Conference on Machine Learning.San Diego：ICML，2021：11863-11874.

［8］郭磊，王邱龍，薛偉，等.基于改進(jìn)YOLOv5的小目標(biāo)檢測(cè)算法［J］.電子科技大學(xué)學(xué)報(bào)，2022，51（2）：251-258.

［9］曲超然.基于深度學(xué)習(xí)的工業(yè)儀表讀數(shù)識(shí)別算法研究［D］.哈爾濱：哈爾濱工程大學(xué)，2022.

［10］何偉鑫，鄧建球，叢林虎.基于改進(jìn)CRNN的導(dǎo)彈編號(hào)識(shí)別算法研究［J］.計(jì)算機(jī)測(cè)量與控制，2021，29（6）：128-135.

［11］SHI B G，BAI X，YAO C.An end-to-end trainable neural network for image-based sequence recognition and its application to scene text recognition［J］.IEEE Trans Pattern Anal Machine Intell，2017，39（11）：2298-2304.

［12］賈穎.基于深度學(xué)習(xí)的自然場(chǎng)景中文文本識(shí)別［D］.南京：南京郵電大學(xué)，2022.

［13］董光林.基于深度學(xué)習(xí)的工業(yè)指針式儀表讀數(shù)識(shí)別研究［D］.唐山：華北理工大學(xué)，2023.

［14］史域辰.基于改進(jìn)CenterNet的指針式儀表讀數(shù)識(shí)別方法研究與應(yīng)用［D］.西安：西安電子科技大學(xué)，2022.

［15］王志金.基于視頻圖像的工地渣土車沖洗檢測(cè)與識(shí)別［D］.北京：北京交通大學(xué)，2022.

【責(zé)任編輯：孫 可】