基于深度學習智能儀表檢測模型研究

朱志猛

(中關村硬創空間集團有限公司，北京 100083)

0 引言

隨著物聯網、大數據、通信、和圖像識別領域深度學習技術[1-3]的深入和普及，電力監控系統[4]迅速發展，各項成本得到一定程度地降低。電力監控系統是一種集視覺、紅外、聲音傳感器于一體，可以對電力設備的熱缺陷、斷電狀態、異?，F象進行檢測的系統。系統還可讀取指針或數字指示儀表的編號，包括壓力表、油溫表、避雷器指示燈等，從而可快速分析設備運行狀態，便于設備管理。因此，實現智能指針或數字識別[5]是智能電力監控重要的前提之一。

近年來，許多學者對電力監控中智能儀表識別相關的工作進行了研究。文獻[6]提出了一種基于OpenCV的變電站儀表識別方法。該方法利用圖像處理分割表盤單個數字圖片后，基于卷積神經網絡進行數字識別。文獻[7]提出了一種融合感知與控制的數顯儀表識別方法。該方法使用圖像目標檢測網絡識別數顯儀表，標出目標區域。接著，通過卷積循環神經網絡進行實時儀表數字識別。文獻[8]針對海上升壓作業的特征對儀表識別技術做了改進，在嵌入深度學習技術后，使系統能夠分別完成儀表檢測與識別任務。由于該識別技術分兩個步驟完成，為此，還須根據各步驟的難度、特征設計對應的深度學習模型?，F有的基于計算機視覺的儀表識別技術雖然具有較高的準確率，但其大多數方法只能在仿真環境中表現出良好的性能，很難應用于復雜多變的真實場景。此外，大部分儀表圖像處于良好的拍攝條件下，當讀數區域受到氣泡、污漬和光點干擾時，很難正確的讀數。

為改善上述問題，本文提出了一種智能儀表監控系統。首先，對系統的架構進行設計。其次，對系統中最為重要的識別任務環節，設計了基于深度學習的智能儀表檢測模型，從而實現電力儀表的智能識別。

1 系統架構及原理

1.1 系統架構

智能儀表監控系統架構如圖1所示，主要由感知層、網絡層、信息層、應用層四部分組成。首先，每個智能儀表都附有一個GPS、攝像頭、通信模塊，便于本地監控視頻關鍵幀發送至云端進行識別并產生預警信息。其次，采用互聯網和窄帶物聯網[9-13](NB-IoT，narrow band internet of things)進行通信，其中NB-IoT用于與儀表間的有效通信，互聯網用于最終用戶管理。最后，建立了一個基于云的智能處理方案，從而實現處理、識別、存儲和決策各個待監控儀表的狀態信息。

圖1 智能儀表監控系統結構

感知層由大量感知設備及傳感器構成如光學傳感器、振動和位置傳感器等。基于這些感知單元，系統可以實時感應到儀表的振動、表盤讀數等信息。

網絡層是實現智能儀表監控系統最重要的組成部分之一。一方面云服務器需要與所有儀表通信，另一方面管理人員必須跟蹤所有的儀表，從而預警相關設備運行狀態，如遇故障或突發事件也可安排人員執行維修工作。

信息層根據感知層級網絡層傳輸的數據進行響應控制。當從儀表監控系統根據攝像頭采集的數據產生報警信息時，立即響應異常情況非常重要。例如，如果儀表讀數異常，則基于GPS位置傳感器，云服務器能夠獲取異常儀表的位置信息。同時，系統可基于位置信息調度距離最近的維修人員到現場確認情況，從而使得智能監控過程形成閉環，及時處理報警信息。

應用層主要包括智能監控、空間感知以及智能管理等模塊。主要完成不同儀表監控視頻展示，位置標識(經緯度)，以及遇到突發事件的預警提醒、維修人員調度等。

1.2 系統原理

智能儀表監控系統原理如圖2所示。系統在工作過程中，感知層中信息采集單元主要采集表盤信息。當信息采集完成后，圖像將基于網絡層將數據發送到云服務器。同時，系統基于深度學習的智能儀表檢測模型執行目標檢測。需注意，基于深度學習的智能儀表檢測模型是智能儀表監控系統中最為重要的一環。

圖2 智能儀表監控原理

此外，為提高系統工作效率，可利用多核、PC集群和GPU集群計算等并行計算技術[14-16]，從而將云端的數據按需共享給多個計算單元。為了保證系統靈活性和可擴展性，通信或信息共享時采用HTTP傳輸協議，從而滿足易于監控和維護需求。

2 基于深度學習的智能儀表檢測模型

本文所提基于深度學習的智能儀表檢測模型如圖3所示。模型可分為數字區域檢測網絡(DaNet，digital area detection network)和數字識別網絡(DiNet，digital identification network)兩大模塊。首先，對原始圖像進行預處理；其次，將RGB轉換到YCbCr顏色，從而提出顏色干擾；再次，利用目標檢測技術檢測電力儀表讀數區域，然后進行旋轉校正以確定儀表類型。接著，針對不同類型的儀表采用不同的識別算法，最終得到并保存識別結果。

圖3 智能儀表檢測模型

2.1 預處理

為了對異常用電情況進行實時偵測，智能電表對用戶的用電信息進行有規律地監測。設Dn為一維用電數據。則：

(1)

因為一維數據沒有考慮當天用電量的變化，如果偵測天數多，那么Dn將不能反映不同時段電力數據間的深層聯系。為提取不同時段、不同日期間的電力特征，文章給出了二維電力數據。其表達式為：

(2)

式中，列項表示單天的用電數據。在各種技術支持下，智能電表可對多種用電數據進行收集。比如，功率因數、三相電流與電壓?？紤]到篇幅限制，為簡化運算，文章只討論第Di天中所收集的數據量，其列向量為：

xdi={x1，x2，…，xj，…，xF}T

(3)

式中，智能電表收集的總的用電數據數表示為F。針對某一用戶，其用電數據集公式是：

Dn={xd1，xd2，…，xdi}

(4)

最后，由于數字電表位于不同的環境條件下，拍攝距離不同，因此捕獲的電表圖像的大小也不同。為了在同一程序中處理所有捕獲的電表圖像，需要調整捕獲的輸入數字電表圖像的大小。為此，將輸入圖像的大小調整為512×512。

2.2 圖像轉換

由于RGB對照明變化敏感，因此原始圖像可能存在一定照明干擾，為此，本文將原始RGB圖像將轉換為YCbCr圖像。YCbCr顏色空間[17-18]是一種典型的線性亮度顏色空間。在YCbCr中，Y代表亮度，Cb和Cr分別是藍色和紅色的色度。通過轉換過程，對RGB信息進行編碼，并將Y的信息范圍調整為16到235，Cb和Cr的信息范圍調整為16到240。RGB圖像轉換為YCbCr顏色空間公式如下：

(5)

2.3 DaNet網絡

由于傳統方法適應性差，本文采用DaNet來檢測電力儀表數字讀數區域。圖4為DaNet網絡模型結構。該網絡模型共分為三層：特征提取、候補指針區域生成和區域檢測。

圖4 多層深度網絡模型結構

2.3.1 特征提取

對于特征提取過程，本文通過多次卷積融合池化層進行處理，從而生成大小為原始圖像八分之一的特征圖。特征圖將有助于獲得電力抄表所需的細粒度細節。因此，經特征提取后，即使照明條件低，圖像質量差，網絡也可學習部分特征，從而在一定程度提高模型精度。特征提取網絡相關配置如表1所示。其中Conv為卷積層，Max為最大池化層，Inception為GoogLeNet網絡。

表1 特征提取網絡相關配置

表2 MASK-RCNN網絡中錨點框取

特征提取網絡中卷積層主要利用一定大小的卷積濾波器來提取電力數據特征，因此卷積層是深度神經網絡的基本算子。在前一層卷積核處理之后，可以基于如下激活函數獲得卷積層的新層特征圖：

(6)

卷積層之后的最大池化層主要進行下采樣，從而使得特征提取網絡具備抗過擬合和保持特征不變能力。最大池化層描述如下：

(7)

式中，dw(·)為下采樣函數。

2.3.2 候補區域生成

本研究使用MASK-RCNN[19]完成候補指針區域生成過程。

MASK-RCNN是在FASTER RCNN的基礎上添加了一個預測分割MASK的分支，其網絡結構如圖5所示。然而MASK-RCNN中特征金字塔網絡(FPN，feature pyramid network)使用多出度特征作為輸入，并使用全連接分類器生成候補框。對于電力儀表，一般情況下候補區域相對較固定，但是不同電表差異明顯，因此需要對電力儀表候補指針區域生成中錨點框進行計算。

圖5 MASK-RCNN網絡結構

考慮到電力儀表的縱橫比和比例大小，選取k=12個錨點框，并將其應用于輸入特征圖的每個位置。這些特征進一步與通道連接以形成512維特征向量。接著，將這些特征向量輸入兩個卷積層生成候補指針區域邊界框。

對于神經網絡中各層的輸出，可由MASK-RCNN的前向傳播加以運算。設C是卷積層輸出特征映射，有：

C=φ(H(x，y))

(8)

φ(H(x，y))≡max(0，H(x，y))

(9)

(10)

式中，卷積層的輸入/輸出分別為x、y；映射函數為f(·)；卷積核權重矩陣為W，值為m×n；ReLU激活函數為φ(·)；偏置為b。實踐證明，ReLU函數能彌補梯度消失缺陷，促進網絡收斂，且極大程度地減少了輸出計算量，這是sigmoid、tanh等函數所不具有的優勢。

池化層能避免出現過擬合現象，用于控制網絡的參數數量，減小空間面積。文中將所提網絡設置核為2×2。以P作為輸出映射，其方程為：

P=g(C)

(11)

式中，g(·)函數的功能是求解最大值。如果C中有池化層窗口穿過，那么g(·)會直接擯棄其它小值，而選定最大的窗口值。根據已有研究經驗，文章在優化過擬合時采用了Dropout操作，且設置了0.5的更新概率。Dropout之所以能預防過度擬合，在于其不參與正向、反向傳輸。

設Fq為神經元在q位置的全連接輸出：

(12)

設L為網絡softmax損失函數，并在訓練中應用MBGD法。在該方法下，每次迭代的樣本數量相同，且每次迭代的梯度方向由每個小批量中的全部樣本決定，即可控制隨機性，還能防止訓練跑偏。L函數公式：

(13)

式中，每次迭代的樣本數量設為M，M=64；神經元在q位置的網絡輸出為pq；神經元總量表示為J。

進一步，使用反向傳播算法更新權重w，更新規則如下：

(14)

wt=wt-1+Δvt

(15)

式中，μ表示可以加速收斂的動量系數(本研究令μ=0.9)，Δvt-1表示之前更新的權重值，wt表示迭代t時的當前權重，α表示學習率(本研究取α=0.01)。α更新規則如下：

αt=αt-1×γt/u

(16)

式中，γ表示gamma函數(本研究令γ=0.1)；u為最大迭代步長(本研究令u=150)。

2.3.3 區域檢測

數字區域檢測指將檢測出的候補區域分為數字區域和非數字區域。因此，這一部分為前面執行的最終優化結果，即試圖最小化誤報和錯報情況。為此，本文利用RoI池化層進行預測，并將池化層設置為8×7。

此外，為了充分提取識別特征，本文使用了包含2 048個神經元的全連接層，并設置丟失率為0.1。然后將這些特征平鋪展開為向量并通過全連接層輸出。最終，該層產生兩個輸出，指示每個RoI檢測/未檢測到數字區域的概率。

2.4 DiNet網絡

當檢測到數字區域后，接下來進行數字分割識別。數字分割[20]是促進識別過程的一個重要階段，主要指從電力儀表圖像中提取數字?，F實環境存在許多因素使數字識別過程復雜化，例如噪聲、模糊、污垢、碎玻璃、反射、旋轉數字、低分辨率、不同的顏色和編號系統等使得數字有遮擋或不清晰。為此，訓練時本文對數據進行數據增強，從而提高樣本多樣性，增強模型魯棒性。測試時，首先對檢測出數字區域的圖片進行截取，并進行旋轉校正，最后帶入網絡進行識別，從而增加識別精度。

2.4.1 旋轉校正

理想的電力儀表識別場景為相機垂直拍照，然而由于實際安裝現場的限制，很多時候無法直接獲取垂直照片。為此，本文通過投影變換對旋轉或扭曲的原始圖像進行校正，以減少隨后的讀數誤差。投影變化規則定義如下：

(x，y，w′)=(u，v，w)×T=

(17)

(18)

(19)

式中，(U，V)為原始圖像中某個點的坐標；(X，Y)為變換后圖像平面中點的坐標；(u，v，w)和(x，y，w′)分別是(U，V)和(X，Y)的齊次坐標系表達式；w和w′通常取1；T為從原始圖像平面到新圖像平面的變換矩陣，A為其元素值。

2.4.2 圖像增強

為提高識別精度，本文收集了10類(0～9)不同電力儀表數字從而訓練模型。為了增加類別的數量，提高模型魯棒性，同時對數據進行增強操作，如添加隨機高斯噪聲、改變亮度、應用中值濾波器、并以多個角度(10，-10，+25，-25，+30和-30)旋轉數字等。

此外，部分電力抄表數字圖片經干擾后成為有部分遮擋的字符。然而，這種數字識別準確率遠遠低于完全字符。分析原因，由于原始字符數據集中遮擋字符數量較小，網絡訓練掌握特征嚴重不足。因此，本文提出了一種遮擋字符數據增強方法。具體過程如圖6所示。首先取n組0～9個數字，在垂直方向上隨機組合，形成0～9的垂直長圖像。然后，在組合圖像自上向下移動滑動窗口，且每次以0～15°隨機角度旋轉滑動窗口中的圖片，從而生成最終數據圖像。需注意，上下字符和旋轉角度選取時都是隨機的，因此可以有效地提高數據集的多樣性。

圖6 遮擋字符數據增強方法

2.4.3 數字識別

本文將數字識別分為兩個階段。在第一階段，利用DiNet對數字和非數字進行排序，從而檢測電力抄表圖像中的每個數字，并對數字和非數字進行預測。在第二階段中，刪除太小或太寬的數字。數字識別CNN網絡相關配置如表3所示。

表3 數字識別網絡相關配置

2.5 損失

結合完整模型，電力抄表系統最終得到4種不同的損失：RPN(背景)、RPN(前景)、RCNN(最終類輸出)和RCNN(邊界框回歸)。因此整個模型總損失計算如下：

Lt=(Lcls+Lb)RPN+(Lcls+Lb)RCNN

(20)

其中：(Lcls+Lb)RPN表示區域檢測損失，分別描述背景和前景分類損失。(Lcls)RCNN表示不同類別之間的損失。(Lb)RCNN為邊界框的損失。

3 仿真結果與分析

3.1 數據集與仿真環境

在仿真中，所使用的數據集均來自12 000張真實拍攝的電力儀表圖片，數據集大小約為8 GB。首先，將原始數據進行清洗，剔除一些質量極差的圖片。剔除后，數據集約有10 000張可用圖像。根據前述內容，所提模型主要包含兩個網絡：數字區域檢測網絡和數字識別網絡。在訓練數字區域檢測網絡時，使用數據集中的9 000張圖像進行訓練，使用1 000張圖像進行測試。對于數字識別網絡，該網絡以RCNN為基礎，使用預先準備的200張數字基本圖片，并根據所提圖像增強方法生成干擾數據和遮擋數據。進一步，將增強后的數據集按照8：2的比例分為訓練集和測試集。

仿真時硬件環境為：8核酷睿 i7CPU，主頻3.60 GHz，內存為64 GB，2塊GEFORCE GTX1080 Ti顯卡，顯存為11 G。模型運行在操作系統為Win10×64為聯想工作站。仿真時軟件以python中pytorch模塊搭建，并基于openCV3.1實現圖像處理。

3.2 仿真過程與參數設置

為了驗證所提出方法的穩健性和有效性，將所提出的方法與VGG16和Fast Yolo方法進行了比較。仿真仿真運行過程描述如下：首先，對所有數據集中輸入數字電表圖像的大小調制為512×512。其次，由于RGB對照明變化敏感，因此原始圖像可能存在一定照明干擾。數據集中所有RGB圖像將轉換為YCbCr圖像。再次，將數據分別帶入數字區域檢測網絡(DaNet)和數字識別網絡(DiNet)進行訓練，并根據識別結果進行驗證，從而調整模型參數。最后，輸出仿真結果并預主流模型進行對比與分析。

訓練時采用SGD優化器訓練模型，仿真時部分參數定義如下：批量大小設置為16，初始學習率為10-2，學習率衰減率為10-1，學習率衰減周期設置為10，最大迭代次數設置為150，每次迭代訓練100次。

3.3 對比與分析

3.3.1 DaNet仿真結果與分析

所提數字區域檢測網絡(DaNet)識別結果如圖7所示。可以看出所提模型能夠有效識別數字區域。表5為不同方法區域識別準確率、召回率和F分數對比結果?？梢钥闯觯岱椒▍^域識別準確率為97.84%，召回率為92.65%，F分數為95.17%。8因此，本文方法較VGG16和Fast Yolo相比，準確率分別提升12.5%和5.21%。

表5 不同方法區域識別性能對比結果

圖7 數字區域檢測網絡識別結果

3.3.2 DiNet仿真與分析

本節研究了數據增強對數字識別的影響。首先，使用原始數字圖片數據對不同模型進行訓練。然后，使用所提出的數據增強方法，分別進行了4組數據增強仿真，每個仿真數據集分別擴充為1 000、2 000、5 000和10 000。最終，所提數字識別網絡(DiNet)在不同曾廣數據集下識別準確率統計結果如表6所示。

表6 不同數據集下數字識別統計結果

可以看出，在不使用數據增強的情況下，有遮擋數字的識別率較低，僅為85.21%；執行數據增強后，準確度顯著提高。當數據擴增至5 000時，識別準確率達到99.387%。然而數據擴充至10 000時，準確率增加已經不明顯。分析原因，DiNet網絡已基本學習到數字特征，因此數據即使再擴增也無法改善網絡性能。為提高計算效率，仿真將數據增強數量最終選取為5 000。仿真充分說明了數據增強方法的有效性，可以大大提高遮擋數字識別的準確率。

仿真設置數據增強階段的旋轉角度r和滑動窗口t，并取值1、5、10進行對比仿真。最終識別準確率統計結果如表7所示。可以看出，旋轉步長越大，滑動窗口越大，識別精度越低。隨著滑動和旋轉步長的減小，精度將逐漸提高。然而步長越小，數據越容易受到干擾。故最終選取r=t=5為參數取值。

表7 不同旋轉角度和滑動窗口識別結果

最后，將所有網絡連接，并在測試集進行了整體網絡驗證，測試結果如圖8所示。表8所示為所提整體網絡(DaNet+DiNet)性能統計?？梢钥闯?，經過遮擋數據增強與旋轉滑動窗口數據增強后，模型性能明顯改善，最終識別準確率達到94.96%。

表8 網絡整體性能統計結果

圖8 測試結果

4 結束語

本文對電力系統中智能儀表監控進行了研究與分析，根據已有文獻的指導，作者進行了詳細的建模，并提出了一種電力智能儀表監控系統。在設計了系統結構以及系統工作過程基礎上，提出了基于深度學習的智能儀表識別模型。該模型首先了基于數字區域檢測網絡對電力儀表數字區域進行提取，有效識別各種電表數字讀數區域。同時，通過數據增強技術改善數字識別網絡識別性能，提高了數字識別精度。該模型對遠程自動電力儀表讀取研究提供了一定借鑒作用。