基于級聯卷積神經網絡的指針式儀表遠程讀數方法和系統

趙開開，劉兆祥，廉士國

(聯通數字科技有限公司-AI創新應用中心，北京 100176)

電力是現代社會不可或缺的資源，在發電、用電的過程中需要使用大量結構簡單、成本低廉、抗干擾能力強的電流表、溫度表、壓力表等監測類指針式儀表儀器[1]。現有的自動遠程讀數系統主要分為兩大類，一類是改造現有儀表或設計全新儀表，直接獲取儀表信號并轉換為數字信號，對儀表讀數進行統計[2-4]，實施難度大，不利于推廣；另一類是基于現有的儀表使用機器視覺算法對指針讀數進行識別，不影響現有儀表系統，可擴展性強。

主流的機器視覺儀表自動遠程讀數方法主要分為基于霍夫變換的方法，基于關鍵點檢測的方法和基于圖像分割的方法。基于霍夫變換的方法使用霍夫變換檢測圓和直線來確定表盤區域和指針區域，進而計算指針讀數[5]。雖然該方法被不斷改進[6]，但霍夫變換法存在預處理復雜、人工閾值多等問題，使得該類方法難以處理復雜背景、光照變化大、多類型表盤等場景下的自動讀數問題。基于關鍵點檢測的方法中，文獻[7-10]使用模板匹配定位表盤區域或指針區域，文獻[11-12]提取模板圖像和待識別圖像中的SIFT、ORB等特征點進行表盤區域或指針區域的匹配，文獻[13]人為設計了指針上的數個顯著關鍵點，用于指針的定位；此類方法基本都需要提前設定模板圖像，環境的變化易使模板和關鍵點失效，在實際使用過程中效果不穩定。基于圖像分割的方法中，文獻[14]使用深度學習語義分割網絡U-Net對表盤中的刻度線和指針進行提取，進而計算出讀數值；語義分割是像素級的分類任務，需要輸入圖像的分辨率較高且儀表占整幅圖像主體部分，同時需要腐蝕、擬合等后處理對分割后的結果進行修正和細化，計算復雜度高，運行效率低。

1 指針式儀表遠程讀數系統

為了解決電力系統等儀表廣泛使用的場景中人工讀表效率低、成本高、安全性低等問題，本文提出一種基于機器視覺的遠程智能讀表系統，該系統只需在現有的儀表基礎上非接觸地添加圖像采集設備、網絡傳輸設備、邊緣計算設備，便可穩定、高效、準確地完成遠程讀表任務。

1.1 組件介紹

本文提出的指針式儀表遠程讀數系統主要由網絡攝像機、5G-CPE、MEC服務器構成。

1.1.1 網絡攝像機

網絡攝像機(IP camera, IPC)可以通過網絡將待識別的儀表畫面傳輸至遠程控制中心。

1.1.2 5G-客戶端終端設備

客戶端終端設備(customer premise equipment，CPE)可以對運營商基站發出的4G或5G信號進行中繼，以無線或寬帶的形式提供給其他網絡設備使用，5G-CPE便是可以接收5G網絡信號，建立無線或有線網絡的設備。

1.1.3 邊緣計算服務器

邊緣計算(mobile edge computing，MEC)服務器在5G網絡的加持下，可以將高密度計算、大流量和低時延需求的業務就近部署，滿足安全、速率及可靠性的多重要求。

1.2 系統結構

在現有的待識別儀表基礎上，使用IPC、CPE、MEC和客戶端監控中心構建的指針式儀表遠程讀數系統如圖1所示。

圖1中攝像機使用可變焦可轉動的球機，由于很多儀表并不需要每時每刻監測，因此可以使用一臺球機輪詢監控多組儀表，降低成本；5G-CPE-a表示第一臺5G-CPE，它接入運營商基站，接收5G信號并通過有線網絡與攝像機連接；MEC服務器從運營商基站接收相機畫面數據，同時負責算法推理；5G-CPE-b負責基站與監控中心的通信。

在本文構建的儀表遠程讀數系統中，球機輪詢拍攝儀表畫面，通過5G-CPE-a發射的無線信號將圖像傳輸至基站并由基站轉發至MEC服務器，MEC服務器使用部署好的自動讀數算法對輸入圖像進行運算推理，得到圖像中所有儀表、所有指針的讀數，并將讀數結果和異常情況通過基站和5G-CPE-b發送至客戶端的監控中心。

2 指針式儀表遠程讀數方法

為了克服傳統方法的不足，本文基于深度學習模型，提出了基于級聯卷積神經網絡的智能識別方法，可以實時對一幅圖像中不同類型的多個指針式儀表的讀數進行識別。

2.1 算法整體流程

本文提出的基于深度學習的級聯讀數識別系統由兩級目標檢測器構成，示意圖如圖2所示。第一級使用常規目標檢測模型，在輸入圖像中定位表盤位置，并從輸入圖像中裁剪出表盤子圖；以表盤子圖為輸入，第二級使用旋轉目標檢測模型，得到子圖中所有指針的位置、尺寸和角度，最后使用角度法換算出指針讀數。

2.2 表盤區域檢測模型

圖像中表盤區域的定位可用機器視覺中的深度學習目標檢測[15]算法來實現。在基于深度學習的目標檢測模型中，YOLO系列是單階段檢測模型重要代表[16]，YOLOv5是YOLO系列最新的進展，在維持單階段模型速度優勢的前提下也取得了優越的檢測效果[17]。其骨干網絡在Darknet53[18]的基礎上使用了CSP跨空間局部結構和輸入分塊結構，可以由淺至深提取圖像的深度特征；中間網絡采用FPN和PAN結構[19]，對圖像特征進行融合，得到可用于識別圖像中表盤區域的融合多尺度特征；頭部采用全卷積網絡輸出圖像中表盤區域的位置、尺寸和置信度。

本文以某電網供電系統的電表讀數識別場景為例，使用YOLOv5完成圖像中的表盤區域檢測。

在數據采集階段，首先使用本文構建的遠程讀數系統在現有的電網應用場景中輪詢地以不同的距離、不同的時間、不同的位置采集得到不同光線、不同大小、不同角度、不同干擾的視頻數據，然后對視頻進行抽幀、去重等預處理得到當前應用場景下的圖像數據共10000余張。為了增強表盤檢測模型的泛化能力，提升模型的擴展性，使其在其他儀表場景中也能有效檢測出各類表盤，本文又在互聯網上收集了大約4000張各類指針式儀表的圖像數據。

在數據集準備階段，可以使用開源工具LabelImg對所有圖像進行標注，在表盤區域的檢測任務中，只需要標注出圖像中所有表盤的最小外接矩形框即可。標注完成后按照8∶2的比例將數據集劃分為訓練集和驗證集。

在模型訓練階段，首先使用Mosaic數據增強方法來對訓練數據進行在線擴充，進一步增強模型的泛化能力。然后使用多尺度訓練策略增強表盤檢測模型對不同大小表盤的檢測能力。最后使用余弦退火策略動態調整學習率，以增強模型訓練的穩定性和收斂效果。本文在8張V100顯卡上使用梯度下降法訓練了2000epochs后得到的模型參數在驗證集上的mAP@0.5∶0.95高達0.98。

2.3 指針區域檢測模型

在指針式儀表的讀數識別任務中，指針區域檢測的精度直接決定了識別結果的準確率。本文將指針讀數任務定義為一個旋轉目標檢測問題，將表盤檢測模型的輸出子圖作為輸入，用深度卷積神經網絡精準定位指針，進而得出讀數結果。

2.3.1 目標檢測器模型CenterNet

CenterNet[20]不使用錨框機制，把目標建模為該目標框的中心點，對應于特征圖上的一個點，這種無錨框[21]的檢測器直接檢測目標中心點并回歸其他屬性，有效減少了計算量，且易于擴展。CenterNet網絡結構示意圖如下圖3所示。

在圖3的示意圖中，CenterNet和YOLOv5模型類似，都需要使用全卷積網絡對輸入圖像進行特征提取和特征融合，二者的區別在于CenterNet在輸出時不再像YOLOv5那樣輸出目標的坐標信息，而是輸出熱力圖表示目標出現的位置，并輸出偏移圖對目標位置進行修正，長寬圖代表目標的尺寸信息。

2.3.2 旋轉指針檢測器模型

CenterNet和YOLOv5等常規目標檢測器使用橫平豎直的矩形框來表示目標的位置和尺寸，對于傾斜目標，其矩形框的邊界為目標最邊緣像素點的位置。旋轉目標檢測使用可傾斜的矩形框來表示目標的位置和尺寸，該矩形框是目標的最小外接矩形，矩形框邊界可以不與圖像邊界平行，對于同一個目標，旋轉矩形框包含的背景信息更少[22-25]。

圖4 旋轉指針檢測器網絡結構示意圖Fig.4 Network structure diagram of rotated pointer detector

模型中添加的角度分支首先使用3×3卷積核從豐富的融合特征中提取出利于角度回歸的相關特征，然后使用1×1卷積核對角度特征進行重組和重構，得到角度熱圖。角度熱圖的生成與長寬熱圖的生成是并行的、獨立的，防止模型對目標長寬和角度進行預測時產生沖突和干擾。

以檢測結果矩形框的左邊界中點為極點，水平向右為極軸，構建極坐標系，圖4中角度圖中每個點的數值表示該點處指針在極坐標下的極角，由于儀表指針相反方向的讀數是完全不同的，因此極角的范圍為[0,2π]。

在數據收集和數據集生成階段，首先使用2.3構建的表盤檢測模型對數據集中的所有圖片進行推理，并將推理得到的表盤子圖進行摳圖、保存。然后手工標注所有表盤圖中指針的位置、尺寸和角度。為了增強指針檢測模型對各個角度指針的檢測精度和泛化能力，本文對所有標注后的表盤子圖進行旋轉，同時將對應的標注旋轉矩形框進行相同角度的旋轉，起到數據增強的作用[26]。同時，由于每一種表盤的刻度、量程不同且不一定是均勻的，因此需要記錄電網場景中各類表盤中被標識的讀數所對應的角度值，由于在特定場景中表盤的種類是有限的、數量較少的，且表盤上有讀數標識的刻度也是稀疏的，因此這種標識方法的工作量可以忽略。

在模型訓練階段，在原始CenterNet的損失函數基礎上，增加角度信息的損失函數，構成旋轉目標檢測器的損失函數，損失函數如下公式(1)所示。

LR=Lk+λsizeLsize+λoffLoff+λangleLangle

(1)

其中Lk為熱力圖損失函數，Lsize為目標尺寸損失函數，Loff為偏移量損失函數，Lk+λsizeLsize+λoffLoff為原始CenterNet目標檢測器的損失函數；Langle為旋轉指針檢測模型增加的角度損失函數，本文使用Smooth L1[27]損失函數來度量，如下公式(2)所示。

(2)

其中p表示角度損失函數只在目標所在的特征點處進行監督，其他點處的角度損失為0。式(2)中的函數計算方式如式(3)所示。

(3)

由于在表盤指針讀數識別任務中，指針的角度識別直接決定了讀數結果，因此相對于指針的尺寸而言，角度更重要，本文使用權重參數λangle來控制角度損失項的重要程度。

在模型的推理階段，輸入階段一得到的表盤子圖，旋轉指針檢測模型能夠給出指針的位置、尺寸、角度信息。

2.4 角度法計算指針讀數

常用的指針式儀表讀數計算方法有角度法和距離法，距離法根據指針和刻度線之間的距離來估算指針表示的讀數，角度法根據指針和0刻度的夾角來計算指針讀數。本文使用2.3.3的旋轉目標檢測模型得到指針的角度，因此可以使用角度法來計算指針讀數。

2.4.1 坐標系轉換

數據標注時，為了對所有類型的表盤都使用同樣的標注規則，設定極軸正方向為圖像水平向右方向，但每個表盤的零刻度位置不同，因此對于每一類表盤，先將極坐標系進行轉換，轉換后的極軸正方向為零刻度方向，轉換方式如式(4)所示。

(4)

2.4.2 讀數計算

輸入圖像經過2.2中表盤檢測模型推理和2.3中旋轉指針檢測模型的推理后，得到每個表盤的位置、尺寸及表盤中每個指針的位置、尺寸、角度信息。由于每一類表盤的刻度可能不是均勻的，因此為了更準確地估算讀數結果，先對讀數的范圍進行初步確定。確定方法如式(5)所示。

(5)

確定讀數的初步范圍后，使用式(6)計算該范圍內的量程精度ρ。

(6)

最后使用式(7)計算指針所代表的讀數np。

(7)

3 實驗

本文的表盤檢測模型和旋轉指針檢測模型離線訓練完成后，在實際使用階段只進行前向推理即可。根據1.2中介紹的系統結構，相機獲取圖像后通過5G-CPE傳輸至基站，基站將輸入圖像轉發至MEC服務器，在MEC服務器上完成表盤檢測、表盤子圖摳圖、旋轉指針檢測、指針讀數計算等前向推理計算，最后將推理結果通過基站和5G-CPE轉發至電網監控中心。

3.1 表盤區域檢測實驗

以相機拍攝的圖像為輸入，使用本文2.2.2構建的YOLOv5表盤檢測模型進行推理得到圖中所有表盤的位置和尺寸，推理結果可視化如圖5所示。

(a) 表盤檢測結果(單類多表盤) (a) Dial detection result(multiple dial of one class)

其中圖5(a)為單類別多個表盤的檢測結果；圖5(b)中圖像邊界處的表盤未完整出現在畫面內；圖5(c)中的第一類電表1個，抓拍時正在下雪，且圖像較為模糊；圖5(d)是該場景下視野最大時的抓拍圖，畫面內包含9個電表，其中第一類電表2個，第二類電表4個。

除了驗證集數據外，又隨機采集了1000張測試集圖像，本文表盤檢測具體實驗結果如表1所示。

表1 不同方法的驗證集表盤檢測結果對比Tab.1 dial detection result of different methods in validation set

其中誤檢率表示誤檢表盤數量占實際總表盤數量的比例，漏檢率表示未檢測出的表盤占總表盤數量的比例。由于模板匹配和霍夫變換法無法事先確定圖像中表盤的個數，因此漏檢率很高。另外由于數據集中存在各種尺度、各種類型的表盤，這使得模板匹配和霍夫變換法的參數較難調整和確定，因此誤檢率也較高。

從實驗結果可以看到，本文基于深度學習的目標檢測模型能夠在復雜多變的環境中穩定地準確檢測出圖像中的多尺度[28-30]、多類型、多數量表盤。

3.2 讀數識別實驗

首先將3.1中YOLOv5表盤檢測算法的檢測結果圖進行保存，作為所有模型指針區域檢測和讀數識別實驗的數據。然后分別使用本文的旋轉指針檢測模型和讀數計算方法進行自動識別，并與模板匹配法和霍夫變換法的指針檢測及讀數結果進行對比分析。指針檢測結果和讀數識別結果如表2所示。

表2 不同方法的儀表讀數識別結果對比Tab.2 Meter reading recognition result of different methods

其表2中指針漏檢率是漏檢指針數量占總指針數量的比例，指針讀數誤差是指在檢測到的指針中，算法識別讀數和真實讀數的差值除以真實讀數的平均值。從表2的實驗結果可知，本文深度學習指針檢測模型在指針檢測召回率和角度識別精度上都優于傳統方法。

最后，圖6展示了基于本文系統和方法識別的儀表讀數結果可視化圖。在圖6中共包含2個第一類儀表(圖6中藍色矩形框，表盤內有一個指針)，4個第二類儀表(圖6中綠色矩形框，表盤內有兩個指針)，其中第二類儀表的紅色指針代表該儀表的歷史最大讀數，白色指針代表該儀表當前讀數。

圖6 基于級聯卷積神經網絡的指針式儀表智能讀數結果圖Fig.6 Intelligent reading result of pointer type-meter based on cascaded convolution neural network

4 總結

為了解決電力系統指針式儀表讀數場景中人工讀表費時、費力、存在安全隱患等問題，本文基于電力系統中現有的指針式儀表，添加圖像采集設備、人工智能算法推理設備和數據傳輸設備構建遠程儀表智能讀數系統。

在電力系統遠程讀表方法中，傳統的基于霍夫變換方法、基于模板匹配的方法在復雜背景變化、多儀表、多指針等場景中很難適用，本文基于深度學習目標檢測算法構建的級聯讀數識別系統由兩級目標檢測器構成。第一級使用YOLOv5目標檢測器為基準模型檢測出圖像中的所有表盤區域，第二級在CenterNet目標檢測的基礎上添加角度預測分支構成旋轉目標檢測器，檢測出每個表盤中的所有指針，指針檢測結果包含其角度信息，最后使用角度法換算出指針讀數。本文構建的遠程儀表智能讀數系統和方法能夠實時識別多類儀表、多個指針的讀數，能夠穩定、魯棒、高效地完成遠程讀表任務。