航拍圖像中電力桿號牌的檢測與信息識別

成云朋， 丁亞杰， 嚴 鋼， 雷 萍， 吳 藝， 鄭 欣

(1.江蘇省電力有限公司鹽城供電分公司， 鹽城 224000； 2.河海大學物聯網工程學院， 常州 213022； 3.江蘇優埃唯智能科技有限公司， 常州 213000)

電力桿號牌包含了所在塔桿的標號及桿塔所承載的電力線的電壓、位置等信息，若輸電線路或電力設備發生故障時，可通過電力桿號牌快速準確地定位到故障位置，提高工作效率。近年來，以自動識別技術為核心的自動巡檢成為了當前電力巡檢的新方式[1]。無人機搭載的系統在電力巡檢上能夠代替人工完成大部分常規的巡檢工作，不但能有效降低巡檢工作人員的強度，而且安全系數高。但是當機巡任務較重時，需要處理的機巡照片數量很大，若檢測出某張航拍圖像中存在故障，沒有電力桿號牌的位置索引，很難快速知道故障所在地址，使得電力故障不能被及時快速處理。現提供一種電力桿號牌的檢測與信息識別算法，能夠從無人機巡檢的圖像中定位出電力桿號牌的位置并對桿號牌中的文本信息進行識別與智能分類存儲。算法流程包括對無人機采集的圖像進行預處理、提取桿號牌并校正、字符分割、文本識別與文本信息分類存儲。

電力桿號牌的形狀特征與車牌相近，電力桿號牌定位與車牌定位同屬于目標定位問題。目前車牌定位方法比較成熟，不同方式具有不同的特點。基于形態學的車牌定位方法[2-4]，無法對車牌進行精確定位，并且算法本身對光照較為敏感；灰度檢測的方法以及基于彩色空間的車牌分割等方法[5-7]根據特定顏色空間和相似度對車牌圖像進行分割以實現車牌的檢測與定位，該算法對拍攝的顏色，光照敏感，只能針對特定顏色檢測，通用性不強。為保證系統的實時性和定位的準確性，提出一種矩形檢測的方法實現桿號牌的精確定位。

字符識別是塔桿巡檢信息識別算法的最重要一步。目前常用的字符識別方法有模板匹配法[8-10]，特征提取法[11-13]、基于深度學習的字符識別方法[14-16]等。模板匹配法算法簡單，計算量小，但是傳統的模板匹配算法識準確率并不高；特征提取法魯棒性能好，然而耗時長且對特征的選擇有一定要求；此外還有基于筆畫寬度變換(SWT)的圖像文本定位算法等[17]，但由于該算法是針對拉丁文設計，對中文的識別效果并不理想。現采用改進的模板匹配法進行字符識別，以保證較高準確率的同時減小運算復雜度。

1 桿號牌檢測與識別流程圖

航拍圖像中電力桿號牌的檢測與信息識別的總體結構流程主要為桿號牌檢測與提取校正模塊、字符識別模塊，桿號牌檢測與提取校正模塊包含對航拍圖像的預處理、輪廓提取與篩選、桿號牌校正，為提高桿號牌檢測準確率，該模塊對圖像的3個通道都進行處理，再綜合提取出電力桿號牌；字符識別模塊包含對提取出的桿號牌部分進行字符分割與字符識別，流程如圖1所示。

圖1 桿號牌檢測與識別流程圖Fig.1 Flow chart of tower plate detection and information recognition algorithm

2 電力桿號牌的定位與提取

2.1 圖像預處理

電力桿號牌圖像由無人機采集，當搭載相機的無人機至塔桿周圍時，以鏡頭與電力桿號牌間無遮擋的角度拍攝塔桿，實時捕獲電力桿號牌圖像。航拍圖像易受到天氣影響等因素，需要對航拍圖像進行預處理，提高圖片的質量。為避免后續處理過程中找不到桿號牌的輪廓，算法從預處理開始對圖像的三通道都進行處理。預處理步驟包括對圖像進行金字塔濾波[18]、灰度化、邊緣檢測、膨脹處理、二值化等，預處理流程如圖2所示。

圖2 圖像預處理流程圖Fig.2 Flow chart of image preprocessing

2.2 桿號牌提取

桿號牌同車牌一樣本身具有許多固有的特征。車牌的形狀、色彩空間與紋理特征等先驗知識是車牌定位算法的基礎。邊緣輪廓和角點是矩形桿號牌的主要特征[19]，現根據桿號牌的形狀特征，提出了一種圖像中矩形檢測算法，該算法對圖像中三通道的輪廓進行檢測并用多邊形逼近，實現對標識牌的粗檢測提取，對圖像的三通道進行圖像輪廓檢測，降低了算法對光照的敏感度，使無人機在不同光照條件下拍攝的圖像都能準確檢測出桿號牌，提高了檢測的準確率。

2.2.1 輪廓粗提取

通過輪廓跟蹤算法[20]提取二值圖像中的所有輪廓，其中提取的每條輪廓采用點序列表示，為減少輪廓的頂點數目，使用多邊形逼近算法近似表示每一條輪廓，從而減少輪廓的頂點數目，實現航拍圖像中的輪廓粗提取。為篩選出桿號牌的輪廓，需要對輪廓進行多條件判定。

2.2.2 面積判定(多邊形頂點數目與面積判定)

提取輪廓中滿足定點數目為4且面積在閾值范圍內的輪廓，即提取出輪廓中合適大小的凸四邊形，并存儲。其中選取頂點數目為4的輪廓是為了篩選出輪廓中的凸四邊形，設定面積閾值是為了過濾掉面積過大或過小的凸四邊形，減少計算量，面積閾值依據電力桿號牌與整個航拍圖像的比例設定，本文的航拍圖像尺寸為2 048×1 536，設定的面積閾值為30 000～100 000像素。

2.2.3 角度判定

對滿足面積判定條件中的輪廓進行角度篩選，即選取出四個角都為“直角”的輪廓。角度判定的目的是為了提取出凸四邊形中的“矩形”。但由于拍攝角度、多邊形逼近輪廓誤差等因素的影響，矩形電力桿號牌在圖像中也多為不規則的四邊形，因此需要設定一個角度的誤差閾值，若角度在誤差允許范圍內，則認為該角符合條件。本文獲取的航拍圖像由無人機攝像頭正對桿號牌拍攝得到，桿號牌傾斜程度較低，因此在90°直角基礎上設定了±6°的誤差閾值來判定輪廓中的“直角”。

(1)

(2)

2.3 桿號牌校正

從圖像的3個通道中檢測到符合條件的凸四邊形通常有多個，由于電力桿號牌的外形特征，檢測到的凸四邊形很可能僅為桿號牌的一部分，即檢測到凸四邊形不一定為完整的桿號牌輪廓，如圖3所示。因此需對這多個凸四邊形進行合并，篩選出完整的標志牌。

圖3 電力桿號牌檢測到的矩形框Fig.3 Rectangular frame detected on plate

2.3.1 合并凸四邊形

(1)求出多個凸四邊形的最小外接矩形。如圖4所示，以兩個凸四邊形的合并為例，假設檢測到兩個凸四邊形的頂點分別為P11、P12、P13、P14與P21、P22、P23、P24，且這些點的順序未知，其中P11=(x11,y11)，P12=(x12,y12)，P13=(x13,y13)，P14=(x14,y14)；P21=(x21,y21)，P22=(x22,y22)，P23=(x23,y23)，P24=(x24,y24)。

圖4 多個凸四邊形時合并原理圖Fig.4 Merge schematic of multi convex quadrilateral

求出這兩個凸四邊形的最小外接矩形，最小外接矩形的4個點以左上角為起始點順時針排序分別為P1、P2、P3、P4。設p1=(x1,y1)，p3=(x3,y3)，則p2=(x3,y1)，p4=(x1,y3)。其中，

x1=min{x11,x12,x13,x14,x21,x22,x23,x24}

(3)

y1=min{y11,y12,y13,y14,y21,y22,y23,y24}

(4)

x3=max{x11,x12,x13,x14,x21,x22,x23,x24}

(5)

y3=max{y11,y12,y13,y14,y21,y22,y23,y24}

(6)

式中：min{}和max{}表示求集合的最小元素和最大元素。

(2)根據最小外接矩形求電力桿號牌的4個頂點。根據最小外接矩形判定電力桿號牌4個頂點的位置與順序。設電力桿號牌的4個頂點以左上角為起點順時針排序依次為分別為A、B、C、D，且{A,B,C,D}∈{P11,P12,P13,P14,P21,P22,P23,P24}；通過以下條件求出A、B、C、D。

|AP1|=min{|P11P1|,|P12P1|,|P13P1|,|P14P1|,|P21P1|,|P22P1|,|P23P1|,|P24P1|}

(7)

|BP2|=min{|P11P2|,|P12P2|,|P13P2|,|P14P2|,|P21P2|,|P22P2|,|P23P2|,|P24P2|}

(8)

|CP3|=min{|P11P3|,|P12P3|,|P13P3|,|P14P3|,|P21P3|,|P22P3|,|P23P3|,|P24P3|}

(9)

|DP4|=min{|P11P4|,|P12P4|,|P13P4|,|P14P4|,|P21P4|,|P22P4|,|P23P4|,|P24P4|}

(10)

式中：|AP1|表示點A到點P1之間的距離，其他同理。

若電力桿號牌被拆分為若干個凸四邊形，同樣可以先求出若干個凸四邊形的最小外接矩形，再求出若干個凸四邊形的角點中與最小外接矩形4個角點距離最近的四點作為電力桿號牌的4點，由此來精確定位出桿號牌。

2.3.2 透視變換校正

透視變換也稱作投影映射，即通過投影的方式把當前圖像投影到一個新的視平面。透視變換對圖像的校正需要獲得原始圖像4個點的坐標和變換后的圖像4個點坐標，通過原圖和變換后圖像的對應坐標點計算透視變換的變換矩陣。透視變換的矩陣變換公式為

(11)

(12)

其中a33=1，得到一個點的情況為

(13)

則4個點可得到8個方程，利用最小二乘法即可解得A。四個源目標點分別表示為(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)；分別對應變換后圖像上的點(X′1,Y′1)、(X′2,Y′2)、(X′3,Y′3)、(X′4,Y′4)。

(14)

根據最小外接矩形的4點P1、P2、P3、P4求得桿號牌的4點A、B、C、D，再設定校正后圖像的4點坐標，求出投影變換矩陣，然后對圖像中變形的電力桿號牌根據上述公式進行校正。電力桿號牌檢測與校正效果如圖5所示。

圖5 電力桿號檢測與校正示意圖Fig.5 Schematic diagram of tower plate detection and correction

3 桿號牌文本分割

目前對車牌字符分割的算法是只適用于單行的車牌圖像，而中國塔桿桿號牌一般分成上、下兩部分，且不同桿號牌的字符大小，數目不一致，因此傳統的車牌字符分割算法無法正確分割桿號牌字符。

現采用結合桿號牌文字分布特征的先驗知識，利用投影法分割字符。首先對桿號牌圖像二值化，由于不同桿號牌的顏色不同，需要根據白色像素個數與黑色像素個數大小的關系將二值化圖像統一為白底黑字，最后再利用投影法分割字符。

3.1 桿號牌的特點及文本信息

目前中國塔桿桿號牌沒有標準的格式，一般包含電壓(10、35、110、220、330、500、750、800 kV)，線路編號，塔桿編號等信息，通常由上、下兩部分組成，且上、下部分有一條明顯的分割線。電力桿號牌結構如圖6所示。

圖6 電力桿號牌結構Fig.6 Tower plate structure

3.2 字符分割與歸一化

根據桿號牌特點對桿號牌進行水平投影并以水平分界線截取將桿號牌分成兩部分，再分別對水平分割后的兩部分進行垂直分割。

根據單字符的投影圖像對分割后的字符進行邊緣修正使得字符布滿整個圖像，減少后續字符識別誤差，同時對字符進行歸一化處理，字符分割并歸一化效果如圖7所示。

4 字符識別與存儲

4.1 字符識別

傳統的模板匹配法直接根據字符圖像的相似函數判別的方法在實際應用中準確率較低，沒有實用性。現使用改進的模板匹配方法對字符進行識別。即計算兩幅圖像的歐式距離，距離越小，相似度越高。

本文字符識別步驟如下：

(1)建立標準模板庫。模板庫是根據巡檢電力線路的名稱100個、0～9數字和26個英文字母按標準字符圖像尺寸大小12×36建立，字符以相應的字符信息命名。

(2)計算歐式距離。遍歷字符庫，計算待識別字符與每一個模板字符的歐式距離，找到距離最小的匹配字符后，讀取模板字符名稱并輸出。字符識別效果如圖8所示。

圖8 字符識別結果Fig.8 Result of character recognition

4.2 巡檢信息存儲

對字符識別輸出的標識牌文本進行分類存儲，建立關聯文件夾，并保存巡檢信息，完成塔桿巡檢信息智能分類。

5 實驗結果分析

為評價本文提出的航拍圖像中電力桿號牌檢測與信息識別算法性能，從兩個部分進行對比測試：①桿號牌檢測與提取性能測試；②字符識別性能測試。實驗所用軟件平臺為VS2017以及MATLAB2015a，硬件配置為：Intel Core i7，4G RAM，2.4GHz CPU。

5.1 桿號牌檢測與提取

為了突出本文矩形檢測算法的檢測優勢，把文獻[4]與文獻[7]中的算法作為實驗的對照組，實驗對象為圖9(a)。文獻[4]提出的基于形態學與邊緣檢測結合的車牌檢測方法對電力桿號牌的檢測效果如圖9(b)所示，由于包含了塔桿等邊緣豐富的復雜背景，因此無法精確定位，甚至會出現定位多個目標的情況；文獻[7]提出的基于HSV(hue, saturation, value)空間的車牌定位方法對桿號牌檢測效果如圖9(c)所示，該算法僅能粗略提取出藍色目標，但是對于其他顏色特征的圖像，檢測不出來目標物，基于HSV空間的車牌定位方法僅適用單一顏色的桿塔牌，通用性不強；本文的矩形檢測方法對桿號牌的檢測效果如圖9(d)所示，該算法能精確定位出兩種航拍圖像中的桿號牌，使后續提取校正的桿號牌信息更加完整、端正。通過該對比實驗可以得出本文算法對于不同顏色，背景復雜的桿號牌圖像也具有較好的檢測效果。

航拍圖像容易受天氣等因素影響，因此對不同光照情況下的航拍圖像進行實驗，實驗結果如圖10所示。結果表明，本文提出的矩形檢測與校正算法在不同光照條件下，也能實現對桿號牌的準確提取與校正。

圖10 不同光照下桿號牌檢測與校正效果圖Fig.10 Effect of plate detection and correction in different lighting conditions

5.2 桿號牌字符識別

為了驗證本文改進的模板匹配的字符識別效果，在不同干擾條件下進行實驗，實驗結果如圖11所示，原圖字符識別效果如圖11(a)所示，加入椒鹽噪聲后識別效果如圖11(b)所示，圖片臟污時識別效果如圖11(c)所示。結果表明，結合歐式距離的模板匹配算法在圖像存在噪點或識別字符有輕微污損時字符識別效果也較好。

圖11 不同干擾下桿號牌字符結果Fig.11 The results of character recognition with different interference

6 結論

(1)提出一種矩形檢測的方法實現對航拍圖像中電力桿號牌的檢測，從圖像的3個通道對圖像中的矩形輪廓進行篩選，最后將符合條件的矩形進行合并，得出完整的電力桿號牌。實驗結果表明本算法可以在圖像背景復雜，桿號牌顏色不一，光照不同的情況下實現航拍圖像中電力桿號牌的有效地檢測、提取，并且投影變換后的電力桿號牌完整、端正，適用于后續的字符分割與字符識別。算法具有較強的魯棒性。

(2)實驗結果表明，電力桿號牌在存在噪聲或字符上有輕微臟污時，也能實現對桿號牌的準確分割與識別，便于工作人員根據識別信息快速定位輸電線路所在位置，實用性強。