一種改進的數字圖像定位識別方法研究

朱 彬，薛路強，譚守標

(1.國網安慶供電公司 安全監察質量部，安徽 安慶 246000；2.安徽大學 計算智能與信號處理教育部重點實驗室，安徽 合肥 230039)

一種改進的數字圖像定位識別方法研究

朱 彬1，薛路強2，譚守標2

(1.國網安慶供電公司 安全監察質量部，安徽 安慶 246000；2.安徽大學 計算智能與信號處理教育部重點實驗室，安徽 合肥 230039)

針對圖像視頻中數字自動識別處理的需求，提出了一種改進的數字區域定位及讀數識別方法。該方法使用自適應閾值進行圖像整體二值化，然后設計改進的筆畫寬度變化算法(SWT)來確定儀表數字顯示的大體位置，再根據數字的顏色、寬高比以及空間排列等特征來過濾得到準確位置，并使用多層次擴展合并處理方法去除遮擋粘連影響，實現讀數區域的精確定位，效果理想。最后對數字區域提取多種高區分度特征，通過訓練好的多分類模型即可準確識別得到對應數字值，實現圖像視頻中讀數的自動識別。實驗結果表明，該方法具有很高的準確度及較強的魯棒性，能避免光照、傾斜、部分遮擋的影響，準確找到讀數區域，并據此識別出其中的數字，適用于自動巡檢、遠程抄表等多種應用。

筆畫寬度變換算法;讀數精確定位;多層次擴展合并;讀數識別

1 概 述

圖像視頻自動分析處理技術逐步成熟，將對各行各業的自動化生產起到巨大作用。在針對圖像視頻的分析處理中，有大量的數字識別處理任務，如各種數字式儀表的讀數識別處理[1]、指針式儀表中刻度數據的識別處理[2]、車牌號碼識別處理[3]等等[4-6]。特別是有些設備工作環境惡劣，或儀表沒有提供數據通信的接口，采用人工抄表的方式效率低下，而要實現自動監測，利用計算機視覺來自動識別儀表讀數[7-8]是一種可行方式。由于視頻受到角度、光照、遮擋等各方面因素的影響，現有大部分算法的實用性仍需進一步提高。

目前已經存在一些基于機器視覺的儀表數字自動識別系統，在數字示值區域定位上也有很多學者做出了努力。唐軼峻等[1]提出運用區域生長算法定位儀表圖像中的數字顯示區域，并取得了較好效果。苑瑋琦等[9]利用改進曲率空間角點檢測液晶邊框頂點的方法定位示值區域。實際上儀器儀表上的顯示數字一般為八段數碼管或LCD屏，數字規整，筆畫寬度均勻，理想情況下，筆畫寬度變換算法(Stroke Width Transform，SWT)[10-11]可以取得不錯的效果。

文中采用改進的SWT算法，輔助于形狀、顏色、空間排列等特征進行區域過濾，去除光照、遮擋等的影響，使找到的區域更加準確。經過傾斜校正后提取多種高區分度特征，通過訓練好的多分類模型即可準確識別得到結果。總體流程如圖1所示。

圖1 系統流程

2 圖像預處理

筆畫寬度變換是以邊緣圖像為基礎的，生成的邊緣圖像的質量直接決定了后續筆畫寬度變換的效果。所以圖像預處理的目標是使生成的邊緣圖像盡可能只包括數字的邊緣，并且邊緣閉合，其步驟主要包括平滑濾波和Canny[12]邊緣檢測。平滑濾波的主要作用就是平滑掉小的噪聲，避免在邊緣檢測時生成過多邊緣。

文中使用高斯濾波，對比濾波前后經過邊緣檢測后的圖片可見，許多小的噪聲被過濾掉了，為后續處理打好了基礎。

3 改進筆畫寬度變換算法實現數字區域定位

筆畫寬度變換是由Boris Epshtein等[10]提出用于檢測與定位自然場景下的字符[13-14]的一種有效算法。其主要根據字符的筆畫寬度大體一致，因此通過像素的筆畫寬度信息就能定位圖像中可能的字符區域。

根據數顯式儀表數字特點，改進計算過程主要分三步：

(1)邊緣點對查找：在對原圖做邊緣檢測得到邊緣圖像之后，結合原二值圖像中的區域連通特點，向筆畫內部計算每個像素點的梯度，并沿梯度及相近方向尋找對邊的邊緣像素，以找到的最近的邊緣像素與原像素點構成一對有效的點對，如圖2所示的p和q。一方面，由此計算筆畫寬度更為準確，另一方面，能解決在筆畫轉折點處無法獲取正確筆畫寬度的問題。

(2)筆劃寬度賦值：遍歷在有效的點對之間線段上的所有像素，若該像素沒有被賦予過筆畫寬度值，則賦予筆畫寬度值w，若已賦予過寬度值，則與當前值比較，取較小的作為筆畫寬度值，即坐標(x,y)處的像素值s(x,y)的計算方法如下：

圖2 改進的SWT原理示意

(1)

(3)筆畫區域過濾：計算每個連通區域面積及其內所有像素點記錄的筆畫寬度的平均值，計算筆畫長度，濾除超長區域。對余下區域進行筆畫寬度限峰濾波，計算筆畫寬度均方差，設定閾值可濾除大部分非筆畫區域。

改進SWT的處理結果如圖3所示。

圖3 改進SWT的處理結果

4 數字區域精確定位

4.1 初步過濾

經過筆畫寬度檢測后，背景大部分被濾掉，數字區域得到保留，還需要根據數字的外形，以及顏色特點制定一些規則初步過濾不是數字字符的元素。該方法主要規則如下：

(1)最重要的一條就是數字字符內部的筆劃粗細均勻，方差較小，計算元素內部所有像素的方差，過濾掉方差太大的元素。

(2)一般數字的外接矩形不會重疊，更不會相互包含，內部包含其他元素的一般為顯示屏邊框。所以過濾掉外接矩形內有其他外接矩形的元素。

(3)數字外接矩形的高寬比例一般不會超過1∶5。

(4)太大或太小的元素會被當作噪聲過濾掉。

圖4 數字區域精確定位

4.2 精確定位

經過單個字符元素規則過濾后，根據字符之間的關系進行更加精確的定位。

(1)儀表上的顯示數字一個重要的特征就是它們橫向成行排列。

(2)它們有相近的筆畫寬度，這里一行內的字符寬度之比必須小于2。

(3)計算每個字符的顏色均值,同一行內的數字顏色應該是相同的。

(4)空間上，兩個字符也應該鄰近，這里將鄰近定義為：

(2)

其中，centera.x為centera.y分別為字符a的外接矩形中心的坐標x,y；widtha和heighta分別為字符a外接矩形的寬和高。

4.3 遮擋粘連處理

在沒有遮擋的情況下使用上述定位規則效果良好。但從圖4(a)可見，由于數碼管左下角標簽的遮擋，使得標簽邊緣與數碼管形成了連通域，導致左側數字在合并字符串時會被過濾掉，因此在處理的時候，會在成串之后多層次地向數字排列的左方和右方檢測是否需要合并,及是否有漏掉的字符存在。若存在，會向左或右延伸一個字符的長度，最終得到的結果如圖4(b)所示。

多層次擴展合并算法流程如圖5所示。

圖5 遮擋粘連多層次擴展合并處理算法流程

從實驗結果可見，即使背景復雜，所有的數字區域均能被正確定位，表明了算法的有效性。

5 數字區域的傾斜校正及數字識別

5.1 傾斜校正

部分圖像由于拍攝角度的原因，數顯區域是傾斜的，由于獲得的區域為文字的最小包圍矩形，因此可以根據最小包圍矩形的傾斜角度對顯示數字進行校正，校正后筆畫基本上橫平豎直。

5.2 數字識別

由于不同圖像中數字顯示形式、大小、方向、光照等都不一樣，為穩定地識別這些數字，先提取高區分度特征，再使用機器學習的方法進行模型訓練和識別。

(1)提取特征。

筆畫投影特征：統計每個字符橫向和縱向投影上的筆畫像素值并進行歸一化處理，得到筆畫投影特征。

分塊統計特征：將每個字符按一定橫縱向重疊度分割成多塊，統計每塊內的筆畫像素值并進行歸一化處理，得到分塊統計特征。

連通區域數量特征：統計每個字符的連通區域，左右兩半、上下兩半的連通區域的數量。統計時將區域適當擴充，使得連通區域數量特征更加穩定。

DenseSIFT特征：將每個字符按一定橫縱向重疊度分割成多塊，對每一塊提取SIFT特征[15]，歸一化后得到DenseSIFT特征。

(2)訓練：采集大量不同視角、不同光照條件、不同遠近拍攝的樣本圖片，提取上述特征，拉直為一維向量，使用徑向基核SVM[5,16]訓練多類模型。0～9每個數字是一類，其他文件為一類。

(3)識別：對測試圖片用同樣的方法提取特征后組合成一維向量，使用分類模型進行分類，識別出具體數字。

識別結果如圖6所示。

圖6 識別結果

6 結束語

由于圖像視頻中數字種類繁多，顯示字體及顏色多變，實際工作環境光照條件也各有不同，改進SWT算法應用到數顯儀表識別中，由于其主要根據數字的筆劃寬度信息定位數字，并根據數顯區域多種特征規則過濾得到顯示區域，因此可以有效克服上述問題。采用多層次方法進行數字區域擴展能去除遮擋粘連影響。實驗結果表明，該方法在處理多種數顯儀表上具有很高的適應性，能準確找出數字區域。隨后提取多種高區分度特征，通過訓練好的多分類模型即可準確識別得到最終數字值，實現圖像視頻中讀數的自動識別。

[1] 唐軼峻,申小陽,朱雯蘭,等.基于BP神經網絡的數顯儀表動態字符識別系統[J].光學儀器,2005,27(6):62-66.

[2] 宋 偉,張文杰,張家齊,等.基于指針區域特征的儀表讀數識別算法[J].儀器儀表學報,2014,35:50-58.

[3] 張國敏,殷建平,祝 恩.一種基于區域熵值的車牌定位方法[J].計算機工程與科學,2004,26(5):31-33.

[4] 董亞南,高曉智.基于CS的Hopfield神經網絡數字識別應用[J].計算機系統應用,2015,24(7):132-136.

[5] 李 瓊,陳 利,王維虎.基于SVM的手寫體數字快速識別方法研究[J].計算機技術與發展,2014,24(2):205-208.

[6] 李 開,陳禮安,曹計昌.基于灰度多值化的身份證號碼識別[J].計算機工程與應用,2015,51(13):191-196.

[7] Andria G,Cavone G,Fabbiano L,et al.Automatic calibration system for digital instruments without built-in communication interface[C]//19th IMEKO world congress.[s.l.]:[s.n.],2009:857-860.

[8] Alegria F C,Serra A C.Computer vision applied to the automatic calibration of measuring instruments[J].Measurement,2000,28(3):185-195.

[9] 苑瑋琦,江海燕.基于ACSS角點定位的液晶顯示儀表示值識別算法[J].計算機系統應用,2015,24(7):111-116.

[10] Epshtein B,Ofek E,Wexler Y.Detecting text in natural scenes with stroke width transform[C]//Proceedings of 2010 IEEE conference on the computer vision and pattern recognition.[s.l.]:IEEE,2010:2963-2970.

[11] 袁俊淼.基于幾何約束的筆劃寬度變換(SWT)算法及其字幕文本定位應用[D].成都:電子科技大學，2015.

[12] Canny J. A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(6):679-698.

[13] Chen X,Yuille A L.Detecting and reading text in natural scenes[C]//IEEE computer society conference on computer vision and pattern recognition.[s.l.]:IEEE,2004:366-373.

[14] Zhang H G,Zhao K,Song Y Z,et al.Text extraction from natural scene image:a survey[J].Neurocomputing,2013,122:310-323.

[15] 謝博鋆,朱 杰,于 劍.基于Pivots選擇的有效圖像塊描述子[J].軟件學報,2015,26(11):2930-2938.

[16] 方 向,陳思佳,賈 穎.基于概率測度支持向量機的靜態手寫數字識別方法[J].微電子學與計算機,2015(4):107-110.

ResearchonanImprovedAuto-locatingandRecognitionMethodforDigitalImages

ZHU Bin1，XUE Lu-qiang2，TAN Shou-biao2

(1.Department of Safety Supervision Quality,State Grid Anqing Electric Power Supply Co.,Anqing 246000,China;2.Key Lab of Intelligent Computing & Signal Processing of Ministry of Education,Anhui University,Hefei 230039,China)

According to the requirement of the automatic recognition for digital video,an improved digits auto-locating and recognition method is presented.It adopts self-adaptive threshold for binarization of image and then an improved algorithm of Stroke Width Transform (SWT) is designed to make a coarse locating of the digits’ regions.After that,the precise positions of the digits are determined by filtering them with some useful features,such as its height-width-ratio,color and spatial arrangement,and the multi-level extension and merging is applied to eliminate the influence on shield and adhesion for the exact locating of digits region with perfection.At last,after extraction of the high discriminative features in digital regions,the digits can be accurately recognized and achieved by trained multi-classified models,which can implement the automatic recognition of digits in videos.The experimental results show that the proposed method owns high accuracy and strong robustness,without impact on light,titlt and partial shield,and locate the correct digits regions for recognition of digits.It is suitable for automatic inspection,remote meter reading and so on.

stroke width transform;digits auto-locating;multi-level extension and merging;reading recognition

TP391.41

A

1673-629X(2017)12-0067-04

10.3969/j.issn.1673-629X.2017.12.015

2017-04-09

2017-07-20 < class="emphasis_bold">網絡出版時間

時間：2017-08-01

國家自然科學基金資助項目(61201396)；國家電網公司科技項目(5212D01502DB)

朱 彬(1968-)，男，高工，碩士，研究方向為電力安全監察技術。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170801.1559.080.html