基于模板匹配和局部HOG特征的車牌識別算法①

高 聰, 王福龍

?

基于模板匹配和局部HOG特征的車牌識別算法①

高 聰, 王福龍

(廣東工業大學應用數學學院, 廣州 510520)

針對車牌字符識別中模板匹配法識別率低, 尤其是無法準確識別相似字符的不足, 本文提出了一種模板匹配法結合局部HOG特征的車牌識別算法. 首先利用模板匹配法對車牌所有字符進行初步識別, 然后分別提取車牌和模板相似字符中最具區分度的一小塊HOG特征進而構建特征向量, 最后根據特征向量之間的歐氏距離來度量車牌字符和模板字符的相似性, 進而完成二次識別. 實驗結果表明, 本文方法有效地解決了相似字符誤識別的問題, 在保證識別速率的同時識別率顯著提高.

車牌識別; 模板匹配; 局部HOG特征; 相似字符; 特征向量

1 引言

車牌識別系統在停車場車輛管理、監控違章車輛、高速公路收費管理系統等領域都有十分廣泛的應用. 車牌識別是指利用車牌的特征從具有復雜背景的車輛圖像中提取出車牌區域,并對該車牌區域進行字符分割, 提取每個字符的特征后再進行識別的過程. 在一般情況下, 完整的車牌識別系統包括圖像采集, 車牌定位, 車牌字符分割和字符識別四個部分.

目前國內外有很多車牌定位算法, 如: 紋理特征法[1,2]、顏色特征法[3,4]、字符特征法[5,6]、邊緣檢測法[7-9]和灰度跳變法[10]. 字符分割算法主要有: 投影法[11,12]、連通性法[13,14]和字符的先驗知識法[15].

字符識別是車牌自動識別技術的最后一步, 也是關鍵一步, 主要任務是對字符分割步驟的結果, 即單個字符進行自動識別, 根據我國車牌字符的結構和特點, 目前常見的車牌字符識別方法主要有模板匹配法[16-19]、神經網絡法[20-22]和特征提取法[23,24]. 模板匹配法是一種經典的模式識別方法, 是最直接的字符識別方法, 主要是通過判定測試字符與模板字符間的相似度, 將相似性最大的樣本作為輸入字符的所屬類別.為結果. 模板匹配法原理簡單, 比較直觀,計算方便, 因此得到了普遍的應用, 但不能適應于各種字符變化、角度變化,魯棒性較差,由于忽略了大量的字符細節信息, 使得模板匹配法在識別相似字符時易出現誤識別. 神經網絡法是先對待識別字符進行特征提取, 然后用所獲得的特征向量來訓練神經網絡分類器, 通過訓練好的分類器將字符識別出來. 神經網絡法具有較強的容錯能力, 識別效率較高, 但是該方法需要大量的訓練樣本, 訓練樣本運算復雜度高, 耗時長, 難以滿足實時性要求. 特征提取法是先提取測試字符和模板字符的統計特征, 再按照一定準則所確定的決策函數進行分類判決, 經過大量的統計得到測試字符和模板字符的特征向量, 再通過比較測試字符與模板字符特征向量的相似性得到輸入字符的識別結果. 特征提取法可以提取顯著的特征, 對于失真的圖像具有一定的魯棒性, 但是提取特征的時候會消耗大量時間, 非穩健的特征會降低識別率[25,26]. 本文采用模板匹配和局部HOG特征相結合的方法進行字符識別, 首先利用模板匹配法進行初步識別, 然后利用局部HOG特征對相似字符進行二次識別, 實驗表明識別率明顯提高.

2 模板匹配[18]

目前我國車牌字符識別算法中模板匹配法是運用最為廣泛的一種, 該方法是通過判定測試字符與模板字符間的相似度, 取相似性最大的樣本為輸入模式所屬類別. 首先建立模板庫, 將待識別的車牌字符進行二值化并將其尺寸大小歸一化到模板字符的尺寸大小, 然后與所有的模板字符進行匹配, 最后選擇最佳匹配字符作為結果. 采用重合度函數來度量匹配程度, 其公式如下:

式中:—模板二值圖像,—對應的車牌二值圖像, 二者圖像的大小一致, 均為×,和分別為對應二值圖像中值為1的像素個數,為與運算.

3 HOG特征及其改進

3.1 方向梯度直方圖[27]

方向梯度直方圖(Histogram of Oriented Gradient, HOG)特征是一種圖像處理和計算機視覺中對物體進行檢測的特征描述子. 它主要是通過計算和統計圖像局部區域的方向梯度直方圖來構成特征. 通過將整幅圖像分割成小的連接區域(稱為cells), 稱為細胞單元, 每個cell生成一個方向梯度直方圖, 這些直方圖的組合可表示出所檢測目標的描述子. 為了提高光照變化的適應性, 將這些直方圖在分割下來的單個字符中的一個較大區域(block, 塊)內進行對比度歸一化, 具體來說就是計算每個局部直方圖在塊中的密度, 根據密度來對這個塊中的每個細胞單元進行歸一化. 經過歸一化后, HOG特征對光照變化和陰影可以獲得更好的適應能力.

HOG實現詳細過程如下:

1) 計算圖像梯度

計算圖像橫坐標和縱坐標方向的梯度, 并據此計算每個像素位置的梯度方向值. 最常用的方法是: 首先用[-1,0,1]梯度算子對原圖像做卷積運算, 得到水平方向的梯度分量, 如公式(2)所示; 然后用[1,0,-1]T梯度算子對原圖像做卷積運算, 得到豎直方向的梯度分量, 如公式(3)所示:

計算圖像橫坐標和縱坐標方向的梯度, 并據此計算每個像素位置的梯度方向值. 最常用的方法是: 首先用[-1,0,1]梯度算子對原圖像做卷積運算, 得到水平方向的梯度分量G(,), 如公式(2)所示; 然后用[1,0,-1]T梯度算子對原圖像做卷積運算, 得到豎直方向的梯度分量G(,), 如公式(3)所示:

(3)

式中G(,),G(,),(,)分別表示輸入圖像中像素點(,)處的水平方向梯度、垂直方向梯度和像素值. 像素點(,)處的梯度幅值和梯度方向分別為:

(5)

2) 為每個細胞單元構建梯度方向直方圖

我們將圖像分成若干個“細胞單元cell”, 每個cell為8*8個像素, 用9個bin的直方圖來統計這8*8個像素的梯度信息,也就是將cell的梯度方向360度分成9個方向塊, 梯度大小作為投影的權值. 如圖1所示: 如果這個像素的梯度方向是20-40度且梯度大小是2, 直方圖第2個bin的計數就加2, 這樣就可以得到這個cell的方向梯度直方圖, 即該cell對應的9維特征向量.

3) 把細胞單元組合成大的塊(block), 塊內歸一化梯度直方圖

把各個細胞單元組合成大的、空間上連通的區間(blocks), 這樣, 一個block內所有cell的特征向量串聯起來便得到該block的HOG特征. 這些區間是互有重疊的, 這就意味著: 每一個單元格的特征會以不同的結果多次出現在最后的特征向量中, 我們將歸一化之后的塊描述符(向量)就稱之為HOG描述符. 根據實驗的效果可以相應的設置塊所包含的3個參數: 每個塊中細胞單元的數目, 每個細胞單元中像素點的數目以及每個細胞單元的方向角數目. 歸一化公式如下:

L2-norm:(6)

式中,表示包含給定塊統計直方圖信息的未歸一化向量;是一個很小的常數, 作用是為了避免分母為0; ||||是的階范數.

(4) 收集HOG特征

最后一步就是將檢測窗口中所有塊的特征向量串聯起來得到整體的HOG特征向量, 將它們結合成最終的特征向量供分類使用.

3.2 局部HOG特征[28]

目前, HOG特征在車牌識別算法中已經表現出很好的識別性能, 但經過相關學者發現該算法在特征表達上存在數據冗余, 使得特征提取及分類器的訓練計算量很大, 嚴重影響了識別速度. 為了充分利用字符圖像的特征, 減少數據冗余, 相關學者提出了一種能夠反映字符特點而且減少特征維數的局部HOG特征.

局部HOG特征主要思想是由于字符圖像的差別主要體現在圖像的四個頂角區域和中心區域, 根據字符圖像的這些特點, 只選擇這5塊來計算其HOG特征, 從而降低計算量. 如圖2所示, 確定了5個塊來計算HOG, 分別為左上區域、右上區域、中心區域、左下區域和右下區域.

圖2 字符圖像的塊

根據實驗的效果可以選取塊的最佳尺寸大小以及具體位置, 確定好塊之后就是計算塊的HOG特征, 這個可以參照前文方向梯度直方圖的算法流程, 不同之處就在于局部HOG只選擇了整個圖像中區分度較大的幾塊進行計算.

4 基于模板匹配和局部HOG特征的車牌識別

前文提到的模板匹配法實際上就是將測試字符的每個像素點與模板字符的每個像素點進行比對, 通過重合度函數來計算其相似性, 取相似性最大的樣本為輸入模式所屬類別. 該方誤識別率太高, 主要是針對相似字符, 通過實驗統計得到模板匹配法一般會出現誤識別的相似字符: Q—> 0、C—>D、O—>D、S—>8、B—>8、L—> E、F—> E 、P—>R 、粵—>閩、粵—>青、等. 例如: 當車牌含有字符“F”時, 那么利用模板匹配法就會將“F”識別成“E”, 導致識別出錯. 根據實驗數據發現: 如果車牌字符含有 “Q”、“C”、“0”、“S”、“B”、“L”、“F”、“粵”, 模板匹配法一般會將其誤識別成以上對應的相似字符, 漢字“粵”的誤識別率相對較低.

圖3 模板字符“P”和“R”

如圖3所示, 我們用人眼很容區分的兩個字符“P”和“R”, 但是用模板匹配法卻無法識別開來, 最后主要的原因就是車牌字符經過圖像采集、車牌定位、字符分割這些過程之后, 待識別字符筆畫的粗細(每一筆畫所占的白色像素點的行數或列數)都是不同的, 但是模板字符的筆畫的粗細都是一樣的, 這樣就會導致雖然待識別字符和模板字符一樣, 但是根據重合度函數計算出來的相似度沒有那么高, 反而可能跟其他模板字符相似度相對較高, 最終造成誤識別.

針對此問題, 相關學者提出了一種提取字符躍變特征進行二次識別的方法[29]. 結合躍變特征法實際上就是從左到右逐列掃描字符像素點時, 會出現“黑—>白”或“白—>黑”這兩種躍變情況, 統計好每列的躍變次數作為字符的躍變特征, 最后將待識別字符躍變次數最相近的模板字符作為識別結果. 通過實驗統計得到結合躍變特征法一般會出現誤識別的相似字符: S<—>8.

針對上述問題, 本文提出了一種模板匹配結合局部HOG特征的車牌識別方法, 該方法主要就是首先利用模板匹配法進行車牌字符初步識別, 然后提取相似字符的局部HOG特征進行車牌字符的二次識別, 達到更高的識別率. 本文識別算法的具體流程可總結為:

1) 統計出模板匹配法誤識別的相似字符(前文已總結), 將已經統計好的相似字符分為三類: a)右下角區分字符: F—> E 、P—>R 、Q—>0 、C—>D; b)左中間區分字符: L—> E、S—>8、B—>8; c)左下角區分字符: O—>D、粵—>閩、粵—>青.

2) 根據每類相似字符的特點, 只選擇整個字符(本文歸一化字符大小為20*40)中最具有區分度的一小塊. 如圖4所示: (a)為右下角區域、(b)左中間區域、(c)左下角區域.

(a)字符“O”和“Q”

(b) 字符“8”和“S”

(c) 漢字“粵”和“閩”

圖4 選擇整個字符中最具有區分度的部分

3) 確定好塊之后就是計算塊的HOG特征, 參照前文方向梯度直方圖的算法流程可得到塊的HOG特征向量, 最后計算車牌字符和模板字符局部HOG特征向量之間的歐氏距離, 選擇距離最小的模板字符作為識別結果.

5 實驗結果及分析

本文使用Visual Studio 2012進行編程實現, 計算機系統是Windows 7 [Intel(R) Core(TM) i5-4590 CPU 3.30GHZ, 8G內存].

本文中如圖4所示塊的起始位置和大小的選取至關重要, 若沒選好, 根本達不到正確識別相似字符(本文歸一化字符大小為20*40)的效果, 通過實驗效果得到最佳塊的起始位置和大小的參數, 如表1.

表1 塊的起始位置和大小設置

通過大量實驗數據統計得到本文算法識別率和時間對比情況如表2和表3, 部分車牌實驗效果對比情況如表4. 由表2我們可以看出在模板匹配的基礎之上結合躍變特征和結合局部HOG特征算法識別率遠遠超過了單一的模板匹配法, 而且結合局部HOG特征法明顯優于結合躍變特征法. 其原因主要有三個:

其一, 結合躍變特征法無法真正區分相似字符8和S. 如圖5所示, 模板字符“8”和“S”左側、中間、右側的躍變次數幾乎都為4, 不同之處就在于第5列和第15列(大概黃線位置)左右處的躍變次數由于字符的筆畫粗細不均勻等因素而無法真正的確定, 然而車牌字符“8”和“S”經過前期的車牌定位和字符分割環節之后, 統計得到的第5列和第15列(大概黃線位置)左右處的躍變次數就不一定可以跟模板字符的躍變次數完全正確匹配, 最終導致字符“8”和“S”識別的隨機性.

圖5 模板字符“8”和“S”

其二, 結合躍變特征法抗字符分割影響能力相對較差. 如圖6所示, (c), (d)和(e)是部分歸一化后車牌字符,由于受字符分割影響, (c)和(d)與模板字符(a)最大的區別就在于字符(c)和(d)最下邊沒有和邊界貼緊, 這樣就會導致字符(c)和(d)躍變次數都會加1, 躍變次數幾乎全部出錯, 無法跟模板(a)匹配成功; 但由于模板字符“E”中間的一橫要比“F”短一點, 在第17列(大概黃線位置)左右處(c)和(d)的躍變次數跟(b)是一樣的, 都是3, 所以會出現(c)、(d)跟(b)有相對較高的相似度, 導致誤識別; 同理可以分析(e)的情況. 通過實驗得知, (c)和(d)誤識別成了(b), (e)誤識別成了(a)(即E—>F、F—>E).

(a)???(b)???(c)???(d)???(e)

其三, 結合躍變特征法抗光照影響能力相對較差. 如圖7所示, 車牌字符(b)是車牌(a)的最后一個字符“0”, 經二值化、字符分割以及歸一化后得到字符(c), 由于受光照影響, 車牌字符(c)與模板字符“0”最明顯的區別就是右下角區域車牌字符(c)多了一條白色弧線, 這樣會導致(c)右半邊的躍變次數都加2, 無法跟模板字符“0”的躍變次數成功匹配; 但是模板字符“Q”右半邊的躍變次數有些和(c)是一樣的, 這樣會出現(c)和“Q”的相似度較高, 導致誤識別(即0—>Q); 同理可以分析車牌(a)其他字符的情況, 車牌(a)的其他字符識別效果對比情況如表4所示.

針對上述結合躍變特征法的不足, 本文提出結合局部HOG特征法. 其一, 如圖4(b)所示, 可以看出字符“8”和“S”左中間區域明顯不同, 統計出來的方向梯

度直方圖有明顯的區分度; 其二, 如圖6(c)、(d)和圖7(c)所示, 雖然車牌字符受到了字符分割和光照的影響, 造成統計時出現某些方向和梯度的變化, 會增加匹配的誤差, 但是字符“E”和“F”、“0”和“Q”右下角區域的方向和梯度非常顯著, 不會影響整體方向梯度直方圖的相似性度量, 最終可以正確識別.

(a)車牌圖像

(b)字符“0”

(c)歸一化

(d)模板字符“0”和“Q”

圖7 抗光照影響能力分析

由表3可看出都屬于二次識別方法的結合躍變特征和局部HOG特征相對模板匹配較慢一點點, 實際上三種方法時間都差不多, 相差1ms左右; 由實驗數據可知, 算法時間會隨著圖像像素點個數的增多而增加, 主要原因是由于車牌定位和字符分割環節要多次掃描圖像像素點來進行定位和分割, 本文大部分輸入的圖片大小是900*505, 算法時間約23ms.

表2 算法識別率對比情況

表3 算法時間對比情況(ms)

表4 部分車牌實驗效果對比情況

6 結論

本文從車牌字符的結構特點出發, 針對模板匹配法無法準確識別相似字符的不足, 提出了模板匹配法結合局部HOG特征的車牌識別算法. 對比模板匹配結合躍變特征法, 本文方法具有明顯的優越性, 可以有效的降低相似字符誤識別率, 而且抗光照和字符分割影響等干擾的能力較強, 在保證車牌識別速率的同時識別率得到了進一步的提高.

1 Zunino R, Rovetta S. Vector quantization for license-plate location and image coding. IEEE Trans. Ind. Electron. 2000, 47(1): 159–167.

2 Xu HK, Yu FH, Jiao JH, Song HS. A new approach of the vehicle license plate location. Proc. Int. Conf. Parall. Distr. Comput. Applicat. Tech. 2005. 1055–1057.

3 Shi X, Zhao W, Shen Y. Automatic license plate recognition system based on color image processing. Lecture Notes Comput. Sci., 2005, 3483: 1159–1168.

4 Lee ER, Kim PK, Kim HJ. Automatic recognition of a car license plate using color image processing. Proc. IEEE Int. Conf. Image Process. 1994, 2. 301–305.

5 Draghici S. A neural network based artificial vision system for license plate recognition. Int. J. Neural Syst., 1997, 8(1): 113–126.

6 Matas J, Zimmermann K. Unconstrained license plate and text localization and recognition. Proc. IEEE Conf. Intell. Transp. Syst. 2005. 572–577.

7 Kamat V, Ganesan S. An ef?cient implementation of the Hough transform for detecting vehicle license plates using DSPs. Proc. Real-Time Tech. Applicat. Symp. 1995. 58–59.

8 Bai H, Liu C. A hybrid license plate extraction method based on edge statistics and morphology. Proc. Int. Conf. Pattern Recognit. 2004, 2. 831–834.

9 Wang S, Lee H. Detection and recognition of license plate characters with different appearances. Proc. Int. Conf. Intell. Transp. Syst. 2003, 2. 979–984.

10 付煒,趙正則,王大江.基于水平灰度跳邊和垂直投影的車牌定位方法.電子測量技術,2008,31(3):61–65.

11 遲曉君,孟慶春.基于投影特征值的車牌字符分割算法.計算機應用研究,2006,23(7):256–257.

12 吳大勇,魏平,侯朝楨,劉永信.一種車牌圖像中的字符快速分割與識別方法.計算機工程與應用,2002,38(3):232–233.

13 Rahman A, Radmanesh A. A real time vehicles license plate recognition. Proc. of the IEEE on Advanced Video and Signal Based Surveillance, AVSS. 2003. 131–36.

14 徐正光,等.基于遞歸的二值圖像連通域像素標記算法.計算機工程,2006,32(24):186–188.

15 Gao Q, Wang X, Xie G. License plate recognition based on prior knowledge. Proc. IEEE Int. Conf. Automat. Logistics. Aug. 2007. 2964–2968.

16 Comelli P, Ferragina P, Granieri MN, Stabile F. Optical recognition of motor vehicle license plates. IEEE Trans. Veh. Tech., 1995, 44(4): 790–799.

17 Lu X, Ling X, Huang W. Vehicle license plate character recognition. Proc. Int. Conf. Neur. Netw. Signal Process. 2003, 2. 1066–1069.

18 陳瑋,曹志廣,李劍平.改進的模板匹配方法在車牌識別中的應用.計算機工程與設計,2013,34(5):1808–1811.

19 鄒星.一種基于模板庫的車牌字符識別算法.計算機技術與發展,2010,(4):128–131.

20 張燕,任安虎.多特征與BP神經網絡車牌識別系統研究.科學技術與工程,2012,12(22):5645–5648.

21 湯茂斌,謝渝平,李就好.基于神經網絡算法的字符識別方法研究.微電子學與計算機,2009,26(8):91–97．

22 Chen N, Xing L. Research of license plate recognition based on improved BP neural network. Computer Application and System Modeling, 2010, (11): 482–485．

23 Juntanasub R, Sureerattanan N. A simple OCR method from strong perspective view. Proc. Appl. Imagery Pattern Recognit. Workshop. 2004. 235–240.

24 羅輝武,唐遠炎,王翊,藍利君.基于結構特征和灰度特征的車牌字符識別方法.計算機科學,2011,38(11):267–270, 302．

25 Du S, Ibrahim M, Shehata M, Badawy Wael. Automatic license plate recognition(ALPR): A state-of-the-art review. IEEE Trans. on Circuits and Systems for Video Technology, 2013, 23(2): 311–325.

26 方興林.基于字符筆畫斜率特征的車牌識別算法研究.重慶工商大學學報:自然科學版,2014,(9):72–76.

27 殷羽,鄭宏,高婷婷,劉操.基于聯合HOG特征的車牌識別算法.計算機工程與設計,2015,36(2):476–481.

28 龔永罡.基于局部HOG特征的稀疏表達車牌識別算法.計算機仿真,2011,28(4):367–370.

29 王鋒,王福龍.基于躍變特征的車牌字符識別.計算應用研究,2015,32(12):398–400.

Algorithm of License Plate Recognition Based on Template Matching and Local HOG Feature

GAO Cong, WANG Fu-Long

(School of Applied Mathematics, Guangdong University of Technology, Guangzhou 510520, China)

In order to solve the low recognition rate of template matching method in license plate character recognition, especially the similar characters, this paper proposes a method of license plate recognition based on template matching combined with local HOG features. First, we use the template matching method for preliminary identification of all the characters of a license plate. Second, the HOG features corresponding to the most discriminative characters among the similar characters of the plate and the template are extracted, and then the feature vector is constructed. Last, according to the Euclidean distance among feature vectors to measure the similarity of the license plate character and the template character, and then complete the second recognition. The experimental results show that this method is effective to solve the problem of false recognition of similar character and the recognition rate is significantly improved.

license plate recognition; template matching; local HOG feature; similar characters; feature vector

廣東省自然科學基金(S2011040004273)

2016-04-12;收到修改稿時間:2016-05-12

[10.15888/j.cnki.csa.005507]