圖像處理技術在車牌號識別領域中的算法改進

劉飛鵬，沈希忠

(上海應用技術大學 電氣與電子工程學院，上海 201418)

?

圖像處理技術在車牌號識別領域中的算法改進

劉飛鵬，沈希忠

(上海應用技術大學 電氣與電子工程學院，上海 201418)

針對圖像處理技術在車牌號識別領域中的運用，結合目前常用識別方法(模板匹配法、神經網絡法和支持向量機識別法)和主要特征提取方式(統計特征提取和結構特征提取)各自的優點，設計出一種多層分支結構的車牌號識別系統，該系統根據不同待識別字符的特征進行分類，然后匹配上對該類特征識別較有優勢的特征提取方法和字符識別算法，并提出一種對折識別算法運用其中，通過對字符的分層識別和分支識別，從而達到精確、高效識別的目的，最后通過試驗測試和統計分析，證明了該方法在車牌號識別中的優越性。

車牌號識別；圖像處理；易混字識別

近年來，隨著國民經濟的快速發展，機動車數量增長迅猛，接踵而來的交通違章、肇事逃逸、車輛盜竊等行為呈現快速上升趨勢，給交通管理和車輛監管部門造成不小的壓力。智能交通系統的開發和運用已成為緩解交通管理問題的必然出路[1]，而該系統中最主要的環節之一就是車牌號的智能識別。目前的車牌號識別方法有模板匹配法、神經網絡法和支持向量機法(Support Vector Machine，SVM)，其中后兩種方法需要先對字符特征進行提取，字符特征提取的方式又可分為統計法和結構特征法。統計法對字符的變形和噪點容錯能力較強，但對相似字符的細節特征難以區分；結構特征提取法能夠分辨出字符的細節結構，但當拍攝圖像清晰度不高時容易出現特征提取錯誤。由于車牌字符特征的多樣化和拍攝環境的復雜化，運用單一的字符特征提取方式和字符識別方式無法滿足字符識別較高正確率的要求，尤其不能滿足對相似字符的識別要求。

因此，為了實現對車牌字符更高的識別率，尤其提高對易混字符的識別率，本文在適當改進簡單字符識別算法的同時，重點在易混淆字符的識別算法上進行研究和改進，通過結合以上不同識別方法和不同特征提取方式的優勢，同時運用一種獨創的對折算法，設計出一種多層分支結構的識別系統，該系統本著簡單字符少分支、易混淆字符巧分支的原則，在實現提高字符正確識別率的同時，讓系統具有更加簡潔、高效的工作效率。

1 車牌號識別方法

在車牌號識別過程中主要運用到圖像處理技術，該過程主要包括圖像的采集、車牌的定位、字符的分割[2]和字符的識別[3]。經過前期圖像處理分割出的字符如圖1所示，字符識別環節是車牌信息獲取的關鍵，也是本領域研究的熱點，目前主流的車牌號識別方法有模板匹配法、神經網絡法和支持向量機法。

圖1 分割處理后的車牌字符

1.1 基于模板匹配的識別方法

模板匹配法的識別過程為：首先建立模板庫，然后對待識別字符進行特征提取，通過待識別字符的特征向量與模板庫中字符的特征向量進行比對，相似度最高的模板所對應的字符即為待識別字符的識別結果，該方法的優點是原理簡單、算法簡潔、識別速度快，但該算法對字符的變形容錯能力較差。

1.2 基于人工神經網絡的識別方法

人工神經網絡由輸入層、中間層和輸出層組成，其結構如圖2所示，理論上通過3層神經網絡即可無限擬合任意非線性函數，人工神經網絡識別方法的優點為對字符的噪聲及變形不敏感，容錯能力較強，其不足為該識別方法對相似字符的細節結構難以區分。另外，因其神經元較多、運算量較大，實時性較差。

圖2 人工神經網絡結構圖

1.3 基于支持向量機的識別方法

支持向量機(SVM)是一種基于統計學的機器學習算法，其原理為將輸入的樣本向量通過核函數映射到一個高維空間，然后求出由多個支持向量構成的最優分類超平面，使得超平面間的分類間距盡量大，這樣就使得分類錯誤的風險盡量小，簡而言之，即高維空間的線性規劃問題。因該算法具有較好的過度擬合訓練樣本功能。 因此，SVM對于即使未見過的測試樣本也具有較好的分類功能。

圖3 字符識別整體流程圖

2 改進的多層分支結構算法

要進一步提高車牌號識別的正確率，首先要吸取原有識別算法的識別優勢，其次要對不同特征的字符進行分類識別，同時，最關鍵要在易混淆字符的識別上采取更加有效的識別算法。本系統在識別算法上采用多層分支結構，對不同分支采用對應更有效的識別算法，同時，對于一級識別中識別出的字符屬于易混淆字符的，再根據該字符在易混淆字符中的分組，進行二次甚至多次識別，直到準確識別出易混字符的特征為止。本系統的整體工作流程圖如圖3所示。

2.1 車牌漢字的識別

在車牌的左側第一個字符為漢字，其外形如圖4所示，為了能清晰識別字符的細節結構特征，該系統采用模板匹配算法作為漢字的識別算法。另外，該系統在模板匹配前增加了一個黑像素點統計環節，然后把漢字模板庫中黑像素數目與待測字符最相近的10個作為模板子集進行匹配，這樣既減小了模板匹配數量，又提高了模板匹配效率。

圖4 車牌字符中的漢字

2.2 字母和數字字符的一級識別

對于車牌中字母和數字的一級識別，如圖5所示。在字符特征提取方面，采用統計特征提取和結構特征提取[4]相結合的方法，在字符識別算法的選擇方面，因對字符特征提取的數據稍多，因此在字母和數字的一級識別階段，采用SVM支持向量機識別算法。在字符的統計特征提取方面，采用水平投影和豎直投影相結合的方式，即對每行和每列黑像素的點數進行統計，如圖6所示為字母“C”的水平投影統計圖。在結構特征提取方面，將每個待測字符分成8列16行的小方格，統計每個小方格中的黑像素點個數，然后再除以該字符中總的黑像素個數，這樣每個字符通過統計特征與結構特征提取將得到一個64+32+8×16=224維的特征向量。而原圖像為64×32=2 048維的數組，因此通過該方案的特征提取在保證字符整體特征和細節結構的同時充分降低了特征向量的維數。

圖5 車牌中字母和數字字符

圖6 字母“C”的水平投影特征數據圖

然后，將待測字符的特征數據經SVM算法運算和處理，輸出待測字符的一級識別結果，如果識別結果為非易混字符，即可直接輸出識別結果，如果為易混字符，則進入下一環節的易混字符識別算法。

2.3 易混字符的識別

在車牌的字符識別過程中，易混字的識別一直制約著車牌字符識別正確率的提高，本識別系統通過對易混字符單獨建立易混字符庫，同時將結構相似的字符進一步分組，然后根據每組易混字的特征分別采取對應更加有效的識別算法，從而達到對易混字符準確識別的目的。

經相關資料查閱和實踐測試，總結出以下幾組易混字：

第1組：字母O，Q，D，數字0；

第2組：字母C，G；

第3組：字母Z，數字2；

第4組：字母S，數字5；

第5組：字母A，R，數字4。

因車牌上的字符都是專用字體，這里截取車牌中二值化處理后的第一組易混字，其形狀如圖7所示。

圖7 二值化的車牌字符專用字體

從圖7中可以看出字母”O”與數字“0”在車牌中的結構形式是一模一樣的，因此主要看該字符在車牌中出現的位置，出現在車牌的第二位即為字母“O”，出現在其他位置則根據車牌字符排列的規則進行辨別[5]，從此也可以看出部分文獻中想當然地把字母“O”和數字“0”的識別方式表達為“矮胖”和“高瘦”的區別是一種純空虛理論。

在本組的易混字識別中，筆者采用對折算法進行識別。首先，找到待識別字符黑色像素點中最下側和最上側像素點的縱坐標，分別表示為y1，y2，計算字符的水平中心線的縱坐標y3，算法如式(1)所示

(1)

并檢測出縱坐標為y3時，字符中最左側和最右側黑像素的橫坐標x1，x2， 計算字符的豎直中心線的橫坐標x3，算法如式(2)所示，各坐標在字符中的位置如圖8所示。

(2)

圖8 對折算法字符坐標圖

首先，運用式(3)算法，對字符進行左右對折，公式中函數f(i，j)代表在坐標(i，j)處圖像的像素點值，黑色為“1”，白色為“0”，C1代表待測字符左右對折后未重疊部分占字符總面積的比重，經運算后，如果C1為0，則待識別字符為字母“O”或數字“0”的符號

(3)

如果C1不為0，則進行式(4)算法，對待測字符進行上下對折，C2代表字符上下對折后未重疊部分占字符總面積的比重；如果C2為0，則待識別字符為字母“D”，如果不為0，則待識別字符為字母“Q”，如此即可準確識別出該組易混淆字符。

(4)

第2組：字母C，G的字符識別。字母C，G在車牌專用字體中的形狀如圖9所示，對該組易混淆字符可以運用式(4)算法對字符進行上下對折，如果輸出的結果C2為0則為字母“C”，而字母“G”的對折后未重疊部分如圖10所示的斜線區域，從此圖可以看出未重疊部分還是很明顯的，因此當C2大于5%時，即未重疊部分大于整個字符部分的5%時，則該字符即為字母“G”。

圖9 字母C，G在車牌專用字體中的形狀

圖10 字母G的上下對折未重疊部分

第3組：字母Z,數字2。字母Z與數字2在車牌中的字符外形如圖11所示，考慮到字符變形和傾斜等因素[6]的影響，會使特征差別不太明顯，因此這里采用水平投影數據上下折疊的算法，因為即使字符發生偏斜和形變，但因整體都有影響，經投影折疊作差，干擾因素將被抵消，其原有的差別特征將仍能很好地提取出來，經投影作差運算，其輸出結果如果為0則為字母“Z”，否則為數字“2”。

圖11 字母Z、數字2在車牌中的字符外形

第4組：字母S、數字5。本組的識別方式與第三組的較為相似，這里不再詳細論述。

第5組：字母A，R，數字4。在某些僅僅利用結構特征提取的識別算法中，該組將是一個很難區分的易混字，如果把結構特征和統計投影特征相結合的方式進行字符特征提取，該組字符在第一級識別中即可準確地識別出來，因此，在該系統中，本組字符不屬于易混字。

綜上所述，在其他車牌號識別系統中的5組易混字符，在本文所設計的車牌號識別系統中，其實際易混

淆字符僅為4組，有效減少了易混字符的數量，同時也意味著有效地提高了車牌號識別的正確率。

3 測試、統計與結果分析

本車牌號識別系統算法在宏碁E5-511便攜式計算機上用MATLAB7.10平臺進行運行，通過對300個待測車牌樣本進行測試，從車牌圖像采集到識別出的字符串輸出，每個車牌識別平均用時2.779 s，即單個字符平均用時0.397 s，完全能滿足車牌號識別的實時性要求。如圖12所示，為本車牌號識別系統的測試界面。

通過對300個車牌樣本的識別結果進行統計，其統計結果如表1所示(最右側”整體識別正確率”下面數據為99.10%，有時顯示不出來，可通過鼠標點擊該欄即可顯示出來)。

圖12 車牌號識別系統界面(截圖)

表1 識別正確率分類統計表

在車牌樣本測試過程中，識別錯誤字符的詳細統計信息如表2所示。

表2 樣本測試時識別錯誤字符詳細統計表

本車牌號識別系統與同領域其他車牌號識別系統的正確率情況對比如表3所示。

結果分析：從表1可以看出，雖然整體的識別正確率已經很高，但漢字的識別正確率仍然較低，其次是易混淆字符的識別率，雖然在識別過程中運用了多種識別算法進行優勢互補，但仍然難以與簡單字符的正確率相平齊，另外可以看出，簡單字符的識別技術已經基本趨于成熟。

從表2數據分析，“贛”字識別錯誤的原因為因該字筆畫復雜，同時拍攝清晰度有限，后經提高清晰度處理后，就不再出現該種錯誤。對于“魯”與“晉”，因這兩個字符的統計特征曲線圖較為相似，但在漢字中未設置易混字識別環節，導致識別錯誤。對于字符“H”和“K”、字符“U”和“N”容易出現識別混淆，可以通過把這兩組字符也加入易混淆字符庫來解決。而對于易混淆字符中“0”與“D”仍然容易發生混淆，其原因為“D”在對折運算后的差值因過小，已經滿足判為“0”的閾值，“2”與“Z” 識別錯誤的原因也類似，但如果閾值再調小一些，字符識別的抗干擾能力將降低，因此可以通過微調來選出更優的閾值或增加深一層的特征識別算法來解決。

從表3中的信息進行對比分析，本車牌號識別系統在一級識別和易混字識別的算法上都在同領域優勢算法的基礎上做了進一步優化和改進，在字符識別正確率方面，該車牌號識別系統在同領域較高識別正確率的基礎上又提高了約一個百分點，因此可以證明：本車牌號識別系統在算法上的優化和改進在提高識別正確率方面起到了顯著和積極的作用。

4 總結

本車牌號識別系統通過在一次識別時，對不同特征提取方式的優勢互補，在易混字符識別上通過多種識別方式的配合運用，有效提高了系統的綜合性能。然后，通過對待測樣本的識別測試和結果統計，該系統的識別正確率較文獻記載的最高正確率又提高了一個百分點，因此，通過試驗證明，該種優化和改進對系統的識別性能起到了顯著積極的作用。當然該識別算法仍存在一定不足，隨著技術的不斷改進和完善，車牌號智能識別系統一定能以更加成熟和穩健的步伐在交通管理控制領域掀起一場新的技術革命。

[1] 柴治，陶青川，余艷梅，等.一種快速實用的車牌字符識別方法[J].四川大學學報(自然科學版)，2002，39(3)：465-468.

[2] 施麗紅，劉剛.基于改進蜂群優化的圖像分割算法[J].電視技術，2016，40(2)：37-44.

[3] 李會民，張仁津.基于改進BP網絡的車牌字符識別方法研究[J].計算機工程與設計，2010，31(3)：619-621.

[4] 宋加濤，劉濟林.車輛牌照上英文和數字字符的結構特征分析及提取[J].中國圖象圖形學報，2002，7(9)：945-949.

[5] 中華人民共和國機動車號牌:GA36-92[S].[S.l.]:中華人民共和國公安部,1992.

[6] 王嘯晨，潘榕.基于圖像失真類型的自適應圖像質量評價方法[J].電視技術，2016，40(2)：137-140.

[7] 薛丹，孫萬蓉，李京京，等. 一種基于SVM的改進車牌識別算法[J].電子科技，2013，26(11)：19-23.

[8] 何兆成，佘錫偉，余文進，等.字符多特征提取方法及其在車牌識別中的應用[J].計算機工程與應用，2011，47(23)：228-231.

[9] 朱皓.基于易混淆字符集神經網絡的車牌識別算法研究[D].武漢：華中師范大學，2014.

劉飛鵬(1988— )，碩士生，主研圖像處理與智能識別；

沈希忠(1968— )，教授，主要研究方向為盲信號處理。

責任編輯：閆雯雯

Improvement of image processing algorithm in license plate recognition

LIU Feipeng，SHEN Xizhong

(ElectricalandElectronicEngineeringCollege，ShanghaiUniversityofInstituteandTechnology，Shanghai201418，China)

A design of license plate number recognition system with multi layer branch structure is introduced，which combines the advantages of template matching method， neural network method， support vector machine method， statistical feature extraction and structure feature extraction method. Firstly， this system classifies these characteristics into different classes， then match these classes with feature extraction and character recognition algorithm，and a fold recognition algorithm is also employed in it. With the help of the characters and branch recognition， the system performance achieves accurate and efficient identification. Finally， the experiment results and statistical analysis prove that the design perform better than other systems in the license plate number recognition.

license plate number recognition；image processing technology；confusable word recognition

上海市科委項目(15ZR1440700)

劉飛鵬，沈希忠.圖像處理技術在車牌號識別領域中的算法改進[J].電視技術，2016，40(12)：28-33. LIU F P，SHEN X Z. Improvement of image processing algorithm in license plate recognition [J]. Video engineering，2016，40(12)：28-33.

TN911.73

A

10.16280/j.videoe.2016.12.006

2016-04-20