基于深度學習的傾斜車牌矯正識別

李曉燃

?

基于深度學習的傾斜車牌矯正識別

李曉燃

（天津職業技術師范大學 汽車與交通學院，天津 300222）

車輛號牌矯正識別技術是交通系智能化體系中一項非常重要的基礎功能。拍攝的車牌圖像受到各種外部環境的影響而導致圖像質量受損嚴重，文中通過運用深度學習的霍夫變換改進算法，針對大角度傾斜的車輛號牌研究其矯正識別技術。首先，利用基于深度學習的特征提取和識別方法，解決車輛號牌中相似字符的分類問題。建立五層深度網絡，通過由底層向高層的順序，獲取歸一化處理后的圖像中相近字符特征，然后通過卷積函數提取出字符邊緣特征并完成差異性比較；其次，利用集成深度學習的不同層次的識別方法有效解決車牌圖片字符的識別效率問題。利用支持向量機完成對字符的統計和分類工作，通過卷積神經網絡對其進行識別優化，分析模糊相近字符并最終獲取車輛號牌識別圖像。最后，在充分利用區域范圍分劃和霍夫變換的車牌傾斜校正方法后完成大角度車牌的矯正和識別。實驗證明，采用文中方法能夠對百幅以上大角度傾斜車牌圖像實現有效矯正與識別。

深度學習；大角度；車牌識別

0 引言

我國改革開放40年的發展成果舉世矚目，工業化進程和國民生活水平也穩步提高，汽車也廣泛的走進了人們的日常生活，成為了不可或缺的出行工具[1-2]。到2017年末我國機動車保有量突破3.1億輛，其中新增車輛2304萬余輛，保有量增長再創新高[3]。這同時也給本就擁擠的城市交通帶來了巨大的壓力，目前的城市交通發展程度顯然滿足不了如此快速的機動車增長速度，導致城市交通的早晚高峰或惡劣天氣情況時的道路異常擁堵，且違章與事故頻發[4-5]。智能交通系統能夠有效解決上述問題，智能交通系統是集信息、圖像處理及數據輸送等多項技術的綜合，可自動對當前車輛實行監控并進行數據分析。在智能交通系統中，車輛識別技術被認為是其基礎及關鍵的功能之一[6-7]。車牌作為車輛的身份標志，容易受外部環境影響，光線照射不均勻、拍攝角度偏差大、圖像背景復雜及車牌污染損壞等。為使車輛唯一外部標識達到有效識別的目的，文獻[8]中提到部分學者利用數字圖像處理技術實現了車輛號牌的識別。第一步通過圖像分割找出車輛號牌位置，第二步通過匹配比較事先錄入的構造字符模板達到字符識別目的，最后自動識別出車輛號牌。文獻[9]中指出利用基于彩色圖像處理方法使HLS彩色模型的方法識別率提升到了最高91.25%，可是大量的數據計算導致其整體運算速度偏低。文獻[10]中提到在車輛號牌識別研究中運用了光學字符識別技術，車牌位置定位是通過梯度分析的方法完成的，號碼識別是通過模式匹配和模板以及啟發式的算法綜合達成的。這一方法在現實使用中的識別準確率和識別速度都有較大的提升，但是在實時性方面沒有實現相應的要求。充分研究了上文提到的方法中存在的問題，文中提出以深度學的霍夫變換改進方法為基礎矯正和識別大角度傾斜車輛號牌的方法。

1 基于深度學習的大角度傾斜車牌矯正識別過程

1.1 基于深度學習的多層次識別方法

車牌識別方法決定其是否可以準確快速地識別車牌號碼，一般識別過程為字符預處理、字符圖像特征提取及類別分析。文中首先針對車牌中存在相似字符問題進行分析，通過使用歸一化處理后的圖片，利用基于深度學習的特征提取法對車牌中相似字符實行特征提取，然后采用卷積函數對字符進行分類識別。

字符成功識別的一個重要前提即為圖像預處理。外界干擾因素直接影響號牌圖像中字符的識別，所以相應的圖像預處理工作非常重要且必要。歸一化處理分割過的單體字符，也就是統一按照特定尺寸要求對分割的字符進行縮放操作，這樣有利于進一步識別字符。

文中運用深度卷積神經網絡實現車牌中相似字符識別過程。運用反向傳播模式，對相似車牌字符圖像特征進行有效提取。卷積神經網絡的主要特點是具有卷積層和下采樣層的神經網絡，一些二維特征提取平面構成卷積層，在全部平面上分布較多神經元。由卷積核和偏置對輸入的數據進行卷積操作，再利用某個轉換函數獲取特征圖像；下采樣層是對上層輸出的特征映射圖進行池化操作。一般情況是先提取數據特征，將所有神經元連接到上一層相對局部區域，并提取該區域特征，然后通過移動使這一區域連接到新神經元，完成全部對應區域的特征提取。卷積過程完成了提取字符圖像對應全部位置上的特征，然后傳輸至下一層，保證字符特征采集的完整性，也突出所有字符特征的差異性，對后續字符識別而言意義重大。

下采樣層利用上層輸出數據進行后續的池化操作。經過下采樣步驟后，輸出和輸入相同個數的圖像特征點。下采樣層計算公式具體描述為：

其詳細過程為在深度卷積神經網絡的卷積層和下采樣層分別處理輸入字符，當層級由低到高變化時輸出特征會越來越抽象。通過層層提取相關特征，最終在高層得到抽象語義特征。

在識別車牌過程中，由于車輛號牌出現相似字符幾率大，基于此文中利用SVM完成字符的最初識別，之后將被SVM誤識別的相似字符通過深度學習算法完成再次識別，最終得出車牌號碼。在對車輛進行識別過程中，應先對車牌位置實行定位，文中運用顏色特征及圖像邊緣特征當作判定車牌的依據，并采用分類功能較好的支持向量機區分車牌區域與非車牌區域，以保證識別車牌的準確性。

經過將車牌彩色圖像轉化為HSV顏色空間的圖像后，車牌藍黃區域即可顯示，利用邊緣特征提取方法，對圖像中的車牌輪廓的矩形區域進行篩選，刪除比較小及比較大的區域。然而上述操作中包括非車牌矩形區域，因此需采用SVM分類器對上述矩形區域進行真偽判定。

運用Lagrange優化法使分類面優化問題變換成對偶優化，則可表述為：

最后可描述最優分類判別函數為：

通過上述過程利用先驗知識，結合對車牌的大小及長寬等因素的分析，可分辨出每個車牌區域及非車牌區域，由此篩選及分類后可提升識別的準確性。為提升對相似字符的識別準確率及效率，利用SVM進行第二次分類識別，文中結合數據集及深度學習，構建相似字符訓練集，并利用卷積神經網絡二次識別字符樣本。

1.2 基于區域分劃及霍夫變換的大角度傾斜車牌矯正方法

圖2 車牌垂直傾斜方式

垂直右傾：

垂直左傾：

綜上所述，文中通過運用深度學習的卷積神經多層次車牌識別法，首先針對相似字符車牌進行初步識別，再針對出現大角度傾斜情況的車輛號牌，通過運用以區域分劃和霍夫變換的改進方法完成大角度傾斜車牌矯正過程。具體該方法流程如下圖3所示。

2 實驗結果與數據分析

為檢測文中的基于深度學習的霍夫變換改進方法的有效性能，實驗選取150張車牌圖像，其中包括亮度與模糊度不同的多張大角度傾斜圖片，利用車牌定位處理后的圖片進行實驗，并與文獻[8]方法與文獻[9]方法所獲取結果進行比較。分別運用文獻[8]方法、文獻[9]方法及文中方法對大角度傾斜車牌圖像實行矯正識別，對比上述3種方法的識別準確率及效率，具體如表1數據所示。

觀察上表1，表中數據顯示，利用上述三種方法對大角度傾斜車牌圖像進行矯正處理，從車牌矯正正確率角度看，文獻[8]方法與文獻[9]方法的傾斜車牌矯正正確比例分別為89.65%和90.31%，而文中方法為98.50%，正確率較高；從車牌圖像平均矯正速度角度看，文獻[8]方法與文獻[9]方法的傾斜車牌矯正正確速度分別為0.542 s和0.468 s，文中方法平均矯正速度為0.146 s，基于深度學習的傾斜車牌矯正方法效率更高。

圖3 基于深度學習的霍夫變換改進方法

表1 大角度傾斜車牌識別準確度與效率

Tab.1 Accuracy and efficiency of large Angle tilting license plate recognition

從150張圖片中選擇一張傾斜圖片，如圖4所示，比較文獻[8]方法、文獻[9]方法及文中方法矯正傾斜車牌角度的性能，具體如圖4-圖7所示。

圖4 傾斜原始車牌

圖5 文獻[8]方法矯正識別后車牌

圖6 文獻[9]方法矯正識別后車牌

圖7 文中方法矯正識別后車牌

觀察圖4-7可發現，分別運用文獻[8]方法、文獻[9]方法及文中方法對大角度傾斜車牌進行矯正識別處理，標準矯正角度為±2°，采用文中方法對車牌進行矯正后符合該標準角度值，因此文中方法性能更優越。

3 結論

車牌是車輛身份的標志，由于多種外部原因導致對大角度傾斜車牌識別不準確，針對上述問題文中提出運用基于深度學的霍夫變換改進方法對傾斜車牌實現行矯正識別過程。對于車牌中存在相似字符問題，運用歸一化處理后的圖像通過卷積神經網絡提取圖像特征，并采用SVM方法對字符進行二次識別，再結合霍夫變換方法，最終完成對大角度傾斜車牌的矯正過程。

[1] 童鋒亮. 日常生活的交通解決方案[J]. 經營者(汽車商業評論), 2017(6):195-200.

[2] 白金國. 汽車與交通發展現狀及趨勢分析[J]. 時代農機, 2017, 44(4): 52-53.

[3] 沈后功, 周凱. 2015年全國機動車和駕駛人迅猛增長新增汽車1781多萬汽車保有量增長創歷史新高[J]. 汽車與安全, 2016(2):41-41.

[4] 石路仡, 王亞蘭, 鄧小杰,等. 城市交通擁擠的根本原因及對策分析[J]. 科技創新與應用, 2016(34): 12-13.

[5] 沈麗娜, 程介虹, 馮丹. 基于GPS軌跡數據進行分析改善城市交通擁擠[J]. 中國新通信, 2016, 18(21): 61-61.

[6] 陶永, 閆學東, 王田苗, 等. 面向未來智能社會的智能交通系統發展策略[J]. 科技導報, 2016, 34(7): 48-53.

[7] 曹晶. 新形勢下智能交通系統中的車牌識別技術研究[J]. 通訊世界, 2016(8): 272-273.

[8] 孫強. 數字圖像處理技術在智能交通中的應用[J]. 吉林工程技術師范學院學報, 2016, 32(7): 92-94.

[9] 孔祥斌, 常賀, 藍浩銘, 等. 基于Lab色彩空間和ANN神經網絡的車牌識別系統[J]. 軟件, 2017, 38(12): 5-9.

[10] 王波, 劉豐年. 基于粗糙集的快速車牌字符識別技術[J]. 軟件, 2010, 31(10): 44-48.

Identification of Tilting License Plate Correction Based on Deep Learning

LI Xiao-ran

(School of Automobile and Transportation, Tianjin Normal University of Vocational Technology, Tianjin 300222)

Vehicle plate correction and recognition technology is a very important basic function in intelligent system of traffic department. The image quality of the license plate image is seriously damaged due to the influence of various external environments. In this paper, we use the hough transform to improve the algorithm, and study the correction and recognition technology of the vehicle plate with large angle. Firstly, the feature extraction and recognition method based on deep learning is used to solve the classification problem of similar characters in vehicle number plates. A five-layer depth network is established to obtain the similar character features in the image after normalization processing through the order from the bottom to the top, and then extract the character edge features through convolution function and complete the difference comparison. Secondly, the recognition efficiency of license plate image characters is effectively solved by using different recognition methods of integrated depth learning. Support vector machine is used to complete the statistics and classification of the characters, which is identified and optimized through convolutional neural network, and the fuzzy close characters are analyzed and the vehicle license plate recognition image is finally obtained. Finally, the correction and recognition of large angle license plates are accomplished by using the method of region division and hough transform. Experimental results show that this method can effectively correct and recognize over 100 large Angle tilting license plate images.

Deep learning; Large angle; License plate recognition

TP391

A

10.3969/j.issn.1003-6970.2018.10.042

李曉燃(1992-)，男，碩士在讀，研究方向：數字圖像處理。

李曉燃. 基于深度學習的傾斜車牌矯正識別[J]. 軟件，2018，39（10）：215-219