基于改進的投影檢測車牌傾斜校正算法

褚慧君，朱宏輝，高 軍

（武漢理工大學 物流工程學院，湖北 武漢 430063）

基于改進的投影檢測車牌傾斜校正算法

褚慧君，朱宏輝，高 軍

（武漢理工大學 物流工程學院，湖北 武漢 430063）

針對Hough檢測法和旋轉投影法的缺陷，提出了一種基于改進的投影檢測車牌傾斜校正算法。首先通過水平投影與Hough檢測結合確定水平傾斜角，并且進行水平校正；然后利用垂直投影與Radon變換結合確定垂直傾斜角，以檢測到的垂直傾斜角對圖像進行垂直校正，最后對若干張傾斜車牌圖片進行實驗。實驗表明，改進算法相對經典的Hough檢測法、Radon變換法等有著更高的準確率和適用性。

傾斜校正；投影檢測；Hough檢測法；Radon變換

1 引言

交通運輸是物流系統中不可或缺的環節之一，智能交通系統更是各項研究中的主要課題。在智能交通系統應用領域中，車牌識別[1-2]是很重要的課題之一，車牌傾斜校正則是車牌識別中十分重要的一部分。在實際應用中，大部分道路監控攝像頭都是安裝在道路的兩側，因此由該類攝像頭拍攝出的視頻及照片中的車牌都存在一定的傾斜角度，為了提高后續車牌識別的準確率，需要對車牌圖像進行傾斜校正。

車牌傾斜可以劃分為車牌水平傾斜、垂直傾斜和混合傾斜[3]。目前校正車牌傾斜的方法主要有Hough檢測法[4-5]、Radon變換法[6-7]和旋轉投影法[8-9]等。但是每個方法都有其優缺點，如Hough檢測準確率受車牌邊框影響很大，邊框不完整時校正準確率很低；旋轉投影法需要將圖像旋轉一定角度再比較投影值大小，因此計算量比較大。而且單一方法不足以解決所有類型的車牌傾斜問題。近年來，越來越多的學者綜合兩種或以上的方法，建立新的算法模型來提高車牌傾斜校正的準確性和適用性。如陳航等[10]將最小二乘法與Radon變化結合，通過最小二乘法來確定車牌特征點的最佳擬合直線來獲取水平傾斜角；Kaushik等[11]將直線擬合與最小方差投影結合來找到最小方差的直線來確定最佳傾斜角；尚曉波等[12]將Radon變換和HSV彩色模型結合，使用HSV模型對車牌區域顏色進行提取，并使用Radon變換求取傾斜角；朱亞萍等[13]融合Radon變換和旋轉投影法，試圖尋找出一個中間值來確定Radon變換和旋轉投影法最佳適用范圍，從而提高垂直傾斜校正準確率。

針對Hough算法不能檢測邊框不完整的車牌情況以及旋轉投影法計算復雜等問題，本文提出以下改進：（1）將水平投影與Hough檢測結合來確定水平傾斜角；（2）垂直投影與Radon變換結合來確定垂直傾斜角，以提高校正算法的適用性和準確率。

2 車牌傾斜變換模型

在車牌識別系統中，在進行車牌傾斜校正之前，需要對圖像進行車牌粗定位，在確定出車牌位置之后，再判斷車牌是否存在傾斜角。因此，本文測試的車牌圖像都是經過粗定位之后的車牌圖像。

由于拍攝角度的不同，車牌會出現不同程度的失真，因此，需要對其進行校正。本文將車牌圖像看作一個m×n矩陣（圖像高為m，寬為n），本文后續的處理都是以矩陣為基礎。水平傾斜和垂直傾斜都可以作為混合傾斜的特例，因此本文將只考慮混合傾斜這一種情況。

假設待校正的傾斜車牌矩陣為A，將其水平傾斜校正后的車牌矩陣為B，最后進行垂直校正，得到正常的車牌矩陣C。將矩陣A中第y行第x列值用坐標(x,y)來表示，水平校正后的位置用(x',y')表示，垂直校正后的位置用(x'',y'')來表示，其中(x',y')表示A中點在矩陣B的對應位置，(x'',y'')表示A中點在矩陣C的對應位置，變換關系見式（1）和式（2）。傾斜車牌之間的變換關系如圖1所示，矩陣之間的變換關系見式（3）：

式中，α為水平傾斜角度，β為垂直傾斜角度。

圖1 車牌傾斜變換示意圖

3 算法分析

車牌傾斜校正是車牌識別系統中很關鍵的一部分，其結果直接關系到車牌分割的效果。目前，常用的水平校正的算法主要有：（1）Hough檢測法；（2）主元分析法[14-15]；垂直校正的算法有：（1）Radon變換；（2）旋轉投影法。

Hough檢測法主要是在車牌粗定位之后，通過對邊緣檢測后的圖像進行最長直線檢測，將最長直線（正常情況下是指車牌邊框）的傾斜角作為水平傾斜角，但是在車牌邊框不完整或沒有邊框時，檢測效果很不理想甚至出現錯誤；主元分析法主要是求圖像數據集的主元分量和變換矩陣來校正圖像，但是它對圖像的二值化處理要求比較高；Radon變換主要求圖像在不同方向上的線積分，通過比較該值來確定最優解；旋轉投影法主要是將圖像按坐標軸旋轉，并比較投影的大小來確定最優解，由于是逐步尋優的過程，因此計算量較大。

針對Hough檢測法在車牌邊框不完整時校正準確率低的問題，本文將水平投影與Hough檢測結合，以保證算法在車牌邊框不完整時也能有比較理想的檢測效果，改進算法步驟如下：（1）車牌圖像預處理，使用Hough算法檢測直線；（2）判斷檢測直線是否正確，若正確，則將檢測角度作為水平傾斜角校正圖像；（3）若不正確，則將圖像旋轉一定角度進行水平投影，比較投影的最大值，確定水平傾斜角。

針對旋轉投影法計算量大的問題，本文改進算法將垂直投影與Radon變換結合來確定垂直傾斜角，減小了計算量，改進算法步驟如下：（1）對水平校正后的圖像進行Radon變換，比較每個角度上投影的絕對值累加和，確定傾斜角；（2）判斷檢測傾斜角是否正確，若正確，則將檢測角作為垂直傾斜角校正圖像；（3）若不正確，通過旋轉圖像比較垂直投影大小確定垂直傾斜角。

4 校正算法研究

4.1 水平校正算法研究

本文對Hough檢測法進行了改進，將水平投影與Hough直線檢測結合來判定車牌的水平傾斜角度。為了防止在車牌粗定位時出現邊框不完整，導致檢測出的水平傾斜角有誤情況的發生，本文通過水平投影的最大值來判斷Hough檢測的直線是否正確。若不正確，計算一定角度內的水平投影值，比較投影的最大值，來確定水平傾斜角α。改進的算法在一定程度上減少了單一使用投影法的計算復雜度，又提高了Hough檢測的準確率。考慮到車牌偏轉的實際情況，設定水平傾斜角在±30°范圍內。水平校正的算法流程圖如圖2所示：

圖2 水平傾斜校正算法流程圖

在車牌預處理部分，本文使用canny算法作為邊緣檢測算法。與其他邊緣檢測算法相比，canny算法的穩定性更好[13]。由于輸入的圖像是車牌粗定位后的圖像，在車牌邊框保留完整下，使用Hough檢測直線，獲得圖像的水平傾斜角，為了驗證水平傾斜角的準確性，將圖像按照檢測的角度旋轉，再得到投影值，比較±2°范圍內的投影最大值，確定水平傾斜角是否正確。校正后圖像的投影圖呈現出一定的特性，比如在字符集中區域，顯示的是連續平緩的曲線，而在車牌邊框區域，會顯示比較尖銳的曲線。圖3是使用canny檢測后圖像與水平校正后圖像的投影對比圖。而對于車牌邊框不明顯的圖像，本文則利用投影法來找到水平傾斜角。結合圖1（a）的變換模型和圖3的投影最大值，在存在傾斜角的情況下，車牌的寬度小于水平情況下的寬度，通過投影的最大值大小可以確定水平傾斜角。

從圖3中，可以看出校正前后投影圖的明顯變化，未校正前的圖像投影未有很明顯的特征，而在校正后圖像的投影中，可以看到車牌字符區域的連續平滑變化，在車牌邊框區域的尖銳變化，而且傾斜情況下的投影最大值明顯小于校正后的投影最大值。

圖3 canny圖像校正前后投影圖

4.2 垂直校正算法研究

本文將垂直投影與Radon變換結合作為檢測垂直傾斜角的基本方法。Radon變換就是圖像在特定角度上的投影，簡單來說，Radon變換就是圖像在不同方向上的投影，數學上是按投影方向進行線積分，在圖像領域就是按照投影方向累加像素值，變換原理見式（4）。

垂直投影是將二值化的圖像按角度仿射變換后，對新的圖像進行列投影，通過比較不同角度下垂直投影的最大值，來確定垂直傾斜角的大小。本文通過對這兩種方法的分析與比較，來得到更為精確的垂直傾斜角。由于計算垂直投影值需要對每個可能的角度進行仿射變換，計算量比較大，因此本文先使用Radon變換確定偏轉角度，再使用垂直投影對偏轉角度進行進一步的判定分析。除此之外，為了達到更好的校正效果，當Radon檢測的角度不是最佳時，將垂直投影得到的β1與Radon變換得到的傾斜角β0做差，當其差值在一定的閾值范圍內，取兩者平均作為最終傾斜角β。垂直傾斜角校正算法的流程圖如圖4所示：

根據車牌傾斜模型，得到垂直傾斜角β之后，根據式（5），可以將圖像校正，其中圖像高為m，寬為n；水平校正后像素點位置(x',y')，垂直校正后像素點位置(x'', y'')。

圖4 垂直傾斜校正算法流程圖

5 實驗結果與分析

本文使用粗定位后的圖像作為原始輸入圖像，在window7系統上使用MATLAB軟件，對若干張圖像進行傾斜校正實驗。本文測試的圖片中有30張是無傾斜車牌（下文假設為A類傾斜車牌），將其進行水平和垂直傾斜后得到的混合傾斜的車牌，有142張是來自于網絡中各種傾斜的車牌（下文假設為B類傾斜車牌），共對172張不同大小、不同傾斜角度和不同清晰度的車牌進行試驗，并將試驗結果與Hough檢測法、Radon變換法進行比較。

5.1 水平校正結果

（1）所有車牌水平檢測結果見表1：

表1 水平校正結果

從表1中可以看出，本文算法檢測的準確率比單一的Hough檢測法要高的多，由于程序會對Hough檢測的結果正確與否進行判斷，因此所耗用的時間也相對較多。通過實驗發現，時間主要消耗在圖像的顯示上，實際代碼運行消耗時間并不多，因此與檢測準確率相比，時間的消耗還是可以接受的。A類傾斜圖像邊框完整，而且是無傾斜圖像經過旋轉變換之后得到的圖像，通過A類的檢測結果可以判斷傾斜角的正確性，A類圖像傾斜角檢測對比如圖5所示：

（2）改進算法在車牌邊框完整和邊框不完整（包括沒有邊框）情況下的水平校正結果見表2：

從表2可知，Hough檢測在邊框完整下檢測成功率遠遠大于邊框不完整時，而本文算法在邊框不完整或無邊框時也能保持很高的準確率，適用性和準確率都有很大提升。

（3）針對車牌的大小不同，在實驗時將車牌分為大、中、小三個尺寸等級，不同尺寸下車牌水平校正的結果見表3：

從表3可知，Hough檢測法在車牌圖像尺寸較大時檢測準確率最低，在中小尺寸圖像中準確率也相對較低，而本文算法則能在大、中、小各個尺寸圖像中均保持較高的準確率，由此可知，算法的適用性和準確率都很好。

從實驗結果可知，本文算法檢測出的傾斜角與實際偏轉角之間偏差很小，而且在不同車牌圖像下都能保證很高的準確率，適用性得到明顯改善。將檢測出的傾斜角作為校正角度進行校正，部分校正結果如圖6所示：

圖5 A類圖像檢測傾角與實際偏轉角對比圖

表2 邊框不同條件下水平校正結果

表3 尺寸不同條件下水平校正結果

5.2 垂直校正結果

（1）垂直傾斜角的精度為1°，因此對垂直傾斜校正的正確與否通可以過肉眼來判定。對131張水平校正后的圖像進行垂直校正，垂直校正結果見表4。

圖6 水平校正效果果圖

表4 垂直校正結果

從表4中，與Radon變換求垂直傾斜角相比，本文算法在準確率上有了很大的提高，由于對Radon變換得到的傾斜角有一個驗證準確與否的過程，因此程序運行時間比Radon變換長，但是由于要顯示多幅圖像以確定算法效果，所占用的時間較多，因此就算法來說，本文算法是可取的。

（2）針對不同尺寸的車牌圖像進行了垂直校正，在實驗時將車牌分為大、中、小三個尺寸等級，不同尺寸下車牌垂直校正的結果見表5：

表5 尺寸不同條件下垂直校正結果

從表5中可知，在不同尺寸圖像下，本文算法的準確率遠遠大于Radon變換的準確率，而且本文算法在各種尺寸下的成功率沒有大幅度變換，檢測結果穩定，適用性較強。

綜合以上實驗結果，本文算法與單一的Radon變換相比，準確性和適用性得到了很大提高，將檢測出的角度進行垂直校正，校正結果如圖7所示：

圖7 垂直校正效果圖

6 結語

本文將投影檢測引入到Hough檢測和Radon變換中進行算法改進，改進算法對傾斜圖像的校正準確率與單一算法相比有了很大提升，特別是對于邊框不完整的車牌校正，改進算法完全彌補了Hough檢測在邊框不完整情況下的缺陷，在測試圖像中展現了很好的校正效果。通過圖像校正實驗，可以看出本文算法提高了車牌校正的準確性和適用性，能夠在不同程度的傾斜圖像校正中保持很高的準確率。

[1]高軍,朱宏輝.數字圖像處理技術在車牌識別系統中的應用[J].計算機光盤軟件與應用,2014,(4):18-20.

[2]Du S,Ibrahim M,Shehata M.Automatic License Plate Recognition(ALPR):A State-of-the-Art Review[J].IEEE Transactions on Circuits and Systems for Video Technology,2013,23(2): 311-325.

[3]貢麗霞.車牌識別系統中的牌照定位及傾斜校正技術研究[D].太原:中北大學,2010.

[4]梁添才,皮佑國,彭晶,等.基于Hough變換的列車客運票圖像傾斜校正[J].華南理工大學學報(自然科學版),2007,35(5):35-40.

[5]Arulmozhi K.A Centroid based Hough Transformation for Indian license plate skew detection and correction of IR and color images[A].IEEE International Conference on Computational Intelligence and Computing Research[C].2012.

[6]徐瑞.Radon變換在車牌傾斜校正中的應用[J].信息科技, 2009,(12):146-147.

[7]Gong L X,Hu H P,Bai Y P.Vehicle license plate slant correction based on mathematical morphology and Radon transformation[A].The 6th International Conference on Natural Computation[C].2010.

[8]吳一全,丁堅.基于邊緣點投影方差最小的車牌傾斜校正方法[J].系統仿真學報,2008,(21):5 829-5 832.

[9]Wang M,Wang G H.An Optimization Algorithm of Vehicle License Plate Correction Based on Minimum Projection Distance[A].The 9th International Conference for Young Computer Scientists[C].2008.

[10]陳航,李曉東,李云紅,等.基于最小二乘法和Radon變換的車牌校正算法[J].西安工程大學學報,2015,29(4):404-409.

[11]Deb K,Vavilin A,Kim J W et al.Vehicle license plate tilt correction based on the straight line fitting method and minimizing variance of coordinates of projection points[J].International Journal of Control,Automation and Systems,2010,8 (5):975-984.

[12]尚曉波,楊成忠,王楠楠.基于Radon變換和HSV彩色模型的傾斜車牌校正[J].工業控制計算機,2015,28(4):116-117.

[13]朱亞萍,田呈培,楊成忠,等.融合Radon變換與旋轉投影的車牌垂直校正方法[J].杭州電子科技大學學報(自然科學版),2015,35(3):48-51.

[14]劉少梅,楊鼎才.基于最小二乘法和主元分析的車牌傾斜校正方法[J].電子測量技術,2008,(4):49-51.

[15]黃驥,吳一全.基于顏色對特征點主成分分析的車牌校正方法[J].中國圖象圖形學報,2008,(4):642-647.

Improved Tilt Correction Algorithm for Shadowgraph Detection of License Plates

Chu Huijun,Zhu Honghui,Gao Jun
(School of Logistics Engineering,Wuhan University of Technology,Wuhan 430063,China)

In this paper,in view of the inadequacy of the Hough detection process and the rotatory projection method,we proposed an improved tilt correction algorithm for the shadowgraph detection of license plates.First,through horizontal projection and Hough detection, we determined the horizontal angle of the tilt and carried out the horizontal correction;then by combining the vertical projection with the Radon transformation,we detected the vertical angle of the tilt and had the vertical correction.At the end,we tested the process on multiple pictures of tilted license plates which praved its accuracy and applicability.

tilt correction;projectiondetection;Houghdetection process;Radon transformation

F253.9;U116.2

A

1005-152X(2017)01-0089-05

10.3969/j.issn.1005-152X.2017.01.018

2016-11-20

褚慧君（1993-），女，安徽六安人，碩士，研究方向：分布式感知、協同技術。