車牌檢測與識別算法研究

鄭 琳，王福龍

(廣東工業大學 應用數學學院，廣州 510520)

0 引 言

迄今為止，車牌識別技術已研究多年，雖在計算機視覺領域，車牌識別技術已經做了大量的工作，但還沒有真正成熟的運用到高速交通管制、刑事偵查等領域。如何在實際情況中快速準確的識別車牌仍然是一個具有挑戰性的課題。

目前，針對車牌定位的方法主要有：基于顏色與紋理的定位方法[1]，該方法主要利用車牌顏色信息和車牌區域呈現特定的紋理特征來定位，但對于車牌底色與車身相近或車身包含廣告語的車輛定位效果較差；基于數學形態學的定位方法[2-3]，該方法主要是利用開、閉運算處理圖像來定位車牌，開、閉運算的處理主要依賴于結構元的選取；基于圖像視覺特征的定位方法，諸如SURF特征、SIFT特征、HAAR特征等[4-7]，這類方法通常需要考慮特征維數以及信息冗余問題；基于多特征融合的定位方法[8-9]，相對于利用單一特征定位車牌，多特征融合的定位方法魯棒性較高；基于神經網絡的定位方法[10-11]的計算能力強大，但由于模型的復雜性以及龐大的計算量，需要云端服務器處理數據，計算成本較高。

字符分割的主要方法有：基于連通域的分割[12-14]，該方法根據字符的連通性標記目標像素后，與相鄰像素的值對比來分割字符，但是歸并標記運算量大，易出現像素的重復標記；基于投影法的分割[15-18]方法，主要是統計二值化后車牌字符的波峰、波谷排列信息確定字符左右邊界。該方法需要去除車牌螺帽的干擾，對字符區域存在粘連、模糊或遮擋的情況分割效果較差；基于模板匹配的分割[19-20]方法是基于車牌模板特性，尋找字符區域與字符間隙區域像素點的最大差值分割字符，對車牌尺寸規范要求高。字符識別研究的主要方法有：特征提取法[21-24]，通過提取待識別字符的特征與字符庫中的特征匹配得到識別結果。該方法可提取到字符的顯著特征，但提取特征過程中圖像變換易導致特征丟失，且提取到的字符特征維數較高，耗時長；模板匹配法[25-27]，通過重合度函數度量待識別字符與標準字符的相似度，取相似度最大的樣本作為識別結果。該方法應用廣泛，但難以區分相似字符；神經網絡法[28-32]，通過學習大量車牌樣本，將得到的樣本特征匹配待識別車牌。該方法對數據的計算能力強大，且識別能力依賴收集的大量車牌樣本，訓練樣本消耗的時間較長。

1 車牌識別技術研究方法分類

車牌識別工作有其區域性特色，各個國家的車牌特征各有不同。據統計，大部分國家的車牌由阿拉伯數字、英文字母與本國的文字組成，一部分國家或地區的車牌由阿拉伯數字和英文字母組成。現有的車牌識別方法可分為兩大類：一類是分割字符的車牌識別，主要由車輛圖像預處理、車牌區域定位、車牌字符分割和車牌字符識別4部分組成，其識別流程如圖1所示；另一類是免分割的識別，即端到端的識別，其識別流程如圖2所示。

圖1 基于分割的識別流程

圖2 免分割識別流程

車牌識別的難點主要包括以下幾個方面：

(1)車牌檢測識別算法在移動設備中的部署成本，設備與車輛的距離和相機的變焦系數。

(2)車輛包含廣告標語，車身顏色與車牌顏色相近。

(3)車牌傾斜、畸變、模糊；車牌部分被遮擋、字符粘連、缺損或斷裂。

(4)字符結構特征難以提取，字符相似性高。

(5)多數車牌識別工作針對特定國家的車牌，限制了實際應用性[33]。

2 圖像預處理

獲取到車牌圖像，由于受天氣、光線強度、攝像機與車輛之間的距離、車牌自身磨損等因素影響，圖像存在模糊、對比度低、噪聲干擾等問題。在對采集的圖像進行定位檢測之前，需要進行圖像的預處理。圖像預處理主要包括濾波去噪、圖像灰度化、邊緣檢測、圖像二值化和傾斜校正等。

濾波操作主要用于圖像去噪，濾波的形式有多種，如均值濾波、中值濾波、雙邊濾波等，中值濾波對圖像中椒鹽噪聲的抑制效果好，又能保持圖像的邊緣清晰，一般選用中值濾波對車輛圖像去噪。考慮到三通道圖像數據的復雜性，要將車輛原圖灰度化，圖像灰度化操作通過RGB三通道的數值加權計算。灰度化公式如式(1)：

Gray=r×0.299+g×0.587+b×0.114

(1)

得到灰度化圖像后，用閾值將圖像像素點的灰度值設置為0或255，使整個圖像呈現明顯的黑白效果，區分目標和背景，該過程即圖像二值化。其中，選取閾值的主要方法有：OSTU法、迭代閾值法和局部閾值法等，車牌識別技術中常采用OSTU法。為精確提取車牌區域的邊緣特征，常用微分算子對圖像進行銳化處理，使圖像的灰度反差增強，突出邊緣部分[34]。一階微分算子和二階微分算子得到的圖像邊緣各不相同，相較于一階微分算子，二階微分算子能提取到豐富的紋理信息，得到較細的雙邊緣，銳化效果更好。

2.1 車牌檢測方法分類

車牌定位是指從視頻流中檢測出車牌區域，或直接從移動設備拍攝的車輛圖像中提取車牌區域，車牌定位的準確性直接影響車牌的識別結果。顏色和紋理是車牌圖像的兩個重要特征。顏色特征描述車牌的顏色通道數據信息，紋理特征刻畫圖像中重復出現的局部模式和排列規則。在車牌定位階段，通常需要利用車牌的顏色和紋理信息來提取車牌區域，而單一的車牌特征信息不利于精確提取車牌區域。因此，多數定位方法通過多種算法結合定位車牌區域。

2.1.1 數學形態學

數學形態學運算在圖像處理中常用于分析物體的幾何形狀和結構，由形態學的代數運算子組成。基本的形態學運算子有：腐蝕、膨脹、開運算和閉運算[35]。該算法的缺點是不能精確找出車牌左右邊界。

開運算：先腐蝕后膨脹，可消除細小物體，平滑較大物體邊界時，不明顯改變面積大小。

X°S=(XΘS)⊕S

(2)

閉運算：先膨脹后腐蝕，可去除物體內部的小孔，平滑物體邊緣輪廓，填補斷裂輪廓線。

X·S=(X⊕S)ΘS

(3)

2.1.2 離散小波變換[26]

圖像處理中通過二維離散小波變換將低頻和高頻信號分離，達到圖像增強的目的。圖像大小為M×N的離散小波變換如公式(4)。

(4)

其中，j0為任意初始尺度；Wφ(j0,m,n)為j0的近似系數；φj0,m,n(x,y)為尺度函數。

2.1.3 SURF算法

SURF算法是一種局部特征提取算法，具有尺度、旋轉不變性。該算法主要分為4部分：

(1)計算積分圖像，即計算圖像中矩形區域內所有像素點之和。

(2)構造Hessian矩陣，這是SURF算法的核心部分，目的是為了生成圖像的突變點，用于特征提取。Hessian矩陣定義如式(5)所示：

(5)

式中，Lxx為高斯二階偏導Gxx與圖像I(x,y)的二維卷積，Lxy，Lyy與Lxx含義類似，g(x,y)為高斯函數[5]。當矩陣判別式取局部極大值時，判定當前點是比周圍鄰域內其它點更亮或更暗的點，據此定位特征點。

(3)確定特征點主方向。Hessian矩陣初步得到特征點后，統計特征點鄰域內60°扇形內HAAR小波響應總和，取響應總和最大時扇形的方向為特征點主方向。

(4)構造SURF特征進行匹配。在特征點周圍取一個4*4的矩形區域塊，每個子區域統計25個像素水平和垂直方向的HAAR小波特征，得到64維特征描述符，最后通過計算特征點間的歐式距離進行配準。

2.2 字符分割法

字符分割是指在定位出的車牌區域中把每個字符切割出來，車牌中常用的分割算法主要有：基于連通域的分割、基于投影的分割和基于模板匹配的分割。

(1)連通域分割法。基于連通域的算法主要分為兩大類：一類是從局部到整體檢查連通域，確定“起點”，再標記周圍鄰域；另一類是從整體到局部，先確定不同的連通域成分，再用區域填充的方法標記連通域[12]。車牌字符中的阿拉伯數字和英文字母都有較好的連通性。掃描車牌的二值圖像，提取值為“1”的像素點，用不同的數值標記不同的連通域，與相鄰像素點的值對比后切割字符[14]。這種分割方法在字符破損、粘連或存在噪聲等情況時無法有效分割字符，且難以解決漢字的分割問題。

(2)投影分割法。投影分割法分為水平投影分割和垂直投影分割。這種方法主要根據車牌字符固定規格的間隙來分割字符。其基本思想是：對二值化車牌的白色像素進行水平和垂直方向上的統計，根據字符區域白色像素點多，字符間隙區域白色像素點少的特點，檢測字符間白色像素點個數的波谷分割字符[36]。這種分割方法對變形程度較輕的車牌分割效果好，但對模糊、損壞的字符分割效果較差。

(3)模板匹配分割法。模板匹配分割法的基本思想：確定車牌模板后，在字符圖像上從左至右滑動，確定字符上下邊界的車牌圖像，以模板字符寬、高為標準，求得字符區域與間隙區域白色像素的最大差值分割字符。該算法是基于車牌模板特征的算法，能有效解決漢字不連通問題。

2.3 字符識別方法分類

車牌字符識別算法可分為兩大類：一類是識別分割好的車牌字符；另一類是直接識別定位好的車牌，即端到端的識別。車牌識別算法主要分為以下3類。

(1)模板匹配法。這是一種經典的模式識別算法，需要先根據車牌字符類型建立完整的字符模板庫，然后通過重合度函數度量車牌字符與樣本字符的相似度，取最大相似樣本作為識別結果，重合度函數如式(6)所示[25]。該算法實現簡單，具有一定的容錯性，但識別效果易受光照影響，對相似字符的區分能力差。

(6)

式中，f為模板二值圖；g為車牌二值圖；兩者二值圖尺寸相同，均為M×N；Tf和Tg分別為模板字符二值圖像和車牌字符二值圖像中數值為1的像素個數；符號Λ為與運算。

(2)特征提取法。車牌字符的結構特征分類效果顯著，從被切割和歸一化處理后的字符中能提取到體現字符特性的特征向量。特征提取法提取字符的統計特征，再通過判決函數對車牌字符進行識別。特征提取方法包括：逐像素特征提取法、骨架特征提取法、垂直方向數據統計特征提取法、弧度梯度特征提取法等。其中，逐像素特征提取法是指對圖像進行逐行逐列的掃描，取黑色像素特征值為1，白色像素特征值為0，最終形成維數與圖像中像素點的個數相同的特征向量矩陣。這種方法可提取到分類顯著的特征，但提取特征耗時較長。

(3)神經網絡法。神經網絡算法發展至今，已經從傳統的人工神經網絡(Artificial Neural Network, ANN)發展到如今的卷積神經網絡(Convolutional Neural Network, CNN)、生成對抗網絡(Generative Adversarial Network, GAN)等。使用神經網絡算法識別車牌最大的難點在于：神經網絡需要大量樣本進行訓練，由于各個國家的車牌規格存在差異，車牌通用性不高，車牌樣本不足[31]；神經網絡模型復雜的網絡結構保證了強大的計算能力，同時也不可避免的導致了數據過擬合、梯度消失等問題，且龐大的網絡模型限制了在車牌識別所需移動設備中的部署。

3 車牌檢測與識別算法的分類

3.1 基于車牌檢測的算法

文獻[1]中提出，首先利用車牌顏色信息得到候選區域，再利用車牌底色與字符間的搭配特性去除偽車牌，最后根據車牌字符的先驗知識，驗證得到的區域是否為車牌。該算法可在交通視頻截取的圖像中定位多個車牌，白天和夜晚平均定位準確率為95.01%，平均定位時間為763.49 ms。文獻[9]中則先將整幅圖像劃分為小單元，計算小單元的邊緣密度，根據其邊緣密度分布和車牌尺寸大小過濾背景區域；再用形態學操作算子(高帽與低帽運算)提取候選區域，利用霍夫變換確定精確位置；最后通過模板匹配法，判斷得到的車牌區域是否為數字與字母來去除誤檢區域。該算法的定位準確率為97.9%，平均定位時間163 ms。文獻[8]在小波變換的基礎上，用Sobel垂直檢測算子邊緣檢測，根據車牌結構的先驗知識連接邊緣檢測中的水平躍變點提取車牌候選區域；最后用縱向條帶滑動窗口和句法評判函數去除偽區域，句法評判函數如式(7)。該算法在夜晚和大霧天氣的定位率分別為96%和97%，定位耗時分別為79 ms和65 ms。文獻[5]中先將車輛RGB圖像轉換到HSL顏色空間，再對二值化后的圖像做形態學腐蝕和膨脹操作，連通相鄰的非連通區域，然后結合車牌的先驗知識篩選出候選車牌區域，最后利用SURF算法實現圖像配準，實現車牌的精確定位。文中利用車牌的多種特征提取候選區域，可以減少后續步驟中SURF算法特征匹配的次數，降低匹配時間，提高算法的實時性。該算法定位準確率達到了96.5%，平均定位時間為740 ms。表1為近3年來車牌定位算法常用方法分類。

表1 車牌定位算法對比

(7)

在車牌檢測定位的諸多算法中，大部分定位車牌的算法都表現出了良好的性能。文獻[7]和文獻[11]中提出的算法不受車牌顏色以及先驗知識的限制，可對不同國家、不同地區的車牌進行定位。文獻[1]和文獻[4]中提出的算法能在擁擠的交通道路中實現多車牌定位。其中，文獻[4]對車牌的定位率達到了98.96%，但由于采用算法受車牌顏色以及先驗知識的限制，只能對中國的藍色車牌進行多車牌定位，且在交通道路視頻中截取的圖像中車輛過多、車牌尺寸過小、車牌污損、車牌老化等情況，會導致該算法產生車牌漏檢。文獻[1]能夠在夜晚光線較差的情況下實現多車牌的定位，且定位率達到了93.78%，但由于該算法處理的圖像像素為2 592*2 096，所以該算法的定位時間較其它算法耗時較長。該算法一個大的優點就是不需要手動設置閾值范圍，而是通過自動確定亮度條件來決定使用全局閾值法還是自適應閾值法來設置閾值。同樣，該算法也因為顏色以及先驗知識的限制，只能對中國地區藍色和黃色的車輛牌照實現多車牌定位，也不適用于因污損或彩色光而改變顏色的車牌的定位。

3.2 基于字符分割的算法

文獻[18]主要基于車牌字符粘連、斷裂和被遮擋的條件下分割車牌字符。其先采用投影法粗分割字符，根據車牌字符的先驗知識將粗分割得到的字符塊分成3類：非合并塊、合并塊和不確定字符塊。合并塊按既定準則合并，不確定字符塊和粘連字符塊根據模板匹配法二次分割。該算法可分割部分人眼難以分辨的遮擋字符，分割時間只需10 ms左右。文獻[13]主要采用連通域方法來分割字符。先對車牌二值圖像做4鄰域連通區域標記，通過寬、高篩選和同高篩選方式得到字符特征區域。大量的特征篩選會導致車牌字符出現信息缺漏，文中根據車牌模板特點設計了填補方案補全缺漏字符，同時利用投影法界定字符邊界。字符分割算法的文獻對比情況見表2。

表2 字符分割算法對比

3.3 基于字符識別的算法

文獻[23]通過提取車牌二值字符圖像上的外輪廓特征(ET1特征)與內部結構信息(DT12特征)，經主成分分析法(PCA)，將特征向量降至50維后，再進行識別。該算法對數字和字母字符的識別精度分別為99.37%、99.35%，平均耗時分別為2.1 ms、1.52 ms，適用于數字和字母組成的車牌。文獻[24]中的算法，提取原始字符的4個尺度不變特征，在級聯的特征向量上選用F-score法降維后，送入支持向量機分類器中識別，該算法在高速公路圖像中對車牌的識別率為97.6%。文獻[26]提出了一種頂帽重構的方法，解決車牌圖像中不均勻照度的問題。頂帽重構是數學形態學中的一種變換，是形態學中原圖像與開運算的結果圖之差。形態學的開運算操作是先腐蝕再膨脹，這種運算放大了裂縫或局部最低亮度的區域，可去除圖像中較小的亮點。但開運算的膨脹過程會導致字符變形，因此文中使用重構代替膨脹作開運算。作者在車牌字符識別階段采用全局相似度函數進行模板匹配，但由于模板匹配法對相似字符的識別能力較差，文中未提取字符的特征信息，車牌的識別率為77.86%，識別時間為15.35 ms。文獻[30]中設計了一個改進的6層CNN模型，用來提取圖像中的特征信息。根據提取的特征信息，采用雙向遞歸神經網絡(Bidirectional Recursive Neural Network, BRNN)識別特征，最后利用連接時序分類(Connectionist Temporal Classification, CTC)對BRNN的輸出解碼翻譯，得到識別結果。文中提出的6層CNN模型融合了第4層和第6層卷積層，在融合時使用了平均池進行池化運算。改進后的模型提取的特征更大程度的保留了車牌字符的信息，提高了識別性能。以平均17.53 ms的速度識別220*70像素的車輛圖像，識別率為96.62%。文獻[31]的核心思想就是使用Wasserstein 距離損失，衡量卷積生成對抗網絡中的損失函數，結合深度可分離循環卷積神經網絡，識別免分割的車牌圖像。文中使用 Wasserstein 距離作為一種新的標準，衡量卷積生成對抗網絡中生成器和判別器兩種分布的距離，在判別器的最后一層添加一個全連接層來實現操作，圖3為文中生成對抗網絡示意圖。文中采用深度可分離卷積得到車牌的特征信息，深度可分離卷積將標準卷積分成深度卷積和逐點卷積。其中，深度卷積在每個通道上起到濾波作用，逐點卷積負責通道的轉換，作用在深度卷積的輸出特征映射上，圖4為深度可分離卷積示意圖。文獻中采用的算法解決了實際情況中車牌訓練樣本不足的問題，降低了網絡參數的計算量，壓縮了網絡模型大小。表3為模式識別算法的文獻對比情況，表4所列為近4年神經網絡識別算法的對比情況。

表3 模式識別算法的對比

表4 神經網絡識別算法對比

圖3 生成對抗網絡示意圖[31]

(a)標準的3D卷積核 (b)深度卷積核 (c)逐點卷積

在車牌識別技術的諸多研究中，對于質量較好的車輛圖像，大部分識別算法都有著較高的識別性能。總結以往的研究工作，仍存在一些問題需要解決：

(1)對于被遮擋和斷裂的車牌字符仍未找到好的解決方式。

(2)對于模式識別算法，應尋求識別模糊程度更高的車牌。

(3)神經網絡算法中的網絡模型相當于一個“黑盒”，把圖像輸入網絡模型，得到識別的車牌。在這個過程中，無法對模型進行“解釋”，靈活性不足，得到車牌信息時極大的依賴于大量的訓練試錯。此類算法依舊需要考慮的是如何解決訓練樣本、模型部署、梯度消失，對系統性能的影響問題。

(4)對于可達到較好性能且相對簡單的網絡結構，較好的解決了訓練樣本的生成問題，但對于車牌紋理豐富的圖像，生成的樣本質量有待提高。

4 結束語

本文對車牌檢測與識別算法進行了全面回顧，重點關注了車牌定位與字符識別算法的研究。給出了圖像預處理、車牌定位、字符分割和字符識別步驟的介紹，并對各個步驟的方法和優缺點進行了闡述。研究表明，大部分定位與識別算法表現出良好的性能。在實際的交通道路應用中，常出現交通擁擠，車流量過大、車速過快等情況。因此，對于算法在移動設備中的部署、識別率以及實時性有著極高的要求。模式識別算法較神經網絡算法在設備部署上有著明顯的優點，考慮如何利用模式識別算法結合其它方法提高低質量圖像下車牌的識別率與識別速度，得到低成本與高識別率的車牌識別算法是一個重要的研究方向。神經網絡算法有著強大的并行計算能力，避免了人工提取特征，但需要大量的學習樣本，存在著收集樣本成本較大、網絡模型復雜、泛化部署代價過高的問題。如何降低深度學習神經網絡模型的大小，權衡車牌識別率與識別成本是利用神經網絡算法識別車牌的重要研究方向。本文提出一個新的方法：將文獻[38]中利用多紋理特征提取字符特征的方法運用到文獻[26]中，可解決車牌字符的不均勻照度問題，在保證識別速度的同時，識別率有較大的提高。在車牌識別技術真正應用到高速交通管制、刑事追蹤等領域之前，仍有許多問題需要解決。