基于卷積神經網絡的復雜環境車牌快速識別方法

張曉瑞

（安徽三聯學院 電子電氣工程學院，安徽 合肥 230601）

如今，汽車已走進千家萬戶，極大地方便了人們的出行。但隨著道路上車輛的急劇增加，對交通秩序的影響也越來越嚴重[1]。近年來，交通智能化的興起有望成為緩解城市交通擁堵、降低交通事故發生率的重要手段。車牌識別技術是智能交通領域的關鍵技術，一般通過圖像、視頻等識別手段對車牌進行識別，將獲取的信息反饋到其他系統，由其他系統進行處理[2]。該技術已廣泛應用在停車場自動收費系統、道路監控系統、電子警察系統中。

由于車牌識別技術廣闊的應用前景，因而受到研究者的關注[3]。王晗等人[4]利用模板概率密度函數設計了一種車牌定位方法，能利用特征點的空間分布及色彩信息，迅速地判斷出牌照的候選區域；根據中國標準汽車牌照的結構特點和幾何特征，構造出一套標準牌照的相似性概率密度函數，并對候選牌照進行比較，從而達到準確定位的目的。雖然該方法可以滿足車牌定位的需求，但是在雨天、夜間等環境下的檢測性能還有待提升。張世豪等人[5]在多尺度注意力融合的基礎上，提出了一個車牌檢測網絡模型，將三角網格的特征圖與CBAM注意結構相結合，能在復雜背景下對車牌的邊緣進行檢測與定位，為提高車牌識別的精度提供了依據；在試驗中，他們利用數據增強技術對數據集進行了擴展，很好地解決了復雜背景下的車牌識別率低的問題。但是，該方法檢測小目標車牌的精度也僅為92.17%，檢測精度較低。本文利用卷積神經網絡，設計了一種復雜環境中車牌快速識別的方法，可以較好地解決現有車牌識別方法不足的問題，提高復雜環境下車牌識別的準確率。

1 復雜環境車牌快速識別方法設計

1.1 復雜環境車牌的定位

在復雜環境中識別車牌圖像時，先對車牌圖像進行定位，提取車牌圖像的邊緣特征[6]。假設待定位的車牌圖像為J，其像素為i×j，那么可利用公式（1）提取車牌圖像的邊緣特征，即：

其中，A*表示初始輸入圖像J的邊緣映射圖像，q(J)表示圖像映射函數，θ表示車牌圖像的傾斜角度。

車輛行駛過程中，攝像頭拍攝到的車牌圖像會存在一定的傾斜[7]。為了保證車牌識別的精度，需將攝像頭抓拍到的車牌圖像進行像素塊分割，利用多個圖像區域校正傾斜的車牌圖像，從而提高車牌識別的準確性。校正公式為：

其中，Y(∞)表示車牌圖像邊緣特征的提取結果。

由于原始車牌圖像采用高清攝像機拍攝，隨機噪聲較小[8]，因此可針對待定位的車牌圖像，利用卷積神經網絡進行卷積操作，即給每一塊像素分配一個權重，進行線性運算[9]。運算過程為：

其中，H(J)表示經過灰度化處理的車牌圖像，?表示卷積神經網絡的卷積層，c表示卷積神經網絡的池化層，K(J)表示原始車牌圖像，N表示車牌圖像的像素點數量，E(J)表示含有噪聲的車牌圖像。

在此基礎上，選取特定數目的車牌圖像，加入后續的卷積神經網絡，再運用損失函數，對車牌圖像進行尺度變異系數的預估，運算過程為：

其中，loss為損失函數表達式，ti*為車牌圖像的線性表示，φ表示尺寸變化因子，W*表示卷積神經網絡的學習參數。

對于提取出的車牌圖像特征，在水平方向進行一階差分變換[10]，處理過程為：

其中，a表示車牌圖像的高度，b表示車牌圖像的寬度。將一階差分后的車牌圖像g(a,b)在灰度大小上，沿水平方向累加后得到平滑車牌圖像T(a)為：

根據車牌圖像的一階差分變換，得到復雜環境中車牌的位置信息，表示為：

其中，ui,j表示輸入初始圖像J中第(a,b)像素的值。

根據車牌圖像的邊緣特征，使用卷積神經網絡對圖像進行灰度化處理；再利用損失函數，預測車牌圖像的尺度變化因子，從而得到復雜環境下車牌圖像的位置信息。

1.2 復雜環境車牌圖像的預處理

由于交通道路抓拍系統采集到的車牌圖像往往存在一些噪聲，因此需要進行相應的預處理。為了增強復雜環境中車牌圖像的清晰度，采用非線性指數的方法對復雜環境中的車牌圖像進行變換操作[11]，從而使車牌圖像變得更加清晰。在此基礎上，對復雜環境中的車牌圖像進行非線性灰度變換，所運用的公式為：

其中，ξc[f(a,b)]表示非線性灰度變換，h(a,b)表示車牌圖像在變換中的映射函數，f(a,b)表示車牌圖像變換的灰度函數，ξ表示灰度變換字符，a表示指數變換系數，b表示對數變換系數。非線性變換是采用非線性的方式對復雜環境中的車牌圖像進行指數變換，在一定程度上拉長了車牌圖像的灰度區域，使車牌圖像的灰度反差更加明顯[12]。通過改變車牌原圖像的灰度，提高了復雜環境中車牌圖像的清晰度。

為了防止噪音對車牌圖像產生干擾，在車牌圖像的時域中計算RGB像素顏色的平均值[13]，將其作為每一個車牌圖像塊的平均像素值，具體表達式為：

式中，m表示車牌圖像的像素色彩因子，n表示車牌圖像的像素灰度因子，M表示車牌圖像時域內的無限顏色像素值，r(m,n)表示車牌圖像m和車牌圖像n之間顏色像素值的平均值，g(m,n)表示像素值計算的二維連續函數。

為了保證車牌識別過程中的識別效率，將RGB彩色車牌圖像轉換為單通道的灰度圖像，進行灰度化處理。灰度化的過程就是將每個像素點的RGB值統一成同一個值。灰度化后的圖像將由三通道變為單通道，以便在進行單通道的數據處理時降低處理難度。通過車牌圖像的灰度轉換，將彩色的車牌圖像按照一定比例分割，對其進行求和計算得出灰度值，計算過程見式（10）：

其中，V(i,j)為車牌圖像的灰度值，R(i,j)、G(i,j)、G(i,j)分別為彩色圖像對應像素位置上紅、綠、藍三個通道的分量值，(i,j)為圖像上第i行第j列的位置。

根據公式（10）的計算，采用圖像增強算法對復雜環境中的車牌圖像進行增強處理，具體步驟為：

Step1：移動車牌圖像識別模板，使待處理的車牌圖像像素與模板中心重合；

Step2：求出模板系數與各像素點的相乘總和；

Step3：將上述乘積總和作為當前處理像素的最終像素值。

通過車牌圖像的非線性灰度變換，計算出車牌圖像的灰度值；結合增強處理，完成了復雜環境車牌圖像的預處理。

1.3 復雜環境車牌識別算法的設計

在設計復雜環境車牌識別算法時，以復雜環境中車牌的位置為依據[14]，利用公式（11）建立車牌圖像的HIS模型，表示為：

其中，H表示車牌圖像的色調因子，S表示車牌圖像的飽和度，I表示車牌圖像的強度。

在車牌圖像的HIS模型基礎上，定義了復雜環境車牌圖像的隸屬度函數[15]，獲取了車牌圖像邊緣的紋理特征，見式（12）：

其中，fj表示復雜環境車牌圖像區域j的紋理特征向量，fn表示復雜環境車牌圖像區域n的紋理特征向量，e表示fj與fn之間的歐式距離，σ表示所有車牌圖像紋理特征之間的距離。

根據車牌圖像的紋理特征，計算出不同區域車牌圖像的形狀特征，計算公式為：

其中，fjk、fjv表示車牌圖像區域內形狀特征的橫縱坐標值?表示形狀特征的橫縱坐標值。

根據不同區域車牌圖像的形狀特征，對比復雜環境中車牌圖像的邊緣特征相似度，即：

式中，Pr(rk)表示車牌圖像形狀特征的評價集合，L表示車牌圖像邊緣的特征數量。

綜上所述，以復雜環境中車牌的位置為依據，建立了車牌圖像的HIS模型；通過定義復雜環境車牌圖像的隸屬度函數，獲取了車牌圖像邊緣的紋理特征；根據不同區域車牌圖像的形狀特征，對比了復雜環境中車牌圖像的邊緣特征相似度，完成了復雜環境車牌識別算法的設計，實現了復雜 環境車牌的快速識別。

2 實驗分析

2.1 實驗數據集

實驗過程中，選擇合肥市道路交通部門發布的MIDD數據集。MIDD數據集一共包含30萬份車牌樣本數據，其中包括很多霧霾、雨天、強光、夜晚等復雜環境下的車牌樣本。在MIDD數據集中，很多車牌樣本數據會受到噪聲影響，導致車牌圖像更加模糊。MIDD數據集的樣本分布情況如表1所示。

表1 MIDD數據集

2.2 實驗環境

為了驗證基于卷積神經網絡的復雜環境車牌快速識別方法在實際應用中的效果和性能，實驗所使用的計算機環境配置為Windows7操作系統；在CPU的選型上，選擇GTX 1080Ti的顯卡；內存選擇32 GB的超大內存；車牌圖像識別的編程語言為MATLAB。其中，卷積神經網絡的訓練參數為：初始學習率0.01，動量0.85。

實驗圖像數據由安徽省合肥市20個小區停車場進出口攝像頭抓拍的圖像組成，圖像數量為2 100張，分辨率為1 920×1 080。由于本文主要針對復雜環境條件下的車牌檢測，因此圖像數據采集的環境主要為雨天環境、夜間環境與強光環境，每種環境下圖像為700張。對卷積神經網絡進行500次循環訓練，其識別誤差收斂于0.068 5。卷積神經網絡訓練過程的部分偽代碼如圖1所示。

圖1 卷積神經網絡訓練代碼

2.3 效果測試

采用本文提出的基于卷積神經網絡的復雜環境車牌快速識別方法，對上述圖像數據進行車牌識別檢測，識別效果如圖2所示。

圖2 識別效果

通過觀察圖2中不同環境下的車牌識別效果可以看出，在不同的行車環境下，基于卷積神經網絡的復雜環境車牌快速識別方法能夠清晰地檢測到車牌字符，可以成功識別到車牌上的號碼。

2.4 對比測試

為了驗證本文提出方法的優越性能，選擇文獻[4]提出的基于模板概率密度函數的車牌定位方法與文獻[5]提出的輕量型多尺度注意力融合的車牌檢測算法作為對比方法，共同對復雜環境下的2 100張圖像進行識別檢測；根據識別正確率的高低來判斷方法的實際應用性能，識別正確率越高，說明該方法的識別精度越高，識別效果越好。測試結果如表2所示。從表2可以看出，本文方法的正確識別數量高于另外兩種方法，誤檢數量最低，識別準確率最高。根據表2繪制三種方法的識別正確率對比圖，如圖3所示。

表2 不同算法復雜環境車牌識別正確率對比測試結果

圖3 三種方法識別正確率對比圖

通過圖3可以看出，在復雜環境下，三種方法均能保持95%以上的識別正確率。基于模板概率密度函數的車牌定位方法在雨天環境、夜間環境、強光環境條件下的識別正確率分別為96.43%、96.29%和95.57%；輕量型多尺度注意力融合的車牌檢測算法在雨天環境、夜間環境、強光環境條件下的識別正確率分別為97.71%、98.43%和96.29%；本文提出的基于卷積神經網絡的復雜環境車牌快速識別方法在雨天環境、夜間環境、強光環境條件下的識別正確率分別為99.71%、100%和99.71%，明顯高于另外兩種方法，充分說明本文方法具有較高的車牌識別精度，更適合應用于復雜環境下的車牌識別。

3 結語

本文通過卷積神經網絡校正車牌圖像，對圖像進行處理，獲取車牌圖像紋理特征，實現雨天環境、夜間環境和強光環境下的車牌識別，能夠解決傳統車牌識別方法在復雜環境下識別效果不佳的問題。通過測試證明，應用本文設計方法在復雜環境下對車牌的識別正確率始終保持在99%以上，識別精度較高。因受時間限制，本文未能對有污損的車牌展開識別研究。后續可結合字符模板匹配方法，對字母數字有污損的車牌進行有效識別，進一步提高多種環境下車牌的識別效果。