肖秀春 吳偉鵬

摘要

由于應用場景的復雜性，從車牌圖像中通過定位和分割技術得到的車牌字符通常存在傾斜、扭曲、光照條件差、像素分辮率低等情況，導致在實際應用中，傳統車牌字符識別方法存在諸多不足與困難。將深度學習運用到車牌字符識別技術中，通過大量樣本訓練，讓深度卷積神經網絡（CNN）學習車牌字符的圖像特征，進而自動識別出其中的車牌字符。由于深度學習模型具有很強的學習能力，可克服實際應用中諸多困難，從而提高車牌字符的識別率。

【關鍵詞】車牌號碼識別 字符識別 深度學習卷積神經網絡

1 引言

隨著我國現代化和城市化水平的不斷進步，人們的生活水平日益提高。近年來，我國機動車的保有量得到快速增長。這些車輛給我們的日常生活提供相當的便利，同時，也給我們的交通管理、城市管理帶來了一些問題，例如車輛的亂停亂放、違犯交通標識和信號燈規則等交通違章現象日益突出。另一方面，由于計算機處理速度的提升和圖像處理技術、模式識別技術的飛速發展，車牌號碼的自動識別成為可能。近年來，車牌號碼自動識別技術在智能交通監控和智能停車場管理系統中得到廣泛應用，使得傳統的車牌登記、監控和管理發生了重大變化。

車牌號碼自動識別技術是為了提高車輛監控和管理效率而產生的一種圖像處理或模式識別技術。通常，車牌號碼識別包括車牌圖像預處理、車牌號碼定位、車牌字符分割、字符識別等四個部分。本文主要討論車牌字符自動識別問題。由于應用場景的復雜性，外部的光照條件各不相同（環境、季節、氣候、白晝等不同情況下的光照條件差異非常大），車牌的反射程度差異也較大，這些會對所采集得到的車牌字符質量造成很大的影響，從而在某種程序上降低車牌字符識別的準確率。另一方面，從車牌圖像中通過定位和分割技術得到的車牌字符一般存在傾斜、扭曲、像素分辨率低等情況，導致在實際應用中，傳統車牌字符識別方法存在諸多不足與困難。最后，我國車牌號碼本身就具有復雜的特征：

（1）車牌字符中不僅僅有漢字，還有英文字母和阿拉伯數字。由于漢字的復雜性，其識別難度遠遠大于字母和數字;

（2）具有多種顏色分類，主要分為四種：黑字黃底、白字藍底、黑字白底和白字黑底;

（3）車牌格式較多，我國的車牌格式包括：軍車車牌、武警車牌、民用車牌、外交車牌、特種車牌、公安警察車牌、消防車牌等;

（4）車牌的懸掛方式不唯一，由于不同汽車公司出產的汽車型號和外形各不相同，導致了車牌的懸掛位置不唯一。以上種種原因，導致利用傳統的圖像處理或模式識別技術，很難同時克服全部困難。

由于深度神經網絡具有很強的學習能力，本文將在圖像處理領域應用最廣泛的深度卷積神經網絡運用到車牌字符識別技術中，根據車牌字符識別的特點，構造合適的深度卷積神經網絡結構，通過大量樣本訓練，讓深度卷積神經網絡（CNN）學習車牌字符的圖像特征，進而自動識別出其中的車牌字符。實驗結果表明，深度卷積神經網絡可克服實際應用中諸多困難，從而獲得較高的車牌字符的識別率。2網絡結構

選擇合適的卷積神經網絡結構對于車牌字符識別準確率的提高和降低時間消耗至關重要。由于車牌字符識別問題的復雜性相對較低、且對實時性要求較高，因此，本文在仿真實驗的基礎上，對結構相對簡單的經典LeNet卷積神經網絡結構進行改進得到適合車牌字符識別的7層結構的卷積神經網絡。

2.1 LeNet卷積神經網絡

卷積神經網絡（Convolutional NeuralNetwork，CNN），也稱深度卷積神經網絡，是受人類視覺神經感受野的啟發而提出的。目前，卷積神經網絡己成為圖像、視頻處理領域應用最廣泛的深度神經網絡模型。一般地，一個典型的卷積神經網絡由卷積層、池化層和全連接層等構成，具有局部感知、權值共享、多層卷積等特點。相比傳統BP等全連接神經網絡，卷積神經網絡具有如下優越之處：

（1）卷積核具有局部感知特性，與生物視覺神經網絡更加近似;

（2）卷積核具有權值共享特性，可以極大地減少神經網絡參數數量，使得對網絡參數的訓練更為容易;

（3）多層卷積本質上是從低層次到高層次提取圖像特征的過程，而全連接神經網絡基本沒有特征提取的能力。卷積神經網絡提到到的高層次圖像特征可以很容易地應用于物體識別或分類等

LeNet卷積神經網絡結構是1998年由LeCun等提出的一種經典的卷積神經網絡。LeNet網絡模型的提出標志著卷積神經的正式成型。圖所示給出了經典的LeNet卷積神經網絡結構。該模型結構中共包含有2個卷積層、2個平均池化層和3個全連接層。如果將LeNet卷積神經網絡應用于MNIST手寫數字識別，準確率可達99%以上，可見LeNet卷積神經網絡結構雖然僅有兩個卷積層，但其功能已經較為強大。

2.2 車牌字符識別卷積神經網絡結構

本文所研究的車牌字符識別技術，也采取經典LeNet類似的結構，圖2為所提出的車牌字符識別卷積神經網絡結構。在圖2中，第一個卷積層利用16個8x8x1的卷積核進行卷積實現特征提取，提取到原始車牌圖像的16個低層次特征，然后經過一個2x2的池化層對提取到的低層次特征進行下采樣;第二個卷積層通過32個5x5x16的卷積核進行卷積實現特征提取，提取到原始車牌圖像的32個高層次特征，再經過一個1x1的池化層;最后通過全連接層實現第二個卷積層到輸出層的映射。另外，網絡還有一個輸入層和一個輸出層，其中，輸入層為已經分割好的車牌字符圖像，且圖像大小已經調整為32X40圖像塊;輸出層表達了72個不同類別的字符輸出，即：{1、2、3、4、5、6、7、8、9、0、A、B、C、D、E、F、G、H、J、K、L、M、N、P、Q、R、S、T、U、V、W、X、Y、Z、京、津、冀、遼、吉、黑、滬、蘇、浙、皖、閩、贛、魯、豫、鄂、湘、粵、桂、瓊、渝、川、貴、云、藏、陜、甘、青、寧、新、澳、港、臺、蒙、晉、軍、海、學、警}。需要注意的是，按我國交通法規規定，車牌編號中不能夠包含字母I和O。

3 實驗及結果

3.1 車牌字符圖像集的獲取

一般來說，深度學習模型需要大量的樣本對其進行訓練才能提高其識別準確率和泛化能力。當前對于車牌號碼識別研究來說，尚無公開的車牌字符圖像集。如果在全國范圍內大量采集車牌圖像數據工作量非常大，也比較難以實現，本文的實驗數據中車牌字符圖像只是從國內各省份選取部分車牌作為訓練和測試數據。為了獲取足夠規模的車牌字符圖像集，我們對已經采集到的部分車牌號碼圖像通過拉伸、扭曲、平移、縮放、旋轉等圖像變換技術成倍地增加樣本圖像。圖3所示為通過對真實車牌字符圖像進行多種圖像變換技術獲取的車牌字符圖像樣本，其中，第1、2行為車牌漢字字符圖像，第3、4行為車牌英文字母圖像，第5、6行車牌數字字符圖像。

3.2 實驗結果

為了驗證本文提出的深度卷積神經網絡及其結構的有效性，我們將車牌圖像預處理、車牌定位和車牌字符分割作為前期處理，結合到車牌字符識別過程中。先把車牌圖像集及其標簽保存到訓練樣本所在目錄，然后，執行車牌號碼自動識別全部操作命令。程序執行時的經過最多500次迭代訓練，其識別準確率可達99.0%，訓練耗時約為11小時。

圖4所示為車牌圖像示例及其識別結果，本文算法準確地識別出該圖像中的車牌號碼。同時，我們進一步測試了500個實際車牌圖像，其車牌號碼中所有字符完全正確地識別的準確率為97.6%。

4 結束語

字符識別是車牌號碼自動識別中的關鍵技術之一，由于應用場景的復雜性，導致在實際應用中，傳統車牌字符識別方法存在諸多不足與困難。將深度卷積神經網絡運用到車牌字符識別技術中，構造合適的深度卷積神經網絡結構，通過圖像變換技術獲取大量樣本訓練，訓練深度卷積神經網絡參數以學習車牌字符的圖像特征，進而識別出其中的車牌字符。由于深度學習模型具有很強的學習能力，可克服實際應用中諸多困難，從而提高車牌字符的識別率

參考文獻

[1]彭博，臧笛.基于深度學習的車標識別方法研究[J].計算機科學，2015，42（04）：268-272.

[2]趙振興.基于深度學習的車牌識別技術研究[D].青島科技大學（碩士學位論文），2017.

[3]王恒.基于深度學習的車牌識別算法研究[D].青島科技大學（碩士學位論文），2017.

[4]楊玨吉.基于深度學習的車牌識別系統[D].浙江大學（碩士學位論文），2017.

[5]殷浩.基于深度學習及視覺注意的車牌識別研究[D].湖北工業大學（碩士學位論文），2017.

[6]劉崢強.深度學習算法在車牌識別系統中的應用[D]，電子科技大學（碩士學位論文），2016.

[7]王晶.基于深度學習神經網絡的車牌字符識別技術的研究[J].工業控制計算機，2017（03）.

[8]趙志宏，楊紹普，馬增強.基于卷積神經網絡LeNet-5的車牌字符識別研究[J].系統仿真學報，2010（03）.