復雜場景下的車牌檢測與識別算法研究

吳安輝 何家峰 何啟莉

摘? 要：針對傳統車牌識別方法在復雜環境下識別準確率不高和過程繁雜的問題，提出一種基于U-Net和CNN的車牌檢測和識別的深度學習模型，首先通過U-Net模型進行車牌定位，然后采用透視變換方法對傾斜較大或者形變的車牌實現車牌矯正，最后通過改進的CNN模型對車牌區域進行車牌識別，其識別率為97.5%。實驗結果表明該算法在復雜環境下能夠精準識別。

關鍵詞：U-Net;CNN;車牌定位;車牌矯正;車牌識別

中圖分類號：TP391.41? ? ? 文獻標識碼：A 文章編號：2096-4706（2021）01-0081-04

Research on Algorithm of License Plate Detection and Recognition in Complex Scenes

WU Anhui，HE Jiafeng，HE Qili

（School of Information Engineering，Guangdong University of Technology，Guangzhou? 510006，China）

Abstract：Aiming at the problems of low accuracy rate and complex process of traditional license plate recognition methods in complex environment，a deep learning model of license plate detection and recognition based on U-Net and CNN is proposed. First，the U-NET model is used to locate the license plate，and then the perspective transformation method is used to correct the license plate with large tilt or deformation. Finally，the improved CNN model is used to recognize the license plate area，and the recognition rate reaches at 97.5%. The experimental results show that the algorithm proposed in this paper can accurately recognize license plates in complex environments.

Keywords：U-Net;CNN;license plate location;license plate correction;license plate recognition

0? 引? 言

隨著經濟水平的提高，人們對汽車的需求量日益增長。汽車在滿足人們日常需求的同時也帶來諸多嚴重的交通問題。車牌檢測與識別從停車管理到交通管制都有廣泛應用，在車牌檢測與識別任務中，實現速度快、準確性和魯棒性高的性能對實現智能交通運輸尤為重要。隨著深度學習技術越來越成熟，將深度學習應用于交通管理已成為一種趨勢，通過深度學習的方法進行車牌檢測與識別，是實現智能化城市管理的關鍵一步。

車牌識別技術分為傳統圖像處理方法和基于深度學習的方法。傳統的圖像處理方法一般分為三個步驟：圖像預處理、字符分割和文本識別。傳統方法首先將車牌分割成獨立的字符，然后車牌字符進行特征提取，最后通過模板匹配[1，2]或支持向量機（SVM）[3]識別車牌字符。然而，傳統的圖像處理方法下的字符分割可能存在字符粘連的情況，對光照不均的車牌識別效果不佳。

近幾年，基于深度學習的目標檢測和圖像處理算法取得了較好的進展。U-Net[5]在2015年被提出，并在生物醫學圖像的分割領域得到了廣泛的應用[6]。U-Net模型最大限度地利用了車牌圖像的淺層和深層特征，實現對車牌區域精準定位。在無需對字符分割的情況下，通過卷積神經網絡（CNN）對車牌實現端到端的識別。

1? 相關工作

車牌定位是在圖像中獲找到車牌區域。傳統的圖像處理方法提取的車牌特征包括紋理特征[6]、邊緣特征[8]、顏色特征[7]等。在深度學習方法中，可以使用分割模型對車牌進行像素級分割，進一步定位到車牌區域。。

車牌矯正是一種對車牌進行空間變換的技術。對車牌進行矯正是為了提高對傾斜或畸變車牌識別的準確性和魯棒性。傳統圖像處理方法通常使用邊緣檢測[10]和投影變換[11]方法進行車牌矯正。在深度學習模型中，局部圖像特征包含了大量的特征，這些特征之間的相關性很小，不會因為其某些特征的消失而影響檢測和匹配;空間變換網絡（STN）[12]通過網絡訓練對車牌進行空間變換，從而對傾斜、畸變圖像進行矯正。

傳統的車牌識別方法對數字和字母特征的識別效果較好，但對漢字的識別效果并不理想。傳統的車牌識別算法在特定條件下表現良好，但在復雜的環境下對車牌有效識別的難度還是很高。

2? 本文網絡模型

本文提出了一種基于深度學習的車牌識別方法，其中包括車牌定位、車牌矯正和車牌識別。本文的創新點在于使用U-Net模型對車牌區域進行精確定位以及使用透視變換方法進行車牌矯正。U-Net模型的優點在于通過特征融合還原車牌圖像的分辨率，以進一步精準分割車牌區域[13]是以三維空間為介質將傾斜或者形變的二維車牌圖像轉換到新的二維視圖上。在多種角度下均可以矯正，進一步提高車牌的識別率。最后基于改進的CNN模型對車牌區域進行端到端識別。車牌檢測與識別算法的模型如圖1所示。

2.1? 車牌定位

本文采用基于U-Net的像素級定位模型進行車牌定位。在收縮路徑中，下采樣操作經過兩次卷積后再進行最大池化處理以進一步挖掘深層信息;在擴張路徑中，通過連續的轉置卷積操作將分辨率依次恢復。該模型采用跳躍連接方式將下采樣的多通道特征圖和上采樣層進行特征融合，將融合后的特征圖作為上采樣過程中的下一個輸入。經過4次上采樣操作后將特征圖的分辨率還原。在最后一層使用大小為1×1的卷積核進行卷積運算得到二分類的通道數，并對每個像素進行預測。將所有正樣本進行合并，得到一個相鄰的區域，該區域就是像素級定位的車牌區域，定位過程如圖2、圖3和圖4所示。

2.2? 車牌矯正

對車牌進行矯正，獲取車牌的四個角點坐標，這是對車牌進行識別前的優化處理。首先計算得到車牌區域的邊緣坐標和最小外接矩形，再從車牌的邊緣坐標中計算出與外接矩形最近的四個角點。最后經過設計后的透視變換方法對傾斜角度較大或形變嚴重的車牌都能達到較佳的矯正效果，矯正公式為：

（1）

其中， 為變換矩陣，（x，y）為車牌區域的邊緣坐標，經過變換得到矯正后的坐標（X，Y），由于車牌圖像是二維平面，故需要轉化為（X′，Y′），轉換公式為：

（2）

2.3? 車牌識別

本文提出基于改進的CNN對車牌進行端到端識別。為了提高神經網絡的表征能力，把淺層特征與高層語義信息以拼接方式拼接起來，從而準確提取圖像的全局特征。對特征圖平均池化處理，允許網絡更加注重環境特征;對特征圖最大池化處理，允許網絡更加注重細節特征。將這兩種處理方法結合起來使網絡獲取更加豐富的字符特征。因此將平均池化和最大池化處理引入到CNN模型中，對車牌圖像提取出更具有完整性的特征信息。由于車牌識別屬于多分類[14]，由于CNN模型的結構和參數是共享的，因此適用于每個字符的識別任務。在CNN模型設計中，車牌的7個標簽對應7個輸出就可以實現端到端識別。

本文使用Adam損失函數[15]來優化CNN模型，損失值和識別率的計算公式為：

（3）

（4）

其中， 為網絡輸出層在沒有進行歸一化情況下的概率，pn為第n個類別的概率，n為輸出層的神經元個數。

3? 實驗結果與分析

為了證實本文提出的車牌識別算法的有效性，需要對該算法進行實驗與分析。車牌定位和識別任務所需要的數據集主要來源于CCPD開源數據集、停車場、收費站等，共計50 000張。

本文實驗采用基于TensorFlow的深度學習框架。實驗平臺的CPU為Intel i7-10750H，Python版本為3.6.5。本實驗中迭代次數設置為35次，目的是為了提高模型的泛化能力。為了防止過擬合，迭代次數不能過多。經過多次測試后，實驗結果表明，迭代次數在30次之后趨于穩定。

在圖像分割領域，一般用IoU和DICE衡量網絡分割的結果與實際結果之間的相似性。數值越大，說明圖像的相似性越高。二者的計算公式為：

（5）

（6）

其中，TP為樣本目標和預測目標的交集，FP為誤將車牌背景識別為車牌的集合，FN為將車牌誤認為背景的部分，TN為正確識別背景的部分。

在車牌定位任務中，使用U-Net模型和FCN模型[16]對車牌進行分割實驗對比，并對兩個模型進行綜合評價，評價指標如表1所示。

U-Net模型在IoU和DICE上都較優于FCN模型。低損耗是視覺定位效果的評價指標之一，模型的參數越小，在識別應用上會更便捷和更具實用性。相較于FCN網絡模型，本文的定位模型具有明顯的優勢。

在車牌矯正任務中，如果只是對車牌區域進行邊緣檢測，從而獲取車牌的四邊形，對于傾斜角度較大的車牌來說，矯正效果不好。因此采用透視變換方法，對傾斜角度較大的車牌也能獲得良好的矯正效果，進一步提高該車牌識別算法的魯棒性。車牌矯正示意圖如圖5、圖6所示。

本文提出的車牌識別模型與模板匹配和基于多分類的SVM模型進行對比，不同模型的識別率如表2所示。

對比實驗結果表明，文獻[2]的模板匹配模型和文獻[4]的SVM模型的識別率分別為92%和95%，而使用本文的模型準確率可達到97.5%。因此本文提出的模型對車牌的識別效果更好，在迭代次數相對較少的情況下就能達到更平穩、更高的。

本文選取了不同場景下的的車牌進行檢測與識別。由圖7可以看出，在不同場景下，本文的車牌識別方法具有很好的性能。

4? 結? 論

本文基于U-Net和CNN對不復雜環境下的車牌進行檢測和識別。實驗結果表明，本文提出的深度學習模型對車牌的識別率達到97.5%。本文提出的算法不僅解決了復雜條件下識別效果不佳的問題提高了識別速度，從而實現了實時、高精準度的識別。

參考文獻：

[1] 凌翔，賴錕，王昔鵬.基于模板匹配方法的不均勻照度車牌圖像識別 [J].重慶交通大學學報（自然科學版），2018，37（8）：102-106.

[2] 張俊峰，尚振宏，劉輝.基于顏色特征與模板匹配的車牌識別系統設計與實現 [J].軟件導刊，2018，17（1）：212-215+ 220.

[3] CHEN J R. Chinese license plate identification based on Android platform [C]//2017 3rd International Conference on Computational Intelligence & Communication Technology （CICT）.Ghaziabad：IEEE，2017：234-241.

[4] 李良榮，榮耀祖，顧平，等.基于SVM的車牌識別技術研究 [J].貴州大學學報（自然科學版），2018，35（5）48-54.

[5] RONNEBERGER O，FISCHER P，BROX T. U-Net：ConvolutionalNetworks for Biomedical Image Segmentation [C]//MedicalImage Computing and Computer- Assisted Intervention（MICCAI）.Munich：Springer，2015：234-241.

[6] 周正東，李劍波，辛潤超，等.基于帶孔U-net神經網絡的肺癌危及器官并行分割方法 [J].東南大學學報（自然科學版），2019，49（2）：231-236.

[7] 應宏微，姚明海，張永華.基于紋理分析和垂直投影的車牌定位算法 [J].控制工程，2004（5）：432-435+476.

[8] 楊鼎鼎，陳世強，劉靜漪.基于車牌背景和字符顏色特征的車牌定位算法 [J].計算機應用與軟件，2018，35（12）：216-221.

[9] 陳宏照，謝正光，盧海倫.顏色與邊緣紋理相結合的車牌定位方法 [J].現代電子技術，2018，41（21）：67-70+75.

[10] 曾麗華，李超，熊璋.基于邊緣與顏色信息的車牌精確定位算法 [J].北京航空航天大學學報，2007（9）：1112-1116.

[11] WANG M，WANG G H. Method of Vehicle License Plate Correction Based on Characters Projec-tion Minimum Distance [J].Computer Engineering，2008，34（6）：216-218.

[12] 高東東，張新生.基于空間卷積神經網絡模型的圖像顯著性檢測 [J].計算機工程，2018，44（5）240-245.

[13] 蔡英鳳，張田田，王海，等.基于實例分割和自適應透視變換算法的多車道線檢測[J].東南大學學報（自然科學版），2020，50（4）：775-781.

[14] 陸超紅.基于多通道循環卷積神經網絡的文本分類方法 [J].計算機應用與軟件，2020，37（8）：282-288.

[15] 汪友明，徐攀峰.基于改進Adam優化器的CNN電鏡醫學圖像分類 [J].西安郵電大學學報，2019，24（5）：26-33.

[16] LONG J，SHELHAMER E，DARRELL T. Fully convolutional networks for semantic segmentation [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston：IEEE，2015：3431-3440.

作者簡介：吳安輝（1993—），男，漢族，廣東湛江人，碩士研究生，主要研究方向：圖像處理與模式識別、深度學習;何家峰（1970—），男，漢族，河南信陽人，副教授，博士，主要研究方向：圖像處理與模式識別、人工嗅覺信號處理人工情感、雷達成像;何啟莉（1995—），女，漢族，四川自貢人，碩士研究生，主要研究方向：機器學習、圖像識別。