復雜環境下的車牌識別

莫少雄，趙 波

(上海工程技術大學 機械與汽車工程學院，上海201620)

0 引 言

車牌檢測與識別是智能交通系統的重要組成部分，具有從安全到交通控制等多重應用，近年來受到了人們的廣泛關注。然而，現有的算法大多只能在特定的條件下才能很好地工作，在復雜環境下準確讀取車牌仍然是一項具有挑戰性的任務［1］。復雜的背景，車牌存在很大以及隨機的拍攝條件（如光照、失真、遮擋或模糊），都會加大檢測難度。因此如何在復雜環境下提高車牌檢測精度和識別率具有重要的研究意義［2］；復雜的環境因素，在很大程度上制約了車牌檢測與識別的準確性和可靠性。為了提高復雜環境下車牌圖像檢測與識別的速度和精度，需要針對一個或多個因素對相關算法進行研究和改進，對車牌檢測與識別技術的改進和優化具有重要意義［3］。

1 車牌檢測與矯正

車牌檢測是定位車牌位置，獲得車牌四角的坐標，是車牌識別過程中的一個重要步驟，定位不成功或不完整將直接導致最終識別失敗［4］。本文是先通過對車輛進行檢測，縮小車牌搜索的范圍，降低計算成本，同時提高了車牌識別的準確率，然后在檢測出的車輛圖像中對車牌進行定位。

汽車在許多經典目標檢測算法中都是數據集底層的對象之一，在選擇目標檢測算法時，考慮了以下幾個問題:首先，車輛檢測算法要求較高的準確率。因為任何漏檢車輛都會直接導致車牌漏檢；其次，算法要求計算速率快。如果沒有達到較高的計算速率，影響實時檢測；最后，計算成本低，這樣才具有廣泛的應用價值［5］。經過以上的綜合分析，決定使用EfficientDet作為的車輛檢測網絡，因為該網絡檢測速度和檢測精確度在ImageNet數據集上都有很好的表現［6］。

考慮到現實環境中車牌不同的成像角度，提出了一種失真校正的車牌檢測網絡。用于畸變校正的車牌檢測網絡結構如圖1（a）所示，其中Resent block（N）的網絡結構細節如圖1（b）所示。該網絡可以在自然場景中檢測不同程度失真的車牌，并將失真的車牌修正為類似于前視圖的矩形形狀。為了更準確地定位車牌，設計了一種基于殘差塊的網絡來提取車牌特征，并且將網絡中的卷積層大小都設定為3×3。為了防止車牌特征信息在池化后消失，只使用了4個步長為2×2的最大池化層，將輸入維數降低了16倍。最后，檢測模塊如圖1（c），有2個平行的卷積層:（1）一個用于嵌入概率，函數激活為softmax；（2）另一個用于回歸仿射參數。如圖1（c）所示。

圖1 車牌檢測網絡結構Fig.1 Network structure of license plate detection

利用失真校正網絡提取車牌的過程如圖2所示。首先，網絡生成對象或非對象概率（2通道）和仿射變換參數（6通道）共8個通道的特征圖。為了提取變形車牌上的特征，首先考慮一個假設的正方形，其尺寸固定在車牌中心（x，y）。如果單元的目標概率大于給定的檢測閾值，則利用回歸參數建立仿射矩陣，將虛擬正方形轉換為車牌區域［7］。因此，可以很容易地將車牌擴展到水平和垂直對齊的對象。

圖2 車牌糾正過程Fig.2 License plate correction process

用mi＝［xi，yi］T（其中i＝1，2，3，4）表示帶注釋車牌的4個角，從左上角開始順時針方向標注；用［0.5，0.5］T，n4＝［-0.5，0.5］T表示以原點為中心的標準單位的對應頂點。通過Ns＝24（4個最大池化層）給出輸入圖像的高H、寬W、網絡步幅，網絡輸出特征圖由P×Q×8個卷組成，其中P＝H／Ns，Q＝W／Ns。對于特征圖中的每個點單元，有8個值需要估計:前2個值（v1-v2）是物體／非物體的概率，后6個值（v3-v8）用于建立局部仿射變換Txy，通過式（1）得出:

Txy（n）利用所學的參數對代表預測車牌位置的包圍盒進行仿射變換。使用了最大函數v3和v6，用來確保對角線為正（避免不必要的鏡像或過量的旋轉）。為了匹配網絡的輸出分辨率，將mx點按網絡步幅的倒數重新縮放，并根據在特征圖中每個（x，y）重新定心。通過使用標準化函數（2）來實現:

其中，β是一個縮放常數，表示虛擬方塊的邊。設置β＝8.15，是被網絡步幅分割的增廣訓練數據中候選車牌的最大和最小維數之間的均值點［8］。為了在精度和處理時間之間保持良好的折衷，根據實驗，本文選擇了最大維數508和最小維數128。假設有一個對象（車牌）在點（x，y），損失函數的第一部分考慮了一個扭曲版本的正則平方和車牌的標準化標注點之間的誤差［9］，由（3）式給出:

損失函數的第二部分是處理在（x，y）處有無對象的概率。損失是2個對數損失函數的總和，式（4）:

其中，fprob（x，y）是對象指示函數，如果在點（x，y）存在對象，返回1，否則返回0。最終損失函數由等式（3）和（4）中定義的項組合給出，式（5）:

存在傾斜、甚至畸變的車牌都被失真校正網絡校正為正視的車牌，輸出的車牌被作為車牌識別的輸入。這樣經過校正后的車牌，讓車牌識別變得異常的輕松，不用再考慮角度，畸變或者光照等外界的影響，提高了車牌識別的速度和準確性。

2 車牌識別

由于傳統的車牌識別框架分割后的車牌識別精度不高。因此，本文采用卷積遞歸神經網絡（CRNN）和聯接主義時間分類（CTC）結構，將端到端算法應用于車牌識別，直接輸出車牌字符。

整個網絡可分為3個部分，如圖3所示。底部的卷積層自動從每張輸入圖像中提取特征圖；在卷積網絡之上，構造一個遞歸網絡，對特征序列的每一幀進行預測；最后，通過轉譯層將每幀預測轉化為預測序列，車牌識別網路的結構參數見表1。

圖3 車牌識別架構圖Fig.3 Schematic diagram of license plate recognition

表1 車牌識別網絡的結構參數表Tab.1 Structure of license plate recognition Network

卷積層:利用卷積層和最大池化層構建卷積層，提取輸入圖像的特征圖。將所有輸入圖像調整到相同的尺度，然后從特征圖中提取出特征序列，作為遞歸層的輸入。

循環層:是一個深度雙向長期內存（LSTM）網絡，位于卷積層之上。基于卷積特征序列，連續提取文本序列。LSTM是一種特殊的遞歸神經網絡（RNN），主要用于解決長序列訓練中的梯度消失和梯度爆炸問題，具有比普通RNN網絡更好的性能［10］。使用循環層有3個主要優點:一個是LSTM具有捕獲序列上下文信息的強大能力。在基于圖像的序列識別中，使用上下文比單獨處理每個符號更穩定、更有幫助［11］；其次，LSTM可以將損失誤差傳播回其輸入，并允許在一個網絡中一起訓練循環層和卷積層；第三，LSTM可以處理任意長度的序列。

轉譯層:使用一種名為聯接主義時態分類（CTC）的時態分類算法，將每一幀的每幀預測轉化為最終的字符序列，CTC專注于解決給定標簽和輸出數據的對齊問題。傳統的方法需要將輸入數據與給定的標簽及時對齊，以逐幀計算交叉熵損失，而CTC算法可以在不進行標簽對齊的情況下進行訓練［12］。該分類算法只需關注輸出是否真實、標簽整體一致，從而減少了手工標注的繁瑣工作。

該識別算法可以在車牌識別中完成端到端訓練，不需要進行字符分割和水平縮放操作，可以識別任意長度的車牌字符。

3 實 驗

3.1 實驗環境及所用數據集

所有網絡都是在Pytorch深度學習框架下實現的，實驗平臺為NVIDIA GeForce GTX 2080 GPU，i7 9700 CPU，GPU內存為12 GB。

CCPD數據集是目前中國最大的公開標簽車牌數據集，圖片數量約30萬張，其中獨立車牌圖像約25萬張，不同背景，不同拍攝角度，不同時間，不同光照水平。特別是其中模糊車牌和大角度水平傾角車牌，對于本文提出的檢測模型是很好訓練和測試數據。

3.2 實驗結果及分析

3.2.1 車牌定位結果

將CCPD數據集分為兩部分，一部分作為訓練數據，另一部分作為測試數據集。目前最先進的幾種車牌檢測算法的檢測精度，包括Faster-RCNN、YOLO和SSD等，見表2。當檢測區域與目標真實值重疊度超過70%時（IoU＞0.7），認為檢測結果正確。YOLOV3的整體檢測精度較高，但對大傾角車牌的檢測精度較低。本文方法在檢測和識別算法上都進行了優化，在性能上比RPNet和YOLO-V3更快、更魯棒。

表2 模型對比Tab.2 Comparison of models

為了更直觀地看到車牌檢測模塊的失真校正網絡的能力，為了進行相應的特殊測試，測試所用的大角度車牌照片測試集是在幾種特定條件（夜晚，強光和正常光照等）下自行拍攝的，實驗結果如圖4所示。可以看出在攝像機角度嚴重傾斜甚至車牌存在變形的情況下，本文的方法仍然可以將傾斜和變形的車牌圖像轉換為幾乎正面視角下的矩形圖像，且在夜間也能準確地定位，驗證了該方法的高性能。

圖4 車牌糾正結果圖Fig.4 Result of license plate correction

3.2.2 車牌識別結果

與其它模型的檢測和識別結果進行了比較。最終的識別結果既考慮了車牌識別速率，又考慮了識別精度。只有當IoU大于0.6，且圖像中車牌的所有字符都被正確識別時，才認為車牌識別正確，識別結果見表3。

表3 車牌識別精度Tab.3 License plate recognition accuracy

除了MTLPR、TE2E和RPNet之外，同時還為的其它目標檢測模型添加了一個高性能車牌識別模型HC，HC代表深度監督的方法在多尺度下嵌入空間信息的Holistic-CNN。這些組合模型可以達到較高的識別速度和精度，但與其它模型相比，本文提出的方法仍然具有更高的性能。車牌檢測識別結果如圖5所示。

圖5 不同條件下的車牌識別結果Fig.5 License plate recognition results under different conditions

4 結束語

本文提出了一種實時、魯棒的自然場景的車牌識別方法。將車牌檢測和車牌識別分為兩個模塊，先用失真校正的車牌檢測網絡對車牌進行校正和定位，通過卷積遞歸神經網絡（CRNN）和聯接主義時間分類（CTC）結構，實現端到端車牌識別。實驗結果表明，該方法能對傾斜或者存在畸變的車牌進行準確、快速的檢測和識別。同時該車牌識別方法在性能上遠遠優于現有的車牌識別方法。與傳統的檢測算法相比，車牌識別采用CRNN和CTC模型，實現了高精度的端到端目標識別算法。與其它神經網絡算法相比，該方法在CCPD數據集上具有更高的識別精度。