復雜環境下車牌檢測與識別方法研究

凌燕翔

國家知識產權局專利局專利審查協作北京中心 北京 100160

1 車牌特征概述

1.1 顏色特征

在我國，車牌背景和車牌字符顏色的搭配有幾個明確的標準，可以根據車牌背景確定車牌邊界。普通小型車通常使用藍底白字的車牌，大型車輛和駕駛教練一般使用黃底黑字的車牌。

1.2 文本特征

中國的車牌通常是七個字，第一個是漢字，表示省、市、自治區、直轄市的簡稱；第二個是大寫的英文字母，代表各級城市；最后五個是字母和數字的組合。

1.3 幾何特征

目前我國大多數使用的車牌區域近似長方形或平行四邊形，其外輪廓的固定寬高比近似為3：1。

1.4 紋理特征

車牌具有一個連續有規則的邊框，且在車牌區域內每個字符的間隔比較均勻。

1.5 灰度特征

車牌字符顏色、車牌背景顏色和車身顏色在圖像中的表現是灰度不一樣，由此，車牌的邊緣以及車牌背景和車牌字符能夠形成灰度漸變邊緣。

1.6 位置特征

正常情況下，車牌圖像的相對位置一般是固定不變的，通常車牌區域更接近車身的中下部。

2 基于FasterR-CNN的車牌檢測算法

2.1 數據收集與預處理

①數據收集。車牌檢測不僅需要在標準環境正常運作，還需要在復雜環境下具有很高的檢測性能。為此，收集了覆蓋了復雜環境圖像數據和標準交通卡口圖像數據等多種情況車輛圖片。

②數據清洗。在拍攝到的車輛圖片里面，不包含無車牌車輛、車牌被部分遮擋、非機動車車輛等圖片，需要將這些無效的圖片數據篩除。最終篩選出2850張圖片作為訓練數據，進入到車牌目標數據標注階段。

③數據標注。目標檢測的數據標注工作不僅要標明圖像中有什么，還要標注這個對象的位置信息，并生成與圖片同名的．xml文件。對于車牌檢測，只需要標注真實的車牌區域，車牌的負樣本是在訓練過程中產生的，因此不需要人工標注車牌檢測的樣本。標注完成后，需要將數據集以一定比例分配生成訓練集、驗證集和測試集。

2.2 實驗結果分析

神經網絡的訓練驗證以及測試均基于深度學習框架Tensor Flow進行，通過數次實驗擇優原則獲取結果，在車牌數據集上的車牌檢測準確率達99%?；贔asterR-CNN的車牌檢測算法檢測結果可以看到，不管是在圖像中含有復雜的背景、光線昏暗、還是在各種干擾的情況下，該算法都能夠排除顏色干擾、紋理干擾和噪聲干擾等，從而正確地檢測到車牌。

3 車牌識別方法研究

3.1 車牌定位

（1）采用邊緣檢測方法將原始圖像轉化成灰度圖。傳統車牌定位的識別是依靠車牌的邊界來進行抓取的，但本次研究我們采取了邊緣檢測發來進行定位抓取，與邊界不同，邊緣檢測是由灰度值的變化而不是根據實際的間隔線，因為間隔線會因為速度和環境出現扭曲、模糊的情況，但邊緣不會，邊緣是根據灰度值的變化來看的，在圖像中，不同物體的邊緣會比較明顯，通過邊緣檢測則相對會更準確。但因為邊緣檢測是根據圖像強度計算像素而來，因此對于圖片質量要求會比較高，一些質量不高的圖片則會出現無法計算的情況，因此我們在采用邊緣法進行定位時，加入了濾波器對圖片進行降噪，并且采用了一定的方式方法來控制濾波器在處理過程中邊緣強度和圖像噪聲的平衡。

（2）通過二值圖像形態學來降噪。除了采用濾波器進行降噪外，本次研究我們嘗試了通過二值圖像形態學來進行降噪處理。通過數學學科中的形態學能有效減緩圖像數據，通過膨脹、腐蝕、開運算、比運算等4個基本運算將一些不相干的結構元素簡化，但在簡化圖像的同事能保持圖像的形象特征，通過這種方式我們能效的去除掉車身的裝飾、廣告等元素。

（3）通過車牌圖像預處理實現準確定位。無論是緣檢測方法還是二值圖像形態學進行去噪定位時，都是通過灰度來的，一是灰度的辨別，二是灰度的拉伸，但這會因為圖片亮度和對比度有關系，因此在獲取的圖片亮度和對比度不合理時，則需要技術人員人為進行圖片處理預處理，通過人工的方式將輸入的車牌圖像二值化處理后再進行平滑處理，通過特定的計算公式來將三原色的加權值轉變為灰度值，以此達到更加準確的分析和定位。

3.2 字符識別

字符識別是最后一步，也是關鍵的一步，目前我們運用的比較多的是模板匹配法，雖然通過模板匹配法能準確識別車牌，但其存在識別速度慢，實時性不高，及相近字符誤判的情況，對此我們在研究過程中采取了基于字型特征的樹分類模板來解決。

基于字型特征的樹分類模板匹配法。為了解決我們上文說到的傳統模板匹配法速度慢，相近字符誤判的情況，我們在研究中采取基于字型特征的樹分類模板匹配法來進行車牌字符識別。該方法從兩方面進行操作：首先根據樹形分層理論，建立3個分類器，分類器1對車牌第一個字符，即省的簡稱進行識別；分類器2對第二個代表市的大寫字母進行識別；分類器3對最后五位字符進行識別。其次，根據字符的不同特點將位置數據根據特征進行分類，根據字符的輪廓區別進行區分，在選取的字符圖像中選取15個位置點進行檢測并確定像素值，再根據這些像素點對所識別字符進行分級，如：檢測字符高度與寬度比，比值大于4，字符為1，如果不符合，再排除與所識別字符相似的模板和其他一部分模板，再進行第二輪檢測，最后再用剩余模板進行匹配檢測，檢測突變字符的情況，以此類推逐步排除不可能的字符模板，最后用剩下的模板對字符進行模板匹配算法來解決傳統模板匹配中的問題。

4 結語

但目前使用的方法大多還比較傳統，存在著效率低、錯誤率高的情況，隨著我國交通壓力的增大，必須要對此進行改進，有效提高我國交通管理的科技含量。