基于深度學習的車牌定位與字符識別

INSANKEOVILAY NITLAVANH（寧娜文）， 盧 梅， 陳 旋， 張 利， 趙慶超

（1 貴州大學 大數據與信息工程學院， 貴陽 550025； 2 貴州省威寧縣中等職業學校， 貴州 畢節 551700）

0 引 言

隨著社會的飛速發展和人民生活水平的提高，私家車家庭化的普及率已經較高。 與此同時，社會各行業都在不斷提升工作效率，高速公路上出現了不同種類的車輛，目前在交通法規中要求可在高速路上行駛的車輛種類主要有貨車、家庭汽車、客運車等［1］。 但當某臺車輛在高速公路上出現違規操作時，卻可能導致不可預知的嚴重后果，比如車輛刮擦、車輛碰撞、交通堵塞、追尾、連環追尾，甚至是生命健康危險。 因此，道路交通安全、尤其是高速公路交通安全對各種車輛行駛就變得越來越重要［2-3］。

2018 年中國交通中心研究的報告中顯示，在中國，交通事故主要可歸因于交通違規、車速太快、醉酒、疲勞駕駛及意外事故等，但到目前為止各類因素所造成的交通事故正在逐年減少，而這一結果的直接技術性原因則得益于人工智能圖像識別和智能數據處理技術的應用［4］。 武云飛（2020）［5］在研究中提到完整的車牌識別系統（License plate recognition system，LPRS）一般由車牌攝像系統、車牌檢測、圖像采集、車牌定位與字符分割提取、車牌信息識別和數據庫比對管理。 渠秋會等學者（2020）［6］在研究中提到國內在識別技術方面起步較晚，當前在進行圖像獲取時主要是采用紅外照明攝像模式，并據此來達到較高的識別效果。 不過這樣一來相應成本投入就會較高，因而存在一定的應用局限性。 在進行車輛識別時，研究涉及到的問題有兩個方面，分別是:車牌定位和車牌字符識別。 相應地，也可以將此種系統劃分為兩個子系統。 Sanjana（2020）［7］在研究中提到為了解決相關車牌本身以及與拍照和背景的問題，可通過有針對性的定位方法來進行解決，并在車牌準確定位方面取得了較好的效果。 然而為了適應現代交通業迅速發展的形勢需要，道路管理對車牌定位的準確率要求也在不斷提高，因而就很有必要對車牌定位展開進一步的研究［8］。 在進行了車牌定位研究后，就需要識別出車牌上的字符信息，這些字符信息中包括著字母、數字、漢字，其中識別難度最大的就是漢字。 因而亟待研發找到有關漢字字符的高效識別方法。 目前，在這方面的研究已取得了一些進展，不過大都沒有達到預期的效果，且和現代化交通系統的相關需求間還存在一定的差距。 因而致力于字符識別的深入研究是目前學界的重點討論課題。

依據車牌特征來選擇不同的車牌定位方法。 現如今，較為常用的車牌定位方法包括了:邊緣檢測技術［9］、通 過 顏 色 語 義 分 割 技 術［10］、小 波 變 換 技術［11］、遺傳優化方法［12］、數字形狀方法［13］以及基于二值圖形紋理特征分析的方法［14］等。 本次研究主要是基于智能化深度學習算法來研發道路車輛車牌識別技術。 目前，車牌識別技術已經解決了車輛闖紅燈和超速問題，在此基礎上，探討研究基于智能化深度學習算法的道路車輛車牌識別技術對中國道路交通安全便利發展顯然有著重要意義。

1 數據集

本文采用CCPD 數據集［15］抽樣500 張的方式獲取訓練數據集。 其中，400 張作為訓練集，搜集隨機拍攝100 張圖片作為測試集。

CCPD 數據集是采自合肥街道上，每張圖片僅包含一張車牌。 數據集中的圖片采集時間為早上7:30 到晚上10:30，并選擇在不同天氣、位置、角度拍攝得到的，共包含25 萬張圖片。 部分詳情見表1。

表1 CCPD 數據集說明Tab． 1 Description of CCPD data sets

1．1 數據預處理

通常情況下，車牌的數字、英文及中文之間往往存在著一定的變化規律。 例如，一般的車牌由以下字符構成:開頭的字符是省份的縮寫，接著是大寫英文，后面的5 個字符則由字母或者數字構成，目前常見的車牌都是遵照以上標準來進行定制的。 7 個汽車字符的總長度為40.9 cm，且字符的寬度、字符之間的距離以及汽車車牌的小圓點都有具體的寬度規定。 基于此，在進行車牌的中文、英文及數字字符分割時，通常采用的就是垂直投影法和連通域法。 對此擬做闡釋分述如下。

（1）垂直投影法。 在進行中文、英文及數字分割時，該方法利用了3 種字符豎直方向上的投影必然正確的原理進行計算。 在計算過程中，應注意不能超過各個字符的最大限制［16］。 當遇到第一個局部最小值之后，將找到點設置為最右邊的字符邊界。類似地，可以獲得最左邊的字符邊界。 根據兩邊的字符邊界，就能夠準確地推斷出整個車牌的實際寬度。 由于大多汽車車牌都是由7 個字符組成，且7個字符通常能夠占到8 個字符寬，因此根據前期知識就能有效地進行字符分割，防止出現分割過度現象，從而達到最佳的分割效果。

（2）連通域法。 作為連通域算法，即利用字符或者字符當中的一部分組成連通域，并可將這些連通域進行有效的分割［17］。 考慮到7 個字符中，一般只有第一個字符為漢字，因此可將其作為理想狀態的“全”連通字符進行計算。 但在實際應用中，由于大多車牌處理時會產生較大的噪聲，甚至部分車牌連肉眼都較難分辨，利用該算法往往難以取得預期的效果。 為此，很多學者就對連通域算法相繼研發出了不同的改進方法，確保車牌中的各個字符都能得到有效識別。 例如，灰度圖上的優化，這是因為車牌是由多種彩色元素組成的，通過圖像的二值化操作能得到更好的對象目標。 或者利用車牌自己的先驗條件來合并或者分割字符的連通處，此外針對車牌中字符連接的情況還可以用單獨的閥值來做分割。 通過上述方法則能夠達到更好的多次分割效果［18］。

車牌圖像中常會包含多個字符信息，在對字符進行識別時，就要依據不同的字符特點來做出分割，為字符識別打下基礎［19］。 處理過程具體如下:

（1）對圖像進行逐行掃描，確定字符高度范圍。

（2）在此區域進行橫向掃描，確定字符寬度區間。

（3）縱向掃描，確定各字符的精確高度區間。

1．2 字符歸一化預處理

視頻中截取的圖片f（i，j），寬w、高h，同比例操作后圖像g（x，y），寬W、高H。 圖像中，點（x，y） 對應截取圖像中點（i，j），具有相同的值。 對此可用如下公式進行描述:

此時，可得:

相對而言，語義分割得到的字符大小各有不同，故而對于每個字符可以進行統一規范化處理。 研究中，本文通過對每個字符構造16×32 點矩陣標準模板，將分割后的字符圖線性縮放為16×32 點矩陣。大小歸一化后的字符識別的準確度也會更高。

2 本文模型框架

國內的車牌是由各省份簡稱以及英文和數字組成的，因此，本次研究中車牌識別本質上就是對字符串的識別。 論文中采用BP（Back Propagation）神經網絡［20］作為模型的主干網絡。 BP 神經網絡是一種具有連續傳遞函數的多層前饋反向傳播的網絡，是一種結構簡單、且獲得了廣泛使用的非線性不確定性數學模型。

模型采用了多模板（Multiple Template， MT）與BP 神經網絡結合方法原理:將預處理后的車牌圖像字符輸入到算法模型中，隨后由模板匹配方法進行識別，將簡單、易識別的字符快速識別輸出，將較難識別的字符輸入到BP 神經網絡中快速、精準地識別得到結果。 文中給出的算法模型結構如圖1 所示。

圖1 TM－BP 神經網絡算法模型Fig． 1 TM－BP neural network algorithm model

2．1 多模板匹配

多模板匹配算法流程框圖如圖2 所示。 由圖2可知，模板匹配法的實現過程為:通過指定的模板和原圖中的某一塊區域做比對，在初始時對二者的左上角點像素進行比較，若完全重合，此后將對其余的位置進行同樣比對，待全部位置都比對結束后，差別最小的就是所需物體。 分析可知，這種處理過程中需要進行大量的對比，因而工作量很大。

圖2 多模板匹配算法流程框圖Fig． 2 Flow diagram of multi－template matching algorithm

如果已經取得字符的這13 個特征，就只要比對這些特征，而這些特征模板的匹配情況則可以通過匹配值來做出比較描述。 研究中涉及的數學計算公式為:

其中，A（k） 表示第k個特征的權值；I（k） 為待匹配字符的第k個特征；T（k） 表示對應的模板庫中相關模板的第k個特征。 當D（i） 越小時，匹配度越高。

2．2 多層BP 神經網絡

模板匹配方法輸出的結果有兩種情況，即:一個匹配度最低的一個結果；還可能會得到多個結果，即匹配度相差較小的多個結果。 在第一種情況中，將預處理后的車牌圖像輸入到BP 神經網絡模型中，輸出匹配度最高的情況，再與多模板方法進行對比，輸出結果，否則再次迭代。 在第二種情形下，要在第一種情況處理基礎上，再疊加一步運算，即將模板匹配法輸出的結果輸入到BP 神經網絡中，輸出匹配度最高的結果。 本次設計僅考慮第一種情況。

3 實驗測試結果分析

通過隨機在街道拍取來構建數據集，數據集中包括正面清晰數據、側面模糊數據以及夜晚光照太暗或太亮的數據作為本文實驗的測試集。 實驗數據樣本如圖3 所示。

圖4 為隨機獲得的白天圖像數據測試結果。 圖4（a）為“貴F.DL873”的正面清晰照和側面復雜環境模糊照，從識別結果來看，正面清晰照的結果符合預期，能夠快速且正確地識別結果，達到了100%的匹配率。 圖4（b）為側面照，再處理時由于光線及圖像預處理出現了部分問題，所以導致最后的結果出現偏差，結果匹配率為75.4%，但仍然具有一定的參考價值。

圖4 隨機獲得的圖像數據測試結果Fig． 4 Test results of randomly obtained image data

圖5 為“貴F.60A51”在實驗中隨機獲得的夜晚圖像數據測試結果，在較暗或較亮的情況下，模型的性能受到一定的影響。 夜間采集的該圖像有部分被光線模糊，在預處理時未能獲得清晰效果，導致前2個字符模糊在一起，最終識別匹配率為85.714%。

圖5 夜晚圖像數據測試結果Fig． 5 Test results of night image data

從文中的識別結果來看，本次研究的TM-BP神經網絡在圖像識別匹配上能夠快速精準地匹配結果，但在特殊環境下獲得的圖像，在預處理環節中存在較大的局限性。 因此本系統在投入使用時，采用高清晰度的圖像采集設備，并與本文識別算法相結合，可以精準地實現車牌識別。

4 結束語

本文通過卷積神經網絡的方法研究了車牌定位與車牌數字識別。 首先，通過色彩分割、小波變換、遺傳算法、數字圖像等分析方法對車牌定位進行研究。 然后，利用圖像字符糾正預處理、圖像字符分割提取、字符歸一化預處理三個部分對車牌字符處理方法進行更深入的探討與剖析。 通過深度學習技術來推動交通領域的車牌定位與字符識別，可以更好管控道路車輛安全行駛，從而大大提升了人民的安全出行保障。