基于深度學(xué)習(xí)的車(chē)牌識(shí)別系統(tǒng)開(kāi)發(fā)研究

陳強(qiáng)，吳鍇，柏云濤

（溫州大學(xué)計(jì)算機(jī)與人工智能學(xué)院，溫州325035）

0 引言

在現(xiàn)代化的交通系統(tǒng)中，快速發(fā)展的圖像識(shí)別技術(shù)能幫助交警快速地處理交通事故，例如近年來(lái)出現(xiàn)的車(chē)牌識(shí)別系統(tǒng)能幫助交警快速掃描識(shí)別車(chē)牌，讀取并記錄車(chē)牌信息。

但是傳統(tǒng)車(chē)牌識(shí)別系統(tǒng)，如基于機(jī)器學(xué)習(xí)車(chē)牌識(shí)別技術(shù)的系統(tǒng)由于本身識(shí)別技術(shù)依賴手工提取車(chē)牌和車(chē)牌字符的特征[1]，在雨天或夜里，由于光線條件并不好，難以對(duì)車(chē)牌進(jìn)行正確識(shí)別甚至難以定位。這時(shí)只能由交警手動(dòng)抄寫(xiě)車(chē)牌內(nèi)容，然而交警記錄罰單等車(chē)輛信息的表格時(shí)，往往不僅要記錄車(chē)牌號(hào)碼，同時(shí)還要記錄車(chē)牌顏色、車(chē)輛類型、車(chē)輛顏色等數(shù)據(jù)，大量的記錄內(nèi)容對(duì)交通處理效率造成一定的影響。

深度學(xué)習(xí)是人工智能研究領(lǐng)域中的一個(gè)比較新技術(shù)[2]。通過(guò)深度學(xué)習(xí)的方法能不需要人為地進(jìn)行提取目標(biāo)特征，而讓其自己訓(xùn)練迭代得到目標(biāo)的從淺層到非常深層的具體特征，是一種計(jì)算機(jī)視覺(jué)領(lǐng)域的一項(xiàng)重大突破[3]。因此，使用基于深度學(xué)習(xí)技術(shù)的車(chē)牌識(shí)別系統(tǒng)能很好地解決傳統(tǒng)技術(shù)魯棒性不夠好，在復(fù)雜多變的場(chǎng)景中車(chē)牌難以檢測(cè)的問(wèn)題。

本文將針對(duì)傳統(tǒng)車(chē)牌識(shí)別的局限性問(wèn)題，使用YOLO 和CRNN 兩大深度學(xué)習(xí)技術(shù)[4-5]，設(shè)計(jì)開(kāi)發(fā)一套準(zhǔn)確性高、魯棒性強(qiáng)的車(chē)牌識(shí)別軟件。

1 整體設(shè)計(jì)

將車(chē)牌識(shí)別功能分成了兩部分模塊，首先是將車(chē)牌從照片中定位出來(lái)，然后對(duì)定位后的車(chē)牌圖片進(jìn)行字符識(shí)別。如圖1 所示。

圖1 車(chē)牌識(shí)別程序主要邏輯圖

車(chē)牌定位模塊定位我們使用了最新的圖片對(duì)象識(shí)別定位算法之一YOLO 算法，使用公開(kāi)車(chē)輛數(shù)據(jù)集CCPD 中的三十萬(wàn)張圖片經(jīng)過(guò)兩千次迭代，收斂后生成了我們的單純針對(duì)車(chē)牌對(duì)象的識(shí)別權(quán)重[6]。YOLO 算法是一種運(yùn)行效率極高的算法，其運(yùn)行速度約一百倍于Fast R-CNN，這個(gè)運(yùn)行速度可以為我們以后的視頻動(dòng)態(tài)識(shí)別定位做好準(zhǔn)備。

字符識(shí)別模塊我們使用的是循環(huán)卷積神經(jīng)網(wǎng)絡(luò)CRNN 對(duì)車(chē)牌進(jìn)行不定長(zhǎng)字符串識(shí)別，CRNN 并不像傳統(tǒng)的字符識(shí)別算法那樣對(duì)整行的字符串進(jìn)行分割后單字識(shí)別，而是直接整行循環(huán)卷積識(shí)別。這樣就能避免了在字符分割時(shí)產(chǎn)生的誤差，大大提高了識(shí)別正確率。我們?cè)谠械腃RNN 網(wǎng)絡(luò)模型上精簡(jiǎn)了兩個(gè)卷積層，使其加快了迭代速度，并加大了Learning rate，重做了字典。

圖形界面模塊我們使用Python 的Tkinter 框架搭建了一個(gè)桌面端的車(chē)牌識(shí)別系統(tǒng)，使其能調(diào)用以上兩個(gè)神經(jīng)網(wǎng)絡(luò)模塊，讓程序能在圖片中快速定位圖中的車(chē)牌并識(shí)別車(chē)牌中的文字，并顯示原圖、定位截圖和識(shí)別結(jié)果。

2 技術(shù)實(shí)現(xiàn)

2.1 車(chē)牌定位

從攝像頭獲取照片之后我們先進(jìn)行車(chē)牌的識(shí)別定位，我們使用的是YOLOv3 技術(shù)[4]，將車(chē)牌從原圖中定位并截取出來(lái)。

圖2 YOLO算法的識(shí)別流程

YOLO 是一個(gè)使用了75 個(gè)卷積層的完全卷積網(wǎng)絡(luò)。該技術(shù)首先采用了2 個(gè)步幅的卷積層在特征圖上進(jìn)行下采樣，這樣可以防止過(guò)擬合導(dǎo)致的低級(jí)特征丟失。其次YOLO 采用3 種不同尺度進(jìn)行預(yù)測(cè)，其步幅分別為32,16,8。先采用步幅為32 的層的特征圖進(jìn)行檢測(cè)，然后使用步幅16 和8，依次進(jìn)行檢測(cè)。檢測(cè)層的上采樣系數(shù)都為2，也都保存了前一層特征圖尺寸相近的特征圖連接。再其次YOLO 就將輸出特征圖作為結(jié)果。如圖2 所示，YOLO 將圖像分割成邊長(zhǎng)為S 的網(wǎng)絡(luò)單元格，然后對(duì)每個(gè)單元格的邊框的坐標(biāo)、類標(biāo)簽等信息進(jìn)行預(yù)測(cè)，其網(wǎng)絡(luò)輸出為一個(gè)有(B*(5+C))個(gè)參數(shù)的特征圖。表示每一個(gè)單元格可以預(yù)測(cè)B 個(gè)邊框數(shù)，并顯示5+C 個(gè)屬性，分別為每個(gè)邊框的中心坐標(biāo)、維度、目標(biāo)值和置信值[7]。預(yù)測(cè)出的邊界框中心點(diǎn)坐標(biāo)可利用sigmoid 函數(shù)來(lái)精確，而邊界框的尺寸需要通過(guò)對(duì)輸出應(yīng)用對(duì)數(shù)空間轉(zhuǎn)換，與錨點(diǎn)進(jìn)行關(guān)系轉(zhuǎn)化得到。

YOLO 權(quán)重的訓(xùn)練使用了國(guó)內(nèi)的大型數(shù)據(jù)集CCPD[6]數(shù)據(jù)集，它包含了多種復(fù)雜場(chǎng)景下的車(chē)牌圖像，我們編寫(xiě)了Python 文件處理腳本將其放于圖片名中的數(shù)據(jù)信息提取成YOLO 格式轉(zhuǎn)存之后，修改YOLO 網(wǎng)絡(luò)的參數(shù)，包括CFG 文件中的Classes 從原本的80 個(gè)對(duì)象調(diào)整為1 個(gè)，并相應(yīng)的調(diào)整Filters 參數(shù)與之相匹配。降低了網(wǎng)絡(luò)的學(xué)習(xí)率和batch_size 使其能更好地適應(yīng)我們電腦的配置，讓其更充分的利用GPU 性能。然后開(kāi)始調(diào)用YOLO 的網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，生成可繼續(xù)迭代的.pt 后綴的權(quán)重文件，經(jīng)過(guò)長(zhǎng)時(shí)間的反復(fù)resume 訓(xùn)練，權(quán)重文件的準(zhǔn)確率，日漸上升并達(dá)到我們的要求水平。最后我們將ArgumentParser 模塊的命令行參數(shù)全部整理封裝，使其能配合圖形界面窗口的接口的調(diào)用修改。

2.2 車(chē)牌字符識(shí)別

在完成對(duì)車(chē)牌的識(shí)別定位后開(kāi)始對(duì)車(chē)牌中的字符串進(jìn)行識(shí)別，這里我們使用了循環(huán)卷積神經(jīng)網(wǎng)絡(luò)（CRNN）[5]。其結(jié)構(gòu)如圖3 所示。

圖3 CRNN網(wǎng)絡(luò)結(jié)構(gòu)圖

如圖3 所示，首先將車(chē)牌圖片的大小重設(shè)成同一高度并將其輸入卷積層，經(jīng)過(guò)卷積層得到特征向量序列，在特征圖上從左到右生成這些特征向量，且對(duì)應(yīng)于原始圖像的一個(gè)感受野，然后將這些特征向量的序列輸入循環(huán)層。在循環(huán)層里我們使用一個(gè)向前的LSTM和一個(gè)向后的LSTM 組合成一個(gè)雙向LSTM，并且可以在網(wǎng)絡(luò)中添加多個(gè)雙向LSTM 組件，這使得模型的魯棒性大大提高。在使用循環(huán)層來(lái)預(yù)測(cè)每一幀的標(biāo)簽分布之后，再使用轉(zhuǎn)錄層將預(yù)測(cè)變?yōu)閷?shí)際的標(biāo)簽序列，在這里我們基于詞典模式，并預(yù)測(cè)具有概率最高的標(biāo)簽序列[4]。

CRNN 的數(shù)據(jù)集我們采用中科大開(kāi)源數(shù)據(jù)集CCPD 外，我們還使用了自制的數(shù)據(jù)集，但是這兩個(gè)數(shù)據(jù)集中“皖”與“蘇”的車(chē)牌占比過(guò)多而其他省份的車(chē)牌很少，所以我們還使用了模擬車(chē)牌的開(kāi)源程序額外生成了一些包含各省份的模擬車(chē)牌圖像以增強(qiáng)模型對(duì)其他省份車(chē)牌的識(shí)別效果，數(shù)據(jù)集如圖4 所示。我們整理了所有圖片數(shù)據(jù)的車(chē)牌名稱，生成數(shù)據(jù)集標(biāo)簽文件train.txt（image_name palte_number），將數(shù)據(jù)集制作成LMDB 格式的數(shù)據(jù)庫(kù)，并創(chuàng)建字典。

表1 車(chē)牌字典集

做好以上數(shù)據(jù)準(zhǔn)備之后，調(diào)用CRNN 模塊進(jìn)行訓(xùn)練，網(wǎng)絡(luò)會(huì)自動(dòng)編碼/解碼字典，經(jīng)過(guò)5 萬(wàn)多次的迭代之后生成的權(quán)重文件識(shí)別準(zhǔn)確率達(dá)到了預(yù)期要求，現(xiàn)在字符識(shí)別準(zhǔn)確率暫時(shí)為98.06%（3138/3200）。

2.3 用戶界面設(shè)計(jì)

此模塊在項(xiàng)目功能完成后消除了控制臺(tái)下的用戶不友好的弊端，使用Python 的Tkinter 庫(kù)實(shí)現(xiàn)了基本的操作界面，調(diào)用以上YOLO 和CRNN 兩大算法對(duì)圖片中車(chē)牌進(jìn)行識(shí)別定位的軟件，軟件首先在本地選中圖片顯示在程序中，點(diǎn)擊“車(chē)牌定位”按鈕調(diào)用YOLO 神經(jīng)網(wǎng)絡(luò)對(duì)原圖進(jìn)行車(chē)牌識(shí)別定位，并將定位好的車(chē)牌圖片以及在原圖中的坐標(biāo)和車(chē)牌尺寸顯示在程序中，再接著點(diǎn)擊“車(chē)牌識(shí)別”按鈕進(jìn)行CRNN 不定長(zhǎng)字符識(shí)別，并將識(shí)別結(jié)果顯示在程序中。

圖5 車(chē)牌識(shí)別程序界面圖

3 實(shí)驗(yàn)結(jié)果

圖4 CRNN數(shù)據(jù)集

車(chē)牌識(shí)別軟件效果如圖6 所示，基本能識(shí)別所有復(fù)雜環(huán)境下的車(chē)牌，并準(zhǔn)確識(shí)別車(chē)牌上的字符。能適應(yīng)的環(huán)境包括：環(huán)境黑暗、鏡頭內(nèi)有強(qiáng)光、車(chē)身反光、車(chē)身上有影子、車(chē)牌距離很遠(yuǎn)或很近、車(chē)牌歪斜、雪天、雨天，等等。現(xiàn)在YOLO 定位準(zhǔn)確率暫時(shí)為98%（588/600），而字符識(shí)別準(zhǔn)確率暫時(shí)為98.06%（3138/3200）。

4 結(jié)語(yǔ)

本文給出了YOLO 算法、CRNN 算法的核心思路以及基于該兩種算法的桌面端車(chē)牌識(shí)別軟件的程序。該程序?qū)缮疃葘W(xué)習(xí)算法的應(yīng)用有助于幫助讀者對(duì)深度學(xué)習(xí)算法的理解與應(yīng)用，同時(shí)該程序能輔助識(shí)別定位圖片中的車(chē)牌位置和車(chē)牌文本內(nèi)容，具有一定的實(shí)際意義。

圖6 軟件識(shí)別結(jié)果圖