基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的車牌定位

傅 鵬，謝世朋

(南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

1 概 述

近年來，車牌識別受到了廣泛的關(guān)注和研究[1-2]，并大量應(yīng)用于高速公路、停車場、公路自動(dòng)收費(fèi)站、居民小區(qū)等環(huán)境中。其中車牌定位是整個(gè)車牌識別技術(shù)的核心，一直是受關(guān)注的熱點(diǎn)。譚同德等[3]提出一種基于開源視覺庫OPENCV的車牌定位方法：利用車牌的顏色特征，將原圖像分別在HSV顏色空間和RGB顏色空間下處理得到兩幅二值圖像，根據(jù)這兩幅二值圖像的紋理特點(diǎn)，通過在HSV顏色空間下得到的二值圖像定位出車牌的上下邊界，再按照定位出的上下邊界坐標(biāo)從RGB顏色空間下的二值圖像中水平切割出車牌區(qū)域。實(shí)驗(yàn)表明該方法在卡口環(huán)境下有較好的定位效果。

葉必錠等[4]提出一種基于結(jié)構(gòu)特征和紋理特征的車牌定位方法：對車輛圖像進(jìn)行預(yù)處理,檢測垂直方向的邊緣，執(zhí)行數(shù)學(xué)形態(tài)學(xué)操作，并利用車牌的結(jié)構(gòu)特征粗定位車牌區(qū)域；提取車牌的紋理特征并構(gòu)建特征向量，通過貝葉斯分類器精確定位車牌區(qū)域。實(shí)驗(yàn)表明該方法不受車牌大小、位置等因素的限制，定位率高，速度快，具有較好的魯棒性。羅斌等[5-6]提出了基于角點(diǎn)回歸的全卷積神經(jīng)網(wǎng)絡(luò)的車牌定位。該算法不僅能夠在標(biāo)準(zhǔn)交通卡口數(shù)據(jù)上進(jìn)行有效定位，而且在光照條件低下、車輛傾斜嚴(yán)重等一些復(fù)雜環(huán)境下，同樣具有較高的魯棒性。但是，以上方法在車牌清晰、車牌大小合適的情況下較適用，但是在交通路口天網(wǎng)攝像頭拍攝到的畫面中，由于車輛數(shù)量較多、目標(biāo)車牌較小、光線影響等，很難在監(jiān)控視頻中利用車牌自身的邊緣和顏色特征定位到車牌。

深度學(xué)習(xí)[7-9]作為傳統(tǒng)機(jī)器學(xué)習(xí)的延伸和擴(kuò)展，已經(jīng)在眾多領(lǐng)域得到廣泛應(yīng)用。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的一種，具備深度學(xué)習(xí)自動(dòng)學(xué)習(xí)并提取特征的特點(diǎn)，利用局部感受野和權(quán)值共享提高計(jì)算速度，泛化能力強(qiáng)，識別效率高，廣泛用于圖像識別等方面。Redmon等將卷積神經(jīng)網(wǎng)絡(luò)和人類視覺系統(tǒng)原理相結(jié)合，提出了YOLO網(wǎng)絡(luò)：將分類問題作為回歸問題處理并直接將原圖像輸入網(wǎng)絡(luò)，取得了很好的效果。YOLO模型處理圖像速度達(dá)到了45 fps (frames per second)，而Fast YOLO網(wǎng)絡(luò)處理圖像的速度能達(dá)到155 fps。但是YOLO網(wǎng)絡(luò)對小物體識別效果不佳，所以在復(fù)雜環(huán)境下，直接通過YOLO網(wǎng)絡(luò)定位車牌效果并不理想。

人類視覺對物體的認(rèn)知，是先將其作為統(tǒng)一的整體，而后才以部分的形式認(rèn)知物體[10-11]。當(dāng)需要從復(fù)雜的場景中尋找并識別車牌時(shí)，首先會在場景中尋找到車輛的位置，然后再從車輛上尋找到車牌，從而識別車牌字符。基于這種思想，提出了將運(yùn)動(dòng)區(qū)域檢測[12]和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的車牌定位方法，用于定位識別交通路口天網(wǎng)攝像頭下的車輛牌照。首先定位車輛的運(yùn)動(dòng)區(qū)域，然后在運(yùn)動(dòng)區(qū)域中定位車輛，最后從定位到的車輛中提取車牌信息。

流程如圖1所示。

圖1 檢測系統(tǒng)流程

2 網(wǎng)絡(luò)詳述

2.1 輸入視頻

由于該網(wǎng)絡(luò)定位于處理復(fù)雜場景下的車牌定位問題，所以輸入視頻為復(fù)雜場景下天網(wǎng)攝像頭拍攝的視頻，難點(diǎn)在于多車輛、低分辨率、室外環(huán)境等。但是由于視頻中幀間存在大量的冗余信息[13]，若將其全部輸入網(wǎng)絡(luò)將得到大量的重復(fù)信息，導(dǎo)致網(wǎng)絡(luò)效率下降，所以在視頻中間隔特定的時(shí)間抽取部分幀作為網(wǎng)絡(luò)的輸入，一方面可以避免處理重復(fù)信息，另一方面可以提高處理速度。

2.2 預(yù)處理

由于車輛處于運(yùn)動(dòng)熱點(diǎn)區(qū)域[14]，因此可以首先檢測視頻中車輛的運(yùn)動(dòng)區(qū)域，該步驟可有效刪除視頻中的部分冗余信息，去除與車輛無關(guān)的區(qū)域，從而進(jìn)一步減少了車牌搜索區(qū)域，提高了網(wǎng)絡(luò)的識別效率。實(shí)驗(yàn)結(jié)果表明，經(jīng)過預(yù)處理的圖片識別率高于未經(jīng)預(yù)處理的圖片識別率。

2.3 車輛識別

文中網(wǎng)絡(luò)從整個(gè)圖像中提取特征，從而對目標(biāo)進(jìn)行預(yù)測，并改善了YOLO網(wǎng)絡(luò)對小物體的識別效果。網(wǎng)絡(luò)將圖像分為S×S的網(wǎng)格，如果物體位于某個(gè)網(wǎng)格中，則在該網(wǎng)格中檢測該物體。

每個(gè)網(wǎng)格預(yù)測B個(gè)邊界框的位置，每個(gè)邊界框包含5個(gè)預(yù)測值：x,y,w,h,Q。(x,y)表示邊界框的中心，w和h分別表示預(yù)測邊界框的寬度和高度，Q代表了預(yù)測的邊界框和真實(shí)物體位置的交疊率。其中

(1)

同時(shí)每個(gè)網(wǎng)格還對預(yù)測類別的概率進(jìn)行預(yù)測,記為Pr(Classi|Object)。該概率和網(wǎng)格包含的物體有關(guān)，由于車牌在整個(gè)圖像中較小，所以僅考慮每個(gè)網(wǎng)格中只存在一種目標(biāo)類別，即每個(gè)網(wǎng)格只對一類目標(biāo)進(jìn)行預(yù)測。每個(gè)邊界框預(yù)測類別C的概率為：

(2)

該值不僅顯示了類別C出現(xiàn)在該邊界框內(nèi)的概率大小，還體現(xiàn)出邊界框的位置與物體準(zhǔn)確位置的距離。

網(wǎng)絡(luò)最后一層不僅預(yù)測類別概率還預(yù)測邊界框的位置。其中，將表示位置的寬度和高度通過原圖像的寬度和高度歸一化在0到1之間。同理邊界框中心點(diǎn)x，y也通過該方法進(jìn)行歸一化，使其值歸一化在0到1之間。

在網(wǎng)絡(luò)的最后一層采用線性激活函數(shù)，在其他層使用如下的激活函數(shù)：

(3)

因?yàn)檎`差平方和函數(shù)容易優(yōu)化并且能實(shí)現(xiàn)平均精度的最大化，所以卷積網(wǎng)絡(luò)使用已優(yōu)化的誤差平方和函數(shù)作為損失函數(shù)。但是誤差平方和存在以下問題：誤差平方和函數(shù)錯(cuò)誤地將邊界框位置錯(cuò)誤等級等同于分類錯(cuò)誤等級。由于大部分的網(wǎng)格中沒有包含任何物體，所以這些網(wǎng)格的得分Q接近于0，這會影響存在物體的網(wǎng)格的梯度，可能會導(dǎo)致模型不穩(wěn)定，使訓(xùn)練過早地發(fā)散。為了解決上述問題，文中網(wǎng)絡(luò)加重了位置預(yù)測誤差造成的損失，減少了不包含物體的網(wǎng)格的Q值的損失。因此為其分別設(shè)置系數(shù)λcoord=5，λnoobj=0.5。由于大面積的邊界框定位容錯(cuò)率高于小面積邊界框定位容錯(cuò)率，所以網(wǎng)絡(luò)預(yù)測的是邊界框的高度和寬度的平方根而不是直接預(yù)測邊界框的高度和寬度。

網(wǎng)絡(luò)在一個(gè)網(wǎng)格中預(yù)測很多個(gè)邊界框，而對于每個(gè)物體只需一個(gè)邊界框，所以選擇在真實(shí)背景下當(dāng)前IOU值最高的邊界框作為該物體的定位框。這使得每個(gè)定位框在預(yù)測物體的大小、物體的類別等方面變得越來越準(zhǔn)確。

基于上述理論，在訓(xùn)練階段使用了如下的多部分損失函數(shù)：

(4)

如果在一開始就采用較高的學(xué)習(xí)率，由于梯度不穩(wěn)定，模型會發(fā)散，所以學(xué)習(xí)率從10-3到10-2緩慢增加。為了避免過擬合，采用Dropout和數(shù)據(jù)集擴(kuò)充方法。Dropout在第一層后隨機(jī)(rate=0.5)刪除一些隱藏層神經(jīng)元，從而避免層與層之間相互適應(yīng)。數(shù)據(jù)集擴(kuò)充方法采用隨機(jī)縮放并改變原圖像大小，同時(shí)在HVS彩色空間中，以1.5倍的因子隨機(jī)調(diào)整圖像的曝光度和飽和度。

2.4 車牌定位

在經(jīng)過卷積網(wǎng)絡(luò)定位到車輛位置后，得到單個(gè)車輛的圖片，并重新調(diào)整大小為225*255像素。在得到的圖片中，車牌大小與圖片大小的比例在一定的范圍內(nèi)，如圖2所示。車牌定位部分的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和車輛定位部分相同。訓(xùn)練采用20 000幅車牌圖片，具體細(xì)節(jié)和車輛定位部分網(wǎng)絡(luò)相同，不再贅述。將車輛圖片再次輸入預(yù)訓(xùn)練好的車牌定位卷積網(wǎng)絡(luò)，輸出定位到的車牌。

3 實(shí)驗(yàn)結(jié)果與分析

將文中方法與傳統(tǒng)的車牌定位方法進(jìn)行對比分析，識別率從平均單幅圖片只能檢測到0.131個(gè)車牌提升4.312個(gè)車牌，識別率大大提升。

圖2 不同環(huán)境下的對比識別效果

預(yù)處理對檢測車輛的影響如表1所示。

表1 預(yù)處理對檢測車輛的影響

從表1可以看出，經(jīng)過預(yù)處理之后的圖片平均每幀檢測時(shí)間略有減少，這是由于在預(yù)處理過程中截取了圖像中的運(yùn)動(dòng)熱點(diǎn)區(qū)域，排除了大量的冗余信息，增大了每一個(gè)網(wǎng)格中包含目標(biāo)物體的概率。識別車牌數(shù)量從4.346提升到5.471，提升近26個(gè)百分點(diǎn)，所以在視頻幀輸入之前進(jìn)行預(yù)處理能取得非常好的效果。

算法對比如表2所示。

文中方法平均每幀檢測時(shí)間明顯少于基于顏色特征和邊緣檢測的車牌定位算法，一方面是由于YOLO網(wǎng)絡(luò)運(yùn)行速度較快，另一方面是由于在定位出的車輛圖片中車牌部分特征較原圖明顯，所以定位速度快。定位到的車牌數(shù)目也多于傳統(tǒng)車牌定位算法，大約是傳統(tǒng)車牌定位算法的五倍，車牌定位的效率遠(yuǎn)遠(yuǎn)大于傳統(tǒng)車牌定位算法。當(dāng)然，定位到的車輛數(shù)量大于能夠定位到的車牌數(shù)目，一方面是由于車輛定位不完整，沒有包含全部車牌，另一方面是由于圖片的分辨率過低，不能從已經(jīng)定位到的車輛上識別出車牌。

表2 文中方法和基于顏色特征和邊緣檢測的車牌定位算法的對比

表3比較了不同分辨率的圖片的車牌檢測效果。其中測試集采用超清攝像機(jī)拍攝的200幅圖片，通過OPENCV函數(shù)將圖片的分辨率從3 264×1 836轉(zhuǎn)化為1 280×720，該操作保證圖片拍攝的內(nèi)容和角度完全相同，不會因?yàn)榉直媛实牟煌鴮?dǎo)致圖片內(nèi)容的缺失。

表3 不同分辨率下的車牌檢測效果

從表3可以看出，高分辨率的圖片檢測耗時(shí)有所增加，但是檢測到的車牌數(shù)目也相應(yīng)增加。雖然現(xiàn)在天網(wǎng)監(jiān)控分辨率以1 280×720為主，但是隨著硬件的提升，更高分辨率的監(jiān)控也在逐漸部署，所以文中方法在攝像頭硬件提升后有更大的應(yīng)用空間。

4 結(jié)束語

由于在復(fù)雜的環(huán)境下，特別是在分辨率有限、車輛數(shù)目多而且車牌不清晰的環(huán)境中，傳統(tǒng)算法無法準(zhǔn)確定位車牌。受人類視覺特征啟發(fā)，文中首先通過運(yùn)動(dòng)區(qū)域檢測縮小車輛的搜索區(qū)域，然后通過卷積網(wǎng)絡(luò)定位車輛，最后縮小車牌搜索區(qū)域。實(shí)驗(yàn)結(jié)果表明，在復(fù)雜的場景下尤其是在多車輛場景下，該方法有較高的識別率。但是該方法也存在由于車輛的定位誤差導(dǎo)致無法進(jìn)行車牌定位的問題，因此下一步將提高車輛定位的完整性，從而提高車牌定位率。

[1] YANG F,MA Z.Vehicle license plate location based on histogramming and mathematical morphology[C]//Fourth IEEE workshop on automatic identification advanced technologies.[s.l.]:IEEE,2005:89-94.

[2] LI G,ZENG R,LIN L.Research on vehicle license plate location based on neural networks[C]//International conference on innovative computing,information and control.[s.l.]:IEEE Computer Society,2006:174-177.

[3] 譚同德,王三剛.基于OpenCV的車牌定位方法[J].計(jì)算機(jī)工程與設(shè)計(jì),2013,34(8):2816-2820.

[4] 葉必錠,李 霆.基于特征多樣性的車牌定位方法[J].自動(dòng)化與信息工程,2012,33(2):17-22.

[5] 羅 斌,郜 偉,湯 進(jìn),等.復(fù)雜環(huán)境下基于角點(diǎn)回歸的全卷積神經(jīng)網(wǎng)絡(luò)的車牌定位[J].數(shù)據(jù)采集與處理,2016,31(1):65-72.

[6] 郜 偉.復(fù)雜環(huán)境下車牌定位的研究與應(yīng)用[D].合肥:安徽大學(xué),2016.

[7] 陳先昌.基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與應(yīng)用研究[D].杭州:浙江工商大學(xué),2013.

[8] KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neural networks[C]//International conference on neural information processing systems.[s.l.]:Curran Associates Inc.,2012:1097-1105.

[9] SZEGEDY C,LIU W,JIA Y,et al.Going deeper with convolutions[C]//IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE Computer Society,2015:1-9.

[10] 周昌雄,曹豐文,崔 鳴,等.基于格式塔心理學(xué)原理的幾何活動(dòng)輪廓模型[J].中國圖象圖形學(xué)報(bào),2008,13(5):924-929.

[11] ROCK I,PALMER S.The legacy of gestalt psychology[J].Scientific American,1991,263(6):84-90.

[12] 柴 毅,陽小燕,尹宏鵬,等.基于運(yùn)動(dòng)區(qū)域檢測的運(yùn)動(dòng)目標(biāo)跟蹤算法[J].計(jì)算機(jī)應(yīng)用研究,2010,27(12):4787-4789.

[13] 肖永豪,余英林.基于視頻對象的自適應(yīng)去幀/插幀視頻處理[J].華南理工大學(xué)學(xué)報(bào):自然科學(xué)版,2003,31(8):6-9.

[14] 伏思華,張小虎.基于序列圖像的運(yùn)動(dòng)目標(biāo)實(shí)時(shí)檢測方法[J].光學(xué)技術(shù),2004,30(2):215-217.