基于神經網絡和支持矢量機的多機動車車牌在線檢測方法

劉進博 朱新新 伍越 楊凱 陳衛

車牌自動檢測識別,即通過對視覺傳感器采集到的車輛圖像進行分析處理得到車輛車牌信息的過程,作為現代智能交通的重要組成部分,已被廣泛應用于交通監控、車輛管理、電子收費等領域[1?5].

車牌的檢測識別分為車牌檢測和車牌識別兩部分.車牌檢測的任務是從圖像中獲取車牌目標圖像,現有的車牌檢測方法可分為以下幾類:1)基于顏色信息的車牌檢測方法,準確率高、較為魯棒,但易受光照影響[6?10];2)基于邊緣檢測的車牌檢測方法,適用范圍廣,但計算量較大且對車牌目標圖像邊框的連續性要求較高[11?15];3)基于形態學的車牌檢測方法,計算量非常大且易受噪聲影響,一般不單獨使用[16?21];4)基于灰度圖像紋理特征的車牌檢測方法,速度快,但對噪聲非常敏感,且由于損失了顏色信息,定位精度受到一定程度的影響[22?28];5)基于機器學習的車牌檢測方法,耗時長,難以實現在線檢測[29?32].車牌識別的任務是從檢測到的車牌圖像中獲取車牌內容,按處理過程可分為字符塊分割提取和字符識別兩部分.字符塊分割提取是將字符塊從車牌目標圖像中逐一分割提取出來,并按順序排列,最常見的字符塊分割提取算法包括:垂直投影法[33]和連通域搜索法[34?35];字符識別是對已分割提取出的字符塊進行內容解析的過程,目前最為常用的是基于分類器的字符識別算法.

現有的車牌檢測識別方法主要是針對停車場、住宅小區、高速收費站等場合的車輛自動注冊及收費,屬于單機動車車牌檢測識別,而且背景相對簡單,易于識別.而對于大視場監控且背景復雜的場景,單機動車車牌檢測識別方法無法直接應用,比如道路交通監控,所監控的區域內一般存在多個機動車目標,背景也相對復雜.針對上述問題,本文提出了一種基于BP神經網絡和支持矢量機的多機動車車牌在線檢測識別算法,主要貢獻如下:1)構造了用于顏色識別的神經網絡模型,相比基于色調經驗值的顏色識別方法,該方法在準確性、計算效率和魯棒性方面均有提升;2)融合了顏色二值化、圖像濾波、形態學運算等多種行之有效的圖像預處理算法,并采用SVM對候選車牌目標進行判別,使得車牌檢測準確率有較大幅度的提升;3)基于車牌尺寸特征提出了一種新的字符塊分割提取策略,相比垂直投影法和連通域搜索法,該方法更為魯棒;4)構造了用于字符識別的神經網絡模型,以字符塊圖像灰度直方圖作為輸入特征,保證了字符識別的準確性;5)開發了多機動車車牌自動檢測識別系統,并在真實場景中進行了實驗測試,取得了預期效果.

1 多機動車車牌檢測技術

多機動車車牌檢測技術主要包括圖像預處理、候選車牌篩選和基于支持矢量機的車牌判別三部分內容,以下將逐一進行詳細介紹.

1.1 圖像預處理

圖像預處理主要是指利用顏色二值化、中值濾波、形態學運算等方法,將類車牌目標從圖像中分割出來,為下一步候選車牌篩選提供初始數據.

1)顏色二值化

以藍底白字車牌為例,如圖1(a)所示,對圖像進行逐像素掃描:若當前像素顏色被識別為藍色,則將該像素灰度置為255,否則將該像素灰度置為0,掃描完成后即輸出原始圖像對應的二值化圖像,如圖1(b)所示.文獻中常利用色調經驗值對像素顏色進行分類,但實驗中發現,色調易受環境影響,即不同環境下相同顏色的色調會發生變化,因此,利用色調經驗值進行顏色識別的方法抗環境干擾能力較弱.為了提高了顏色識別的魯棒性和準確性,本文提出了基于BP神經網絡的顏色識別方法,原理如圖2所示.

圖1 顏色二值化Fig.1 Image binarization

圖2為用于顏色識別的BP神經網絡示意圖,由輸入層、隱藏層和輸出層組成:

a)輸入層

輸入層由7 個單元組成:輸入層由7 個單元組成:x1、x2、x3分別表示圖像像素對應的R、G、B通道的值,x4、x5、x6分別表示圖像像素對應的H、S、V 通道的值,x0為偏倚單元.

b)隱藏層

隱藏層由11個神經元組成,其中z0為偏倚單元,zh(h=1,2,···,9,10)通過如下公式計算得到:

wh,0為神經元zh對應的輸入層偏倚項x0的權重,wh,i為神經元zh對應的輸入層單元xi的權重,f為激活函數:

c)輸出層

輸出層由5個單元組成:y1表示像素顏色為黑色的概率,y2表示像素顏色為白色的概率,y3表示像素顏色為藍色的概率,y4表示像素顏色為黃色的概率,y0表示像素顏色不屬于上述四種顏色的概率.計算公式如下:

圖2 顏色識別原理Fig.2 Principle of color identif cation

vj,0為輸出單元yj對應的神經元z0的權重,vj,h為輸出單元yj對應的神經元zh的權重,f為激活函數,與式(2)相同.

基于OpenCV 神經網絡函數庫,利用帶有標簽的訓練數據集對上述模型進行訓練,以獲取模型參數,然后利用測試數據集測試模型準確性,訓練參數如表1所示.

表1 BP神經網絡訓練參數設置Table 1 Training parameters of BP neural network

訓練數據集中樣本數量為10 775個,測試數據集中樣本數量為10 000個,數據均來自網絡,下載后人工貼標簽.實驗結果表明,上述模型對于顏色識別的準確率為0.9983.

2)中值濾波

如圖3所示,中值濾波的目的在于:1)削弱圖像椒鹽噪聲對車牌檢測的影響;2)填充車牌區域內部孔隙,提高車牌檢測成功率.濾波窗口大小為3×3,圖像濾波前后的對比如圖3所示,經過中值濾波后,車牌區域更為連通,對于提高車牌檢測魯棒性和成功率有重要作用.

3)形態學運算

形態學中的腐蝕運算可突出目標輪廓,膨脹運算可填充孔洞.為了突出圖像中車牌區域特征,對中值濾波后的圖像進行形態學閉運算,即先進行膨脹運算填充孔洞,再進行腐蝕運算突出車牌輪廓.如圖4所示,經過形態學閉運算后,車牌區域內部孔洞被填充,輪廓特征更為明顯.

圖3 中值濾波Fig.3 Median flter

圖4 形態學運算Fig.4 Morphology operation

1.2 候選車牌篩選

原始圖像經過顏色二值化、中值濾波和形態學運算后,車牌區域內部已連通且近似為矩形區域.在此基礎上,查找圖像目標輪廓,如圖5所示.

圖5 目標輪廓查找Fig.5 Find contours of targets

我國小型汽車車牌長440 mm、寬140 mm,長款比為3.1428.基于此,利用長寬比對輪廓的最小外接矩進行尺寸判斷,如表2所示.

表2 候選車牌篩選算法Table 2 Filter of candidate plates

1.3 基于支持矢量機的車牌判別

車牌判別的任務:從候選車牌中去除偽車牌目標或成像條件較差的車牌目標,檢測出真正的車牌目標.相比人工神經網絡,支持矢量機(Support vector machine,SVM)更適用于解決“true or false”問題,效率更高,且在樣本容量有限的情況下,SVM泛化能力更強.同時用于SVM訓練的數據集中正負樣本量級相當、內容基本對稱,保證數據平衡,使得支持向量更具代表性,以獲取更優的模型參數.圖6為基于SVM的車牌判別原理.

圖6 基于支持矢量機的車牌判別原理示意圖Fig.6 Distinguish real plates based on SVM

判別式函數:

www為模型參數,?(x)為徑向基函數,x為輸入特征,其生成方式如圖7 所示.將候選車牌圖像縮放到標準尺寸,分別在水平和垂直方向統計直方圖,即每一行或每一列中灰度非零的像素個數,并以向量的形式存儲到x中,作為輸入特征.

圖7 輸入特征生成Fig.7 Input feature

基于OpenCV 支持矢量機函數庫,利用帶有標簽的訓練數據集對上述模型進行訓練,以獲取模型參數,然后利用測試數據集測試模型準確性,訓練參數如表3所示.

表3 SVM訓練參數設置Table 3 Training parameters of SVM

訓練數據集中正樣本數量為1 400個,負樣本數量為2 174個;測試數據集中正樣本數量為1 400個,負樣本為1 400個,數據均來自網絡,下載后人工貼標簽.實驗結果表明,上述模型對于車牌判別的準確率為0.9997.

2 車牌字符識別技術

利用車牌檢測技術可從采集圖像中獲取標準尺寸大小的車牌目標圖像,車牌字符識別的任務是:從車牌目標圖像中分割字符塊,并完成漢字、字母和數字的識別.本節車牌字符識別技術主要分為圖像預處理、字符塊分割提取和字符識別三部分內容,以下將逐一詳細介紹.

2.1 圖像預處理

為了提高字符識別準確率,需要首先對車牌目標圖像進行預處理:圖像二值化和亮斑消除.圖像二值化方法采用的是最大類間差方法,即通過統計整個圖像的灰度直方圖特性來實現全局閾值的自動選取,二值化效果如圖8所示.

圖8 車牌圖像二值化Fig.8 License plate binary image

在光照較為強烈時,鉚釘會以白色亮斑或黑色暗斑的形式出現在車牌二值化圖像中,可能導致車牌字符分割提取失敗,因此必須對鉚釘等車牌邊沿進行斑點檢測并消除.以鉚釘為例,分布于車牌上、下邊沿各2個,本文以亮度階躍次數為閾值,對車牌二值化圖像進行行掃描,階躍次數小于設定閾值的,該行灰度全部置為0,否則該行灰度不變,掃描后效果如圖9所示.

圖9 斑點檢測效果Fig.9 Spot detection

2.2 字符塊分割提取

經過預處理的車牌二值化圖像僅包含7 個字符塊,首先通過輪廓搜索獲取候選字符塊,然后對候選字符塊進行尺寸判斷,如圖10所示.

圖10 候選字符塊篩選及尺寸判斷Fig.10 Filter of candidate character block and size judgement

由圖10可見,符合尺寸標準的輪廓內包含的并非車牌字符塊,因此,為了準確分割字符塊區域,以圖10為例,本文采用了如下方法:

1)將候選字符塊按從左至右的順序排序Ri(i=1,2,···,n?1,n),并統計字符塊寬度和高度的最大值Wmax、Hmax;

2)在距離車牌左邊界1/7～2/7 寬度的范圍內搜索字符塊,若該字符塊的寬度和高度分別大于0.8Wmax、0.8Hmax,則認為該字符塊對應的是代表城市的字母,即為“B”;

3)(xcity,ycity,Wcity,Hcity)分別表示城市代碼字符塊在圖像上的左上角點像素坐標和矩形的寬、高,以該字符塊為基準,根據中國轎車車牌尺寸標準,省份代碼“川”對應的字符塊參數為(xprovince,yprovince,Wprovince,Hprovince)=(xcity?1.32Wcity,ycity,1.15Wcity,Hcity);

4)對字符塊進行重構,刪除省份代碼前的所有字符塊,記省份代碼為R1,城市代碼為R2,按照由左至右的順序添加R3、R4、R5、R6、R7,刪除R7之后的所有字符塊,至此完成字符塊分割,R1～R7即為車牌字符對應的字符塊,如圖11所示.

圖11 字符分割提取Fig.11 Character segment

2.3 字符識別

為保證輸入特征向量大小相同,需要對上述字符塊圖像進行尺寸歸一化,本文設置的歸一化尺寸為36×136,圖12為用于字符識別的BP神經網絡示意圖,由輸入層、隱藏層和輸出層組成:

1)輸入層.輸入層由173個單元組成:x0為偏倚單元,x1～x172為每一行或每一列中灰度非零的像素個數.

圖12 基于BP神經網絡的字符識別原理Fig.12 Character recognition based on BP neural network

2)隱藏層.隱藏層由41個神經元組成,其中z0為偏倚單元,zh(h=1,2,···,39,40)通過如下公式計算得到:

wh,0為神經元zh對應的輸入層偏倚項x0的權重,wh,i為神經元zh對應的輸入層單元xi的權重,f為激活函數:

3)輸出層.輸出層由65個單元組成:y0～y30表示該字符塊圖像為31個省份代碼的概率,y31～y54表示該字符塊圖像為24個字母的概率,y55～y64表示該字符塊圖像為10個阿拉伯數字的概率.計算公式如下:

vj,0為輸出單元yj對應的神經元z0的權重,vj,h為輸出單元yj對應的神經元zh的權重,f為激活函數,與式(5)相同.

基于OpenCV 神經網絡函數庫,利用帶有標簽的訓練數據集對上述模型進行訓練,以獲取模型參數,然后利用測試數據集測試模型準確性,訓練參數如表4所示.

表4 BP神經網絡訓練參數設置Table 4 Training parameters of BP neural network

訓練數據集中樣本數量為16 424個,測試數據集中樣本數量為12 000個,數據均來自網絡,下載后人工貼標簽.實驗結果表明,上述模型對于字符識別的準確率為0.9855.

3 實驗

相機分辨率為856 pixel ×480 pixel,采集幀頻為30 fps,在VS2013環境下基于C++開發了多機動車車牌自動檢測識別系統,軟件左側為彩色圖像,右側為其對應的灰度圖像,運行平臺主要參數:Dell筆記本&&Intel(R)Core(TM)i7-6700HQ CPU 2.6 GHz&&RAM 16.0 GB.

第一組實驗為實時監測實驗,目的在于測試系統的實時性,部分結果如圖13(a)～13(d)所示.此實驗中,相機采集時長2分7 秒,共48輛正常行駛的車輛經過,系統正確識別出其中的44個車牌,單幀處理時間約為130 ms,正確率為91.6%,其余4個車牌未檢測到的原因是車輛行駛過快,使得圖像中車牌區域發生拖影,導致無法準確定位車牌區域或正確識別車牌字符.

第二組實驗為惡劣條件下的單幀圖像檢測識別實驗,目的在于測試系統在惡劣條件下的性能,結果如圖14(a)～14(f)所示.此實驗中共涉及6種惡劣條件,包括大角度成像、逆光成像、雨天成像、霧天成像、夜間成像和車牌污損,圖像均來自于網絡,結果表明:系統在上述6種情況下均可準確定位車牌區域并識別出車牌字符,單幀處理時間約為109 ms.

第三組實驗為正常條件下的單幀圖像檢測識別實驗,目的在于測試系統對車牌字符識別的準確性,部分結果如圖15(a)～15(f)所示.此實驗中共測試了203幀圖像、236個車牌,涉及14個省的47 個市和4個直轄市,圖像均來自于網絡,系統正確識別出其中的225個,正確率95.3%,其余車牌未檢測到或字符識別錯誤的原因:1)車牌區域在圖像中占比較小,幾何特征尚不明顯,導致車牌定位失敗;2)車牌區域過曝嚴重,導致無法有效分割字符塊.

綜上結果表明:1)車輛在正常速度行駛條件下,系統依然可以保證90%以上的車牌檢測識別正確率;2)系統可以實現同時多車牌檢測識別;3)系統可抵抗一定程度的環境干擾;4)在相機當前分辨率條件下,系統單幅圖像檢測識別平均時間低于130 ms,處理頻率約8 Hz,處理頻率主要與相機分辨率和CPU主頻有關.

4 結論

針對道路交通中的多機動車車牌識別問題,提出了一種基于BP神經網絡和支持矢量機的多機動車車牌在線檢測識別方法,在此基礎上開發了一套魯棒的多機動車車牌在線檢測識別系統,對多機動車車牌識別準確率高于90%,處理頻率約8 Hz,并且可抵抗一定程度的環境干擾.該系統主要貢獻如下:

1)發揮了SVM在處理“true or false”問題中的優勢,相比人工神經網絡,在樣本容量有限的情況下,可提高車牌判別正確率,縮短車牌判別時間;

圖13 第一組實驗部分結果顯示Fig.13 Partial results of the first experiment

圖14 第二組實驗部分結果顯示Fig.14 Partial results of the second experiment

圖15 第三組實驗部分結果顯示Fig.15 Partial results of the third experiment

2)基于BP神經網絡對像素顏色進行判別,可在一定程度上彌補由于相機成像色差導致的顏色分類錯誤;

3)提出了一種有效的圖像預處理、車牌定位及篩選和字符分割策略.

當前系統在以下三個方面仍需要進一步完善:

1)當車牌在圖像中有較大旋轉時,系統無法準確定位車牌區域,下一步考慮加入圖像矯正技術,削弱圖像旋轉對車牌定位的影響;

2)僅使用圖像顏色信息進行車牌檢測,當車牌區域色差嚴重時,系統無法準確定位車牌區域,下一步考慮融合圖像灰度梯度信息,提高車牌定位魯棒性;

3)將深度學習應用于車牌字符識別中,以提高字符檢測正確率.