基于形態學和surf特征的車牌定位算法研究*

趙 亮， 錢盛友， 趙新民

(湖南師范大學 物理與信息科學學院，湖南 長沙 410081)

0 引言

車牌識別技術是現代智能交通系統中的核心技術，廣泛應用于道路監測、路橋收費及其他無人管理的自動交通系統中。它主要包括車牌定位、字符分割和字符識別環節，而車牌定位是車牌識別技術最關鍵步驟，是后續能否實現高效識別的前提。多年來人們對此進行了大量研究，取得很多成果。車牌定位算法主要有：①基于車牌底色的方法[1-2]；②基于車牌紋理的方法[3-4]；③基于綜合特征的方法[5]；④基于字符邊緣顏色對的方法[6]。方法1～2均是利用車牌單一特征，在相近顏色和復雜紋理時定位較難。方法3～4綜合顏色紋理特征，效果比方法1～2好。所有算法都是針對特定場合而設計的。而通過車牌字符特征定位在一定程度上是對上述算法缺陷的一種完善。文獻[7]提出一種基于車牌字符Haar特征和級聯神經網絡算法的定位算法，文獻[8]采用一種sift字符特征匹配算法。文獻[9]指紋識別中采用的是特征匹配方法。文中將在此基本思想上采用新的匹配算法實現車牌精確定位。

1 基本理論

1.1 數學形態學邊緣檢測原理

數學形態學是一門建立在嚴格數學理論基礎上的新興科學。它的基本運算包括膨脹(⊕)、腐蝕(Θ)、開運算(°)和閉運算(·)。基于形態學運算的邊緣檢測算子有：

熊哲源[10]等人提出一種改進的抗噪膨脹型算子，產生了較好邊緣效果，而實驗證明式(4)邊緣效果更好。

式中，edge(f)為輸出邊緣圖像，B為結構元素。

1.2 SURF特征匹配

SURF(Speeded-Up Robust Features)是在SIFT算法基礎上提出的一種快速魯棒特征提取的配準算法。算法過程應用的方法與 sift不同，它引進了積分圖與Hessian矩陣等策略，提高了實時性能。Surf算法步驟[11]包括特征點檢測、描述和匹配。

1.2.1 特征點檢測

特征點檢測步驟如下：（1）積分圖像的建立積分圖每點 P(x,y)表示原圖像從原點到該點矩形區域的像素和。數學表達為：

式中， (,)I i j表示原始圖像對應(i,j)坐標的像素值，為對應坐標的積分圖。運算方法見文獻[11]。

（2）方框濾波器建立尺度空間

為保證圖像配準具有尺度不變性，需要對圖像進行分層，建立尺度空間，在不同尺度圖像上找特征點。它的建立不改變原圖像大小，而通過改變濾波器大小對原圖像的積分圖進行濾波，得到圖像尺度空間。

（3）特征點定位

在尺度空間的每層圖像上使用快速 Hessian矩陣來檢測圖像的極值點。Hessian 矩陣定義如下：

式中，(x,y)表示空間中任意點，σ表示對應尺度空間尺度，Lxx、Lxy、Lyy是圖像上點與高斯濾波二階偏導卷積結果，其中高斯函數定義為并采用方框濾波器與原輸入圖像卷積Dxx、Dxy、Dyy來替代 Lxx、Lxy、Lyy。把 9× 9 的初始方框濾波器與σ等于1.2的二階高斯偏導近似。該行列式計算可近似為：

式中，w為權重系數[11]，取值0.9。僅當Det(Hessian)大于設定閾值時才進行下步判定。再對該點上下層對應 3×3×3立體鄰域進行非極大值抑制，僅比立體近鄰內26個響應值都大的點才定為特征點。最后對尺度空間進行插值處理得到精準位置。

1.2.2 特征點描述

（1）主方向的確定

主方向的計算是在6s(s為尺度)半徑圓形域內用一圓心角為 π/3扇形以特征點為中心繞一周，計算扇形處于各角度時它所包含像素點在x、y方向Harr小波響應和。選擇最長矢量方向作為特征點主方向。

（2）描述子生成

以測得的特征點為中心，選取該點鄰域內20s×20s大小區域，將區域主方向旋轉到特征點主方向。再將區域分為5s×5s大小的16個子區域。通過統計各子區域像素點在X、Y方向的尺度為2s的harr小波值dx和dy，并以特征點為中心對dx、dy進行高斯加權(σ=3.3s)。計算區域內所有像素點響應值和，得到∑dx、∑dy、∑|dx|、∑|dy|。然后將各子區域向量加入特征向量形成64(4×16)維特征向量。最后對描述子進行歸一化處理使之具有亮度和尺度不變性。

1.2.3 特征點匹配

通過計算兩點間歐式距離來進行特征匹配。設待測圖像特征向量為 V={∑dx、∑dy、∑|dx|、∑|dy|}，參考圖像特征向量為 V，={∑dx，、∑dy，、∑|dx，|、∑|dy，|}，如果V和V，之間歐氏距離少于0.7倍的次近距離，定位匹配對。配準點對越少，配準更穩定。

在得到一定量最佳匹配點對后進行圖像變換參數的計算，設參考圖像提取的特征點坐標為(x11,y11),(x12,y12),…,(x1p,y1p)( 3p≥ )，目標圖像中對應特征點坐標為(x21,y21),(x22,y22),…,(x2p,y2p)，假設圖像間空間變換模型為全局放射變換：

將式（8）記作A=M×B，式中A、B為已知，則可求出M，故得到參數值(a00, a01, tx,a10, a11, ty)。再通過放射變換參數轉換到參考坐標系從而得到矯正的目標圖像。

2 車牌定位算法

2.1 定位算法步驟

1) HSV 空間是一種比較均勻的顏色空間并且滿足人視覺一致性。先將RGB圖像轉換到HSV圖像。根據色調H閾值對車牌圖進行二值化處理。

2) 對二值圖采用式(4)改進的二值形態學算子進行邊緣檢測，得到邊緣圖。

3) 對邊緣圖采用積分圖法進行邊緣去噪，再形態學連通處理得到若干連通區域，并分割出對應的灰度區域。

4) 采用 surf圖像配準算法進行車牌精確定位和傾斜校正，并用投影法去除鉚釘。

2.2 車牌粗定位

2.2.1 彩色邊緣檢測

以藍色車牌為例，根據統計分量H、S、V閾值進行二值化處理，再用式(4)提取邊緣，算子采用大小為3的方形結構元素。

通過實驗仿真圖1可知，此方法與傳統算法相比，改進形態學算子在邊緣檢測中有明顯優勢，解決了邊緣檢測精度與抗噪聲性能的協調問題。

圖1 文中邊緣檢測效果

2.2.2 邊緣去噪及數學形態學處理

根據車牌區域邊緣相對較集中的特點，設置邊緣密度閾值遍歷去噪。此處運用積分圖法進行矩形窗密度計算。先按式(5)計算邊緣積分圖，再滑動窗口遍歷圖像，去除計算窗口內邊緣點數小于所設閾值的點。邊緣去噪及膨脹連通處理的圖像為圖2所示。

圖2 邊緣去噪及連通處理

很明顯背景中的藍白提示牌成為干擾區域。通過連通區域標記分割出候選區域，為下一步精確定位作好準備。

2.3 車牌精確定位與傾斜校正

基于surf特征的圖像配準，要求目標圖像紋理比較復雜，能得出較多的有效特征點，而我國車牌漢字筆畫多結構復雜并位置相對固定，通過對其進行surf特征分析，能得到較多魯棒性強的特征點。因此文中將選擇車牌首漢字作為對象與車牌標準漢字庫的特征點進行匹配。

2.3.1 精確定位基本步驟

候選車牌區域匹配流程如圖3所示。

圖3 候選車牌區域匹配流程

2.3.2 實驗結果分析

測試平臺的硬件環境為：CPU:Inter Core i3-370，主頻2.4 GHz，內存2G，操作系統：windows 7，軟件為matlab7.0。根據上述算法步驟，對不同條件下拍攝的車牌圖像應用文中方法, 得到的車牌定位與及校正圖效果如下所示。圖4為標準漢子與車牌區域的特征點對應關系，每條線代表一對匹配點。圖5就是最終的車牌定位結果，對鉚釘的去除文中采用的投影法求取，先對已配準車牌二值化處理，字符置一背景置零，根據字符區域白點密集而邊框及鉚釘區域相對稀疏的特征，在水平、垂直方向分別進行投影并統計白點數，然后根據經驗閾值對少于設定對應閾值的背景行列置零，從而得出最終車牌如圖5所示。

圖4 匹配特征點對

圖5 最終定位車牌

為驗證文中算法有效性，選取①425×119、②800×600、③ 1024×768等3組尺寸的車牌圖像各100幅進行定位測試，為驗證文中算法(方法一)的實時性，同時采用 sift算法(方法二)對比文中方法中surf算法對候選車牌進行定位，定位成功率及平均定位時間如表1所示。圖6為部分測試圖像及結果。圖 6(a)和圖 6(b)不同條件下的輸入圖像，圖 6(c)和圖6(d)為各輸入對應的輸出圖像。

表1 兩種不同定位算法的定位結果比較

從表1可以看出，兩種算法都有較高定位成功率，而surf算法更具實時性。車牌圖像大小對定位成功率和平均定位時間有一定影響，車牌愈小，得到的特征點數愈小耗時相對較小；車牌愈大則能檢測到的特征點愈多耗時比較長。沒有定位出的車牌主要是因為車牌模糊及車身車牌顏色相似等原因。另外，特征向量維數也是決定算法時間的關鍵因素。

3 結語

文中算法充分利用我國車牌的顏色及字符特征，利用形態學及surf圖像配準手段實現了車牌定位。實驗表明，文中算法能有效實時定位車牌。但文中算法在精確定位部分surf圖像配準處理上采用的是灰度圖，今后在顏色特征上有待進一步研究與改進。

[1] 朱俊梅,陳少平.LPR系統車牌定位提取方法的研究[J].計算機工程與應用,2008,44(14):198-201.

[2] 蔣欣欣,錢盛友.基于 FCM的彩色車牌圖像快速分割方法[J].通信技術,2011,44(03):67-69.

[3] 陳斌,游志勝.車牌號碼顏色提取掃搜方法[J].計算機應用,2001,21(04):74-75.

[4] 劉曉薇.基于聚類分析的車牌定位算法的研究[J].通信技術,2008,41(12):265-267.

[5] 王義興,黃鳳崗,韓金玉.基于顏色搭配與紋理特征的車牌定位方法[J].中國圖象圖形學報,2009,14(02):303-308.

[6] 李文舉,梁德群,張旗.基于邊緣顏色對的車牌定位新方法[J].計算機學報,2004,27(02):205-208.

[7] 賈曌峰,陳繼榮.基于字符檢測的車牌定位方法[J].計算機工程,2010,36(03):192-194.

[8] 楊濤,張森林.一種基于于HSV顏色空間和SIFT特征的車牌提取算法[J].計算機應用研究,2011,28(10):3937-3939.

[9] 陶芬,李勇,張小強.利用指紋圖像紋理特性的指紋識別新算法[J].信息安全與通信保密,2006(04):73-75.

[10] 熊哲源.基于形態學的車牌定位與字符分割算法研究[D].長沙:中南大學,2008.

[11] 石雅筍.改進的SURF圖像配準算法研究[D].成都:電子科技大學,2008.