基于車牌字符邊界定位的視頻測速

陳 群，楊東勇，盧 瑾

(浙江工業大學信息工程學院，杭州 310 023)

基于車牌字符邊界定位的視頻測速

陳 群，楊東勇，盧 瑾

(浙江工業大學信息工程學院，杭州 310 023)

針對卡口環境下視頻測速誤差大的問題，提出一種提高測速精度的方法。采用以車牌第2個字符作為車輛定位的特征塊，利用小波變換分解字符的外部邊界特征曲線，在低分辨率下實現目標字符的模板匹配，并獲取該曲線相對模板的偏移量，在原分辨率上進行邊界坐標的精細調整，完成車輛特征塊的精確定位。結合字符高度固定的先驗知識，確定車輛特征塊所處的實際坐標系，以提高對車輛行駛距離的計算。在實際環境下，對該方法進行長達2個多小時的測試，并對測試結果與線圈測速、基于車牌定位的視頻測速進行對比，結果表明，在車輛正常行駛的速度下，與線圈測速相比，該方法視頻測速誤差在3 km/h以內。

視頻測速；字符定位；小波分解；模板匹配；攝像機標定；消失點

1 概述

視頻測速是智能交通系統中一種新型測速方式，能克服線圈測速需要破壞路面的缺點，也能彌補雷達測速對安裝角度要求高的不足[1-2]。目前，國內外越來越多的學者研究與視頻測速相關的技術。為了避免基于虛擬線視頻測速中觸線時間誤差的問題，文獻[3]提出了在車道上設置一個矩形檢測區，通過檢測區內的4個頂點與其在畫面中成像坐標之間的關系，確定相應的轉換系數，將圖像中的像素點坐標準確地映射到相應的路面坐標系下，確定車輛的位移計算出速度，使研究的技術集中在如何精確地得到車輛的行駛距離。為了簡化相機標定實現在實際道路下的測速，文獻[4-5]提出了利用消失點的原理建立像平面與路面坐標的轉換關系進行速度的轉換。但是上述的標定方法都只是建立像平面到路面坐標系下的映射，沒能建立像平面到車輛特征塊定位點所處的世界坐標系下的轉換。在卡口環境下，研究的是基于對車輛特征塊的定位，如對車燈[6]、角點[7]定位，再求出相應的行駛距離。目前，研究的最成熟的是基于車牌定位技術[8]的視頻測速，以其作為車輛每幀的定位結果，再結合攝像機標定技術實現視頻測速。但車輛從遠景駛入近景中，定位效果會受車牌邊框、傾斜等因素的干擾，使前后兩幀切割出來的車輛牌照不能很好的吻合，從而影響測速精度。

為提高視頻測速的精度，本文提出一種基于車牌字符邊界定位的視頻測速方法，對字符的外部邊界精確定位，以提高車輛行駛距離的估算。

2 視頻測速原理

視頻測速是通過視頻分析技術實現對車輛的測速。通過對車輛的實時定位，得到該車輛在畫面中的移動速度，再利用攝像機標定技術實現速度的轉換。車輛在畫面中的移動速度如下式所示：

其中，d0和d1分別是通過定位技術，得到t0和t1時刻車輛在畫面中的移動距離，然后通過像平面與路面坐標系的映射關系實現速度的轉換。在實際道路上，像平面與路面坐標系(原點為攝像機光軸與地面的交點)[9]的映射關系如圖1所示。

圖1 路面坐標系與像平面的映射關系

圖1中的角度t為相機光軸與路面的夾角，p為光軸與路面夾角，s為相機內部的旋轉角， l為兩平面之間的距離。其中，XcsYcsZcs坐標系是相機坐標系XcYcZc繞Zc軸旋轉s度后形成的坐標系，XwYwZw是路面坐標系，UV為像平面坐標系。從圖1可知，將路面坐標系映射到像平面的步驟，如圖2所示。

圖2 路面坐標系到像平面坐標的轉換過程

結合圖1的映射關系，圖2中的4個變換過程在數學上的轉換關系如下：

對式(2)進行反映射變換就可以建立從像平面到路面坐標系(Zw=0)的轉換關系，具體公式如下：

由式(3)可知只要標定出f，l，p，t，s這5個參數，就能完成像平面與路面坐標系的映射關系。本項目所使用的攝像機是銳勢相機310系列，分辨率為1 616× 1 232，拍攝頻率為15幀/s。設像平面坐標系的原點在左下角，在實際道路上配置相應的標志點以提取消失點，再根據消失點原理實現標定。在實際道路面下的配置方法，如圖3所示。

圖3 參數配置方法

通過配置在畫面中獲取的坐標位置為：A(480,997)，B(235,597)，C(1 559,586)，D(1 373,998)，E(383,838) E(383,838)，F(306,713)以此計算直線AB，CD，AD，BC的表達式，由直線AB與CD的交點計算出垂直方向消失點坐標為(1 015,1 669)和由直線AD與BC的交點計算出水平方向消失點坐標(-140 995,-2 166)，實際相機安裝的高度為H=6.65 m ，焦距f=25 cm，像元尺寸dx=dy=4.4 um。根據文獻[9-10]基于2個消失點標定便可計算出仰角為t=10.5°，偏角為p=-2°，內部傾角為s=0.83°，再將標定出來的參數代入式(3)即可得到像平面與路面坐標的轉換。

從式(4)可知，車輛的定位精度是影響視頻測速精度的關鍵因素。在實際情況下，路面坐標系需建立在定位點所對應的平面上(即圖1所示的Zw=h )，而不應直接建立在地面上。所以，必須計算出定位點所處的高度，進一步提高視頻測速的精度。據此，本文提出利用小波變換對車牌第2個字符的外部邊界進行精確定位，在低分辨率下通過最佳起點匹配實現目標字符的模板匹配和邊界偏移量的確定，在原始分辨率下提取曲率特征，依次選擇3個基準點利用最佳匹配原理，建立起模板邊界與目標邊界的映射關系，統一以模板信息代替目標邊界，提高前后兩幀定位點位置的吻合度。最后，結合字符高度固定的先驗知識，完成定位點實際坐標系的確定，提高對相鄰兩幀間車輛移動距離的計算。

3 基于車牌定位的視頻測速算法

車牌定位是卡口系統里的子模塊，通常以其定位結果實現視頻測速。其定位方式主要是根據車牌長寬比例、字符區域的紋理特征、車牌顏色等特征實現對車牌區域的定位，再將定位結果代入式(4)得出速度。車牌定位算法的基本流程如圖4所示。

圖4 車牌定位算法基本流程

從定位流程可知，車牌定位算法中并沒有對車牌的上下邊界做精分割，只是定位出一個大致區域。但是，視頻測速對特征塊定位的精度要求很高。前后兩幀的定位點差一個像素，得到的速度相差1 km/h左右。因此，必須對其進行改進來提高視頻測速精度。

4 基于車牌定位的視頻測速改進算法

車牌圖像通過二值化后，其字符的邊界往往存在缺陷、毛刺、傾斜等因素的干擾。這些干擾會造成車輛前后兩幀的定位點不吻合，從而影響對車輛行駛距離的估算，以致影響測速精度。為了能消除這些干擾，本文先對目標字符邊界進行等距采樣形成特征曲線并對其進行小波表達，再不斷調整曲線的起點位置實現特征匹配。最后，利用最佳匹配完成邊界的調整達到精定位。

4.1 字符外部邊界特征曲線的小波表達

首先將采集到的m點邊界點統一以n點對邊界進行等距抽樣[11]，并將邊界點集轉換到極坐標形式下來表達，實現字符邊界的尺度、平移、旋轉不變性。再對特征曲線進行小波分解選擇低頻信息進行匹配，以濾除細節噪聲干擾。

由輪廓跟蹤法對字符邊界點進行逆時針等距采集所得到的邊界圖如圖5所示(以字符“B”為例)：

圖5 邊界點集

將邊界點坐標轉化成極坐標形式進行表達：

圖6 邊界點的幅值曲線

圖7 邊界點的相位曲線

由于邊界點的幅值曲線r'包含了邊界點與幾何中心的關系即字符的邊界信息，因此本文提取幅值曲線r'作為目標字符的特征曲線。

然而目標邊界往往存在許多干擾，僅僅依靠初始的邊界信息進行匹配，誤匹配率比較高。由小波變換的原理可知，通過尺度函數：{φ(2kx-j )|j∈Z }可生成分辨率為2j下的逼近信號，表征特征曲線的邊界信息的近似信號；由小波函數：{?(2kx-j )|j∈Z }生成的小波空間，得到是分辨率為2j和2j+1下的逼近信號之差，表征了邊界信息的細節信號。

所以特征曲線的邊界點數N應為2的冪次方才不會造成邊界信息的丟失。本文選擇N=128并對其進行周期性擴展為r1( N)=r'(0),r1( N+1)=r'(1),…,r1( N+t)=r'( t ),…，

1將其在第J層下進行小波分解如下式所示：

其中，Ck,j和Dk,j分別為曲線r1在分辨率為J下的近似和細節數據。當J=3時，分解后的效果如圖8、圖9所示(數據重新歸一化處理)。

圖8 低頻分量曲線

圖9 高頻分量曲線

4.2 基于最佳起點匹配的模板查找和偏移量計算

字符受傾斜現象的影響，使目標邊界曲線與模板曲線的起點不一樣。但通過對循環平移和小波變換進行分析[12]，其滿足把偏移量除以2J，所得的商為m余數為k，則平移后的小波變換結果等于先將邊界點集平移k個單位進行小波變換后再平移m個單位。具體原理如下式如示：

即通過搜索m和k的值，得到匹配的相異度最小時所對應的模板即為當前字符匹配的結果，并根據m、k計算出偏移量S=m·2J+k，以此對目標邊界點集進行平移，使其與模板邊界能夠一一對應。

設rb為模板邊界特征，rc為目標邊界特征，兩者相異度計算方式如下：

對于圖5字符“B”，通過最佳起點搜索匹配與模板“B”的特征曲線形成了匹配對，兩者的相異度D=0.021，所對應的m=0，k=2，即偏移量為S=2。

4.3 基于最佳匹配的字符邊界精調整

在原始分辨率下，目標邊界由于存在干擾與模板仍有一定的差異，生成的邊界點集r'會存在細微的偏差，從而導致與模板邊界的對應是模糊的，而且每一幀對應的模糊狀況都不一樣，這樣極大地影響了車輛的定位精度。其粗匹配結果如圖10所示。

圖10 邊界粗匹配結果

為了能解決上述的問題，本方法通過建立模板與目標邊界的仿射變換關系對目標邊界進行精確調整。假設Cc為目前邊界，Cb為模板邊界，S(sx, sy)為尺度矩陣，R(θ)為旋轉矩陣，T(tx,ty)為平移矩陣。其仿射變換原理如下：

從上面的變換過程中可知有5個未知參數，至少得建立5個方程才能求解。所以要選取3個基準點(每個基準點可以得到2個方程)才能建立模板到目標的仿射變換關系。3個基準點的選擇步驟如下：

(1)對特征曲線分段匹配處理，排除相似度較差的曲線區間：

其中，(s,e)表示曲線的起始點；Di表示第i段曲線的相異度；D表示整條曲線的相異度；n表示每段曲線的點數。

(2)對剩下的曲線段Pg，提取曲率特征選擇曲率較大的點為候選基準點，以排除因曲率變化過于平坦導致基準點集中在某一曲線段，無法獲取最佳映射關系。

其中，(x,y)表示目標邊界的坐標位置；Curv(Pg)表示當前曲線段的曲率。

(3)對候選基準點Pc以3點為一組建立模板與目標邊界的映射關系，取匹配相異度最小所對應的基準點。

具體的流程如圖11所示。

圖11 邊界精調整流程

根據圖11的流程，對圖5中的字符邊界進行精細調整所得的變換矩陣如下：

邊界調整后的效果如圖12、圖13所示。

圖12 調整后的曲線對比

圖13 調整后的邊界點集

調整前后的定位點對比如表1所示。

表1 邊界調整前后對比

由圖12、圖13和表1可知，通過調整后字符邊界與模板邊界的特征曲線基本重合且目標字符的邊界坐標得到調整，消除了缺陷、毛刺、傾斜等因素的干擾。

5 車輛行駛距離的確定

實現對車輛特征塊的定位后，再求出定位點所處的實際坐標系，就可以確定車輛的行駛距離，實現視頻測速。由于實現了字符邊界的精定位，通過字符高度固定的先驗知識，投影出定位點距離地面的高度。投影的原理如圖14所示。

圖14 定位點高度投影原理

如圖14所示，A為字符邊界的左上頂點；F為邊界的左下頂點；C為上邊界在地面上的投影點；D為下邊界在地面上的投影點；OH為相機安裝的高度；AE為字符上邊界距離地面的高度。通過相機標定，可以得到OD和OC的距離。

由式可得定位點距離地面的高度AE為：

設OH=H，結合式(14)對式(4)進行修改，得到的新表達式如下：

將每幀字符的左上頂點坐標代入式(15)，便可以計算出車輛所行駛的距離。

6 實驗結果

將視頻測速算法從PC平臺移植到DSP環境下(智能卡口系統由上海弘視通信技術有限公司提供)，在實際卡口環境下進行長達2個多小時的測試，測試結果與線圈測速、基于車牌定位的視頻測速進行對比。部分測試結果如表2所示。

表2 部分測試結果對比

表2中的數據包含了多種車輛類型(如小轎車、工程車等，其定位點的高度都不一樣)的測試結果。由表2可知，在視頻測速中直接通過車牌定位得到的速度誤差范圍較大，而且定位點距離地面越高誤差就越明顯。通過本文方法可有效地還原特征塊位點的實際坐標系，提高車輛行駛距離的計算，有效地提高視頻測速的精度。

7 結束語

為提高視頻測速的精度，本文提出對字符的外部邊界精確定位，以提高車輛行駛距離的估算。實驗結果表明，本文方法可有效地提高視頻測速的精度，且不受車輛類型、特征塊位置高低的影響。但是本文是在定位車牌的前提下進行的研究，對于車速超過100 km/h以上的容易造成車牌模糊導致字符區域分割失敗。因此，考慮如何去除運動模糊是下一步需要研究的重點。

[1] 湯淑明, 王坤峰, 李元濤. 基于視頻的交通事件自動檢測技術綜述[J]. 公路交通科技, 2006, 23(8): 116-121.

[2] 安福東. 機動車的幾種測速方式原理及性能的分析比較[J].警察技術, 2003, (3): 33-35.

[3] 張重德, 張崇巍. 一種提高視頻車速檢測精度的方法[J].上海交通大學學報, 2010, 44(10): 1439-1443.

[4] Maduro C, Batista K, Peixoto P, et al. Estimation of Vehicle Velocity and Traffic Intensity U sing R ectified Images[C]// Proc. of International Conference on Image Processing. [S. 1.]: IEEE Press, 2008: 777-780.

[5] Nguyen T T, Pham X D. Compensating Background for Noise Due to Camera V ibration in Uncalibrated-camera-based Vehicle Speed Measurement System[J]. IEEE Transactions on Vehicular Technology, 2011, 60(1): 30-43.

[6] 童劍軍, 鄒明福. 基于監控視頻圖像的車輛測速[J]. 中國圖象圖形學報, 2005, 10(2): 192-196.

[7] 徐 偉, 王朔中. 基于視頻圖像Harris角點檢測的車輛測速[J]. 中國圖象圖形學報, 2006, 11(11): 1650-1652.

[8] Czajewski W, Iwano wski M. V ision-based V ehicle Speed Measurement Method[C]//Proc. of ICC VG’10. [S. 1.]: IEEE Press, 2010: 308-315.

[9] 李 勃, 董 蓉, 陳啟美. 路況PTZ攝像機自動標定方法[J]. 北京郵電大學學報, 2009, 32(z1): 24-29.

[10] Guillou E, Meneveaux D, Maisel E. Using Vanishing Point for Camera Calibration and Coarse 3D Reconstruction from a Single Image[J]. The Visual Computer, 2000, 16(7): 396-410.

[11] 胡 碩, 朱 明, 吳 川, 等. 一種起始點無關的小波系數形狀匹配[J]. 中國圖象圖形學報, 2007, 12(2): 302-307.

[12] 毛 鋒, 張樹有, 施岳定. 多分辨輪廓匹配的成型制件外形檢測[J]. 浙江大學學報: 工學版, 2011, 45(6): 1013-1020.

編輯 索書志

Video Speed Measurement Based on Boundary Location of License Plate Characters

CHEN Qun, YANG Dong-yong, LU Jin

(College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China)

Aiming at the problem that video speed measurement has a large error under bayonet socket environment, a method to improve the velocity prec ision is prop osed. Th e second c haracter of li cense plate as a fea ture of vehicle positioning block is used, wavelet decomposition is used to decompose the characteristic curve of the characters outer boundary, the feature matching is made and the offset of the curve about the template is obtained at low resolution, the outer boundary is adjusted in the initial resolution to complete the vehicle precise location. The actual coordinate of the block is determined combined with the height fixed of character, improves the distance of the vehicle traveling. In actual enviro nment, it tests the algorithm for longer than two hours, and compared with coil spee d and vi deo speed measurement by license plate location. Results show that, under normal speed, the error is within 3 km/h compared with the coil speed.

video speed measurement; character location; wavelet decomposition; template matching; camera calibration; vanishing points

10.3969/j.issn.1000-3428.2014.05.033

浙江省自然科學基金資助項目(Y1080533)。

陳 群(1987－)，男，碩士研究生，主研方向：模式識別，數字圖像信號處理；楊東勇，教授、博士生導師；盧 瑾，實驗師、博士研究生。

2013-02-27

2013-03-31E-mail：chenqun_20060500@126.com

1000-3428(2014)05-0158-06

A

TP18