夜間城市交通監控中各類車輛軌跡的完整提取

湯春明，肖文娜，董燕成，林祥清

天津工業大學電子與信息工程學院，天津300387

夜間城市交通監控中各類車輛軌跡的完整提取

湯春明，肖文娜，董燕成，林祥清

天津工業大學電子與信息工程學院，天津300387

CNKI網絡出版：2017-04-19,http://kns.cnki.net/kcms/detail/11.2127.TP.20170419.1017.002.html

1 引言

城市交通監控系統對人身及道路安全日趨重要[1]，越來越多的研究者致力于夜間車輛軌跡的完整提取，完成兩個相鄰交通監控點的車輛信息的準確傳遞，實現車輛監控數據（如車牌、軌跡）聯網，以期為預判車輛行為和追究肇事者責任提供有力證據。夜間車輛最顯著穩定的特征是車燈，要對提取出來的車燈光斑進行配對以達到識別車輛的目的。目前車燈配對主要存在三種方法：（1）幾何對稱法；（2）最小特征匹配代價法；（3）最大權重獨立集法。其中（1）法最普通，它根據面積、圓形度、質心間距、質心連線斜率、位置和形狀等幾何特征進行車燈配對，如文獻[2-7]。方法（2）中，如湯春明等人[8]利用最小特征匹配代價函數實現車燈配對，同時引入反饋修正機制對軌跡進行修正。（1）和（2）因未考慮監控場景中各類車輛類型，使得在車輛密集、有遮擋的情況下容易造成不止一個配對或沒有相應的配對，從而導致車輛軌跡提取結果不完整，特別是在跟蹤起始處，故該類算法的普適性和魯棒性不高。方法（3）中以Zou等人[9]提出最大權重獨立集的配對方法為代表，把所有前燈的兩兩組合情況都列出來之后，再用頂點堆積法，在幀內用兩個約束條件，在幀間用速度相似性，實現合理配對，在后處理中又加入四燈一組的分析情況。該方法由于先入為主地考慮雙燈車的情況而對其他情況未作考慮，致使該方法在提取特殊車輛軌跡時不夠靈活。

車燈配對成功后，通過跟蹤車燈實現提取車輛軌跡的目的。目前存在的車燈跟蹤方法有：（1）利用卡爾曼濾波器[10-11]或者基于車燈位置、面積及形狀等特征的最近鄰匹配來實現車燈跟蹤；（2）利用車燈面積重疊法[3]完成幀間數據關聯；（3）在（1）和（2）的基礎上增加空間上下文信息[9]約束車燈匹配，提高數據關聯的準確性。實際上，車輛由遠及近駛入攝像機監控范圍，透視影響及環境光強度的不斷變化，使車燈尺寸及外觀變化無規律，再加上目標間相互遮擋，造成車燈很難被配對和跟蹤，從而導致車輛軌跡混亂或斷開。因此目前研究算法都忽略遠景區域，通過劃定ROI區域縮小跟蹤長度。然而遠景處車輛信息對于交通監控數據的聯網至關重要，它是把所有監控點數據連接起來的前提。

針對以上問題，本文提出一種結合車輛類型與軌跡反饋修正的跟蹤系統，以實現相鄰兩個監控點間的車輛軌跡的完整提取，包括車燈提取、車燈篩選、軌跡反饋修正、車燈配對及車輛跟蹤5個模塊，如圖1所示。提取車燈后用面積重疊法完成車燈匹配，再用穩定性判斷篩選車燈，獲得車燈初始軌跡后加入軌跡反饋修正誤匹配；接著按照車型配對車燈；最后對車輛跟蹤再次應用軌跡修正。

圖1 系統框圖

2 車燈提取

2.1 車燈復原

首先用先前提出的大氣反射-散射模型[12]復原車燈光斑。該模型在有效抑制交通場景中各種環境光的同時，能準確檢測遠、中和近景處車燈，這是完整提取車輛軌跡的基礎。

2.2 坐標變換

通過建立圖像坐標系與路面坐標系之間的變換關系，能夠計算出車燈在實際路面坐標系中的位置，進而可以計算出車輛的真實寬度、位移和速度等穩定特征，以便減小透視及光干擾對車燈配對的影響。常用的單視圖測量方法是通過圖像平面Γ1與空間場景平面Γ2之間的單應性矩陣[13]實現對目標的真實幾何量的測量，其中單應性矩陣H：3×3。Γ2中任一點Mi(Xi,Yi,1)，和其在Γ1中對應的點mi(xi,yi,1)，滿足式（1）、（2）：

消去λ得到關于hij的兩個線性方程，如式（3）：

在采集視頻過程中，為了避免攝像機的抖動帶來誤差，將攝像機固定架設于天橋上并保證拍攝角度與水平方向呈30°。如圖2所示，以世界坐標系中的路面Γ2為參考平面，取圖像平面Γ1中機動車道的兩條邊界線上的a、b、c、d共4個端點的坐標以及Γ2中相應的4個點坐標作為基準點，其中線段ab是上一個紅綠燈處的禁行線，線段cd是當前紅綠燈的禁行線，這4條線段所圍區域內的所有駛過車輛是要跟蹤的目標。把4對點坐標代入式（3）可求出H，通過H可求出圖像中任一像素點對應的路面坐標。

圖2 視頻場景

2.3 車燈篩選

車燈復原結果還需要進一步篩選，以刪除噪聲。透視使車燈及噪聲由遠及近逐漸增大，通過分析圖像中目標的幾何特征、顏色及亮度[14]，如圖2所示，將視頻場景分遠、中、近3部分區域進行篩選。

針對各部分存在的典型噪聲，采用對應的車燈篩選方法，具體過程如下：

（1）遠景：先用面積法刪除大、小噪聲，再用改進的分水嶺算法[15]分割粘連前燈對。

（2）中景：先用面積法刪除小噪聲，再用改進的分水嶺算法[15]分割粘連的車燈與車身反射區，最后用長寬比刪除狹長地面反射區。

（3）近景：先用面積法刪除小噪聲，再用RGB變異度[16]法刪除近似車燈的地面反射區。

每幀車燈光斑的面積、長寬比及RGB變異度[16]特征的最佳篩選閾值是用迭代法求出。通過分區域篩選，全部車燈被保留，但仍有少量存在了一段時長的高亮噪聲，需利用幀間信息進一步刪除。

3 車燈跟蹤與配對

3.1 車燈跟蹤

由運動目標的空間連續性可知，相鄰兩幀目標特征最為相似。視頻的幀間隔為0.04 s，在相鄰兩幀中同一車燈光斑會有部分重疊，以此特性關聯前后幀每個車燈的ID號，得到車燈的初始軌跡。由于光斑匹配過程中存在粘連、遮擋等干擾，導致出現目標軌跡混亂或斷開的情況，需要利用平均速度修正誤匹配（為了減小數據誤差，把穩定跟蹤連續5幀的車燈速度均值作為它在某一幀的瞬時速度，把整個跟蹤過程的車燈速度均值作為它的平均速度）。軌跡反饋修正具體流程如圖3所示。

圖3 軌跡反饋修正流程

（1）驗證數據關聯正確性

利用雙向位置驗證[4]來保證前后幀對應車燈數據關聯正確。如對第m幀中某ID車燈依次向前、向后找t(t≤10)幀，利用式（4）計算車輛瞬時速度。拍攝城市交通場景的道路限速為80 km/h，當V=80 km/h，t=10幀，由式（4）推出相鄰10幀的車燈質心距離d=即若質心間距滿足≤10 m，即城市內以最大時速80 km/h行駛，在相鄰10幀內，行駛距離不會超過10 m。以此條件判斷是否成功匹配。

（2）擬合不完整軌跡

當車速很快或有長時間遮擋時，如果僅用面積重疊法易造成數據關聯失敗，導致目標軌跡不完整，最終丟失目標。因此在面積重疊法基礎上，再利用軌跡空間位置和運動相似度來擬合缺失的軌跡。

如圖4所示，ab、cd分別是利用面積重疊法得到的兩條軌跡。如果坐標(xb,yb)、(xc,yc)滿足橫、縱坐標之差都小于5個像素距離，則ab、cd應該是同一目標的兩段軌跡，把兩個ID號改成一個；然后統計軌跡中連續為零的幀數，若小于10幀則認為是由漏匹配造成，再根據平均速度的相似性完成不連續軌跡的擬合，如圖4中虛線段bc。

圖4 擬合不完整軌跡

（3）判斷非車燈軌跡

車燈穩定光斑在跟蹤過程中具有運動連續性和形態穩定性，路面和車身反射區域視為非穩定光斑，它們容易引起車燈錯誤配對。根據穩定性判斷篩選車燈，即先計算每條軌跡li持續的時間T(li)，若未達到設定閾值即不滿足式（5），則認為是非車燈軌跡，則不進行配對處理。

3.2 融合時空特征配對車燈

車燈提取之后，基于時空特征相似度實現車燈配對。交通場景中存在的各類車輛是導致車燈錯誤配對和軌跡混亂的主要原因。

為了提取長軌跡，根據網上公布的各類車型的車寬把車輛分為普通車、小車、中車及大車4種類型，其中普通車是指常見的轎車類型；按照車燈數目分為獨燈車、雙燈車及多燈車，然后跟據車輛類別分別進行處理。首先選取車燈對的連線斜率θ、質心歐式距離d、速度差Δv以及車寬w作為配對特征，完成普通車的車燈配對；若剩余的未配對車燈滿足軌跡長度大于遠、中和近景區域路面長度的2/3，則按照車寬及車燈數目進行特殊車輛的分類處理。然后對提取的車輛軌跡再次應用軌跡修正法。處理流程如圖5所示。

圖5 車輛定位跟蹤流程

表1 車燈跟蹤結果對比

分類處理交通場景中的各類車輛使得車燈在整個場景中能夠正確配對，避免了在車輛密集、有遮擋的情況下容易造成不止一個配對或沒有相應的配對的情況，保證完整提取車輛的長軌跡。同時，保留了獨燈車的運動軌跡并保證了一車一軌跡。

4 測試結果

共測試了12段視頻，分別有3 000、1 240、1 325、1 479、415、716、840、454、512、856、933、617幀。視頻中包含了城市交通中常見的各類車型，在輕薄霧霾天氣下，用索尼HDR-550d攝像機在夜模式下拍攝，幀率為25 f/s。

4.1 跟蹤結果統計

表1是本文的跟蹤方法與文獻[3，9]的準確率對比。本文方法的車燈匹配率最高為98.01%，比文獻[3]高出11.33%，比文獻[9]的最高匹配率94.8%高出3.21%。特別如圖6在車輛變道情況下，該方法表現出健壯的數據關聯性。圖中紅線用于標注遠景處紅綠燈路口，數字表示車燈ID，用不同顏色表示不同車燈的軌跡。

圖6 變道車輛的跟蹤

4.2 車輛長軌跡提取結果

按照車寬，處理了含普通車、小轎車、貨車及公交車的視頻序列；按照車燈數目，處理了含摩托車、雙前燈中一燈出現故障車、雙前燈功率不同車、四前燈車的視頻序列。圖7是視頻中跟蹤車輛400幀的結果，左圖中數字表示車燈ID，右圖中如V(2)=51 km/h表示ID為2的車輛時速為51 km。

圖7 車輛跟蹤結果

表2 普通車輛跟蹤幀數對比

圖8 車輛跟蹤結果對比

4.2.1 普通車長軌跡提取結果

對于普通車輛，如圖8（a）、（b）是文獻[4]中最后提取出的軌跡，紅框標注的遠景區域內存在嚴重的多車燈誤配情況，圖8（c）、（d）是文獻[9]中最后提取出的軌跡。表2是針對圖8中車輛跟蹤幀數的對比。文獻[4，9]的跟蹤幀數最多為126幀、200幀；本文的方法跟蹤幀數最多可達到626幀。由于現存算法中文獻[9]的夜間車輛跟蹤準確率最高，所以僅與它進行了對比：本文的方法在12段視頻中的平均準確率為97.3%，比文獻[9]的車輛平均跟蹤準確率87.3%高出了10%。由對比結果可知，相比現存方法，車輛分類處理使本文的算法表現出更良好的跟蹤性能。

4.2.2 特殊車輛長軌跡提取結果

完成對普通車輛的處理后，按照類別要提取特殊車輛的長軌跡，表3是對特殊車輛跟蹤的數據統計結果。其中，小轎車兩燈跟蹤幀數相差142幀，貨車跟蹤率僅為89.25%的主要原因是：紅綠燈路口長時間停車導致大量車燈光斑與噪聲相互粘連，從中極難分割出單個車燈光斑。

表3 特殊車輛跟蹤數據統計

5 結束語

根據大氣反射-散射模型復原車燈光斑，在遠、中、近景三部分采用不同的方法篩選車燈，然后用面積重疊法完成數據關聯，獲得車燈初始軌跡，再加入軌跡反饋修正誤匹配，按車型配對車燈；最后對車輛跟蹤結果再次應用軌跡修正。驗證結果表明，該法能夠實現對夜間城市交通監控中各類車輛完整軌跡的準確提取。本文車燈錯誤匹配率比文獻[3]降低11.33%，比文獻[9]降低3.21%，車輛跟蹤準確率比文獻[9]高出10%。

[1] Kuang Huilin，Chen Long，Gu Feng，et al.Combining region-of-interest extraction and image enhancement for nighttime vehicle detection[J].Intelligent Systems IEEE，2016，31（3）.

[2] Hajimolahoseini H，Amirfattahi R，Soltanian-Zadeh H.Robust vehicle tracking algorithm for nighttime videos captured by fixed cameras in highly reflective environments[J].Iet Computer Vision，2014，8（6）：535-544.

[3] Chen Yenlin，Wu Bingfei，Huang Haoyu，et al.A real-time vision system for nighttime vehicle detection and traffic surveillance[J].IEEE Transactions on Industrial Electronics，2011，58（5）：2030-2044.

[4] Zhang Wei，Wang Guanghui，You Xinge，et al.Tracking and pairing vehicle headlight in night scenes[J].IEEE Transactions on Intelligent Transportation Systems，2012，13（1）：140-153.

[5] Tang Chunming，Hussain A.Robust vehicle surveillance in night traffic videos using an azimuthally blur technique[J].IEEE Transactions on Vehicular Technology，2015，64（10）：4432-4440.

[6] Cheng H Y，Hsu S H.Intelligent highway traffic surveillance with self-diagnosis abilities[J].IEEE Transactions on Intelligent Transportation Systems，2011，12（4）：1462-1472.

[7] Salvi G.An automated nighttime vehicle counting and detection system for traffic surveillance[C]//International Conference on Computational Science and Computational Intelligence，Las Vegas，NV，2014：131-136.

[8] 湯春明，聶美玲，丁騰飛，等.基于最小特征匹配代價的夜間車輛檢測和追蹤[J].計算機應用與軟件，2015，32（4）：292-296.

[9] Zou Qi，Ling Haibin，Luo Siwei，et al.Robust nighttime vehicle detection by tracking and grouping headlights[J].IEEE Transactions on Intelligent Transportation Systems，2015，16（5）：2838-2849.

[10] O’malley R，Jones E，Glavin M.Rear-lamp vehicle detection and tracking in low-exposure color video for night conditions[J].IEEE Transactions on Intelligent Transportation Systems，2010，11（2）：453-462.

[11] Tian B，Li Y，Li B，et al.Rear-view vehicle detection and tracking by combining multiple parts for complex urbansurveillance[J].IEEETransactionsonIntelligent Transportation Systems，2014，15（2）：597-606.

[12] 湯春明，曹志升，林祥清，等.基于大氣反射-散射模型的復原圖像中交通視頻車燈檢測[J].自動化學報，2016，42（4）：605-616.

[13] Hartley R，Zisserman A.Multiple view geometry in computer vision[M].2nd ed.UK：Cambridge University Press，2004：32-36.

[14] Zhu Qingsong，Mai Jiaming，Shao Ling.A fast single image haze removal algorithm using color attenuation prior[J].IEEE Transactions on Image Processing，2015，11（24）：3522-3532.

[15] 胡珂立，谷宇章，王營冠，等.基于分水嶺分割和尺度不變特征點的多目標全自主跟蹤算法[J].電子與信息學報，2012，34（8）：1827-1832.

[16] 馬永明，李鵬飛，王彬.一種新的夜間交通流量檢測方法[J].西北師范大學學報：自然科學版，2015，51（3）：43-49.

TANG Chunming,XIAO Wenna,DONG Yancheng,et al.Complete extraction of trajectories of different vehicles in nighttime city traffic surveillance.Computer Engineering andApplications,2018,54（6）：205-209.

TANG Chunming,XIAO Wenna,DONG Yancheng,LIN Xiangqing

School of Electronical and Information Engineering,Tianjin Polytechnic University,Tianjin 300387,China

The presented tracking system combines the vehicle’s type and trajectory feedback correction in order to obtain the complete trajectory in nighttime traffic surveillance.After filtering the restored headlight blobs in the distant,middle and close regions separately,the initial trajectories of headlights are obtained by area overlapping and trajectory feedback is then used for correction mismatching.Vehicles are classified according to the actual vehicle’s width which is calculated by homography matrix.Based on the temporal and spatial similarity,headlights are paired.The obtained trajectories of vehicles are finally corrected and optimized.The complete extraction of vehicles’trajectories between the two adjacent monitoring points are achieved.Compared with the other similar algorithms,the number of frames that vehicles are tracked is increased by 500 frames,headlight matching rate is increased by 11.33%and vehicle tracking rate is increased by 10%.

complete trajectory extraction;vehicles classification;feedback correction

針對夜間城市交通視頻中各類車輛軌跡的完整提取，提出結合車輛類型與軌跡反饋修正的跟蹤系統。在視頻遠中近區域篩選復原車燈光斑后，用面積重疊法獲得車燈初始軌跡，再應用反饋糾正誤匹配；通過單應性矩陣推算實際車寬，并依此給車輛分類后，按照時空相似度完成車燈配對；最后修正、優化車輛跟蹤結果，實現相鄰兩個監控點間車輛軌跡的完整提取。與同類算法相比，車輛跟蹤幀數增加了500幀，車燈匹配率提高了11.33%，車輛跟蹤率提高了10%。

軌跡完整提取；車輛分類；反饋修正

2016-09-27

2017-01-20

1002-8331（2018）06-0205-05

A

TP391.41

10.3778/j.issn.1002-8331.1609-0384

天津市第三批千人計劃項目（No.62014511）；天津工業大學引進教師科研啟動項目（No.030367）。

湯春明（1971—），女，博士，教授，研究領域為圖像處理與模式識別，視頻中目標識別與追蹤；肖文娜（1990—），女，碩士研究生，研究領域為圖像處理與模式識別，視頻中目標識別與追蹤，E-mail：937884976@qq.com；董燕成（1992—），男，碩士研究生，研究領域為圖像處理，目標識別與追蹤；林祥清（1990—），男，碩士研究生，研究領域為目標識別與追蹤。

◎工程與應用◎