基于高速公路場景的車輛目標跟蹤①

宋煥生,李 瑩,楊 瑾,云 旭,張 韞,解 熠

1(長安大學 信息工程學院,西安 710064)

2(陜西省交通建設集團公司,西安 710064)

隨著社會經(jīng)濟飛速發(fā)展,交通運輸對我國經(jīng)濟和社會發(fā)展有著重要的促進作用.智能交通系統(tǒng)(Intelligent Transportation Systems,ITS)作為一個綜合的交通監(jiān)控管理系統(tǒng),道路交通信息則是必不可少的前提和內(nèi)容[1].因此,基于視頻的交通信息獲取成為智能交通系統(tǒng)的核心.高速公路作為當前道路的主要交通方式,基于當前大量的高速公路視頻監(jiān)控設備,通過對視頻圖像進行處理與分析,實現(xiàn)車輛目標的檢測與跟蹤,從而獲取道路交通信息,自動地對高速公路場景進行監(jiān)控監(jiān)測,實現(xiàn)交通管理的智能化.但是,高精度的車輛目標檢測與跟蹤仍是智能交通系統(tǒng)的一個難點.

傳統(tǒng)的目標檢測算法包括：幀差法[2]、背景差分法[3]、光流法[4]等.但是,當目標運動緩慢時,幀差法易將運動目標當做背景圖像造成目標檢測失敗;背景差分法是對背景進行建模得到前景的運動目標,受外界光照的變化,背景運動等因素的影響;光流法采用光流信息描述目標,Meye 等提出了基于輪廓的目標檢測跟蹤算法,實現(xiàn)了較好的檢測跟蹤效果,但該方法存在抗噪能力差,計算復雜,對硬件要求高等缺點.基于深度學習的目標檢測算法與傳統(tǒng)算法相比擁有更高的檢測精度,其主要運用卷積神經(jīng)網(wǎng)絡CNN[5].目前基于深度學習的目標檢測主流算法有,基于區(qū)域建議的檢測算法Fast R-CNN[6]和基于回歸的檢測算法YOLO[7]、SSD[8].

針對目標跟蹤,跟蹤預測算法本質(zhì)上是通過提取已檢測目標的特征信息,在后續(xù)圖像序列中搜索定位與目標模板相似的區(qū)域作為候選位置.目標特征的提取的一種方式是提取特征點,然后利用特征點進行目標匹配的重定位.常用的特征點提取方式有Harris[9]角點檢測、SIFT[10]算子特征點檢測,基于特征點的匹配能夠適應目標的旋轉(zhuǎn)和光照變化,但是特征點提取過多導致匹配困難,特征點過少又容易造成誤檢,而且特征點提取過程計算復雜,耗時嚴重.另一種方式是對目標整體描述,常用到的目標特征包括圖像邊緣、形狀、紋理,顏色直方圖統(tǒng)計特征等,通過融合多個特征增強目標特征的可靠性.對目標進行特征提取之后,采用相似性度量方式進行目標重定位,實現(xiàn)目標跟蹤.基于特征的跟蹤算法對運動目標的尺度、形變和亮度等變化不敏感,即使目標部分被遮擋,還能夠根據(jù)部分特征信息完成跟蹤任務.但是其對于圖像模糊、噪聲等較敏感,特征的提取效果也依賴于各種提取算子及其參數(shù)的設置.

因此本文采用基于深度學習的SSD 目標檢測算法,通過數(shù)據(jù)集訓練得到適應高速公路場景的模型,實現(xiàn)高精確度的車輛目標檢測.在目標檢測結(jié)果的基礎上,本文提出了一種目標軌跡時序信息結(jié)合KCF[11]算法的車輛目標跟蹤方法,實現(xiàn)車輛目標的持續(xù)跟蹤,具有較好的應用價值.

1 車輛目標跟蹤總體框架

目前,多目標跟蹤有兩種解決方案.方案一：對視頻序列的每一幀進行運動目標檢測,基于相鄰幀間的檢測結(jié)果完成運動目標軌跡連接,獲取運動目標信息.方案二：在初始幀對目標進行檢測得到有效描述,然后在后續(xù)圖像序列中查找與已檢測目標相匹配的目標區(qū)域,最終跟蹤得到運動目標軌跡.

為了實現(xiàn)高速公路場景下的高精準檢測和車輛持續(xù)跟蹤,本文將上述兩種方案相結(jié)合,提出了一種面向高速公路場景車輛目標檢測及跟蹤方法,實現(xiàn)了車輛目標的持續(xù)跟蹤.高速公路場景下車輛目標的跟蹤,分兩大模塊,一是目標車輛檢測,二是目標跟蹤.目標車輛檢測采用基于深度學習的SSD (Single ShotMultiBox Detector)目標檢測算法,目標的持續(xù)跟蹤首先利用軌跡時序信息進行數(shù)據(jù)關聯(lián),然后結(jié)合KCF 算法校正斷開軌跡.如圖1是面向高速公路場景下的車輛目標跟蹤過程的總體框架.

2 車輛目標跟蹤方法

2.1 目標檢測方法

本文采用基于深度學習的SSD 目標檢測算法,其網(wǎng)絡結(jié)構如圖2所示.其中使用VGG16[12]作為基礎網(wǎng)絡,該網(wǎng)絡包括16 層,網(wǎng)絡模型如圖3所示,SSD 在VGG16 的基礎上添加了特征提取層.具體的SDD 算法請參考文獻[8]中劉偉等人的工作.

為了更適用高速公路場景下的車輛目標檢測,本文將SSD 的檢測類別由原來的20 種改為4 種,并參考國內(nèi)標準的車型分類手冊[13],將車輛目標分為三類：小車(Car)、客車(Bus)、卡車(Truck),如圖4為車型類別的樣本示例圖.本文以杭金衢高速公路的監(jiān)控視頻作為樣本,針對4 種不同場景下的視頻每75 幀提取一幀作為本文的訓練樣本集,總計提取6288 張圖片,并通過LamImage 工具對目標車輛進行位置標注,對類別用標簽進行區(qū)分,得到6288 個標注文件.其標注工具如圖5所示,生成的標簽文件如圖6所示.

本文的輸入網(wǎng)絡圖像大小為512×512,訓練迭代次數(shù)設置為12 000 次,根據(jù)本實驗的GPU 的性能將BatchSize 設置為4,訓練學習率LearningRate 設置為0.004×0.05,然后將制作好的數(shù)據(jù)集輸入SSD 網(wǎng)絡進行訓練,其中網(wǎng)絡訓練過程的Loss 曲線圖如7 所示,Loss 隨著迭代次數(shù)的增加逐漸降低并趨于穩(wěn)定,說明達到了訓練的收斂要求,即得到適合高速公路場景的網(wǎng)絡模型.

圖1 車輛目標跟蹤過程的總體框架

圖2 SSD 網(wǎng)絡結(jié)構

圖3 VGG16 網(wǎng)絡模型及每層的輸出

圖4 車型類別的樣本示例

圖5 LabelImg 圖像標注工具

圖6 LabImage 生成的標簽文件

圖7 網(wǎng)絡訓練過程的Loss 曲線

2.2 基于軌跡時序信息的軌跡與目標匹配方法

在檢測結(jié)果的基礎上,需要通過數(shù)據(jù)關聯(lián)方式將同一目標車輛連接起來形成軌跡.高速公路場景下的高幀率(一般為25 FPS)監(jiān)控視頻,在相鄰幀中同一個車輛目標具有明顯的高重疊面積IOU (Intersection-Over-Union)[14].如圖8是實際場景中連續(xù)幀間的目標位置.

圖8 高幀率下目標高重疊面積圖

本文提出了一個簡單的IOU 跟蹤器,計算當前幀的檢測目標框與現(xiàn)有軌跡的IOU 匹配值Overlap(box1,box2).由于高速公路場景下車輛目標之間存在相互遮擋,幀間相互遮擋的目標IOU 匹配值只有在一定范圍有效,本文將有效范圍設置為[0.6,1].其中,IOU 匹配值的定義如式(1)所示.

其中,box1 和box2 是兩個目標檢測框,Area(box1),Area(box2)是其對應的圖像面積大小.

2.3 基于KCF 的核相關濾波算法

在高速公路場景下,由于光照、遮擋、相機架設位置等因素的影響,即使是SSD 算法,也不能達到100%的檢測精度,為了實現(xiàn)目標軌跡的持續(xù)跟蹤,當目標檢測丟失時,需要通過跟蹤預測算法完成軌跡信息的校正,從而得到完整的軌跡信息.

本文利用KCF 跟蹤算法對目標車輛進行位置預測,完成對目標軌跡的校正.KCF 跟蹤算法是通過提取目標的HOG[15]特征在目標跟蹤過程中訓練一個目標檢測器,利用目標檢測器在下一幀圖像中判別預測位置是否是目標,然后再用新檢測結(jié)果更新目標檢測器.具體的KCF 原理過程參考文獻[12].KCF 目標跟蹤的基本過程如下：

1)在第t幀中,在當前目標位置p附近進行采樣,并且采用循環(huán)矩陣增加正負訓練樣本,利用脊回歸訓練目標檢測器.

2)在第t+1 幀中,在前一幀位置p附近進行采樣,用訓練的目標分類器計算每一個采樣對應的響應值.

3)響應最強的采樣作為第t+1 幀的目標位置.

2.4 目標軌跡時序信息結(jié)合KCF 的track-bydetection 方法

基于SSD 的車輛目標檢測結(jié)果,一個車輛目標從首次檢測到跟蹤形成一條有效軌跡的過程中,目標車輛的狀態(tài)轉(zhuǎn)換過程如圖9所示的目標跟蹤模塊.

1)目標激活：當一個目標首次被檢測到,即該目標被激活.新目標的初始位置框boxi,t(i表示當前幀的檢測序號,t表示當前處理的幀號)作為一條新軌跡形成的初始位置,新軌跡表示為traceI,t(I表示軌跡的唯一標識ID).與此同時,為該軌跡建立一個KCF 跟蹤器trackerBoxI,t+1,目的是為了防止后續(xù)目標丟失時,對目標能夠進行位置預測.

一個處于激活狀態(tài)的目標可以經(jīng)s1 轉(zhuǎn)換成跟蹤和經(jīng)s7 轉(zhuǎn)換到離開兩種狀態(tài).實際過程中不可避免的會出現(xiàn)錯誤的目標檢測結(jié)果,但是由于誤檢目標并不能持續(xù)地被檢測跟蹤,所以本文設定閾值,如果一個目標處于激活狀態(tài),連續(xù)5 幀被檢測且匹配跟蹤時,目標轉(zhuǎn)換到跟蹤狀態(tài),否則,該目標就被認為是錯誤的檢測目標,狀態(tài)轉(zhuǎn)換為離開,與之對應的軌跡也被刪除.

2)目標跟蹤：在第t+1 幀檢測得到boxi,t+1,軌跡traceI,t基于其時序信息與當前檢測框計算得到匹配代價表.如果某條軌跡traceI,t與某目標框boxi,t滿足式(1)的范圍取值時,則表示兩者匹配成功,目標經(jīng)時轉(zhuǎn)換到跟蹤狀態(tài),得到更新軌跡traceI,t+1.如果軌跡未匹配到目標框,則該軌跡目標經(jīng)s3 進入丟失狀態(tài).如果該目標未匹配到軌跡,則該目標是一個新的目標,經(jīng)s0 進入目標激活狀態(tài).

3)目標丟失：理想情況下,一個目標不離開場景時會一直保持跟蹤狀態(tài)時,但是由于光照,遮擋等原因目標可能未被檢測到,此時軌跡traceI,t找不到與之匹配到目標boxi,t+1,則該軌跡目標轉(zhuǎn)換到丟失狀態(tài).當該目標再次被檢測到時,目標可以從丟失狀態(tài)經(jīng)s4 過程重新回到跟蹤狀態(tài).當目標處于丟失狀態(tài)時,本文采用KCF 目標跟蹤算法,在當前幀為軌跡目標預測新位置trackerBoxI,t+1,并將預測位置添加到軌跡中.

在本文中,當一個新目標被激活時,為該目標初始化一個跟蹤器,在跟蹤過程中訓練一個目標檢測器,并且通過不斷地更新提高目標檢測器的準確性,但是當目標運動過程中形態(tài)尺度發(fā)生變化時,檢測器的更新過程會造成不斷地錯誤累積,導致目標漂移,跟蹤失敗.為了適應目標的變化,每25 幀重新初始化一次模板,適應目標的變化.

4)目標離開：目標轉(zhuǎn)換到離開狀態(tài)的情況分三種：

① 目標離開運動場景時,目標既不會被檢測到也不再進行KCF 的預測操作,目標將從跟蹤狀態(tài)先經(jīng)s3 轉(zhuǎn)到丟失狀態(tài),再經(jīng)s5 轉(zhuǎn)換到離開狀態(tài);

② 目標被激活但是不滿足連續(xù)5 幀被檢測跟蹤,被認定為錯誤目標,目標從激活狀態(tài)轉(zhuǎn)換到離開狀態(tài);

③ 當一條軌跡目標連續(xù)40 幀一直處于丟失狀態(tài),即軌跡目標一致處于s6 的轉(zhuǎn)換過程,則認為該目標離開.

圖9 目標跟蹤模塊狀態(tài)轉(zhuǎn)換

2.5 算法步驟

步驟一：車輛目標檢測.將視頻幀序列送入訓練好的SSD 網(wǎng)絡模型進行目標檢測.

步驟二：對目標軌跡進行跟蹤,建立匹配代價表.

1)若檢測目標與軌跡匹配成功,更新軌跡;

2)若跟蹤態(tài)軌跡未匹配到檢測目標,KCF 預測目標位置,更新軌跡;

3)若檢測目標未匹配到軌跡,記為激活態(tài)軌跡;

4)激活態(tài)軌跡連續(xù)5 幀跟蹤成功,確認更新為跟蹤態(tài)軌跡;

5)若軌跡滿足2.4 小節(jié)中目標離開的3 個條件之一,則刪除軌跡.

步驟三：重復步驟一、二.對車輛目標進行持續(xù)跟蹤.

3 實驗結(jié)果分析

本文實驗所采用的視頻是杭金衢高速(G60 國道)的不同時間和不同路段的監(jiān)控視頻.表1是本文實驗的四種不同場景.

表1 四種不同實驗場景

為了驗證SSD 檢測算法的精確度,本實驗針對場景1 和場景2 將其與傳統(tǒng)的背景建模檢測算法相比較,得到表2.通過對比發(fā)現(xiàn),背景建模檢測算法的精度均低于90%,,而基于深度學習的SSD 檢測算法相較于具有更高的精度,實驗結(jié)果顯示平均檢測精度在95%左右.

表2 SSD 檢測算法與傳統(tǒng)的背景建模檢測算法的精度分析

本實驗將K C F 跟蹤算法與傳統(tǒng)卡爾曼濾波Kalman 跟蹤算法進行比較,為了公平起見,我們針對同一場景同一時間段的車輛目標進行跟蹤分析.如圖10(a)和10(b)是兩種跟蹤算法的實驗結(jié)果.

圖10 (a)卡爾曼濾波Kalman 跟蹤 (b)核相關濾波KCF 跟蹤

從結(jié)果可以看出,雖然兩種跟蹤算法都能將目標位置鎖定,但是Kalman 算法得到的跟蹤框位置明顯存在較大誤差,而KCF 算法能夠更加精確地鎖定目標位置,同時也能從上圖發(fā)現(xiàn),即使存在部分遮擋的情況下,KCF 算法也可以實現(xiàn)跟蹤.

以上本文單獨針對目標檢測和目標跟蹤做了實驗對比分析,為了驗證本文算法的整體精度,針對場景1、2、3 本文通過對軌跡條數(shù)進行統(tǒng)計分析,并且將其與實際人工檢測的數(shù)據(jù)進行對比,得到表3.本文利用簡單的切面檢測線方式進行統(tǒng)計計數(shù),精度平均可以達到96.3%.其中小車(Car)類型的平均檢測精度95.6%,卡車(Truck)類型的平均檢測精度97.1%,客車(Bus)類型的平均檢測精度95.9%.小車精度較低原因在于高速公路場景中,小車(Car)目標小,容易被遮擋,當小車目標是黑色時容易漏檢.從整體的檢測跟蹤精度來分析,本文的方法滿足實際高速公路場景的應用需求.

表3 軌跡計數(shù)精度分析

4 結(jié)論與展望

通過實驗發(fā)現(xiàn)利用基于深度學習的SSD 目標檢測算法,可以獲得了高精度的目標檢測結(jié)果.其次,采用檢測與跟蹤相結(jié)合的思想,利用軌跡時序信息進行車輛目標的數(shù)據(jù)關聯(lián),采用KCF 跟蹤算法對丟失檢測結(jié)果的軌跡進行校正,能夠有效完成軌跡的持續(xù)跟蹤.實驗表明,該車輛目標跟蹤方法具有較高精度,并且能夠適應各種實際高速公路場景,接下來為了達到實時化的檢測跟蹤效果,需要針對深度學習檢測方法進行優(yōu)化使其速度更快,此外,可以通過已得到的軌跡信息完成交通參數(shù)的獲取,交通事件的實時監(jiān)測,對于智能交通領域具有廣泛的應用前景.