基于目標(biāo)跟蹤和遷移學(xué)習(xí)的多車型流量檢測方法

曾星宇，熊顯名,2，程海博

(1.桂林電子科技大學(xué) 電子工程與自動化學(xué)院，廣西 桂林 541004;2.桂林電子科技大學(xué) 廣西高校光電信息處理重點實驗室，廣西 桂林 541004)

隨著視頻監(jiān)控技術(shù)的普及，目前我國的主要公路已部署了大量視頻監(jiān)控攝像頭。除了利用這些監(jiān)控攝像頭實時監(jiān)控道路狀況外，公路管理部門希望能夠利用這些視頻實現(xiàn)機(jī)動車輛的流量檢測，以取代傳統(tǒng)的基于感應(yīng)線圈的流量檢測方法[1]。

基于視頻的車流量檢測方法主要分為虛擬線圈法[2-3]和目標(biāo)跟蹤法[4-5]，近年來學(xué)者們在此基礎(chǔ)上提出了很多改進(jìn)方法。甘玲等[6]提出了根據(jù)車輛位置自動生成不同虛擬檢測線圈的算法，提高了多車道車流量檢測精度。常志國等[7]提出了結(jié)合目標(biāo)與檢測線相對位置信息的改進(jìn)虛擬線統(tǒng)計法，減少了計數(shù)時的漏檢和誤檢。白天等[1]提出了基于目標(biāo)跟蹤和支持向量機(jī)的方法，減少非車輛目標(biāo)的誤統(tǒng)計，提高了全天候環(huán)境下的車流統(tǒng)計的準(zhǔn)確率。但是這些方法的檢測準(zhǔn)確度并不高，車型識別類型單一。鑒于此，提出一種結(jié)合目標(biāo)跟蹤和遷移學(xué)習(xí)的多車型流量檢測方法，采用高斯混合模型[7]與背景差分法提取出運(yùn)動車輛，利用相鄰幀的車輛中心點位置進(jìn)行車輛跟蹤，結(jié)合遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)小車、貨車、客車3種車型流量檢測。

1 運(yùn)動車輛提取

多車型車流量檢測流程如圖1所示，由運(yùn)動車輛提取和車輛計數(shù)2個部分組成。

圖1 多車型車流量檢測流程

運(yùn)動車輛提取過程為：先對視頻圖像進(jìn)行降噪，采用混合高斯模型[8]進(jìn)行背景建模，用背景差分法提取前景圖像，最后利用形態(tài)學(xué)處理提取準(zhǔn)確的運(yùn)動車輛。

背景建模是對圖像中每一個像素點的顏色值建立K個高斯模型，用當(dāng)前圖像的每個像素點與建立的混合高斯模型匹配。若匹配成功，則判定該點為背景點，更新該高斯模型參數(shù)；若匹配不成功，則判定該點為前景點。

背景建模后用背景差法提取前景圖像。設(shè)t時刻的背景圖像為b(x,y,t)，視頻圖像為I(x,y,t)，前景圖像為m(x,y,t)，關(guān)系式為

m(x,y,t)=I(x,y,t)-b(x,y,t)。

(1)

背景差分得到的前景圖像存在“孔洞”，需經(jīng)過形態(tài)學(xué)閉運(yùn)算處理，經(jīng)先膨脹后腐蝕操作，可得到準(zhǔn)確的運(yùn)動車輛。

2 基于目標(biāo)跟蹤和遷移學(xué)習(xí)的車輛計數(shù)

2.1 目標(biāo)跟蹤

目標(biāo)跟蹤算法能獲取每個運(yùn)動車輛的軌跡，對軌跡進(jìn)行分析，得到更準(zhǔn)確的車流量。

考慮到視頻相鄰兩幀車輛的位移非常小，且車輛運(yùn)動的方向基本恒定[1]，因此，通過對運(yùn)動車輛幀間中心點距離與角度分析，對已檢測到的運(yùn)動車輛在跟蹤列表的信息進(jìn)行更新，對當(dāng)前幀首次檢測的運(yùn)動車輛在跟蹤列表登記。

視頻第N-1幀，車輛跟蹤列表LN-1中有i輛運(yùn)動車輛V，

(2)

(3)

圖2 向量與坐標(biāo)軸夾角

(4)

我國的教學(xué)督導(dǎo)制度盡管對教育和教學(xué)質(zhì)量管理的提高起著很重要的作用，但在長期的實踐運(yùn)行過程中仍然表現(xiàn)出一些明顯的缺陷。由于我國教學(xué)督導(dǎo)更多的是從行政管理和監(jiān)督的功能上去開展工作，這使得教育教學(xué)督導(dǎo)和質(zhì)量評價機(jī)制的改變需要依附管理體制，存在相應(yīng)的程序問題，使得其在第一線的實施產(chǎn)生一些具體的局限，比如督導(dǎo)內(nèi)容比較狹窄、單一死板、忽視教師的個性差異和學(xué)科差異。

(5)

(6)

重復(fù)以上過程，對第N幀所有檢測到的車輛中心點與N-1幀中車輛跟蹤列表LN-1進(jìn)行匹配。車輛軌跡跟蹤效果如圖3所示。

圖3 車輛軌跡跟蹤效果

2.2 遷移學(xué)習(xí)

為了快速高效地得到車型分類模型[9-10]，采用遷移學(xué)習(xí)[11]訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。遷移學(xué)習(xí)是將一個問題A訓(xùn)練好的模型，通過調(diào)整使其適應(yīng)一個新的問題B的模型訓(xùn)練方法。遷移學(xué)習(xí)訓(xùn)練CNN過程如圖4所示。對于由公用數(shù)據(jù)集A訓(xùn)練完成的CNN模型，根據(jù)實際應(yīng)用的數(shù)據(jù)集B進(jìn)行模型局部訓(xùn)練，保留預(yù)訓(xùn)練模型的結(jié)構(gòu)和前N層卷積神經(jīng)網(wǎng)絡(luò)層的參數(shù)，僅重新訓(xùn)練該模型M層參數(shù)，并對輸出層的結(jié)構(gòu)進(jìn)行微調(diào)，最終得到適應(yīng)分類任務(wù)B的模型。

圖4 遷移學(xué)習(xí)訓(xùn)練CNN過程

采用MobileNet，對自建的樣本數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)。保持前面層的參數(shù)和結(jié)構(gòu)不變，只訓(xùn)練最后一層Softmax分類器。對于給定輸入z，Softmax分類器可得到屬于某一類別的概率，

(7)

其中P(t=c|z)，t∈{1,2，…，c}表示在給定輸入z時，該數(shù)據(jù)是c分類的概率，最大概率對應(yīng)的類別為分類結(jié)果。

將數(shù)據(jù)集每張圖像輸入到MobileNet網(wǎng)絡(luò)，在網(wǎng)絡(luò)的瓶頸層生成一個2048維的特征向量，再由這些特征訓(xùn)練新的Softmax分類器的參數(shù)，最終得到車型分類模型。

2.3 多車型車流量計數(shù)步驟

1)在圖像中選取感興趣區(qū)域，作為車輛檢測與計數(shù)的區(qū)域。

2)初始化一個空的車輛跟蹤列表，記錄每一幀圖像幀中的運(yùn)動車輛對象；初始化一個空的車輛計數(shù)列表，記錄從視頻開始到結(jié)束所有統(tǒng)計過的車輛對象。

3)在檢測區(qū)域內(nèi)，檢測是否有車輛進(jìn)入。對于檢測到的每輛車，計算該車輛輪廓的外界矩形的中心點坐標(biāo)。

4)將當(dāng)前幀檢測到的每輛車對象的中心點與前一幀車輛跟蹤列表中的所有車輛對象進(jìn)行軌跡分析。若結(jié)果匹配，表示2輛車對象是同一輛車，則更新跟蹤列表對應(yīng)車輛對象的信息；若未匹配，表示當(dāng)前的車輛對象是首次檢測到的車輛，未被跟蹤過，在跟蹤列表創(chuàng)建新的車輛對象，登記該車的信息。

5)當(dāng)車輛跟蹤列表的車輛對象被匹配10次，輸入到車型分類模型中識別車型后計數(shù)，并將該車輛對象加入到車輛計數(shù)列表；若跟蹤列表中某一車輛最近5幀都未檢測到，表示該輛車已經(jīng)離開了視頻檢測區(qū)域，刪除跟蹤列表中該車輛對象。

6)新來一幀，轉(zhuǎn)至步驟3)，直至視頻結(jié)束。

3 實驗與分析

利用廣西高速公路某段監(jiān)控視頻進(jìn)行實驗，實驗軟硬件環(huán)境為Xeon E3-1240處理器，12 GB內(nèi)存，Window 7.0操作系統(tǒng)，NVIDIA GTX650顯卡，編程環(huán)境為Pycharm與Tensorflow。

3.1 訓(xùn)練車型分類模型

訓(xùn)練車型分類模型，需要先建立車型分類數(shù)據(jù)集，其中車型分類樣本從大量監(jiān)控視頻中提取，共1072張圖片。車型分類數(shù)據(jù)集如表1所示，部分車型樣本如圖5所示。

3.2 多車型車流量檢測結(jié)果

對一段117 min的監(jiān)控視頻進(jìn)行實時檢測分析，圖6為實驗進(jìn)行至第13、100 min的截圖。

表1 車型分類數(shù)據(jù)集

圖5 部分車型樣本

圖6 實驗過程截圖

人工計數(shù)與算法計數(shù)對比結(jié)果如表2所示。對于小車，實際為331輛，算法統(tǒng)計為320輛，漏統(tǒng)計13輛(其中9輛被統(tǒng)計為貨車，4輛未檢測到)，2輛貨車被誤統(tǒng)計為小車；對于貨車，實際為49輛，算法統(tǒng)計為54輛，漏統(tǒng)計4輛，9輛小車被誤統(tǒng)計為貨車；對于客車，實際為6輛，算法統(tǒng)計為7輛，1輛貨車被誤統(tǒng)計為客車。對于總的車流量統(tǒng)計，5輛車被完全漏統(tǒng)計，統(tǒng)計準(zhǔn)確率為98.7%，分類平均準(zhǔn)確率為96.8%。

表2 檢測結(jié)果

3.3 結(jié)果分析

在車流量檢測方面，本方法與虛擬線圈法[6]、基于支持向量機(jī)的軌跡分析法[1]車流量統(tǒng)計準(zhǔn)確率對比如表4所示。本方法車流量檢測的平均準(zhǔn)確率提高了3%，并且能按車型統(tǒng)計車流量，更具實用性。

表3 車流量統(tǒng)計準(zhǔn)確率對比

在分類器訓(xùn)練與識別方面，本方法與VGG16[12]和Fast R-CNN[13]車型分類準(zhǔn)確率對比如表5所示。在訓(xùn)練樣本數(shù)量小于其他方法情況下，采用遷移學(xué)習(xí)訓(xùn)練的MobileNet與其他CNN模型相比，車型分類的準(zhǔn)確率提高了7%以上。

表4 車型分類準(zhǔn)確率對比

4 結(jié)束語

針對視頻車流量統(tǒng)計、車型識別準(zhǔn)確率不高的問題，提出一種基于目標(biāo)跟蹤與卷積神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)的按車型分類計數(shù)的車流量檢測方法。在車流量統(tǒng)計方面，采用對車輛幀間中心點以及一段時間軌跡實時分析的目標(biāo)跟蹤方法，統(tǒng)計準(zhǔn)確率達(dá)98.7%。在車型分類識別方面，采用遷移學(xué)習(xí)方法，解決了小樣本下MobileNet模型訓(xùn)練困難、識別率不高的問題，平均準(zhǔn)確率達(dá)96.8%。今后將增加統(tǒng)計車型種類，進(jìn)一步提高復(fù)雜環(huán)境條件下檢測方法的準(zhǔn)確率。