基于光流法的衛(wèi)星視頻交通流參數(shù)提取研究

羅亦樂，梁艷平，王 妍

北京交通大學(xué) 城市交通復(fù)雜系統(tǒng)理論與技術(shù)教育部重點(diǎn)實驗室，北京 100089

1 引言

交通信息是現(xiàn)代交通管理與控制的基礎(chǔ)[1]，是智能交通系統(tǒng)中最基礎(chǔ)的子系統(tǒng)。交通信息的采集有多種方法，比如線圈檢測[2]、微波雷達(dá)[3]、激光雷達(dá)[4]、超聲波[5]、視頻檢測等方法，其中基于視頻的交通信息采集方法是當(dāng)前的前沿研究方向之一，與傳統(tǒng)的交通檢測方法相比，它具有節(jié)約安裝維護(hù)成本，無需破壞路面和影響交通，且能夠?qū)崿F(xiàn)多車道監(jiān)控和多種交通流參數(shù)檢測等優(yōu)點(diǎn)[6-7]。

當(dāng)前大范圍的視頻車輛信息研究主要集中在飛艇、航拍視頻、無人機(jī)視頻等方面，學(xué)者們提出了一些車輛檢測和交通流參數(shù)提取的方法[8-13]。如王文龍等[8]針對以飛艇為載體的低空遙感平臺獲得的交通視頻數(shù)據(jù)，提出了一種以道路特征為約束，基于車輛形狀特征模糊分類的車輛檢測方法。Apeltauer等[9]針對交叉口區(qū)域，利用模板訓(xùn)練和匹配的方法實現(xiàn)了車輛檢測和軌道自動跟蹤，該方法需要預(yù)先進(jìn)行車輛配準(zhǔn)。但基于模板匹配的方法的實現(xiàn)需要提取大量車輛特征信息，并且匹配需要大量的計算量，難以提高檢測效率。Ke R等[10]提出了一種基于無人機(jī)視頻的雙向交通流的車輛檢測和速度提取的方法，該方法具有較高的可靠性，并且實現(xiàn)了實時運(yùn)行。Cao等[11]提出了一種基于KLT特征和粒子濾波的視頻車輛跟蹤方法，該方法具有較高的跟蹤精度，但沒有實現(xiàn)自動檢測。Hickman等[12]則提出了通過航拍視頻進(jìn)行車速、旅行時間、密度、排隊延遲交通參數(shù)估計的方法，并且取得了很高的精度，但該方法除攝像機(jī)外還借助了GPS和其他大量數(shù)據(jù)資源的支持，增加了檢測成本和處理時間。Kopsiaftis等[13]基于高分辨率衛(wèi)星視頻，運(yùn)用背景差分法對道路車輛進(jìn)行檢測和計數(shù)，并估計了道路車輛密度，但沒能提取出車速。

隨著商業(yè)遙感技術(shù)的不斷發(fā)展，國內(nèi)外已有多家公司（如Urthecast、Google Skybox、Blacksky Global等）能夠提供抽樣精度可達(dá)1 m的高分辨率高清衛(wèi)星視頻，基于衛(wèi)星視頻的交通信息檢測已經(jīng)成為可能。衛(wèi)星視頻與傳統(tǒng)的遙感影像相比，能夠?qū)\(yùn)動目標(biāo)進(jìn)行分析，進(jìn)而獲得運(yùn)動目標(biāo)的速度和方向，擁有著廣闊的應(yīng)用前景[14]，但目前衛(wèi)星視頻還存在著分辨率不足，環(huán)境背景復(fù)雜，運(yùn)動目標(biāo)數(shù)量較多等問題[7]，這使得交通信息的提取需要解決一些新問題，尤其是在衛(wèi)星視頻中，運(yùn)動的車輛目標(biāo)僅顯示為一個或幾個像素點(diǎn)，采用傳統(tǒng)的方法很難檢測識別。本文針對衛(wèi)星視頻中車輛的特點(diǎn)，利用Shi-Tomasi角點(diǎn)檢測方法和LK光流法，實現(xiàn)了基于衛(wèi)星視頻的交通流信息的采集。

2 相關(guān)的思路及算法

2.1 LK光流法簡述

Lucas-Kanade光流算法是一種常見的基于兩幀差分的光流估計算法，它基于以下三個假設(shè)[15]：

（1）亮度恒定；

（2）時間連續(xù)或者運(yùn)動相對于時間來說比較緩慢；

（3）空間一致性，同一場景中同一表面上的鄰近點(diǎn)運(yùn)動情況相似。

由假設(shè)1，可以得到圖像約束方程：

由假設(shè)2，通過泰勒公式，可以得到：

當(dāng)移動足夠小的時候，可以忽略二階和更高階的項。結(jié)合公式（1），可以得到：

令上式可得：

由于LK光流法假設(shè)在一個大小為n×n的小區(qū)域范圍內(nèi)像素點(diǎn)的運(yùn)動是一致的，則可以得到下面的一組方程：

可表示為Av=-b，利用最小二乘法，可以求得：

其中，I(x,y,t)表示一個像素點(diǎn)(x,y)在t時刻的亮度值，A為系數(shù)矩陣，b為常數(shù)項，V=(u,v)T表示通過光流法估計出來的像素在x和y方向的運(yùn)動分量，通過LK光流法可以得到角點(diǎn)的光流矢量，實現(xiàn)角點(diǎn)的跟蹤。

2.2 交通流參數(shù)提取方法

根據(jù)LK光流法的原理，本文基于衛(wèi)星視頻的特點(diǎn)，為提高交通流參數(shù)提取的精度，在角點(diǎn)檢測、車輛計數(shù)及車速提取方面采用了相應(yīng)的策略和方法。

2.2.1 角點(diǎn)檢測策略

角點(diǎn)是進(jìn)行車輛計數(shù)、跟蹤的前提，因此在本文的方法中角點(diǎn)的準(zhǔn)確檢測對于算法的運(yùn)行至關(guān)重要。為了提高角點(diǎn)檢測的準(zhǔn)確性，首先對衛(wèi)星視頻進(jìn)行預(yù)處理，通過預(yù)處理將車輛目標(biāo)所在區(qū)域的視頻提取出來，即只在道路上進(jìn)行角點(diǎn)檢測，減少大范圍的衛(wèi)星視頻背景對角點(diǎn)檢測的干擾。由于范圍被限定在了一條道路上，無效角點(diǎn)的數(shù)量將大大減少，并提高算法的效率。

2.2.2 車輛計數(shù)方法

在抽樣分辨率為1 m的高清衛(wèi)星視頻中，經(jīng)過視頻預(yù)處理，檢測出的角點(diǎn)基本都集中在道路區(qū)域。為了保證車輛與角點(diǎn)的一一對應(yīng)，對檢測出的角點(diǎn)可進(jìn)行如下處理：（1）靜止不動的物體在連續(xù)兩幀視頻中的角點(diǎn)位置不變，可通過這一特性來排除這些非運(yùn)動目標(biāo)角點(diǎn)。（2）對于檢測出的集中在運(yùn)動車輛上的角點(diǎn)，可以通過設(shè)置一個兩角點(diǎn)之間的最小距離的閾值算法，排除掉距離過于接近的角點(diǎn)。（3）由于在短暫的衛(wèi)星視頻中車輛數(shù)目是隨時可能發(fā)生變化的，即車輛在視頻中的出現(xiàn)和消失，針對這種情況，角點(diǎn)檢測必須實時更新，即每一幀都必須重新進(jìn)行一次角點(diǎn)檢測。通過以上策略來保證車輛與角點(diǎn)的對應(yīng)關(guān)系，并進(jìn)而利用角點(diǎn)來對車輛進(jìn)行分析。

2.2.3 交通流參數(shù)提取

對任意兩個相鄰的視頻幀而言，在實現(xiàn)對上一視頻幀角點(diǎn)的準(zhǔn)確檢測后，利用Lucas-Kanade光流法得到上一視頻幀角點(diǎn)的光流矢量，即角點(diǎn)在下一幀圖像中的位置，實現(xiàn)角點(diǎn)跟蹤，由于角點(diǎn)與車輛是一一對應(yīng)的，進(jìn)而可以得到車輛在兩視頻幀中的位置信息，實現(xiàn)兩幀之間車輛的匹配，并進(jìn)而可以利用位置信息進(jìn)行相關(guān)交通參數(shù)的計算。

假設(shè)實驗視頻為一個幀率為 f的道路衛(wèi)星影像，取一對連續(xù)幀之間某一個角點(diǎn)i的初始坐標(biāo)為(xi,yi)，利用光流法得到的角點(diǎn)的新位置的坐標(biāo)為(x′i,y′i)，則可定義新位置的角點(diǎn)的X軸坐標(biāo)x′i與初始坐標(biāo)的X坐標(biāo) xi的差值Di：

利用角點(diǎn)之間的坐標(biāo)差Di，可以判斷角點(diǎn)對應(yīng)的車輛的運(yùn)動方向，這里定義，當(dāng)Di＜0時，認(rèn)為車輛下行，當(dāng) Di＞0時，認(rèn)為車輛上行。 則通過公式（8）～（13）計算衛(wèi)星視頻中車輛目標(biāo)的雙向平均車速。

利用兩點(diǎn)之間的坐標(biāo)，可得到兩點(diǎn)之間的像素距離di。

角點(diǎn)移動的實際距離dt：

對于一個幀率為 f的衛(wèi)星視頻，可知連續(xù)兩幀之間的時間差t：

從而可得到角點(diǎn)i的實際速度Vi：

可以得到兩幀間上行方向所有車輛的平均速度為：

其中nU為連續(xù)兩幀中判定屬于上行車輛的數(shù)量-，同理，可以得到兩幀間下行方向所有車輛的平均速度VD為：

其中，(xi,yi)和 (x′i,y′i)為角點(diǎn)在視頻幀中的坐標(biāo)，單位是像素（pixel）；di為角點(diǎn)在視頻圖像中移動的距離，單位是像素（pixel）；dt為角點(diǎn)移動的實際距離，單位為m；ds為視頻圖像中實際距離與像素距離的比值；t為連續(xù)兩幀之間的時間差，單位為s；Vi為i角點(diǎn)的實際速度，單位為m/s；為兩幀間上行方向所有車輛的平均速度，單位為m/s； 為兩幀間下行方向所有車輛的平均速度，單位為m/s。

3 實驗及結(jié)果分析

本實驗中所使用的算法在C++和OpenCV3.0上實現(xiàn)，所測試的衛(wèi)星數(shù)據(jù)來源于溫哥華UrtheCast公司在網(wǎng)上公開的于2015年6月17日通過Iris傳感器獲得的超高清波士頓衛(wèi)星視頻（如圖1所示），該視頻影像的尺寸為1 920×1 080，抽樣分辨率為1 m，幀率為30幀/s，本實驗從視頻源中選取了連續(xù)的200幀進(jìn)行實驗（大致從視頻的第4 s開始），經(jīng)過預(yù)處理之后，影像的尺寸為267×42（圖中紅框所示），其余參數(shù)保持不變。

圖1 實驗數(shù)據(jù)

3.1 角點(diǎn)檢測結(jié)果

運(yùn)用本文中所使用的算法，對視頻幀進(jìn)行角點(diǎn)檢測，圖2為待檢測的視頻幀，圖3為角點(diǎn)檢測結(jié)果，可以發(fā)現(xiàn)，由于車輛在視頻幀中所占的像素較少，而且車輛對應(yīng)的像素點(diǎn)相比較于周圍的道路比較顯著，因此借助算法來實現(xiàn)角點(diǎn)與車輛的一一對應(yīng)是可行的，即通過角點(diǎn)的信息來進(jìn)行對應(yīng)車輛信息的提取是可以實現(xiàn)的。

圖2 待檢測的視頻幀

圖3 檢測后的視頻幀

運(yùn)用本文中的算法，得到車輛的漏檢率、正確率如表1所示，由表1可以知道運(yùn)用本文中的算法得到的上行方向和下行方向車輛檢測準(zhǔn)確率平均都在90%左右，漏檢率在10%左右，算法得到的檢測結(jié)果是比較可靠的。

表1 車輛檢測結(jié)果 %

通過進(jìn)一步分析，得到本文算法在識別過程中出現(xiàn)誤差的原因主要有兩點(diǎn)：

（1）視頻本身的原因。通過觀看原視頻可知，存在少數(shù)車輛的顏色與路面顏色比較接近，使得目標(biāo)角點(diǎn)由于與周圍對比不明顯而無法被Shi-Tomasi角點(diǎn)檢測方法檢測出來。

表2 速度計算結(jié)果

（2）由于算法的原因。由于在算法中設(shè)定了角點(diǎn)之間的最小距離，但角點(diǎn)的距離過小的時候其中的一個角點(diǎn)會被舍棄，這使得當(dāng)兩輛車的距離過小的時候，可能只有一輛車被檢測到。

3.2 交通流參數(shù)提取結(jié)果

利用OpenCV得到的角點(diǎn)坐標(biāo)信息，可以近似計算每一幀中角點(diǎn)的速度，進(jìn)而用角點(diǎn)的速度來計算車輛的速度。算法選取15幀即0.5 s為一個計算區(qū)間，在該時間區(qū)間內(nèi)可近似認(rèn)為車輛勻速。同時為便于比較，選取每15幀車輛運(yùn)行的平均速度（目視判別并計算）作為衛(wèi)星視頻中車輛運(yùn)動的近似真值。

對于交通流來說，一輛車的速度并不能代表整個交通流的速度，為了測量算法的精度，分別采用兩幀間上行方向所有車輛的平均速度和兩幀間下行方向所有車輛的平均速度作為該時段上下行車流速度的參考，得到的結(jié)果如表2所示。

角點(diǎn)檢測，進(jìn)而利用衛(wèi)星視頻中車輛目標(biāo)的特點(diǎn)和角點(diǎn)特性采用相應(yīng)的策略實現(xiàn)角點(diǎn)和車輛的一一對應(yīng)，從而實現(xiàn)車輛計數(shù)；然后將相關(guān)角點(diǎn)作為LK光流法的輸入，計算角點(diǎn)的光流矢量；最后根據(jù)角點(diǎn)運(yùn)動方向上的差異，實現(xiàn)雙向平均車速的計算，由實驗結(jié)果可知本算法具有較高的可靠性。

在本算法中車輛速度計算的前提是角點(diǎn)保持穩(wěn)定，因此當(dāng)?shù)缆飞系能囕v數(shù)較多，或者車輛進(jìn)出視頻經(jīng)常發(fā)生的時候，算法的計算精度將下降；同時由于光流法的計算復(fù)雜，算法所需的時間比較長，從表2可以得出，速度計算結(jié)果的準(zhǔn)確率平均為89.67%，平均誤差為10.33%，可以發(fā)現(xiàn)結(jié)果的準(zhǔn)確度浮動比較大，通過觀察可知，當(dāng)?shù)缆奋囕v比較少的時候，車輛能被準(zhǔn)確檢測，速度計算比較準(zhǔn)確；當(dāng)?shù)缆奋囕v比較密集的時候，則有可能出現(xiàn)準(zhǔn)確度下降的情況。

進(jìn)一步分析可知，在速度測算中誤差產(chǎn)生的原因主要來源于兩方面：一方面來源于角點(diǎn)的檢測誤差，即當(dāng)角點(diǎn)的個數(shù)與車輛的個數(shù)不相等時，會產(chǎn)生速度計算的誤差；另一方面，算法所選取的速度計算區(qū)間也會對計算的誤差產(chǎn)生一定的影響。

4 結(jié)論與展望

本文提出了一種在高分辨率衛(wèi)星視頻中實現(xiàn)車輛計數(shù)和雙向平均車速的交通流參數(shù)提取方法。該方法分為以下幾步：首先利用Shi-Tomasi方法進(jìn)行因此下一步研究的重點(diǎn)是如何提供算法精度并實現(xiàn)算法的實時運(yùn)行。

：

[1]馮奇，周小鵬，孫立軍，等.視頻圖像處理技術(shù)在實時交通信息采集中的應(yīng)用[J].上海公路，2004（1）：50-52.

[2]孫亞，彭國雄，皮曉亮，等.基于環(huán)形線圈檢測器采集信息的數(shù)據(jù)挖掘方法研究[J].交通信息與安全，2005，23（1）：46-49.

[3]孫閩紅.微波雷達(dá)在實時道路交通信息采集系統(tǒng)中的應(yīng)用研究與設(shè)計[D].成都：成都理工大學(xué)，2005.

[4]甘志梅，王春香，楊明.基于激光雷達(dá)的車輛跟蹤與識別方法[J].上海交通大學(xué)學(xué)報，2009（6）：923-926.

[5]鐘華.利用超聲波采集高速公路交通量信息并進(jìn)行數(shù)據(jù)網(wǎng)絡(luò)傳輸?shù)脑O(shè)計與實現(xiàn)[D].長春：吉林大學(xué)，2005.

[6]Gupte S，Masoud O，Martin R F K，et al.Detection and classification of vehicles[J].IEEE Transactions on Intelligent Transportation Systems，2002，3（1）：37-47.

[7]Setchell C，Dagless E L.Vision-based road-traffic monitoring sensor[J].IEE Proceedings-Vision Image and Signal Processing，2001，148（1）：78-84.

[8]王文龍，李清泉，唐爐亮.基于低空機(jī)載視頻的車輛檢測方法[J].武漢理工大學(xué)學(xué)報，2010（10）：155-158.

[9]Apeltauer J，Babinec A，Herman D，et al.Automatic vehicle trajectory extraction for traffic analysis from aerial video data[J].ISPRS-International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2015，XL-3/W2：9-15.

[10]Ke R，Li Z，Kim S，et al.Real-time bidirectional traffic flow parameter estimation from aerial videos[J].IEEE Transactions on Intelligent Transportation Systems，2017，PP（99）：1-12.

[11]Cao X，Gao C，Lan J，et al.Ego motion guided particle filter for vehicle tracking in airborne videos[J].Neurocomputing，2014，124（S1）：168-177.

[12]Angel A，Hickman M，Mirchandani P，et al.Methods of analyzing trafficimagery collected from aerialplatforms[J].IEEE Transactions on Intelligent Transportation Systems，2003，4（2）：99-107.

[13]Kopsiaftis G，Karantzalos K.Vehicle detection and traffic density monitoring from very high resolution satellite video data[C]//2015 IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2015：1881-1884.

[14]張學(xué)陽，項軍華.基于運(yùn)動信息的視頻圖像空間目標(biāo)檢測[J].海軍航空工程學(xué)院學(xué)報，2016，31（2）.

[15]Li Y.Recognition of radar signals modulation based on shorttime Fouriertransform and reduced fractional Fourier transform[J].Journal of Information&Computational Science，2013，10（10）：5171-5178.