復雜環境中機動車跟蹤實時性算法

楊 樂， 張長勇， 徐 萍

(中國民航大學 a. 基礎實驗中心；b. 航空自動化學院，天津 300300)

?

復雜環境中機動車跟蹤實時性算法

楊 樂a， 張長勇b， 徐 萍b

(中國民航大學 a. 基礎實驗中心；b. 航空自動化學院，天津 300300)

針對復雜環境中機動車跟蹤問題，為克服光照變化、噪聲干擾、其他隨機運動物體干擾，提出一種機動車識別和跟蹤實時性算法。首先對圖像進行光照補償減少光照影響，用Surendra算法和三幀差法檢測運動目標，并建立ROI(感興趣區域)以縮小Haar識別范圍提高系統響應速度；其次由訓練好的級聯分類器在ROI范圍內識別機動車，從而保證高檢測率和低誤檢率；最后利用Camshift算法跟蹤機動車。為驗證算法有效性搭建嵌入式系統平臺，實驗結果表明在背景復雜且其他運動物體干擾下，該算法較使用傳統目標跟蹤算法具有更好的魯棒性和實時性。

自適應光照補償；三幀差法；Haar分類器；Camshift算法；目標跟蹤

0 引 言

當前，機動車實時跟蹤相關技術已成為交通智能化研究的一個重要課題，在道路通行、安全管理等多方面具有重要的研究價值和應用意義，只有設計出具有更好的實時性、魯棒性的算法才能克服光照變化、噪聲干擾、隨機性運動物體干擾等不確定性因素，實現復雜環境中機動車跟蹤。針對這一問題，國內外有許多不同研究方法：①粒子濾波方法[1-3]抗干擾能力強，可以估計目標狀態，但存在粒子退化現象且計算復雜，穩定性和實時性差; ②Kalman濾波[4-6]原理簡單容易操作，但是算法要求運動狀態符合高斯分布，而且線性化誤差容易導致濾波精度差; ③光流法[7-8]基于差分，不僅能獲取運動物體的運動信息，還能在不知道任何場景信息情況下檢測出運動對象，但是算法實時性差，易在復雜環境中跟蹤失敗; ④Camshift[9-12]算法能有效解決目標變形和遮擋問題，但在較復雜背景下效果不好。綜上所述，關于機動車實時跟蹤的現有各種實現算法均有其局限性。

為此，本文提出一種結合三幀差法、Haar分類器和Camshift的機動車跟蹤實時性算法，分為運動目標檢測、目標分類、機動車跟蹤。算法主要原理為，首先對圖像進行光照補償，根據Surendra背景更新算法和三幀差法檢測運動目標并建立感興趣區域(ROI)；然后載入已訓練好的機動車分類器識別運動目標，若為機動車則標記ROI并準備跟蹤，否則放棄ROI；最后由Camshift算法跟蹤機動車。為驗證算法效果，搭建嵌入式系統平臺，移植算法進行實驗。結果表明算法具有兩大優勢：①具有較好的實時性，建立ROI大大縮小了Haar分類識別范圍，提高了系統運行速度，并且合理設定分類器閾值、制定分類器檢測策略也使得算法具有較快的反應速度；②魯棒性較好，對圖像光照補償等預處理減少了光照的影響，且在運動目標檢測得到ROI基礎上進行目標分類，解決了Haar分類器檢測率與誤檢率成正比關系的難題，使算法同時具有高檢測率和低誤檢率，而Haar特征提取率高和Camshift跟蹤效果好的特點也進一步保證了算法的魯棒性。因此，算法具有較好的實時性、魯棒性。

1 基于三幀差法的運動目標檢測

算法第一步驟為運動目標檢測。為減少光照影響，先對圖像進行光照補償等預處理，然后提取背景圖像檢測運動目標。

1.1 圖像預處理

采用一種自適應光照補償方法[13]實現對圖像的光補。由于實際中同時包含過亮區域和過暗區域的圖像很少，可以把光補問題簡化為兩個子問題：用對數變換對過暗圖像進行光照補償，用反對數變換對過亮圖像進行光照補償，如式(1)。

(1)

式中：a是圖像可以存在的最小灰度值；b是圖像可以存在的最大灰度值。光照補償后對圖像中值濾波去除噪聲，并進行直方圖均衡，改善圖像質量。

1.2 運動目標檢測

圖像預處理后，開始檢測運動目標，具體流程為：

(1) 提取圖像背景。由Surendra背景更新算法，將第一幀圖像作為原始背景，設定閾值、最大迭代次數、迭代速度等參數，求取當前幀的幀間差分圖像并二值化處理。用二值化圖像更新背景圖像，迭代次數加1，直至達到最大迭代次數。背景圖像更新方法如式(2)，式中Bi(x,y)、Di(x,y)分別為背景圖像和前景圖像在(x,y)處亮度值，Ii為輸入第i幀圖像，α為更新速度，此時Bi(x,y)可視為背景圖像；

(2)

(2) 使用三幀差分法檢測運動目標。先用第k幀圖片減去第k-1幀圖片，得到二值圖像D1(x,y)，再用第k+1幀圖片減去第k幀圖片，得到二值圖像D2(x,y)，最后用D1(x,y)和D2(x,y)進行“與”運算，得到三幀差圖像D(x,y)。公式如下，其中T為閾值；

(3)

(4)

(5)

(3) 對三幀差圖像D(x,y)進行腐蝕、膨脹形態學處理，完成運動目標檢測并得到ROI。ROI內運動物體是否為機動車，還需進一步由Haar級聯分類器識別判斷。

2 基于Haar級聯分類器的目標分類

一般情況下，復雜環境中除機動車外還會有其他運動物體，且機動車自身形態、顏色各異，背景又千差萬別，人為地尋找目標間的差異和共性十分困難。統計學習的方法能夠借助機器對大量樣本進行統計計算，便于從中找出規律，挑選出合適的特征進行分類，因此算法第二步驟用Haar級聯分類器進行目標分類。首先提取樣本圖像中的Haar特征，對每一個特征訓練一個弱分類器并將他們疊加構成強分類器，最后將若干個強分類器串聯成級聯分類器，用于ROI內目標分類。

2.1 Haar特征及積分圖像法

Viola等[14]提出了類似Haar小波的矩形特征，其值是黑色矩形和白色矩形在圖像子窗口對應區域的灰度值之和的差，它反映圖像局部的灰度變化。為了能夠盡量使得Haar特征適應各種檢測目標的灰度分布，此后的文獻不斷對其擴展，較具代表性的共有15種Haar特征原型，如圖1所示。

為降低Haar特征計算成本，本文采用積分圖像[15]算法，這種方法在計算矩形特征時不必每次重新統計矩形內像素灰度值的和，而只需索引幾個相應點的積分圖像值即可計算出矩形特征值，計算時間也不會隨矩形大小的變化而變化，為檢測速度提供保障。

2.2 Aaboost分類器訓練

由于在圖像上匹配的Haar特征數量巨大，本文采用Adaboost算法選擇更好的Haar特征組合，即分類器。每個Haar特征對應一個弱分類器，第j個特征的弱分類器為：

圖1 擴展的Haar特征原型

(6)

式中：hj為弱分類器的值；θj為分類閾值；pj用于控制不等號方向；fj(x)為矩形特征值。通過對正負樣本進行分析，選擇分類錯誤率εt最低的T個弱分類器，

最后得到的強分類器為

(7)

這個強分類器相當于讓所有弱分類器投票，再對投票結果按照弱分類器的錯誤率加權求和，結果與平均投票比較并得出最終結果。由強分類器訓練級聯分類器方法為：

(1)設每層最大錯誤率為fmax，最小通過率為d，整個分類器錯誤率為Fmax。初始化F1=1,i=1；

(2)WhileFi>Fmax，使用訓練樣本訓練第i層，并設定閾值使誤報率fiFmax，訓練停止，得到級聯分類器。

如圖2所示，T為檢測率，F為誤檢率，每一層對應一個AdaBoost算法訓練得到的強分類器。越靠后的層弱分類器越多，分類性能也越強。檢測時圖像ROI只有通過所有層才能被判斷為正例即機動車；若在其中任一層被判斷為反例即被拋棄。為保證算法運行速度，首先應合理設定閾值，令分類器前兩層即排除大量非機動車子窗口，僅留下疑似機動車子窗口參與后續分類；其次，采用固定被檢ROI大小，縮放檢測子窗口方法對圖像遍歷，得到機動車目標。

本文算法在第一步檢測運動目標得到ROI基礎上實現目標分類，不僅有效解決了Haar分類器檢測率與誤檢率成正比關系的難題，使得算法具有較高的檢測率的同時也有較低的誤檢率；而且對運動目標初步定位得到ROI，縮小了Haar分類識別范圍，提高了檢測速度，很好地滿足了實際應用要求。

3 基于Camshift算法的機動車跟蹤

通過Haar分類器識別出ROI內運動目標確實為機動車，下一步就要利用Camshift算法實現跟蹤。其基本思想是先將一幀視頻圖像轉換到HSV空間中，利用H分量生成顏色直方圖，然后反向投影得到顏色概率分布圖，對每一幀圖像均選取一定大小的搜索窗口，通過計算窗口范圍內的零階矩和一階矩得到窗口質心，將窗口中心移動到質心。重復上述步驟，直到窗口中心與質心變化范圍小于閾值。

首先計算目標色度分量直方圖，相對于當前幀，計算搜索窗口二階矩M20，M02，M11，

(8)

利用直方圖計算輸入圖像的反向投影圖，利用MeanShift算法在反向投影圖中迭代搜索，直到其收斂或達到最大迭代次數，并保存零次矩。如滿足下式

(9)

則下一搜索窗口的長度和寬度分別為

(10)

當視頻序列逐幀變化時，Camshift算法逐幀進行處理，實現對機動車的跟蹤。

4 實驗平臺搭建及結果分析

為驗證算法的有效性，搭建嵌入式系統實驗平臺。將編譯好的程序移植到開發板，借助OPENCV庫對攝像機視場中正在運動的機動車實現動態跟蹤功能，其中分類器訓練選取MIT CBCL CAR DATABASE中1000張不同角度的汽車圖片作為正樣本，選用1000張人物、風景等其他圖片作為負樣本。

4.1 嵌入式系統設計與開發環境

本文嵌入式系統實驗平臺采用三星S3C2440A處理器， 400 MHz主頻，64 MB內存。采用Ubuntu12.04為系統軟件開發平臺，軟件開發采用交叉編譯方式，使用arm-linux-gcc4.3.3交叉編譯器，程序主要由C語言寫成。 CCD攝像機通過攝像機模塊接入開發板，采集到的模擬信號經解碼變為數字信號被CPU處理，實現目標跟蹤功能，最后將處理好的圖像經過網絡傳輸到計算機顯示。

4.2 實驗結果及分析

復雜環境中可能對機動車跟蹤產生影響的因素主要包括：靜止不動的機動車目標，以及運動的非機動車目標，如行人、自行車等。為此，選取校園和小區內兩個實驗地點，根據四種不同環境情況共進行8組實驗。四種不同環境情況分別為：①攝像機視場中非機動車運動物體(自行車、行人等)較少，且靜止停放車輛較少；②攝像機視場中非機動車運動物體較少，但靜止停放機動車較多；③攝像機視場中非機動車運動物體較多，但停放車輛較少；④攝像機視場中非機動車運動物體較多，且靜止停放車輛也較多。每組實驗車輛均為100輛次，分別統計檢測率、誤檢率、系統耗時等，實驗效果如圖3、圖4，統計結果分別如表1、表2所示。

(a)攝像機跟蹤圖像(b)提取背景(c)反向投影圖像(d)直方圖

圖3 小區內機動車跟蹤結果

由表1、表2可見，①雖然實驗地點和環境不同，但8組實驗結果基本一致，不同條件下算法檢測率均較高，驗證了算法的魯棒性；②系統耗時短，算法實時性好；③背景提取效果較好，背景復雜度對實驗結果基本沒有影響；④運動物體過多會增加誤檢率，但誤檢率整體較低，小于5%。

(a)攝像機跟蹤圖像(b)提取背景(c)反向投影圖像(d)直方圖

圖4 校園內機動車跟蹤結果

5 結 語

為實現復雜環境中機動車實時性跟蹤，本文提出結合三幀差法、Haar分類和Camshift算法的機動車檢測、跟蹤算法。實驗證明三幀差法應用簡單、實時性好，提取ROI能夠縮小Haar分類識別范圍提高算法運行速度；而Haar特征提取效率高，在ROI范圍內的分類識別保證了算法同時具有高檢測率和低誤檢率；Camshift算法具有很好的跟蹤效果，三者結合起來確保了算法的魯棒性和實時性。但是該算法在運動物體干擾較多時誤檢率增加，需進一步研究改進。

[1] 郝志成.決策主導的多模式融合目標跟蹤算法[J].儀器儀表學報,2013,34(3):487-493.

[2] 許倫輝,叢曉野.改進粒子濾波對人物跟蹤的應用[J].計算機仿真,2014,31(1):344-347,387.

[3] 朱良誼,王 慶.一種基于粒子濾波的優化目標跟蹤算法研究[J].西北工業大學學報,2013,31(6):967-973.

[4] 朱志玲,阮秋琦.結合尺度不變特征變換和Kalman濾波的Mean Shift視頻運動目標跟蹤[J].計算機應用,2013,33(11):3179-3182,3243.

[5] 侯 靜,景占榮,羊 彥.遠距離干擾環境下目標跟蹤的擴展卡爾曼粒子濾波算法[J].電子與信息學報,2013,35(7):1587-1592.

[6] Culpepper B J, Sohl-Dickstein J. Building a better probabilistic model of images by factorization[C]//Proceedings of the 2011 IEEE International Conference on Computer Vision(ICCV), Barcelona, Spain:IEEE, 2011:2011-2017.

[7] 袁國武,陳志強,龔 健，等.一種結合光流法與三幀差分法的運動目標檢測算法[J].小型微型計算機系統,2013,34(3):668-671.

[8] 李劍峰,黃增喜,劉怡光.基于光流場估計的自適應Mean-Shift目標跟蹤算法[J].光電子激光,2012,23(10):1996-2002.

[9] 王景武,王玉德,王東方.改進的Camshift與Kalman融合的目標跟蹤算法[J].電子技術,2014,1:11-13.

[10] 申鉉京,張 博.基于圖像矩信息的Camshift視覺跟蹤算法[J].北京工業大學學報,2012,38(1):105-109.

[11] 劉海洋,劉元安,高錦春,等.基于發布訂閱結構的計算機視覺跟蹤研究[J].計算機學報,2012,35(8):1767-1773.

[12] Agudo A, Calvo B. FEM models to code non-rigid EKF monocular SLAM[C]//Proceedings of the 2011 IEEE International Conference on Computer Vision(ICCV), Barcelona, Spain:IEEE, 2011:1586-1593.

[13] 鄭偉華,戴 永.自適應同態對數光照補償[J].中國圖像圖形學報,2011,16(8):1429-1436.

[14] Viola Paul, Jones Michael, Snow Daniel. Detecting pedestrians using patterns of motion and appearance[J]. International Journal of Computer Vision, 2005, 65(2):153-161.

[15] Oro D, Fernandez C. Real-time GPU-based face detection in HD video sequences[C]//Proceedings of the 2011 IEEE International Conference on Computer Vision(ICCV), Barcelona, Spain:IEEE, 2011:530-537.

Real-time Tracking Algorithm of Vehicle in Dense Clutter

YANGLea,ZHANGChang-yongb,XUPingb

(a.Basic Experiment Center, b.Aeronautical Automation College,Civil Aviation University of China, Tianjin 300300, China)

A speedy algorithm was proposed to aim at the problem of vehicle tracking in dense clutter. Firstly, illumination compensation was used on video to reduce illumination effects. The moving target was detected with Surendra algorithm and three-frame-difference method. The ROI was established to narrow the identified range of Haar classifier and used to improve efficiency of the algorithm. Secondly, the moving vehicle was identified in ROI by the cascade classifier with the high detection rate but low false detection rate. Thirdly, the moving vehicle was tracked with the Camshift algorithm. An embedded system platform was established to verify the effect of algorithm. Experimental results showed that the algorithm had good reliability and robustness, high detection rate and low false detection rate compared with single traditional algorithm.

adaptive illumination compensation; three-frame-difference method; Haar classifier; Camshift algorithm; target tracking

2014-05-19

中央高校基本科研業務費(ZXH2012D012)

楊 樂(1982-)，男，天津人，碩士，實驗師，主要研究方向為圖像處理。Tel.:13642018020;E-mail:l-yang@cauc.edu.cn

TP391.4

A

1006-7167(2015)01-0130-04