多模跟蹤技術在輪式偵察車圖像處理器的應用

郝志成，高 文，2

(1.中國科學院長春光學精密機械與物理研究所，吉林長春130033; 2.中國科學院 研究生院，北京100039)

1 引言

目標跟蹤［1-3］是通過人工或計算機自動選取感興趣目標，然后在每一幀圖像中找到選定目標，并標示出來的過程。在實際應用中，跟蹤器處理的實時圖像都是由可見光CCD或紅外照相機等拍攝采集的，由于裝配跟蹤器的載體處于運動狀態，跟蹤器本身的振動亦會造成每一幀的圖像光照變化，所以視場視角變化很大;另外，目標不同角度的旋轉形變，以及周圍環境的煙霧、遮擋、阻塞等情況，都給跟蹤器的工作帶來了很多困難，這些已成為目標跟蹤急需解決的難題［4-6］。

目前目標跟蹤［7-9］有相關跟蹤、重心跟蹤等在工程上應用非常成熟的算法［9-10］，這些算法可根據處理方式不同分為基于匹配的算法、基于檢測的算法、基于概率預測的算法等。

基于匹配的算法即通過對每幀圖像采用各種類型的特征模板(如Harris特征角點、尺度不變特征變換(Scale-Invariant Transform Feature，SIFT)特征點［11-12］、目標邊緣特征、目標核直方圖［13］等)進行匹配來實現目標跟蹤，這種方法不能很好地解決目標遮擋等問題。

基于檢測的方法是利用運動估計［14］、光流法［15］、背景差分法［16］等進行圖像分割從而實現目標跟蹤。從直觀上理解對于檢測首先必須有目標，所以該方法也不能很好地解決目標遮擋問題。

基于預測的方法是采用概率論思想對目標的位置進行預測，從而實現跟蹤，比較典型的有卡爾曼濾波［12］、粒子濾波［13］等。這種方法對遮擋有很好的魯棒性，但需要與其他方法配合使用。

針對上述難題，本文對粒子濾波和SIFT算法進行了改進，并將多種跟蹤算法相結合，提出了多模跟蹤技術，通過實驗驗證解決了上述難題，該項技術在輪式偵察車圖像處理器中得到了應用，應用效果理想。

2 跟蹤狀態的具體分析

目標跟蹤過程中出現的目標遮擋和丟失問題是常見的，本文對遮擋和丟失的特點進行了分析。

若以原始目標與當前幀計算得到的目標的相關系數作為度量，那么出現遮擋和丟失時會使相關系數降低，但兩者的具體表現又有著明顯不同。

對于動目標，遮擋出現時，相關系數開始降低，并隨著遮擋部分增大而繼續下降，當達到一個最大值之后，目標漸漸離開遮擋，相關系數又逐漸增大直至相對穩定。由此可見，連續幀遮擋問題的特點是相關系數先逐漸減小后逐漸增大。

對于動目標，丟失出現時，相關系數降到很低，并且對于連續幀，其相關系數相對穩定地保持在比較低的水平上，直至目標被重新捕獲進行跟蹤時相關系數才會增大到較大值?？梢?，對于目標丟失情況，相關系數會連續數幀都保持在較低水平上而未發生高低變化。

對于光照變化問題，戰場上光線隨時都在變化，反映到圖像上就是像素的灰度值在不斷變化，即使是同一個物體，在不同幀圖像中的像素值也不盡相同。

對于目標旋轉變形問題，戰場目標多是在運動行進，這樣圖像拍攝角度的不同導致同一物體成像也是不同的，因此圖像中目標的變化也是跟蹤中的一大難題。

3 多模跟蹤算法

本文針對目標跟蹤亟待解決的問題，提出了決策主導模式的多模跟蹤方法。

3.1 粒子濾波

粒子濾波［18］是蒙特卡洛思想［19］在目標跟蹤中的應用，核心思想是用某一概率分布采樣得到的隨機樣本及相應的概率分布來表示待求的后驗分布，樣本數趨于無窮大時，算法無限逼近真實分布，得到的結果將無限接近最優解，即基于隨機抽樣原理，用隨機樣本來模擬目標的后驗狀態分布。對于N個相互獨立且具有相同數學期望和方差的隨機變量，當N→∞時，隨機變量的算術平均值以概率收斂于數學期望μ，對任意給定的整數ε，恒有:

用蒙特卡洛濾波算法進行目標跟蹤［20］，實質上就是用一系列隨機樣本求解目標后驗分布的問題，在整個求解過程中主要思想是解決貝葉斯框架下的先驗概率和后驗概率的求解問題，對于后驗概率的求解，蒙特卡洛思想采用了重要性采樣［14］的方法，這是蒙特卡洛實現的核心。

貝葉斯框架的原理由“預測”和“更新”兩大步驟組成，先用系統的狀態轉移模型來預測目標的先驗狀態分布，再用觀測值來修正先驗狀態分布，得到更新后的結果，即后驗狀態分布，得到狀態的最優估值。目標跟蹤可在貝葉斯框架下抽象為如下數學模型:

分別用Xk，Zk表示第k幀的運動狀態和觀測狀態，

狀態預測:

狀態更新:

式中:P(Xk|Z1∶k－1)是先驗概率，即通過過去和現在預測未來，p(Xk|Z1∶k)是后驗概率，即k時刻的值已經實際得到(觀測值Z1∶k)，在此條件下得到之前k時刻預測狀態的概率。

重要性采樣定理:對于很難進行采樣的p(Xk|Z1∶k，尋找一個合適的參考分布，該分布是一個已知分布q(Xk|Z1∶k)并且容易采樣，稱q(Xk|Z1∶k)是重要性函數，則有:

其中權重系數為:

由此可用如下公式近似求得后驗概率:

本文采用半采樣半重采樣的方法解決粒子濾波中的粒子退化和粒子貧瘠問題。

3.2 SIFT特征點匹配

近幾年來，在計算機視覺領域，基于局部不變量描述子(Local Invariant Descriptor)的方法在目標識別和匹配方面取得了顯著進展。Mikolajczyk和Schmid［16］針對不同的場景，對光照變化、圖像幾何變形、分辨率差異、旋轉、模糊和圖像壓縮等6種情況，用多種具有代表性的描述子(如SIFT，矩不變量，互相關等10種描述子)進行了實驗和性能比較，結果表明:在以上各種情況下，SIFT描述子的性能最好。

SIFT 算法由 D.G.Lowe1999 年提出［11］，2004年完善總結［12］。SIFT是一種提取局部特征的算法，在尺度空間尋找極值點，提取位置，尺度，最后生成旋轉不變量。SIFT算法步驟為:對圖像進行多尺度高斯差分;建立高斯差分金字塔，即生成尺度空間;檢測尺度空間極值點、精確定位極值點，為每個關鍵點指定方向參數;最后生成關鍵點描述子。該算法的優勢是特征點豐富，對于旋轉、放縮、亮度變化有很好的魯棒性;缺點是計算復雜度高、計算量大，難以滿足實時要求。

針對SIFT算法計算量大的問題，本文采用文獻［22］提出的盒形濾波器來代替SIFT算法中的高斯濾波，盒子濾波器原理是利用各像素的積分圖像，乘以不同的權重加、減得到濾波結果。兩種濾波器示意圖如圖1所示。

圖1 濾波器示意圖Fig.1 Sketch maps of filters

SIFT算法中使用的高斯濾波如下:

式中:G(x，y，σ)是尺度可變高斯函數，(x，y)是空間坐標，σ是尺度坐標:

為了在尺度空間有效地檢測到穩定的關鍵點，提出了利用不同尺度的高斯差分核與圖像卷積生成的高斯差分尺度空間(DOG scale-space):

圖像任意點(x，y)的積分圖像用ii(x，y)表示(見圖2)，公式為ii(x，y)，式，y'≤y中i(x'，y')表示圖像中點(x'，y')的灰度。ii(x，y)可以用式(10)、(11)迭代計算得到:其中:s(x，y)表示一列圖像的積分，且s(x，－1)=0，ii(－1，y)=0。求積分圖像只需遍歷一次圖像，計算開銷很小。如圖2所示，不管窗口D的大小如何，它的灰度值總和都可以用1，2，3，4點的積分圖像計算出來，即4+1－(2+3)。

圖2 積分圖計算示意圖Fig.2 Sketch maps of calculating integral picture

盒形濾波器計算量不隨計算窗口的增大而增大，而高斯濾波的計算量隨窗口的增大而成倍增長，這使得采用盒形濾波器計算量大幅降低。

圖3 試驗圖片Fig.3 Experimental images

圖3 為試驗用的圖片。傳統SIFT算子一階金字塔匹配結果如圖4所示(一階金字塔不對圖像的行、列向下采樣)，其計算量大幅降低，同時特征點數也大幅降低。

圖4 傳統SIFT算子一階金字塔匹配結果Fig.4 Matching results of traditional SIFT 1-step pyramid

多次測試實驗及分析發現，一階金字塔匹配特征點的減少是由于采用不同尺度的濾波后，各圖像并不在相同灰度級上，采用歸一化可有效解決此問題，試驗結果如圖5所示。

圖5 改進后一階金字塔匹配結果Fig.5 Matching results of improved SIFT 1-step pyramid

3.3 本文算法

本文提出了決策主導模式的多模跟蹤方法，采用相關系數作為決策判據，默認情況下采用重心跟蹤預定位，若此時得到的目標與原始目標相關度高，則直接輸出目標位置;若相關度低，則認為目標發生遮擋、變形，從而進行粒子濾波粗定位，重新計算此時的相關度，用SIFT進行精匹配。

目標跟蹤算法實現的具體過程如下:

(1)初始化目標信息，包括確定目標位置、目標大小以及一些其他特征信息。

(2)采用重心跟蹤，計算得到粗略的目標位置。

(3)計算重心跟蹤得到的目標與原始目標的相關系數:

a.若相關系數μ1＞60%，則重心跟蹤計算得到的位置即目標位置，跳轉到(5);

b.若 μ1＜60%，則跳轉到(4)。

(4)采用粒子濾波計算目標位置，重新計算此時得到的目標與原始目標的相關系數μ2:

若μ2＞60%，認為重新找到目標;

若40% ＜μ2＜60%，計算粒子濾波得到的位置周圍M·M(M＜W/2，M＜H/2)的矩形區域內的SIFT特征點并與原始目標的SIFT特征點進行匹配，得到精確位置，若匹配失敗，認為目標徹底丟失或阻塞。

(5)輸出計算得到的目標位置。

(6)若μ1＞60%，下一幀時從步驟(2)開始重新計算;

若 μ1＜60%，μ2＞60%，下一幀從步驟(2)開始重新計算;

若μ1＜60%，40% ＜μ2＜60%，下一幀從步驟(4)開始重新計算;

若μ1＜60%，μ2＜40%，且已連續10幀均出現此種情況，認為目標丟失;否則認為目標暫時被阻塞，轉到(4)，見圖6。

圖6 本文算法的具體流程圖Fig.6 Flow chart of the algorithm in this paper

4 實驗結果

圖7是對運動汽車進行的目標跟蹤法實驗，可以看出該算法對于目標的旋轉形變(第1幀到209幀目標旋轉近80°)、遮擋(第31幀到89幀)等情況都有非常好的魯棒性。

圖8是利用本算法在一輪式偵察車圖像處理器上進行試驗得到的一組圖片，可以看出該算法對戰場環境下的煙霧、遮擋、目標旋轉形變都有很好的適應性。

圖7 實驗結果Fig.7 Experimental results

圖8 實驗結果Fig.8 Experimental results

5 結論

本文提出了決策主導模式的多模跟蹤技術，分別對粒子濾波和SIFT算法做了改進，使其滿足實施性要求，并找到了合理的切入點，將兩者結合從而實現更加魯棒的跟蹤方法。通過實驗論證了該技術對目標旋轉形變、遮擋、光照變化具有魯棒性。

［1］王選賀，劉濟林.基于核密度估計的遮擋人體跟蹤［J］.浙江大學學報(工學版)，2011，45(3):412-418.WANG X H，LIU J L.Tracking human under occlusion based on kernel density estimation［J］.J.Zhejiang University(Engineering Science)，2011，45(3):412-418.(in Chinese)

［2］趙豐，湯磊，陳國友，等.RBPF粒子濾波在目標跟蹤中的應用研究［J］.計算機工程，2011，37(3):149-151.ZHAO F，TANG L，CHEN G Y，et al..Research on application of RBPF in target tracking［J］.Computer Eng.，2011，37(3):149-151.(in Chinese)

［3］陳愛華，孟勃，朱明，等.多模式融合的目標跟蹤算法［J］.光學 精密工程，2009，17(1):185-190.CHEN A H，MENG B，ZHU M，et al..Multi-pattern fusion algorithm for target tracking［J］.Opt.Precision Eng.，2009，14(9):1745-1749.(in Chinese)

［4］薛陳，朱明，陳愛華.魯棒的基于改進Mean-shift的目標跟蹤［J］.光學 精密工程，2010，18(1):234-239.XUE CH，ZHU M，CHEN A H.Robust object tracking based on improved Mean-shift algorithm［J］.Opt.Precision Eng.，2010，18(1):234-239.(in Chinese)

［5］李焱，陳濤，曹立華，等.艦載光電設備跟蹤掠海目標的控制［J］.光學 精密工程，2010，18(4):935-942.LI Y，CHEN T，CAO L H，et al..Control of ship-based optoelectronic equipment for tracking near-sea targets［J］.Opt.Precision Eng.，2010，18(4):935-942.(in Chinese)

［6］周斌，王軍政，沈偉.基于組合帶寬均值遷移的快速目標跟蹤［J］.光學 精密工程，2010，18(10):2297-2305.ZHOU B，WANG J ZH，SHEN W.Fast object tracking with multi-bandwidth Mean Shift［J］.Opt.Precision Eng.，2010，18(10):2297-2305.(in Chinese)

［7］苑瑋琦，董茜，桑海峰.基于方向梯度極值的手形輪廓跟蹤算法［J］.光學 精密工程，2010，18(7):1675-1683.YUAN W Q，DONG Q，SANG H F.Hand shape contour tracking method based on directional gradient extremum［J］.Opt.Precision Eng.，2010，18(7):1675-1683.(in Chinese)

［8］李忠海，王莉，崔建國.基于Camshift和Particle Filter的小目標跟蹤算法［J］.計算機工程與應用，2011，47(9):192-195，199.LI ZH H，WANG L，CUI J G.Weak aerial target tracking algorithm based on camshift and particle filter［J］.Computer Eng.Appl.，2011，47(9):192-195.(in Chinese)

［9］藺海峰，馬宇峰，殷璇，等.基于SIFT特征的抗遮擋目標跟蹤算法［J］.計算機工程，2011，37(4):198-200.LIN H F，MA Y F，YIN X，et al..Anti-occlusion object tracking algorithm based on SIFT feature［J］.Computer Eng.，2011，37(4):198-200.(in Chinese)

［10］朱向軍，毛劍飛，鮑衛兵.基于達芬奇技術的智能視頻監控終端的開發［J］.電信科學，2011(2):100-104.ZHU X J，MAO J F，BAO W B.Development of intelligent visual surveillance device based on davinci［J］.Telecom Sci.，2011(2):100-104.(in Chinese)

［11］LOWE D G.Object recognition from local scale-invariant features［C］.The 7th International Conference on Computer Vision，Kerkyra，Greece，20-27 Sept.1999:1150-1157.

［12］LOWE D G.Distinctive iImage features from scale-invariant keypoints［J］.International J.Computer Vision，2004，60(2):91-110.

［13］COMANIEIU D，MEER P.Distribution free decomposition of multivariate data［J］.Pattem Anal.Appl.，1999，2(1):22-30.

［14］MURRAY D W，BUXTON B E.Scene segmentation from visual motion using global optimization［J］.IEEE T.Pattern Anal.，1987，9:220-228.

［15］MARKANDEY V，REID A，WANG S.Motion estimation for moving target detection［J］.IEEE T.Aero.Elec.Sys.，1996，32(3):866-874.

［16］STAUFFER C，GRIMSON E.Learning patterns of activity using real time tracking［J］.IEEE T.Pattern Anal.，2000，22(8):747-757.

［17］KALMAN R E.A new approach to linear filtering and prediction problems［J］.Transaction ASME-J.Basic Eng.，1960，82(Series D):35-45.

［18］GORDON N J，SALMOND D J，SMITH A F M.Novel approach to nonlinear and non-Gaussian bayesian state estimation［J］.IEEE Proceedings-F，1993，140(2):107-113.

［19］ISARD M，BLAKE A.Condensation-conditional density propagation for visual tracking［J］.International J.Computer Vision，1998，29(1):5-28.

［20］孟勃，朱明.采用EM算法對粒子濾波跟蹤算法進行改進［J］.中國圖象圖形學報，2009，14(9):1745-1749.MENG B，ZHU M.The application of EM algorithm to improve particle filter［J］.J.Image and Graphics，2009，14(9):1745-1749.(in Chinese)

［21］MIKOLAJCZYK K，SCHMID C.A performance evaluation of local descriptors［J］.IEEE T.Pattern Anal.，2005，27(10):1615-1630.

［22］BAY H，TUYTELAARS T，GOOL L V.SURF:Speeded up robust features［J］.Computer Vision and Image Understanding，2006，110(3):346-359.