移動目標跟蹤的多特征融合算法綜述

寧德師范學院　楊慧玲

移動目標跟蹤的多特征融合算法綜述

寧德師范學院楊慧玲

對于復雜情形下的視頻目標識別、跟蹤問題，依靠單一特征往往是不充分和不穩定的。利用多特征信息融合，可以有效提高跟蹤效果。本文首先簡要介紹了特征信息的分類和提取方法，然后對現有的面向移動目標跟蹤領域中多特征融合方法進行分類總結。最后，討論這些方法所存在的問題，并指出今后研究的發展方向。

目標跟蹤；多特征融合；貝葉斯網絡；粒子濾波；卡爾曼濾波

1　引言

目標跟蹤問題的研究是計算機視覺領域的一個重要研究課題，近幾十年來，隨著卡爾曼濾波算法（KF）、擴展卡爾曼濾波算法（EKF）、粒子濾波（PF）、均值遷移等各種算法的發展，跟蹤算法也得到了長足的進步。然而，值得注意的是目前很多跟蹤方法都是基于單一特征的跟蹤方法。對于復雜情形下的視頻目標識別、跟蹤問題，例如光照變化、背景復雜，目標與背景色相近，目標形狀變化、被遮擋等，很難取得良好的效果。融合多種特征，使特征之間取長補短，是解決這一問題的有效手段。本文主要介紹目標跟蹤領域中常見的幾類多特征融合方法，詳細分析其優缺點，最后討論現有融合方法存在的問題和今后研究的方向。

2　特征信息的分類和提取

在實際跟蹤過程中，常使用顏色、邊緣、紋理、運動等特征來表征目標。顏色特征最常用的提取方法是顏色矩、顏色直方圖［1］；提取邊緣的方法是對原始圖像按像素的某鄰域構造邊緣檢測算子，常見的提取方法有梯度算子，Sobel算子，拉普拉斯算子，Canny算子等；紋理特征可以用來補充描述目標的形狀信息，與邊緣特征相比，抗干擾性強且不受全局灰度變化影響，近年來有學者提出了一種LBP紋理特征來描述目標的形狀信息；運動特征的提取一般是對原始圖像采用搜索匹配算法來進行匹配。在目標跟蹤中，顏色特征對于旋轉、非剛體及部分遮擋的目標物體來說具有較高的可分性，因此在大多數的場合下都是作為首選的特征。但是顏色特征不包含目標像素的空間信息，易受光照和背景顏色影響，因此當目標發生光線和背景顏色的變化時，可以采用紋理特征、運動特征、邊緣特征來補充目標的形狀信息。

3　多特征融合方法及算法

按照融合方法的本質和問題空間來分，多特征融合方法大體上可以分為以下三類：基于線性融合的方法、基于分類的方法和基于估計的方法。

3.1基于線性融合的方法

基于線性融合的方法包括線性加權、乘性融合、投票法、最大最小融合規則等，其優點是簡單、計算量小。加權和融合是最簡單且應用最為廣泛的方法之一，其實質是對數據源進行加權處理，利用樣本的相互關系得到特征的加權系數，此系數反應了特征鑒別性的大小［2］。其具體的表達式如下式所示：

其中，m表示跟蹤時融合m種特征，ai表示第i個特征所對應的觀測概率的權值，滿足。這種加權和融合的結果在一定程度上抑制了噪聲，但它并不能提高融合跟蹤的可信度，而且在融合過程中，提取的特征數越多，特征的空間維數就會相應變多，使得概率密度估計變得復雜。為了解決該問題，Li等［3］提出了一種乘性融合策略，在粒子濾波的框架下，通過融合顏色、結構和邊緣等多種特征，實現對目標的跟蹤，用三種特征觀測概率的乘積作為目標狀態的觀測似然概率，其表示式為：

其中zi為第i個特征下的觀測概率且各特征相互獨立，x為待估計目標的狀態。

線性融合方法在目標跟蹤領域應用最為廣泛，其計算消耗量較少，而且能實時處理動態數據，但這種方法只有在不同特征權重已經分配好的情況下才能取得較好的效果，要調整和設定權重的工作量較大，且具有一定的主觀性。

3.2基于分類的融合方法

基于分類的融合方法包括：支持向量機、貝葉斯推斷、Dempster-Shafer理論（DS）、神經網絡等。這類融合方法是將多特征觀測值分成預定義的類的分類技術。需要注意的是，可以進一步劃分為機器生成模型和判別模型。例如，貝葉斯推理和動態貝葉斯網絡是生成模型，而支持向量機和神經網絡是判別模型（條件模型）。

3.2.1支持向量機（SVM）

支持向量機的分類方法對解決小樣本、高維空間和不確定條件下的多特征融合問題具有較好的效果，而且不過分依賴樣本的數量和質量。在考慮多分類器融合時，權值的意義為每一組分類器判決結果在最終融合結果中所占的重要性。在分類問題中，分類器的判決準確性顯然可以作為描述這種重要性的指標，文獻［4］提出的融合權值計算方法：

該權值可以根據每組分類器概率輸出情況進行自我調整，對于每種特征在融合結果中所占有的重要性具有高度契合性。在確定了所有權值wj的基礎上，可以通過加權的方式對m種特征進行融合。

3.2.2貝葉斯推理方法

它常被稱為“經典的”傳感器融合方法，多特征信息以概率論的規則進行組合。該方法將多個特征中獲得的觀察結果與不同的分類中獲得的決策相結合，得到觀測值或決策推導聯合概率的推論值。

貝葉斯推理融合方法被簡要地描述如下：要融合從m種不同的方式獲得的特征向量或決策假定這些方法是獨立的，假設H是基于所述融合的特征矢量或融合的決策的聯合概率，那么可以得到：

其中，N是用于歸一化后驗概率的估計：wj是第k個模式的權重，。貝葉斯推理方法主要基于新的觀察結果，它可以計算所述假說是真實的概率。但是貝葉斯推理方法需要明確定義先驗和假設的條件概率，如果沒有適當的先驗知識，該方法不能很好地執行。

3.2.3D-S證據理論

Dempster-謝弗（D-S）證據理論是不確定推理的一種重要方法，在證據理論中采用信任函數而不是概率作為度量，因此可以區分不確定和未知狀態的差異，能夠很好地表示未知信息的程度。使用D-S理論融合多特征信息的一般方法如下，先根據輸入證據（特征信息）和基本概率分配函數來對命題分配基本概率值，然后利用證據理論的組合法則對命題證據組合，最后根據組合后命題的基本概率值進行決策判決并得到識別結果。但是對于Dempster組合規則，具有“一票否決”的弊端。

3.2.4神經網絡

文獻［5］中提出了將神經網絡學習機理應用到標準卡爾曼濾波中的一種混合目標跟蹤器，這種融合算法的基本思想是結合卡爾曼濾波的估計能力和神經網絡的學習能力，用神經網絡的輸出來進一步修正卡爾曼估值，進而提高精度。文獻［6］中提出了一種基于神經網絡的信息融合系統，如圖3-1所示。在對單個目標進行跟蹤時，算法采用雙濾波器并行結構，BP網絡基于全狀態輸入樣本集進行離線訓練。根據特征向量在線自動調節網絡輸出，以適應目標的各種運動變化。

圖3-1　基于神經網絡的信息融合系統

3.3基于估計的融合方法

估計類別包括卡爾曼濾波器，擴展卡爾曼濾波和粒子濾波融合方法。卡爾曼濾波估計方法允許動態底層數據的實時處理并提供系統的狀態估計，是一種應用廣泛的融合方法，使用僅限于線性系統模型，且不適合非線性特征。Strobel等人［7］側重于單個目標的定位和跟蹤，將標準的卡爾曼濾波用來定位視頻圖像。粒子過濾器可以克服卡爾曼濾波器的缺點，常用于估計狀態分布的非線性和非高斯狀態空間，文獻［8］提出一種在粒子濾波框架內對多種特征觀測進行概率融合的方法。設各個特征的相似度觀測是相互獨立的， 利用它們的聯合相似度來構建觀測似然，即第i個粒子的聯合相似度為：

l為特征索引，為所有粒子在第l個特征上相似度的最大和最小值。聯合概率觀測克服了單一特征觀測不可靠的缺點。但如果其中一個特征觀測非常不準確。勢必會影響到聯合觀測的準確性。

以估計為基礎的融合方法通常用來估計和預測一段時間內的觀測值。這些方法適用于目標定位和跟蹤任務。卡爾曼濾波適用于線性模型系統，擴展卡爾曼濾波器更適合于非線性系統。而當粒子濾波方法的樣本數接近貝葉斯最優估計值時，對線性模型和非線性模型更加魯棒。

4　結束語

本文所討論的多特征融合主要是針對目標跟蹤領域展開的，但該領域的理論研究和技術應用研究正分別朝著廣度和深度兩方面發展，要形成一套完整的多特征融合理論框架和通用的融合算法還需要更深入的探索。另外在平衡算法復雜度和運行速度二者關系、特征的最佳選擇和自適應更新的問題上還需要進行深入研究和探討。

［1］郭運艷.視頻序列中目標的多特征融合跟蹤技術研究［D］.寧波大學，2013.

［2］郭雷雷.智能環境下基于視頻多特征融合的單說話人跟蹤方法研究［D］.蘭州理工大學，2014.

［3］Li P H，Chaumette F.Image cues fusion for object tracking based on particle filter. In： Proceedings of the 3rd Inter-national Workshop on Articulated Motion and Deformable Objects.Palma de Mallorca，Spain：Springer，2004：99-107.

［4］張文博，姬紅兵，王磊.一種自適應權值的多特征融合分類方法［J］.系統工程與電子技術，2013，35（6）：1133-1137.

［5］Leonard C.Application of neural networks in target tracking data fusion.IEEE Trans.AES，1994，30（6）：281-287.

［6］范凱，陶然，周思永.基于神經網絡數據融合的目標跟蹤簡化算法［J］.系統工程與電子技術，2000，22（8）：82-84.

［7］Strobel，N.，Spors，S.，Rabenstein，R.：Joint audio-video object localization and tracking.IEEE Signal Process.Mag.18（1）：22-31（2001）.

［8］王歡，王江濤，任明武，楊靜宇.一種魯棒的多特征融合目標跟蹤新算法［J］.中國圖象圖形學報，2009，14（3）：489-498.

課題名稱：福建省教育廳科技項目“基于多特征融合的視頻目標跟蹤算法研究”（編號：JB13195）。