基于多特征融合與背景目標雙加權的行人跟蹤

卜言生 賀俊吉

(上海海事大學物流工程學院 上海 201306)

0 引 言

隨著計算機和視頻采集設備的普及，目標行人跟蹤在公共安全監控、停車場、超市、百貨公司等常見生活場景中得到了廣泛的應用[1]。均值漂移(Mean Shift)算法是一種最優的尋求概率密度極大值的梯度上升算法[2]，由于理論成熟、方法簡單、快速收斂[3]等優點，是視頻跟蹤領域重要的研究內容。Comaniciu等[4-5]最先將均值漂移算法運用于簡單的目標跟蹤，結果的實時性較好。

傳統Mean Shift算法忽略背景信息，跟蹤過程易受背景擾動。顧鑫等[6]將局部背景信息引入目標表觀，提出局部背景加權方法；初紅霞等[7]通過空間直方圖削弱了背景特征；田浩等[8]考慮了目標的背景因素，利用交叉的顏色直方圖代替傳統直方圖。上述改進方法在一定程度上抑制了背景因素的干擾，提高了目標模型的表觀能力，但是計算復雜度卻也隨之增加。Ning等[9]提出校正背景加權直方圖的跟蹤方法，對行人進行背景加權直方圖計算，然而算法復雜度減少的同時也削弱了目標模型的表觀能力；劉歡敏等[10]提出的背景加權算法雖考慮了背景，忽略了目標本身的特征，導致目標描述能力一般。為了權衡算法復雜度和目標表觀的魯棒性，實現目標行人的有效跟蹤，本文提出了一種背景目標雙加權的目標模型，降低目標中背景像素的權值，同時增強與背景像素相異像素的權值，突出目標行人信息。

跟蹤過程中若出現與目標顏色分布相似的障礙物，基于單一顏色特征的跟蹤算法性能將大大降低。戴淵明等[11]雖融合了顏色與紋理特征，但是兩類特征的權重固定，無法根據跟蹤環境的改變實現特征的自適應融合；權義萍等[12]在車輛跟蹤中，將卡爾曼粒子濾波與傳統的Mean Shift算法融合，一定程度上改善了算法在抗遮擋方面的性能，但該算法同樣存在忽略背景因素、模型特征單一等問題；宓為建[13]采用方向梯度直方圖這一紋理特征對人體輪廓進行描述，很好地區分了目標和與目標顏色分布相似的障礙物，目標表觀模型的魯棒性得以提升，然而方向梯度直方圖的復雜度較高;李晗等[14]利用復雜度較低的LBP紋理特征融合顏色特征大大提升了算法的準確性，然而由于未考慮背景因素，所以算法的魯棒性欠缺；丁業兵[15]采用目標的慣量矩特征，對光照和尺度變化的魯棒性較強，但是對于解決復雜背景及遮擋情況，性能較差；閆河等[16]使用SUSAN角點特征和HSV顏色特征進行目標描述，目標描述能力有較大提升，但是由于忽略背景因素且在后續幀中無模型的更新策略，因此算法具有一定的局限性；為克服光照變化和目標遮擋，衛保國等[17]提出了一種改進的局部敏感直方圖，但是由于未考慮紋理特征，該算法易受其他行人干擾；丁曉鳳等[18]通過創建和維護多樣性模板進行目標跟蹤，雖有效解決目標突變情況的跟蹤問題，但是算法的復雜度較高，跟蹤的實時性欠缺。

權衡上述算法的優缺點，本文用LBP紋理特征融合雙加權的顏色特征進行目標行人表觀，并由S型函數對兩種特征進行自適應特征權重分配[19]。為進一步提高目標模型魯棒性，本文基于每個特征分量的變化情況，對目標模型分量進行選擇性更新，從而提高模型在后續跟蹤過程中的表觀能力。

1 多特征目標模型的建立

1.1 背景目標雙加權的顏色特征

圖1 背景加權區域的選擇及參數說明

(1)

式中：b*為{buc}uc=1,2,…，m中非零最小值。

將目標中心(即p0=(x0,y0))的權重設為1，距離中心越遠，其權重值越小，邊緣處的權值趨向0，其中目標區域所有像素集合為{pi}i=1,2，…，n。目標加權權重值wi為：

(2)

h=(hx,hy)為非參估計中的帶寬，帶寬參數值等于矩形跟蹤框尺寸的一半。因此，基于顏色特征的目標初始化模型為：

(3)

(4)

式中：bc(pi)是在像素點pi處顏色特征值；δ是狄拉克函數，δ[bc(pi)-uc]判斷像素點pi處的特征值是否屬于第uc個特征區間；k(x)為核剖面函數；wuc為背景加權系數；wi為目標加權系數；Cc為歸一化常量系數。

(5)

第二幀及后續幀中，雙加權顏色特征模型的建立(即目標候選區域的雙加權顏色模型)與初始化雙加權顏色模型的建立相同：

(6)

pc,uc(y)=

(7)

(8)

(9)

第二幀及后續幀中的紋理特征模型(即目標候選區域的紋理模型)與初始化紋理特征模型的建立方法相同：

(10)

(11)

1.3 特征的自適應融合

設ρc與ρL分別為顏色特征目標模型qc、紋理特征模型qL與顏色特征候選區域pc、紋理特征候選區域pL的Bhattacharyya相關系數，定義如下：

(12)

(13)

定義融合特征的Bhattacharyya相關系數為：

ρ(y)=αρc(y)+βρL(y)

(14)

(15)

其中：

(16)

(17)

(18)

通過S型函數實現α和β的自適應調整,t時刻的顏色特征與紋理特征的權重指數分別為αt和βt:

(19)

βt=1-αt

(20)

式中：參數b為S型函數的斜率,根據跟蹤目標的差異，可以根據特征的性質取不同值，本文b取值為0.5。

2 目標定位與顏色模型的選擇性更新

2.1 目標定位

均值漂移算法中的目標定位實質就是求取融合特征的Bhattacharyya相關系數ρ1(y)最大值的過程。將上文的顏色特征權重αt和紋理特征權重βt代入式(15)得：

(21)

以式(21)為目標函數進行均值漂移迭代，得漂移后的坐標位置為y：

(22)

式中：g(x)=-k′(x)，wi為融合權重值。

(23)

2.2 顏色模型的選擇性更新

對于背景和光照的變化，LBP紋理特征的魯棒性較高，而顏色特征的魯棒性則較弱，因此只需對顏色特征模型進行更新。

對于復雜度較低的整體性模型更新策略而言，由于采用逐漸不準確的結果去更新整體模型，從而導致誤差逐步累積，最終使跟蹤結果進一步惡化，造成目標的丟失。為了克服整體性更新策略的缺點，采用特征更新選擇函數[21]，用于跟蹤過程中目標模型分量的選擇性更新。特征更新選擇函數定義如下：

(24)

ρc(y)值較小時，模型不予更新；當ρc(y)滿足設定閾值時，特征更新選擇函數衡量每個特征分量的貢獻度，選擇貢獻度較小的特征分量更新。設更新的特征分量個數為r:

(25)

式中：P是選擇更新模型分量的比例系數；τ是Bhattacharyya系數閾值。本文中P=0.5、τ=0.7。

基于上述討論，模型的選擇性更新策略具體如下：

(26)

式中：μ為模型更新因子，本文取值0.6。從式(26)可以看出選擇性模型更新策略對目標模型的每一個特征分量綜合考慮Bhattacharyya系數和匹配度函數，從而進行目標顏色模型的選擇性更新。

3 算法流程

基于傳統的Mean Shift算法，本文算法流程如下：

Step1初始化模型qc、qL的建立，同時設置特征權重指數α=β=0.5；

Step2求取候選區域模型pc(y0)、pL(y0)，分別計算顏色特征與紋理特征的Bhattacharyya相關系數ρc(y0)、ρL(y0)，以及融合特征的Bhattacharyya相關系數ρ(y0)；

Step3計算顏色特征權值wi,c、紋理特征權值wi,L，以及融合特征權值wi；

Step4利用Meanshift算法，計算新的候選目標中心y；

Step5計算新位置融合特征的Bhattacharyya相關系數ρ(y)，若ρ(y)<ρ(y0)，令y=(y+y0)/2，計算ρ(y)；

Step6若‖y-y0‖<ε，停止迭代，令y0=y作為當前幀的目標中心位置，否則令y0=y并返回Step2;

Step7若當前幀為最后一幀，結束跟蹤，否則計算當前幀的特征權重指數α、β，并將進行選擇性特征模型更新，返回Step2。

4 實驗結果與性能評價

4.1 跟蹤結果的評價標準

為了定量分析本文算法的跟蹤性能，采用中心位置誤差(Center Location Error,CLE)、重疊率(Overlap Score,OS)以及成功率(Success Rate,SR)三種標準作為性能評價準則。

中心位置誤差(CLE)的定義如下：

(27)

式中：(xi,yi)為第i幀視頻通過跟蹤算法獲得的目標中心位置；(xi_gt,yi_gt)為第i幀視頻通過手動標記所獲得的目標中心位置。

重疊率(OS)的定義如下：

(28)

成功率(SR)的計算公式如下：

(29)

通過重疊率來統計算法成功跟蹤到的幀數sn，當OS>0.6時，sn加1；N表示視頻總幀數。

4.2 跟蹤結果分析

為驗證本文算法的跟蹤性能，實驗采用的測試視頻來自VOT(Visual Object Tracking)數據庫。跟蹤實驗采用的仿真平臺為MATLAB 2018。

4.2.1實驗1

本實驗為背景與障礙物干擾實驗，采用的測試數據為監控角度下的Crossing序列，跟蹤目標為過馬路的行人。由于初始時刻行人的衣著顏色與背景較為相似，因此初始化模型的準確性極大程度影響了算法的跟蹤性能。本實驗同時選取文獻[10]與文獻[11]的跟蹤算法作為對照實驗，并對跟蹤結果進行定量分析。

圖2為文獻[10]、文獻[11]與本文算法的部分序列跟蹤結果。文獻[10]算法由于只采用單一的顏色特征進行目標描述，因此在受到顏色相似障礙物(汽車)影響后，跟蹤結果出現偏差，如圖2(a)所示；而文獻[11]算法使用顏色紋理雙特征進行模型表觀，因此其魯棒性優于單一特征，跟蹤結果如圖2(b)所示；圖2(c)為本文算法的跟蹤結果。

圖2 實驗1跟蹤結果

跟蹤結果的中心位置誤差曲線和重疊率曲線分別如圖3和圖4所示。從圖3可以看出，文獻[10]與文獻[11]的跟蹤誤差在大部分的視頻幀中均大于本文算法。從圖4可以看出，本文算法的重疊率在整個視頻幀中波動較小，而文獻[11]雖采用多特征進行模型描述，但是由于特征權重固定不變且未考慮目標的背景因素和模型更新，因此跟蹤結果的重疊率在光照變化或者在有相似顏色障礙物干擾情況下會出現較大的波動。

圖3 實驗1中心位置誤差曲線

圖4 實驗1重疊率曲線

實驗1跟蹤結果的平均中心位置誤差、平均重疊率、成功率如表1所示。可以看出，本文算法在實驗1測試集上的平均CLE、平均OS、SR都優于文獻[10]和文獻[11]的算法，本文算法跟蹤結果的平均重疊率較文獻[10]提高了6%，成功率較文獻[10]提高了近8%。

表1 基于實驗1的算法性能比較

4.2.2實驗2

本實驗采用David序列作為測試數據，跟蹤的難點在于背景干擾、人體姿態改變和短時遮擋。本實驗采用文獻[10]與文獻[11]的跟蹤算法作為對比算法，根據跟蹤結果定量比較分析本文算法的跟蹤性能。

圖5為文獻[10]、文獻[11]與本文算法的部分序列跟蹤結果。文獻[10]中單一的背景加權算法在一定程度上提高了模型描述的準確性，跟蹤性能優于文獻[11],但是由于文獻[10]與文獻[11]均無模型的選擇性更新，因此在出現遮擋情況后，均發生目標丟失現象。而本文算法綜合考慮了目標行人的背景因素與目標本身的顏色分布，采用背景目標雙加權算法，削弱目標顏色模型中與背景相似的顏色特征值權重，同時增加與背景相異的顏色特征值權重，提升模型的魯棒性，并在目標行人發生遮擋后，對目標顏色模型進行選擇性更新，因此在整個跟蹤過程中，未發生目標丟失現象，跟蹤結果較為理想。

圖5 實驗2跟蹤結果

跟蹤結果的中心位置誤差曲線和重疊率曲線分別如圖6、圖7所示。從圖6可以看出，本文算法的誤差整體波動較小，且幾乎都小于10個像素，遠遠小于文獻[10]與文獻[11]的跟蹤誤差。文獻[10]與文獻[11]的誤差曲線在行人發生遮擋后發生劇烈上升，且無法收斂到低誤差。圖7的重疊率曲線直觀地反映了三種算法跟蹤精度的差異，本文算法在整個跟蹤過程中，重疊率基本大于70%，而文獻[10]和文獻[11]的跟蹤算法則隨著跟蹤誤差的積累，導致最后重疊率為0。

圖6 實驗2中心位置誤差曲線

圖7 實驗2重疊率曲線

實驗2的平均CLE、平均OS、SR如表2所示?？梢钥闯?，本文算法在三項指標上均優于對比算法。

表2 基于實驗2的算法性能比較

4.2.3實驗3

本實驗選用監控角度下的Subway序列圖像，目標行人受到兩次不同程度的遮擋。實驗選用文獻[12]的算法作為對比算法，根據跟蹤結果定量分析本文算法在抗短時遮擋方面的性能。

部分序列跟蹤結果如圖8所示。從第15幀開始，目標行人發生了部分遮擋，文獻[12]僅依據目標的運動特征跟蹤，缺少對運動目標本身的刻畫，因此出現了約10個像素的誤差。本文算法基于對目標的準確描述以及顏色模型分量的選擇性更新，從而能夠較為準確地對目標行人進行跟蹤，在兩次不同程度的遮擋之后，均未發生較大的跟蹤誤差。

(a)文獻[12]算法

跟蹤結果經過量化后，得到中心位置誤差曲線圖、重疊率曲線圖、Bhattacharyya相關系數圖分別如圖9-圖11所示。從圖中可以較為直觀地看出本文算法在跟蹤精度上的優異性。從圖9可以看出，在20幀附近，由于目標行人發生了遮擋現象，文獻[12]算法的中心位置誤差陡然上升；從圖10可以看出在整個跟蹤過程中，本文的跟蹤算法重疊率保持平穩，維持在80%左右，而文獻[12]跟蹤結果的重疊率則波動較大，最后降至40%；從圖11可以看出此時文獻[12]跟蹤結果的Bhattacharyya系數減少到70%左右。

圖9 實驗3中心位置誤差曲線

圖10 實驗3重疊率曲線

圖11 實驗3Bhattacharyya相關系數

基于CLE、OS數據可得平均CLE、平均OS、SR數據，對比結果如表3所示?？梢钥闯觯麄€視頻序列中，本文算法的性能略優于文獻[12],這表明本文算法在目標發生短暫遮擋情況下，模型描述的準確性有所提高，具有一定的魯棒性。

表3 基于實驗3的算法性能比較

5 結 語

本文針對傳統的Mean Shift算法特征選取單一，易受背景因素影響，在跟蹤過程中沒有模型更新策略等問題，提出了背景目標雙加權以及顏色特征紋理特征自適應融合算法，同時在跟蹤過程中進行顏色特征模型分量的選擇性更新，提高了模型描述的準確性，增強了算法的魯棒性。實驗結果表明，在多個場景中的目標行人跟蹤過程中，本文算法性能均優于對比算法，當目標與背景顏色分布相似以及短時完全遮擋的情況下，體現出了一定的魯棒性和準確性。