改進Camshift算法的多行人目標跟蹤方法

陳 藝

改進Camshift算法的多行人目標跟蹤方法

陳 藝

（四川文理學院，四川 達州 635000）

針對基于顏色特征的目標跟蹤方法在跟蹤多個行人目標時，易受衣服顏色相近的行人影響，造成行人目標跟蹤發(fā)生錯誤的問題，提出一種改進Camshift算法的多行人目標跟蹤方法：為克服單一顏色特征作為目標模型易造成目標丟失的不足，按一定的權值系數(shù)融合目標的顏色特征和HOG特征來建立目標模型；并分別對多個行人目標建立目標模型，將傳統(tǒng)的Camshift算法的單目標跟蹤擴展成多目標跟蹤。實驗結果表明，該方法相比于傳統(tǒng)Camshift算法更具魯棒性，跟蹤準確率可提升5.3 %，相比于粒子濾波算法，實時性能夠提升30.23 %。

Camshift算法；顏色特征；多目標跟蹤：融合系數(shù)

0 引言

隨著社會的不斷發(fā)展和科技的不斷進步，視頻幀序列中目標的跟蹤問題[1-2]已經(jīng)成為計算機視覺研究領域的熱點之一。在智能交通、電子監(jiān)控系統(tǒng)、流量監(jiān)控等領域有著重要的實用價值與廣闊的應用前景。

目標跟蹤[3]指的是在視頻幀序列的每一幀圖像中找到感興趣目標的位置。實用的目標跟蹤算法不僅要求能夠準確實時地跟蹤目標，而且要求在光照變化、目標相似等復雜的背景下也能有較強的抗干擾能力。

目標跟蹤算法一般分確定性和隨機性目標跟蹤算法2種[4-6]。前者是通過重復反饋來逼近所需的目標，此目標作為下一幀的初始值，如連續(xù)的自適應均值漂移（continuously adaptive mean-shift, Camshift）算法[7]具有跟蹤速度快、自適應目標旋轉和尺寸的變化等優(yōu)勢；后者是通過計算離散樣本的狀態(tài)與目標數(shù)學模型的相似度來找到候選目標，如粒子濾波[8-10]（partice filter, PF）算法，其利用高斯分布的粒子群對圖像中每一個粒子所處區(qū)域計算概率密度函數(shù)進行近似，再計算與目標數(shù)學模型的匹配度，最終確定候選目標。文獻[11]采用Camshift算法進行目標跟蹤，對跟蹤目標的旋轉與形狀變化有著較強的魯棒性。但由于單一顏色特征易受到環(huán)境的影響，因此在光照變化及相似目標的復雜背景中容易發(fā)生目標丟失的情況，跟蹤效果不理想。文獻[12]提出基于混合高斯和稀疏光流的多目標跟蹤算法，實時性好，對光照和噪聲有較強的魯棒性；但目標個數(shù)過多和目標較為相似的情況下，跟蹤效果不理想。文獻[13]提出將目標的顏色直方圖作為粒子濾波的狀態(tài)量，實現(xiàn)了復雜背景下的彩色圖像的單目標跟蹤，魯棒性較強；但由于粒子數(shù)多，計算量大，實時性較差，且無法跟蹤多個目標。文獻[14]基于卡爾曼（Kalman）濾波的行人跟蹤可通過狀態(tài)方程預測行人目標下一刻大概率所處的位置，加快對行人目標的定位；但是卡爾曼濾波適用于線性系統(tǒng)，局限性較大。

針對上述問題，尤其是背景中出現(xiàn)衣服顏色相近的行人干擾以及光照強度變化等問題，本文提出一種改進Camshift算法的多行人目標跟蹤方法。首先，按一定的權值系數(shù)融合目標的顏色特征和方向梯度直方圖（histogram of oriented gradient, HOG）特征來建立目標模型，以保障算法實時性同時提高算法的魯棒性；其次，分別對多個行人目標建立目標模型，將傳統(tǒng)的Camshift算法的單目標跟蹤擴展成多目標跟蹤，實現(xiàn)對多行人目標的有效跟蹤。

1 傳統(tǒng)Camshift算法

Camshift利用目標的顏色直方圖模型將圖像轉換為顏色概率分布圖，初始化一個搜索窗的大小和位置，并根據(jù)上一幀得到的結果自適應調整搜索窗口的位置和大小，從而定位出當前圖像中目標的中心位置。算法主要分為3部分：

1）色彩投影圖。將紅（red, R）、綠（green, G）及藍（blue, B）顏色空間變換到色調（hue, H）、飽和度（saturation, S）及明度（value, V）顏色空間，減少光照度對跟蹤效果的影響；對目標區(qū)域作H分量的顏色直方圖；將每個像素的值用顏色出現(xiàn)的概率表示，得到顏色概率分布圖。

2）漂移（Menshift）算法。對一幀圖像進行迭代尋找到最優(yōu)的概率分布來尋找目標的位置信息，其位置信息通過計算目標區(qū)域的零階矩陣和一階矩陣得到質心坐標并確定搜索窗的大小。

3）Camshift算法。將Meanshift算法擴展到整個視頻幀序列則為Camshift算法。其將上一幀的迭代結果作為下一幀的初始值，如此反復迭代實現(xiàn)對目標的跟蹤。

2 改進多行人目標跟蹤算法

由于基于顏色特征的Camshift算法在跟蹤衣服顏色相近的行人時會發(fā)生行人目標跟蹤發(fā)生錯誤的問題，且傳統(tǒng)Camshit算法只能跟蹤一個目標，無法滿足復雜的場景需求。針對以上問題，提出改進的Camshift的多行人目標跟蹤算法，優(yōu)勢表現(xiàn)在能夠實現(xiàn)多行人目標的跟蹤，并在出現(xiàn)衣服顏色相似的行人干擾時，通過融合行人的顏色特征和方向梯度直方圖（histogram of oriented gradient, HOG）特征的目標跟蹤算法來準確跟蹤行人目標。圖像處理流程如圖1所示。

圖1 圖像處理流程

2.1 行人目標模型

由于行人一般會穿著帶有顏色的服裝，顏色信息對于圖片的旋轉、尺寸的變化不敏感；HOG特征是局部區(qū)域描述符，能夠很好地描述行人特征；因此，本算法通過融合行人衣著的顏色特征和HOG特征來建立行人目標模型。

1）顏色特征提取。RGB顏色空間[15]相較于HSV顏色空間對光照的變化較更為敏感，因此使用HSV顏色空間來建立目標的數(shù)學模型。HSV顏色空間中，色度、亮度、飽和度相互獨立，其中亮度容易受到光照變化的影響；所以只根據(jù)行人目標的色度（H）和飽和度（S）建立數(shù)學模型，并生成反向投影圖，利用Bhattacharyya系數(shù)[16]衡量目標與候選目標的相似性。

將H-S子空間量化成16和16個相等的空間，構成空間特征值的個數(shù)=16×16的直方圖空間。行人H-S空間的概率密度為

式中：為目標區(qū)域各像素到區(qū)域中心的長度；像素的權重與的大小成負相關，所以中心區(qū)域附近的像素對模型影響更大。

候選行人目標位于的概率密度為

3）HOG特征提取。行人特征可用邊緣[17]、SIFT特征[18]、Haar特征[19]來描述。因為HOG特征是對目標的局部區(qū)域描述符，對光照變化、小角度旋轉有較強的抗干擾能力，本文利用HOG特征[20]來描述行人。對輸入圖像的各像素求梯度大小及方向為

視頻幀大小為64×128，并將其均分為8×8個像素的單元（cell），計算單元內每個像素的梯度幅值和方向，把[-90°, 90°]的梯度方向平均劃分為9個區(qū)間（bin）。將2×2個cell作為一個塊（block），掃描步長為單個cell，遍歷整個圖像，共有105塊（block），每個block有36個特征描述子，整張圖片共有3780個HOG特征描述子。

根據(jù)式（9）對HOG特征描述子進行歸一化作為行人特征描述子為

式中：為未進行歸一化的描述子；為常數(shù)。

4）行人模型建立。上述的顏色特征提取與HOG特征提取分別建立了行人的顏色特征模型和HOG特征模型，再分別計算它們的反向投影，按照一定的權值融合顏色特征模型和HOG特征模型，建立行人目標[21]的模型為

2.2 行人圖像坐標計算

傳統(tǒng)的Camshift[21-22]單目標跟蹤算法只提取目標的顏色特征作為目標的模型，易受顏色相似目標的影響，造成目標的丟失。本文針對此問題，融合行人的衣著顏色和HOG特征分別對每個行人目標建立目標模型，實現(xiàn)多行人目標的跟蹤；優(yōu)勢在于能夠提高算法的魯棒性，且能保持Camshift算法自適應目標尺寸和旋轉的變化。改進的Camshift多行人目標跟蹤算法主要分為3個部分：顏色特征和HOG特征的反向投影計算、Meanshift算法、Camshift算法，算法流程如圖2所示。

圖2 改進Camshift的多行人目標跟蹤算法（注：虛線框為Meanshift算法）

Meanshift算法（圖1虛線框部分）是Camshift算法的核心環(huán)節(jié)，提取了行人目標的顏色特征和HOG特征，并計算其反向投影，按一定的權值融合顏色特征和HOG特征的反向投影。Meanshift算法利用其反向投影和初始化坐標，通過重復反饋的方式計算行人目標的質心，一旦搜索窗中心到目標質心的距離小于給定的閾值，就將搜索窗作為目標區(qū)域。

分別計算每個行人目標搜索窗口的零階矩陣為

的一階矩為

的一階矩為

式中()為反向投影的圖中()處的像素值。

由零階矩以及在、方向的一階矩計算出待搜索區(qū)域的質心為

通過零階矩來確定跟蹤窗口的尺度因子S為

式中為第個行人目標。

3 實驗與結果分析

為了驗證改進Camshift的多行人目標跟蹤算法的魯棒性與實時性，利用改進Camshift的多行人跟蹤算法與傳統(tǒng)的Camshift算法進行多行人目標的跟蹤實驗，測試本文算法的魯棒性；利用改進Camshift的多行人跟蹤算法與粒子濾波算法進行多行人目標的跟蹤實驗，測試本文算法的實時性。

3.1 魯棒性驗證實驗

本實驗主要驗證融合顏色特征和HOG特征的Camshift多行人目標跟蹤算法的魯棒性。實驗分析對比了傳統(tǒng)Camshift算法與改進Camshit算法在行人目標顏色相似以及光照強度變化的復雜場景中行人目標的跟蹤效果。其中行人衣服顏色相似的跟蹤結果對比實驗如圖3和圖4所示。

從圖3可以看出，傳統(tǒng)的Camshift算法對多行人目標進行跟蹤，由于背景中存在與目標行人相似衣服顏色的行人，出現(xiàn)了行人目標跟蹤發(fā)生錯誤的情況。由圖3中間那幅圖可以看出，編號為2的行人目標旁邊出現(xiàn)與其衣服顏色相似的行人，當編號為2的行人目標經(jīng)過此行人時，傳統(tǒng)的Camshift跟蹤算法發(fā)生了跟蹤錯誤，跟蹤到了錯誤目標。由圖4可以看出，由融合顏色特征和HOG特征的Camshift算法行進多行人目標跟蹤時，編號為2的行人目標經(jīng)過與其衣服顏色形式的行人，仍能進行準確的跟蹤行人目標。由表1可以看出，改進的Camshift算法相比于傳統(tǒng)的Camshift算法的跟蹤準確率提升了5.3 %。由表2可以看出，2種算法的實時性幾乎相當。

表1 跟蹤準確率對比

圖4是籃球運動員籃球比賽的復雜場景，利用傳統(tǒng)Camshift算法對多個籃球運動員進行跟蹤時，當2個穿著白色衣服的運動員出現(xiàn)部分交叉時，跟蹤發(fā)生錯誤；而使用融合HOG特征和衣服顏色特征的改進Camshit算法仍可以進行準確跟蹤。

圖3 衣服顏色相似的跟蹤結果1

圖4 衣服顏色相似的跟蹤結果2

圖5是在光照強度變化的場景中進行的實驗。

圖5 光照強度變化的跟蹤結果

首先，在初始幀選定目標，之后應用本文方法和傳統(tǒng)的Camshift對目標進行跟蹤。從圖中可以看出：只利用顏色信息描述目標的傳統(tǒng)Camshift方法在光照很弱的場景下，搜索框將會產(chǎn)生漂移，無法準確跟蹤目標，如圖中的2號框所示；而本文方法能夠實時準確地跟蹤目標，如圖中的1號矩形框所示。

表2 3種跟蹤算法的時間對比

3.2 實時性驗證實驗

本實驗主要驗證融合顏色特征和HOG特征的Camshift多行人目標跟蹤算法在魯棒性良好的情況下算法的實時性。實驗分析對比了在行人目標顏色相似的復雜場景中粒子濾波算法與改進Camshift算法的跟蹤效果。對比實驗如圖6所示。

圖6 粒子濾波算法與改進Camshift算法多行人跟蹤的比較結果

從圖6可以看出，粒子濾波算法和改進的Camshift算法對于背景中存在與目標行人具有相似顏色衣服的行人，都能夠準確地跟蹤多行人目標；由此可以看出粒子濾波算法與改進的Camshift都具有較好的魯棒性。由表2可以看出，相對于粒子濾波算法，本文算法的實時性提高了30.23％。

4 結束語

本文針對復雜背景環(huán)境下視頻幀序列中多行人目標跟蹤易出現(xiàn)目標丟失的問題，提出一種改進的Camshift多行人目標跟蹤算法。本方法通過融合目標的顏色特征和HOG特征建立行人目標的數(shù)學模型：相對于傳統(tǒng)的Camshift算法，在實時性幾乎相當?shù)那闆r下，多行人目標跟蹤的準確率提升了5.3 %；相對于粒子濾波算法，本文算法能夠準確跟蹤多行人目標的情況下，算法的實時性提高了30.23％。實驗結果表明，本文提出的改進Camshift的多行人目標跟蹤算法能夠在提升了魯棒性的同時，準確實時地跟蹤多個行人目標。

目前該算法還需要手動選定多個行人目標；加入檢測算法實現(xiàn)自動選定行人目標是下一步研究的重點。

[1] 劉錦濤, 高麗, 吳文海, 等. 垂直起降無人機基于圖像的目標跟蹤控制[J]. 控制理論與應用, 2017, 34(6):723-731.

[2] 燕必希, 朱立夫, 董明利, 等. 卡爾曼濾波單目相機運動目標定位研究[J]. 儀器儀表學報, 2018, 39(8): 220-229.

[3] 王耀南, 羅瓊華, 陳彥杰, 等. 旋翼飛行機器人多機視覺跟蹤定位系統(tǒng)及方法[J]. 儀器儀表學報, 2018, 39(2): 1-10.

[4] 田丹, 張國山, 謝英紅. 具有融合罰約束的低秩結構化稀疏表示目標跟蹤算法[J/OL]. [EB/OL]. (2018-09-25)[2019-01-28].http://kns.cnki.net/kcms/detail/21.1124.TP.20180925.0709.001.html.

[5] 苑晶, 李陽, 董星亮, 等. 基于運動模式在線分類的移動機器人目標跟蹤[J]. 儀器儀表學報, 2017, 38(3): 568-577.

[6] AIAZZI B, ALPARONEl L, BARONTI S, et al. Nonparametric change detection in multitemporal SAR images based on mean-shift clustering[J]. IEEE Transactions on Geoscience & Remote Sensing, 2013, 51(4): 2022-2031.

[7] UBEDA-MEDINA L, GARCíA-FERNáNDEZ á F, GRAJAL J. Adaptive auxiliary particle filter for track-before-detect with multiple targets[J]. IEEE Transactions on Aerospace & Electronic Systems, 2017, 53(5): 2317-2330.

[8] 陳龍, 郭寶龍, 孫偉. 基于FCM聚類的粒子濾波多目標跟蹤算法[J]. 儀器儀表學報, 2011, 32(11) : 2536-2542.

[9] 董春利, 董育寧, 劉杰. 基于粒子濾波和GVF-Snake的目標跟蹤算法[J]. 儀器儀表報, 2009, 30(4): 828-833.

[10] EXNER D, BRUNS E, KURZ D, et al. Fast and robust CAMShift tracking[C]//The Institute of Electrical and Electronic Engineers（IEEE）. Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco: IEEE, 2010: 916-920. DOI: 10. 1109/CVPRW. 2010. 5543787.

[11] 隋修武, 田松, 余保付, 等. 交通場景中的實時多目標自動跟蹤算法[J]. 電子技術應用, 2015, 41(10): 139-142, 146.

[12] 王健, 張桂林. 復雜背景下運動目標的實時跟蹤[J]. 計算機與數(shù)字工程, 2005, 33( 11): 18-21.

[13] 李娟, 邵春福, 楊勵雅, 等. 基于Kalman濾波的行人跟蹤方法研究[J]. 交通運輸系統(tǒng)工程與信息, 2009, 9(6): 148-153.

[14] 胡敏, 陳紅波, 許良鳳, 等. 基于顏色和紋理特征的黃瓜病害識別算法[J]. 電子測量與儀器學報, 2015, 29(7): 970-977.

[15] 金銘, 汪友生, 邊航. 一種多特征融合的圖像檢索新方法[J]. 電子測量技術, 2016, 39(8): 85-89.

[16] 陳肖蒙, 王瑜, 肖洪兵. 基于可變局部邊緣模式的綠色植物物種識別[J]. 智能系統(tǒng)學報, 2018, 13(4): 571-576.

[17] 蘇麗穎, 李小鵬, 么立雙. 一種改進的SIFT特征提取新算法[J]. 華中科技大學學報(自然科學版), 2013, 41(增刊1): 396-398.

[18] 寧紀鋒, 趙耀博, 石武禎. 多通道Haar-like特征多示例學習目標跟蹤[J]. 中國圖象圖形學報, 2014, 19(7): 1038-1045.

[19] 孫煒, 薛敏, 孫天宇, 等. 基于支持向量機優(yōu)化的行人跟蹤學習檢測方法[J]. 湖南大學學報(自然科學版), 2016, 43(10): 102-109.

[20] 李永波, 李柏林, 熊鷹. 基于HOG特征的鐵路扣件狀態(tài)檢測[J]. 傳感器與微系統(tǒng), 2013, 32(10): 110-113.

[21] 曲巨寶. 利用自適應組合模型實現(xiàn)車輛跟蹤[J]. 華東交通大學學報, 2010, 27(4): 39-43.

[22] 公衍宇. OpenCV在人臉門禁系統(tǒng)的研究與應用[D]. 天津: 河北工業(yè)大學, 2012.

Multi-pedestrian target tracking method based on improved Camshift algorithm

CHENYi

（Sichuan University of Arts and Sciences, DaZhou, SiChuan 635000, China）

Aiming at the problem that it is susceptible to multi-pedestrian targets with similar clothing colors for the color-based target tracking method, which results in the error in tracking targets, the paper proposed a multi-pedestrian target tracking method with the improved Camshift algorithm: in order to overcome the shortcoming that the target is easily lost with single color feature as target model, the target model was established by integrating a certain weight coefficients with the color and HOG features of the target; and the models for multiple pedestrian targets were built for extending the single target tracking of traditional Camshift algorithm to multi-target tracking. Experimental result showed that the proposed method would be more robust, and the tracking accuracy could be improved by 5.3 % compared with traditional Camshift algorithm; meawhile, the real-time performance could be improved by 30.23 % compared with particle filter algorithm.

Camshift algorithm; color features; multi-target tracking; fusion coefficient

P228

A

2095-4999(2019)04-0030-07

陳藝.改進Camshift算法的多行人目標跟蹤方法[J].導航定位學報,2019,7(4):30-36.（CHEN Yi.Multi-pedestrian target tracking method based on improved Camshift algorithm[J].Journal of Navigation and Positioning,2019,7(4): 30-36.）

10.16547/j.cnki.10-1096.20190406.

2019-03-17

四川省教育廳科研項目（17ZB0376）。

陳藝（1980—），女，四川平昌人，碩士，副教授，研究方向為網(wǎng)絡數(shù)據(jù)庫、計算機應用技術。