基于紅外和可見光融合的目標跟蹤①

王 凱,韋宏利,陳超波,曹 凱

(西安工業(yè)大學(xué) 電子信息工程學(xué)院,西安 710021)

引言

信息融合是對從單個和多信息源獲取的數(shù)據(jù)和信息進行關(guān)聯(lián)和綜合,以獲得精確的位置和身份估計以及對姿態(tài)和威脅及其重要程度進行全面及時評估的信息處理過程.紅外圖像與可見光圖像融合是圖像融合技術(shù)的一個重要分支.紅外圖像可以克服“煙霧”和細小顆粒等的遮擋問題,通過感知目標的熱源來成像,對熱輻射比較敏感,但是圖像的邊緣比較模糊,細節(jié)不清楚,只有亮度信息,沒有顏色信息;而可見光對目標的細節(jié)比較敏感,通過間接反射日光成像或物體自身發(fā)光進行成像,容易受到光照條件和氣候變化的影響,對“煙霧”和細小顆粒的穿透力比較差.針對這兩者之間的優(yōu)缺點,本文融合紅外圖像和可見光圖像各自的優(yōu)點來解決目標遮擋時的跟蹤失敗的問題,并提高了跟蹤精度.

文獻[1]利用跟蹤前融合策略,利用可見光改進的粒子濾波算法跟蹤目標,再用紅外跟蹤模版匹配,實現(xiàn)了準確定位.文獻[2]根據(jù)背景模型,引入粒子濾波器對行人進行跟蹤,設(shè)計了采樣模型概率空間,最大化模型后驗概率,完成了在戶外環(huán)境中跟蹤目標.文獻[8]選取了可見光圖像的目標顏色特征和紅外圖像的目標輪廓特征結(jié)合均值漂移算法與水平集曲線演化實現(xiàn)了目標定位,并實現(xiàn)了穩(wěn)定跟蹤.

1 Mean Shift

1.1 Mean Shift算法描述

Mean Shift算法屬于核密度估計法,它不需要任何先驗知識而完全依靠特征空間中樣本點計算其密度函數(shù)值.基于Mean Shift的目標跟蹤算法通過分別計算目標區(qū)域和候選區(qū)域內(nèi)像素的特征值概率得到關(guān)于目標模型和候選模型的描述,然后利用相似函數(shù)度量初始幀目標模型和當前幀的候選模型的相似性,選擇使相似函數(shù)最大的候選模型并得到目標模型的Mean Shift向量,這個向量正是目標由初始位置移動的向量.由于Mean Shift算法的收斂性,通過不斷的迭代計算Mean Shift向量,算法最終將收斂到目標的真實位置,達到跟蹤目標的目.

1.2 模型描述

1.2.1 目標模型

對于彩色圖像來說,要先對彩色圖像進行灰度化處理,通過人工標注的方法在初始幀確定需要跟蹤的目標區(qū)域.該區(qū)域是以x0為中心,以h為邊長的矩形區(qū)域.設(shè)是表示目標區(qū)域的像素的集合,用直方圖估計的每一個特征值的概率密度為:

其中,C為歸一化系數(shù),x0為搜索窗口中心像素坐標位置,xi為第i個像素坐標;為灰度級數(shù);為核函數(shù),b(xi)是xi處像素的量化值;的作用是判斷xi的顏色是否屬于特征值u,若屬于判斷式則為1,若不屬于判斷式則為0,其中h為搜索窗口的寬帶,距離目標中心距離越近的像素對灰度直方圖的貢獻越大,反之距離中心越遠的像素對灰度直方圖的貢獻越小.

1.2.2 候選模型

在當前幀圖像中可能包括目標的區(qū)域稱為候選區(qū)域,對候選區(qū)域的描述稱為目標候選模型.則候選模型的概率密度為:

其中h為核函數(shù)窗口大小,決定著像素權(quán)重的分配,其他參數(shù)的描述與目標模型相同.

1.3 相似性度量

對于Mean Shift算法來說在搜索窗口內(nèi)的采樣點來說,無論其距離中心點的距離遠近,對最終貢獻的結(jié)果是一樣的.然而在現(xiàn)實的跟蹤過程中,當目標出現(xiàn)不同程度的遮擋時,因為距離中心點遠的采樣點容易受到遮擋或背景的影響,所以目標模型中心附近的像素比靠外的更加可靠,這樣起到弱化邊緣像素而突出中心像素的作用.因此,對于不同的采樣點來說,每個采樣點的重要性是不相同的,對此,我們引入核函數(shù)和權(quán)值系數(shù)來提高跟蹤算法的魯棒性,并提高跟蹤搜索能力.文獻[13]用Bhattacharyya進行相似性度量有明顯的優(yōu)勢,所以使用Bhattacharyya系數(shù)用于描述目標模型和候選模型之間的相似程度.定義如下:

目標模型和候選模型的相似度跟ρ(y)的值成正比.相似函數(shù)越大則兩個模型越相似,當相似度為1時,此時候選區(qū)域與目標模型完全重合.核函數(shù)采用Epanechnikov:

1.4 目標定位

目標定位過程就是計算均值向量的過程,并根據(jù)該向量來反復(fù)迭代更新核函數(shù)窗口的中心值,通過求相似函數(shù)最大值得到關(guān)于Mean Shift向量,這個向量是目標從初始位置向目標中心位置移動的向量,由于Mean Shift算法的收斂性,不斷迭代計算該向量,最終會收斂到目標的真實位置,從而達到跟蹤的目的.算法的計算步驟如下:

2 加權(quán) Mean Shift紅外和可見光特征級融合的目標跟蹤

針對紅外和可見光的不同特征,選取他們各自不同的特征作為融合的對象,選取可見光的顏色特征,這個特征符合人們的視覺習(xí)慣,由RGB三個基本特征構(gòu)成特征向量.紅外圖像雖然沒有RGB的特征向量,但是紅外圖像的信噪比比較好,可以克服“煙霧”和細小顆粒等的遮擋問題,對熱輻射比較敏感,只有亮度信息,沒有顏色信息,所以選取紅外圖像的灰度信息作為特征.

2.1 權(quán)值的計算

相似函數(shù)是衡量每一步迭代得到的候選目標和目標模型的相似程度,它貫穿了整個Mean Shift的計算以及融合的過程,反映了可見光圖像和紅外圖像提供有用信息的多少,因此在計算可見光和紅外各自權(quán)值的大小時仍然用相似函數(shù)來計算.為了描述方便分別將可見光和紅外的Bhattacharyya的系數(shù)記為在實際跟蹤過程中,可見光和紅外的前后兩幀的相似度可能出現(xiàn)以下三種情況:(1)可見光和紅外的前后兩幀的相識度都比較小;(2)一個前后兩幀相似度大,另一個相似度較小;(3)兩個相似度都比較大.的取值范圍是0–1,根據(jù)經(jīng)驗分析,的大部分取值都在0.8以上,基于的取值特性,現(xiàn)在設(shè)計如下函數(shù),用來計算的權(quán)值大小.

然后對上式歸一化處理,得到紅外圖像和可見光圖像的權(quán)值:

根據(jù)紅外和可見光的權(quán)值可以得到最終的結(jié)果為:

yvis和yir分別是可見光和紅外的候選目標位置.

3 實驗結(jié)果

可見光圖像跟蹤、紅外圖像跟蹤以及基于可見光圖像和紅外圖像融合的目標跟蹤的效果圖分別如圖1、圖2和圖3所示.跟蹤的目標圖像如圖4和圖5所示.

圖1 可見光的跟蹤效果圖

4 實驗結(jié)果分析

為了驗證文中提出的基于紅外和可見光加權(quán)融合的Mean Shift算法在目標跟蹤時對當目標存在遮擋時的有效性和穩(wěn)健性.分別對同一跟蹤目標進行了三種不同的跟蹤,分別是基于Mean Shift可見光的目標跟蹤;基于 Mean Shift的紅外目標跟蹤;基于紅外和可見光加權(quán)融合的Mean Shift算法的目標跟蹤.

基于Mean Shift可見光圖像的目標跟蹤中,在選取的前兩幀圖像中,從圖1可以看出,在未進入遮擋時有良好的跟蹤,當目標進入遮擋區(qū)域以后,也就是圖1的第二幅圖片中,跟蹤的結(jié)果與真實位置明顯存在偏差,目標搜索框存在明顯的偏移,跟蹤效果不明顯.

圖2 紅外圖像的跟蹤效果圖

圖3 基于可見光圖像和紅外圖像融合的目標跟蹤效果圖

圖4 可見光目標圖像

圖5 紅外目標圖像

基于Mean Shift紅外的目標跟蹤,對于紅外圖像來說,由于紅外圖像只有亮度信息,沒有顏色信息,能夠提供的可用信息量比較少,整體的跟蹤效果不好.在圖2的第三幅圖片中,目標搜索框也存在偏差,跟蹤效果較差.分析可以看出,在目標沒有進入遮擋區(qū)域時,可見光的跟蹤效果明顯好于紅外圖像的跟蹤效果,但當進入遮擋區(qū)域以后,紅外圖像的跟蹤效果變的好于可見光的跟蹤效果.

基于加權(quán)Mean Shift可見光與紅外融合的目標跟蹤,圖3是可見光與紅外特征融合后的目標跟蹤效果,在沒有進入遮擋區(qū)域時可見光圖像的權(quán)值很大,起到?jīng)Q定性作用;在進入遮擋區(qū)域后紅外圖像的權(quán)值變大,起決定性作用,使得有用信息的作用達到最大發(fā)揮,從而達到優(yōu)化跟蹤的目的,從而使目標在部分遮擋時也能達到良好的跟蹤的目的.本文選用的就是這種方法,并且提高了目標跟蹤的精度.

5 實驗的硬件平臺

實驗平臺由光電伺服跟蹤轉(zhuǎn)臺(如圖6)和電腦一臺.光電轉(zhuǎn)臺是利用光電探測器件作為敏感元件,利用機電控制保持探測器視軸穩(wěn)定,從而實現(xiàn)跟蹤裝置對目標的捕獲、跟蹤、瞄準和穩(wěn)定功能.在國外,光電伺服跟蹤系統(tǒng)被廣泛應(yīng)用于地基、車載、艦載、機載、彈載以及各種航天設(shè)備中.主要由光學(xué)系統(tǒng)、紅外探測器、跟蹤器和圖像控制器等部分組成.紅外激光照明器,與攝像機同軸變焦,人物辨別距離 200 米,發(fā)現(xiàn)距離1000米,可見光日夜型彩轉(zhuǎn)黑高解析攝像機,有效像素 (H×V)752×582,水平清晰度 540 TVL,PAL 信號制式,信噪比≥57 dB,DC 自動光圈驅(qū)動.

圖6 光電伺服跟蹤轉(zhuǎn)臺

6 結(jié)論

紅外成像是根據(jù)吸收目標出發(fā)的不可見的熱輻射來實現(xiàn)的;可見光成像是根據(jù)吸收目標反射的可見光波段來實現(xiàn).本文結(jié)合紅外圖像和可見光圖像的不同特征進行融合,在其他可變因素(如光照強度、煙霧干擾、背景干擾等)一定的情況下,首先對紅外圖像進行 Mean Shift跟蹤,其次對可見光圖像進行 Mean Shift跟蹤,再根據(jù)Bhattacharyya系數(shù)和權(quán)值計算函數(shù)來判定紅外和可見光的不同權(quán)重系數(shù),使得有用的信息得到最大的利用,最終得到融合后的跟蹤結(jié)果.實驗證明,本文中的基于紅外可見光的特征融合的目標跟蹤,提高了單一跟蹤的準確度,解決了當目標存在部分遮擋時目標跟蹤丟失的問題.

1 Xiao G,Yun X,Wu JM.A new tracking approach for visible and infrared sequences based on tracking-before-fusion.International Journal of Dynamics and Control,2016,4(1):40–51.[doi:10.1007/s40435-014-0115-4]

2 Leykin A,Hammoud R.Robust multi-pedestrian tracking in thermal-visible surveillance videos.Conference on Computer Vision and Pattern Recognition Workshop.New York,NY,USA.2006.136.

3 朱勝利.Mean Shift及相關(guān)算法在視頻跟蹤中的研究[博士學(xué)位論文].杭州:浙江大學(xué),2006.

4 Shen XW,Sui XB,Pan KC,et al.Adaptive pedestrian tracking via patch-based features and spatial-temporal similarity measurement. Pattern Recognition,2016,(53):163–173.[doi:10.1016/j.patcog.2015.11.017]

5 丁業(yè)兵.基于Mean Shift的視頻目標跟蹤算法研究[碩士學(xué)位論文].合肥:安徽大學(xué),2016.

6 Führ G,Jung CR.Combining patch matching and detection for robust pedestrian tracking in monocular calibrated cameras.Pattern Recognition Letters,2014,(39):11 –20.[doi:10.1016/j.patrec.2013.08.031]

7 Apatean A,Rogozan A,Bensrhair A.Visible-infrared fusion schemes for road obstacle classification. Transportation Research Part C:Emerging Technologies,2013,(35):180–192.[doi:10.1016/j.trc.2013.07.003]

8 趙高鵬,薄煜明,尹明鋒.一種紅外和可見光雙通道視頻目標跟蹤方法.電子與信息學(xué)報,2012,34(3):529–534.

9 劉晴,唐林波,趙保軍,等.改進的 Mean Shift目標跟蹤算法.系統(tǒng)工程與電子技術(shù),2013,35(6):1318–1323.[doi:10.3969/j.issn.1001-506X.2013.06.32]

10 顧幸方,茅耀斌,李秋潔.基于 Mean Shift的視覺目標跟蹤算法綜述.計算機科學(xué),2012,39(12):16–24.[doi:10.3969/j.issn.1002-137X.2012.12.005]

11 胡威.基于Mean Shift的視頻人體目標跟蹤算法研究[碩士學(xué)位論文].上海:上海交通大學(xué),2013.

12 封子軍,張曉玲,張慧杰.運動目標檢測的紅外與可見光圖像融合方法.計算機工程與應(yīng)用,2012,48(7):9–11.

13 李良福,馮祖仁,陳衛(wèi)東,等.基于 Bhattacharyya 系數(shù)的由粗到精的核匹配搜索方法.模式識別與人工智能,2008,21(4):514–519.