基于相關濾波的艦船目標抗干擾跟蹤算法

邱千鈞, 周鵬耀, 高 欣, 張 芳, 呂梅柏

(1. 海軍裝備部駐北京地區第二軍事代表室, 北京 100000; 2. 西北工業大學, 西安 710072; 3. 軍工保密資格審查認證中心, 北京 100089; 4. 西安應用光學研究所, 西安 710065)

0 引 言

海上艦船目標跟蹤是制導導彈實現準確打擊的關鍵之一, 在跟蹤算法中, 目標特征選取及特征提取方法很大程度上決定了跟蹤性能的好壞。 艦船類目標制導系統特征的提取難點主要在于尺度縮放和特征丟失問題。 這些問題的存在使得跟蹤任務可能會受到影響, 造成目標丟失、 跟蹤非選中目標等結果。

隨著計算機技術廣泛應用到生產與生活中, 計算機數字處理技術在圖像處理中的應用發展迅速[1]。 計算機視覺是圖像處理中一個重要的研究方向, 其主要任務是利用計算機代替人眼對場景進行感知[2], 通過對攝取到的圖像信息進行提取, 實現目標跟蹤功能。

目標跟蹤[3]作用機理是通過給定視頻流中的第一幀或后續某一幀目標的坐標和長寬后, 在后續幀中對目標進行識別, 持續穩定跟蹤目標的位置狀態。 基于視覺目標跟蹤主要分為基于可見光目標跟蹤和基于紅外目標跟蹤[4]。 由于可見光圖像容易獲取并且擁有較高的分辨率和較為豐富的紋理細節, 因此本文目標跟蹤算法基于可見光圖像。

目標跟蹤中基于相關濾波的跟蹤算法應用較為廣泛, 最早將相關性應用到目標跟蹤中的算法是MOSSE(Minimum Output Sum of Squared Error)[5], 而之后衍生出的KCF(Kernelized Correlation Filters)算法[6]應用最廣泛。

基于相關濾波開展的KCF算法使用目標的HOG(Histogram of Oriented Gradient)特征, 但這種特征對于目標尺度縮放、 目標形態變化等帶來的特征丟失、 局部特征不足、 抗尺度變化能力不夠等問題不能很好的解決。 因此, 本文針對以上問題, 開展基于HOG, LBP(Local binary patterns), CN(Color Names)三種特征柔性融合技術對原有KCF算法特征丟失及局部特征不足進行改進, 開展多分辨率閾值選取算法研究, 對KCF算法抗尺度縮放干擾能力不足進行優化。

實驗研究表明, 本文提出的基于特征柔性融合和多分辨閾值選取的改進KCF算法, 有效解決了艦船類目標跟蹤過程中特征模糊及丟失導致的形態變化和目標尺度縮放問題。

本文研究的算法邏輯流程如圖1所示。

圖1 算法邏輯流程圖Fig.1 Algorithm logic flow chart

1 HOG, LBP, CN特征融合

可見光圖像, 一般為RGB三通道[7], 其本質是一個二維矩陣, RGB圖像是利用紅色(Red)、 綠色(Green)、 藍色(Blue)三個顏色進行加權堆疊得到二維矩陣中的一個像素。

特征提取是可見光目標跟蹤制導系統的一個重要組成部分, 圖像特征提取利用計算機提取圖像的信息, 判別圖像的像素點是否屬于圖像的一個特征。 特征提取把圖像上的像素點分成不同子集[8], 子集一般分為孤立的點、 連續曲線或者連續區域。

圖像特征種類很多, 因其應用于不同任務有很多種分類方法, 本文主要介紹三種特征, 分別為HOG特征、 CN特征、 LBP特征。 利用這三種特征進行特征像素級融合, 提高目標跟蹤特征提取能力, 解決特征模糊問題。

1.1 HOG特征提取

HOG特征是一種特性描述子, 即計算每個像素的梯度得到HOG特征[9]。 目標的局部形狀可以被梯度很好地描述, 因為梯度主要存在于局部目標中的邊緣區域。 提取HOG特征的步驟如圖2所示。

圖2 HOG特征提取流程示意圖Fig.2 Diagram of HOG feature extraction

(1) 首先是輸入圖片, 之后對圖像做歸一化處理, 由于采集到的圖像有時會過亮或過暗, 利用Gamma校正可以解決此問題[10], 其原理如下:

I0(x,y)=I(x,y)γ

(1)

式中:I(x,y)表示像素點的灰度值;I0(x,y)表示經過Gamma校正后的灰度值;γ表示矯正系數。 可以看出, Gamma校正本質是對圖像灰度值做非線性操作, 使輸出圖像灰度值與輸入圖像灰度值呈指數關系, 當γ>1時, 圖像中灰度較高的區域對比度增強, 圖像變暗; 當γ<1時, 圖像中灰度較低的區域對比度增強, 圖像變亮; 當γ=1時, 不改變圖像的灰度。

(2) 圖像歸一化后, 對圖像中每個像素點計算梯度;

(3) 將圖片分成若干個8×8的單元, 那么一個單元里會包含8×8×2個值, 即每個像素點包含兩個信息, 梯度幅值和梯度方向, 將這128個值統計為梯度直方圖, 此時特征從128維降到9維。 把0°～180°分成9個間距相等的直方圖, 統計各個像素點從屬于哪個直方圖;

(4) 得到每一個單元的梯度直方圖后, 每4個單元為一個子塊, 即2×2個單元組成一個子塊, 每個單元為1×9維, 4個單元則為1×36維, 再對子塊進行歸一化;

(5) 將子塊框在圖像上滑動遍歷, 可以得到若干個歸一化后的1×36維子塊向量, 將這些向量整合拼接, 便可得到HOG特征向量。

1.2 LBP特征提取

原始LBP特征提取時, 定義以當前像素為中心, 取大小為3×3的鄰域, 把中心點像素灰度值作為閾值, 和相鄰的8個像素的灰度值做比較, 如圖3所示。

圖3 中心像素LBP值提取示意圖Fig.3 Schematic diagram of LBP value extraction of center pixel

對原圖中某一像素點及其鄰域灰度求解得到圖3(b), 以中心點周圍像素的灰度值大于中心點時記為1, 否則記為0作為判斷標準, 對圖3(b)進行閾值判斷得到圖3(c)。 將圖3(c)中這8個數按順時針組成一個8位二進制數, 這個數就是中心像素的LBP值。

原始LBP特征值計算公式為

(2)

式中: (xc,yc)為中心像素的坐標;n為3×3鄰域中第n個像素;N為采樣個數;i為鄰域像素灰度值;ic為中心像素灰度值; sgn(x)為符號函數。

1.3 CN特征提取

顏色特征作為一種全局特征, 描述了圖像或者圖像區域對應景物的表面特征。 由于顏色對圖像或者圖像區域的方向、 大小等變化不敏感, 造成目標定位準確率低, 單獨使用CN特征會造成許多不必要的圖像也被檢索出來。 但由于CN特征不受圖像旋轉和尺度變化的影響, 艦船類目標CN特征相對于背景較為明顯, 所以采用CN特征對艦船類目標進行特征增強, 縮小背景噪聲干擾。

顏色矩作為一種常用的CN特征提取方法, 采用顏色的一階矩、 二階矩足以表達圖像的顏色分布。 相比于其他方法, 該方法無需對特征進行向量化, 一定程度上減少算法的參數, 提高算法實時性:

(3)

(4)

1.4 特征加權融合

考慮到艦船類目標由于目標形態變化等問題, 原有KCF使用的HOG特征無法解決上述問題。 因此, 提出了一種基于HOG特征, 對LBP和CN特征加權的特征提取方法。 該方法將艦船類目標圖像進行均勻分塊, 根據不同塊對于LBP和CN特征識別貢獻率添加不同權重, 加強艦船類目標重要部位對識別效果的影響。 該方法實現步驟如下:

(1) 使用m×m卷積將圖像分成m塊并提取HOG, LBP, CN特征。 整幅圖像的特征向量為

H=(h1,h2,h3,h4, …,hm)

(5)

L=(l1,l2,l3,l4, …,lm)

(6)

式中:hi(1≤i≤m)表示第i子塊的HOG特征向量;li(1≤i≤m)表示第i子塊的LBP特征向量。

(2) 計算每個分塊的加權系數。 由于艦船顏色與背景區分較為明顯, 子塊顏色標準差能夠較為準確反映該子塊內艦船顏色所占整個子塊的比例。 因此, 比較子塊標準差與艦船類目標顏色閾值的大小, 并統計符合閾值的子塊, 若子塊標準差越高, 賦予子塊的權重就越大。 對劃分為m塊的每個子塊提取到的顏色特征, 通過艦船類目標顏色閾值選取每個子塊合適的權重。

C=(c1,c2,c3,c4, …,cm)

(7)

(8)

(9)

(3) 將不同子塊的權重系數賦予相應子塊的HOG特征向量和LBP向量, 得到加權后的HOG-LBP特征。

經實驗測試, 本方法提出的HOG, LBP, CN融合算法對目標形態變化的問題有很好的改善效果, 解決了原有HOG特征在上述情況下的特征模糊及丟失問題。

2 KCF算法原理

2.1 嶺回歸分類器

KCF的基本模型是嶺回歸分類器。 這個分類器和目標的相似值為一個理想值, 也就是目標的中心為1, 其周圍逐漸降低, 直至為0[11]。 設用于訓練的樣本集為(xi,yi), 可以得到線性回歸函數f(xi):

f(xi)=ωTxi

(10)

式中:ω為列向量, 表示權重系數, 也是待求的項, 可通過最小二乘法求解。

(11)

式中:λ為正則化參數, 以防止過擬合。 將式(11)寫為矩陣形式, 即

(12)

ω=(XTX+λI)-1XTy

(13)

2.2 循環矩陣

(14)

循環矩陣有很多良好的性質, 例如相似對角化[14], 即在復數域中任何n階循環矩陣都可以對角化。

(15)

式中:F為酉矩陣。

2.3 ω簡化計算

在引入循環矩陣后, 利用循環矩陣對角化的性質:

(16)

因此有

(17)

式中: ⊙代表點乘運算。

把式(16)代入式(13)中:

(18)

繼續化簡得到

(19)

對式(19)循環矩陣求逆的對角化性質:

(20)

式中:f為傅里葉變換,f-1為傅里葉逆變換。 之后再利用循環矩陣的卷積性質, 得到

(21)

2.4 核函數回歸訓練提速

f(z)=wTψ(z)

(22)

式中:f(z)轉換為變換結果的線性函數;w是由訓練樣本的非線性變換ψ(xi)線性組合而成。

(23)

把式(23)代入式(22)中, 可得

(24)

(25)

式中:α為N×1維,κ(z)為N×1維, 其中第i個元素為訓練的樣本xi和測試的樣本z的核函數值, 此時雖然f(z)是關于z的非線性函數, 但其卻是關于核函數κ(z)的線性函數, 因此可以用線性函數優化法求解α:

α=(K+λI)-1y

(26)

式中:K為總訓練樣本的核相關矩陣,Kij=κ(xi,xj), 當K為高斯核時, 核相關矩陣也是循環矩陣[15], 因此可以對閉式解α進行簡化:

(27)

(28)

再進行傅里葉變換, 得到最終簡化結果:

(29)

3 KCF抗干擾改進算法

針對KCF算法中單訓練濾波器造成的形態變化問題, 以及固定尺寸目標框響應峰值相對固定造成的尺度單一問題, 本文采用HOG, LBP, CN多特征濾波器融合及多分辨率目標框方法進行解決。

3.1 形態變化

目標形態變化是目標跟蹤領域中一個重要的挑戰, 例如人在運動時軀體的變化, 鳥在飛翔時外觀的改變。 形態外觀的改變隨之帶來的是目標特征的改變, 因此選取對目標外觀改變不敏感的特征進行相關濾波目標跟蹤, 是解決形態變化的一種思路。 HOG特征具有幾何不變與光學不變性[16], LBP特征具有旋轉不變性和灰度不變性[17], 對HOG, LBP兩種特征以及CN特征進行三特征融合。 利用式(29)對融合后的加權HOG-LBP特征訓練濾波器:

(30)

(31)

將閾值乘以各自對應的響應矩陣, 得到最終響應矩陣, 可得最終響應圖。 根據最終響應圖中最高峰坐標得到目標位置, 如圖4所示。

圖4 三特征融合示意圖Fig.4 Diagram of three features fusion

3.2 尺度縮放

針對艦船類目標跟蹤過程中由于目標尺度問題造成的特征丟失問題, 提出了一種多分辨率目標框的解決方法。 該方法通過對目標框進行適當的縮放, 對每一幀的響應圖用濾波器和訓練樣本與待檢測區域樣本之間的核相關矩陣按元素相乘得到。 在根據目標框獲取待檢測區域時, 對目標框進行縮放, 如圖5所示, 圖中黑框代表原目標框, 藍框代表縮放后的目標框。

圖5 五尺度目標框示意圖Fig.5 Schematic diagram of five scale target frame

圖5中所使用的0.9, 1.1, 0.85, 1.05縮放倍數通過由遠及近多組艦船類目標由圖6經驗取值流程得到。

圖6 縮放因子經驗取值流程Fig.6 Empirical value setting process for scaling factors

圖7 五尺度目標框生成響應示意圖Fig.7 Response diagram of five scale target frame

4 KCF抗干擾改進算法實驗

4.1 算法性能對比測試

為了進一步驗證本文提出的跟蹤算法性能, 將本方法和其他主流的目標跟蹤方法進行性能對比, 以精確度及成功率作為視頻跟蹤效果的評價指標, 精確度指標反映了目標中心位置誤差小于20像素的幀數占比, 中心位置誤差即算法標定的中心位置與真實中心位置之間的平均歐式距離, 誤差差值取20個像素。 假設算法標定的目標框的中心位置為(xpre,ypre), 真實目標框的中心位置為(xgt,ygt), 則中心位置誤差計算公式如下:

(32)

算法標定成功率表示在總幀數中重疊率大于閾值的幀數占比, 該閾值取為0.5。 邊界框重疊率即算法標定的目標框與真實目標框的交并比。 假設算法標定的目標框為Apre, 真實目標框為Agt, 重疊率OR的計算公式如下:

(33)

在海上目標數據集進行測試得到結果如圖8所示。

圖8 海上目標數據集上的測試結果Fig.8 Testing results on OTB

可以觀察得到, 本文改進算法的性能均優于經典的濾波類跟蹤算法, 精確度為 0.936, 較CF2算法性能提高了4.1%, 較KCF算法性能提升了23.8%; 成功率為0.701, 較CF2跟蹤算法性能提高了5.3%, 較KCF算法性能提升了24.2%。 在海上目標跟蹤數據集進行測試, 與其他六種算法的對比跟蹤結果如表1所示。

表1 對比算法跟蹤結果Table 1 Comparison of algorithm tracking results

4.2 OTB數據集實驗

由于艦船類目標針對形變和尺度變化實驗樣本少, 而OTB數據集作為跟蹤數據集包含各種復雜情況, 故本文所提出的三特征融合算法擬先在OTB數據集上驗證抗形變和尺度變化能力。 本文選取OTB數據集中的DEF(形變)屬性的視頻作為實驗對象, 其中較為經典的是Bolt2視頻幀, 百米運動員在比賽奔跑過程中身體外觀變化較大, 因此適用于測試抗形態變化相關濾波目標跟蹤算法, 如圖9所示, 圖中黃色框為三特征融合后的跟蹤結果, 綠框為灰度單特征的跟蹤結果, 在前10幀時, 由于目標形態外觀變化不大, 單特征算法與三特征融合算法表現都較好, 第24幀時單特征算法跟蹤出現了位置漂移, 并且漂移量隨著跟蹤的進行持續增大, 在第143幀時完全丟失目標, 而三特征融合算法跟蹤結果一直較為穩定, 未出現明顯漂移現象, 也未出現跟丟目標的情況, 因此采用非獨立置信度融合法對三特征進行融合后的相關濾波目標跟蹤算法對于目標形態變化有較好的魯棒性。

圖9 抗形態變化相關濾波目標跟蹤算法效果Fig.9 Effect of target tracking algorithm with correlation filtering against morphological changes

同樣, 針對五尺度目標框測試, 首先在OTB數據集中CarScale視頻中進行測試, 然后在艦船類目標測試。 如圖10所示, 可以看到開始跟蹤后第37幀和第116幀的目標大小比例變化不大, 第175幀、 第196幀和第232幀目標大小比例變化較大, 五尺度目標框可以較好地應對目標大小比例變化。

圖10 五尺度目標框車輛測試視頻Fig.10 Five scale target frame vehicle test video

在艦船目標跟蹤實驗中, 選擇同一場景下同一艦船目標進行算法對比實驗結果展示。 對SRDCF, DSST, KCF經典濾波算法和本文算法進行定性實驗, 對比跟蹤結果如圖11所示。

圖11 跟蹤結果Fig.11 Tracking Results

4.3 艦船目標實驗

使用本算法對海上艦船目標進行實驗, 分別選取艦船目標形態變化和尺度縮放的情況。 如圖12所示, 航空母艦在轉彎時會因自身角度變化導致形態變化, 本文提出的算法穩定鎖住目標。

圖12 艦船目標形態變化實驗圖Fig.12 Experimental image of ship target morphology change

由于真實軍艦素材對于尺度驗證難度大, 本方法采用仿真生成不同尺度下的軍艦。 如圖13所示, 軍艦在由遠及近靠近攝像頭時, 軍艦尺度會發生變化, 本文提出的算法穩定鎖住目標。

圖13 艦船目標尺度縮放實驗圖Fig.13 Experimental image of ship target scale change

5 結 論

為了解決艦船類目標由于特征模糊及形態變化和尺度縮放導致的目標丟失問題。 通過對于多特征融合和相關濾波機理性研究, 可以得出以下結論:

(1) 在形態變化中, 利用非獨立置信度融合法對跟蹤響應圖進行閾值自適應融合, 將HOG、 CN和LBP特征進行了多特征融合, 較好地解決了目標形態變化對目標跟蹤任務產生的問題。

(2) 在尺度縮放中, 利用五尺度分辨率目標框應對目標尺度縮放問題, 通過不同尺度目標框產生的跟蹤響應圖來得到目標的當前幀尺度, 較好地解決了目標尺度縮放對目標跟蹤任務產生的問題。