采用相關濾波的水下海參目標跟蹤

劉吉偉，魏鴻磊，裴起潮，邢利然

（1. 大連工業大學 機械工程與自動化學院，遼寧 大連 116034; 2. 華北理工大學 機械學院，河北 唐山 063210）

隨著生活水平的提高，人們對海參等海珍品的需求量越來越大。底播養殖是海參的主要養殖方式，即將海參苗播撒在海底進行養殖，待長成后再進行捕撈。由于海參無法采用拖網捕撈，主要以人工下潛作業的方式采捕，勞動強度大、產量低，養殖企業迫切需要自動化的裝備以替代人工采捕[1]。目前水下機器人廣泛應用于水下檢測、識別等海洋活動中[2-4]，應用帶有機器視覺的水下機器人進行海參采捕也是可行的方式，但由于水下光照、懸浮物、水對光線的吸收和散射等等原因，水下圖像通常對比度低，質量差，因此應用機器視覺技術對海參目標進行識別和跟蹤抓捕非常困難。

目前針對目標跟蹤問題，已經提出了許多算法，主要分為生成式跟蹤算法和判別式跟蹤算法兩類。生成式跟蹤算法通過搜索與目標外觀模型最相似的區域以實現跟蹤。判別式跟蹤算法將目標跟蹤看作二值分類問題，通過對目標進行機器學習生成的分類器將視場中的目標和背景區分開，分類器置信度最大的位置就是目標位置。考慮到水下特殊的光學環境，判別式跟蹤算法不需要生成準確的目標模型特征，因此更有優勢。判別式算法中的相關濾波跟蹤算法由于速度快、精度高，近年來成為目標跟蹤領域的研究熱點[5-19]。David S.Bolme等[6]首先將相關濾波方法應用到視覺跟蹤領域，提出平方輸出誤差總和最小(MOSSE)的相關濾波器的追蹤方法。Henriques等[7]利用對單張目標圖像循環移位的方法進行密集采樣，并用核嶺回歸分析方法訓練濾波器，即CSK濾波器，分類器的訓練和檢測都利用快速傅里葉變換轉換到頻域實現，追蹤速度很快。在CSK基礎上，Henriques等[8]提出了核相關濾波方法(KCF)，引入了梯度方向直方圖(HOG)特征,有效提升了算法性能。楊德東等[9]在KCF的基礎上，引入空間正則化和在線SVM分類器重定位組件，以解決KCF跟蹤器在跟蹤過程中目標因嚴重遮擋、相似目標干擾和移出視野等因素而造成的跟蹤失敗問題。Zhang等[10]提出了STC方法，利用了置信圖和快速傅里葉變換減少了圖像中目標區域在圖像模糊時對目標識別與定位的影響，提高了目標定位的準確度和追蹤效率。張雷等[11]通過對正則化最小二乘分類器學習獲得位置和尺度核相關濾波器，并通過尋找位置和尺度核相關濾波器輸出響應的最大值實現目標位置和尺度的檢測。段偉偉等[12]提出一種分塊核化相關濾波跟蹤算法，根據目標外觀特性對目標進行子塊劃分，單獨跟蹤每個目標子塊，并根據子塊的跟蹤結果確定整體的位置信息。邢運龍等[13]提出了基于相位特征的高斯核相關算子增強算法對光照強度變化的適應能力，并融合kalman濾波器提高系統在目標遮擋時的準確性。

大多數的追蹤方法，如MOSSE、CSK、KCF等都僅限于檢測目標的移動，在檢測目標尺度變化時，追蹤目標的效果不好。雖然有少數的跟蹤算法可以檢測目標尺度變化[14-16]，但是運行速度較慢，不能實現實時追蹤要求。本文為實現利用水下機器人進行海參采捕的要求，在KCF算法的基礎上，提出一種能夠適應大尺度變化的海參目標跟蹤算法，主要思想是通過跟蹤兩個頭部位置計算出目標海參的中心位置，并進行尺度估計。實驗表明本文提出的算法可以有效地提高跟蹤的準確性和效率。

1 KCF跟蹤方法

KCF算法(Kernel correlation filters)通過核化嶺回歸分析方法解決目標追蹤問題。在相關濾波方法的基礎上，利用基準樣本的循環位移方法構造訓練集訓練分類器，而且在訓練和檢測時利用快速傅里葉變換將耗時的矩陣運算轉換到頻域求解，顯著提高了跟蹤精度和效率。

1.1 循環矩陣

按圖1所示方法，將 的基礎向量 循環移位可以得到 的循環矩陣 ，即

1×n x n×n C(x)

圖 1 循環矩陣Fig. 1 Illustration of a circulant matrix

循環矩陣可以通過傅里葉變換對角化：

式中：x? 是 基礎向量的離散傅里葉變換；H 表示矩陣的共軛；F 是離散傅里葉變換矩陣(DFT)，該矩陣的性質為

1.2 訓練樣本的建立

在視頻第一幀圖像中，在給出的目標位置選取大小為 M ×N 的 圖像塊 x 作為基準輸入樣本，利用式(3)計算得到的相同大小高斯響應圖像作為基準輸出樣本 y，如圖2所示。

把 ( x , y) 所 有循環移位得到的圖像塊 ( xi,yi) 作為訓練樣本，如圖3所示。

圖 2 基礎輸出樣本Fig. 2 Basic output sample

圖 3 利用基礎樣本的循環移位方法示例Fig. 3 Examples depicting the cyclic shifts of a base sample

1.3 跟蹤算法

KCF算法的基本流程分為離線訓練和在線檢測兩步。在訓練時，以初始幀中給出的目標圖像為輸入信息，對應的高斯響應為輸出信息，利用離散傅里葉變換轉換到頻域求解濾波器。在線跟蹤檢測時，用濾波器對包含目標的圖像進行濾波可得到高斯型的響應面。響應面最大的位置就是目標位置。KCF算法的基本流程如圖4所示。

圖 4 KCF算法的基本流程Fig. 4 Schematic representation of the KCF method

離線訓練的關鍵是求解分類器 f ( z)=wTz，使得在輸入樣本 xi基 礎上計算得到的 f ( xi) 與輸出樣本 yi的均方差最∑小 ,即 求解式(4)所示目標函數：

式中 λ 為控制過擬合的正則化系數。式(4)存在閉式解：

式中 X 和 Y 分別是由輸入樣本 xi和 輸出樣本yi組成的循環矩陣。令

式 中 K =XXT， 則 分 類 問 題 由 求 解 w 轉 變 為 求 解對偶解 α，即

利用核技巧，即采用映射函數 x → φ (x′)，以及用核函數代替內積 κ ( u ,v)→ φ (u)φ(v)，可在不顯式給出映射函數 φ ( ·) 的 情況下，將訓練樣本 x 映射到高維特征空間 x′，從而將線性分類問題推廣為非線性分類問題。則式(6)中 Kij=φT(xi)φ(xj)=κ(xi,xj)，即 K 轉化為核矩陣，可以證明當 κ 采用高斯核函數時 K 是循環矩陣,即 K =C(κ(x,x))。應用循環矩陣的性質即式(1)和式(2)可將式(6)對角化得到

式中x 和 y 分別是組成 X 和 Y 的基礎向量。κ?(x,x′)為高斯核函數的傅里葉變換，按式(9)計算：

式中： ⊙ 表示兩向量間對應元素乘運算；符號 ? 表示復共軛。

利用核技巧，對新輸入的圖像塊 z，分類器的響應為

應用循環矩陣的性質，即式(1)和式(2)，式(10)可進一步轉換到頻域計算：

在響應 f 中定位極大值位置即為目標位置。式(11)中， α ? 利 用 式(8)進 行 計 算， κ? ( x,z) 按 式(9)計算。在實際跟蹤過程中，僅在第一幀圖像中以式(8)計算濾波器 α?，后續幀按式(12)在線更新濾波器模型：

為適應目標的變化，對目標模型也需要在線更新：

2 改進算法

在海參抓取過程中機器人相對目標位置不斷變化，導致目標尺度發生較大變化，直接應用

KCF算法跟蹤精度將大幅下降，不能滿足任務要求。對KCF算法進行改進，分別對兩個頭部位置進行局部跟蹤，并利用兩個頭部之間的距離變化估計目標尺度，同時計算出目標的準確位置。

2.1 海參頭部定位

海參在攝像機中顯示的姿態可能有如圖5所示的3種情況，不能簡單地根據給定的目標中心位置確定兩頭部位置。將目標外包框等分成3×3共9個子圖像，標記為 xij， 其中 i = 1,2,3 和 j = 1,2,3分別表示圖像塊的行號和列號。由于海參各部分的顏色基本相同，且不論海參處于何種姿態，中心塊 x22都是海參的中部，因此可通過周圍塊與中心塊的灰度偏差確定頭部位置。兩個頭部位置xA和 xB的可能組合有以下種情況(見圖5)：

圖 5 海參目標選點原理圖Fig. 5 The target selection principle of a sea cucumber

按式(14)計算各圖像塊組合與中心塊的像素偏差，取偏差最小的組合為跟蹤目標。

式中符號 ‖·‖ 表示對應圖像塊像素灰度值之差的2-范數。

2.2 尺度和位置估計方法

由初始幀確定海參頭部位置后開始跟蹤，將第 t 幀中兩圖像塊中心分別記為 pt和 pt，如圖6

A B所示。

圖 6 海參尺度和位置估計示意Fig. 6 Schematic representation of the scale and location estimation for a sea cucumber

式中：上標“1”代表第1幀，上標t代表第t幀。

如圖7(a)所示，目標尺寸變化大時KCF算法不能估計目標尺度，跟蹤效果明顯不好；如圖7(b)所示，改進算法則可以準確跟蹤目標海參的位置并正確檢測其尺度。

圖 7 追蹤效果的比較Fig. 7 Comparison of the tracking results

2.3 改進算法流程

改進算法流程分為頭部定位模塊、訓練模塊、檢測模塊3個模塊，如算法1所示。在頭部定位模塊中，首先將海參目標圖像分塊，然后計算各塊與中心塊像素灰度值的距離(即2-范數)，選取距離最小的兩塊作為目標；在訓練模塊中，分別用KCF方法計算兩塊的濾波器；在檢測模塊中，分別用KCF方法計算兩塊的位置,然后計算目標中心和尺度因子。

圖 8 5種算法的定性比較Fig. 8 Qualitative evaluation of the five algorithms

3 實試驗結果分析

在處理器為Intel Core i5-3317U CPU，主頻1.70 GHz，內存為4 GB RAM的筆記本上進行跟蹤實驗，采用MATLABR2014a軟件編程。使用本文算法和4種性能優秀的相關濾波算法KCF[8]、CSK[7]、STC[10]、DSST[9]進行對比追蹤測試，每種算法均使用作者提供的源代碼和預設參數。實驗所用視頻為在海參養殖水域拍攝的7個水下監控視頻具體參數如表1所示。

表 1 視頻參數Table 1 Video parameters

3.1 定性分析

5種對比算法中只有本文算法和DSST算法具有尺度估計環節，另外3種算法KCF、CSK和STC均采用固定尺度跟蹤。圖8中7組視頻的共同特點是：目標尺度變化大，且由于水下特殊的成像環境導致圖像質量較差。從跟蹤結果可以看出：KCF、CSK和STC 3種算法追蹤效果較差，而本文算法和DSST算法跟蹤效果較好，可見對于尺度變化大的應用來說，尺度估計環節非常重要。圖8中視頻1～7代表7組視頻系列實驗比較結果。

3.2 定量分析

為了評測本文跟蹤算法的性能，采用了本領域廣泛應用的每秒運行幀數、距離精度和成功率3種評測指標[5]。

1)跟蹤速度

通過每秒跟蹤幀數可以對比跟蹤算法的運行速度。表2給出了5種算法的運算速度，其中下劃線標出了最大的速度值。可見，在7個視頻中，本文算法有5個視頻跟蹤速度最快，平均達到了111.44 f/s，較排第二位的STC算法高出了33.61 f/s。經分析，本文算法速度更快的原因在于：本文算法只取兩個局部圖像分別進行跟蹤，計算量明顯小于其他整體跟蹤算法。DSST算法跟蹤速度最慢，僅為3.84 f/s，原因是其尺度估計環節非常耗時。

表 2 平均每秒運行幀數Table 2 The average operation frames f/s

2)距離精度

衡量跟蹤中心準確性的指標是距離精度，即追蹤到目標的中心偏離實際位置的距離 d 小于預定閥值 d0的 幀數與視頻總幀數 n 的比值，即

圖9是綜合精確度曲線，表示隨著閾值 d0從0像素到50像素遞增時算出的距離精度曲線。可見本文算法跟蹤中心精度明顯好于其他算法。

圖 9 在7個序列上的綜合精確度曲線Fig. 9 Precision plot over all the seven sequences

表3是閾值 d0=20 像素時各算法的精度值，其中最后一行是各算法在所有視頻上按幀數的加權平均值。從表3可見，本文算法在所有視頻上平均精確度達到了90.7%，較排名第2位的DSST算法高出了27.6%。其原因在于：本文算法在選取的兩個頭部有比較明顯的突起等特征，更容易實現準確跟蹤，而其他算法直接以中心為跟蹤目標。由于各算法為處理振鈴效應對邊界進行了平滑處理，導致邊界部位的突起特征弱化。

表 3 平均精度Table 3 Average precision

3)跟蹤成功率

成功率SR為重疊率s大于選定閥值 s0的幀數與總視頻幀數的比值，即

式中：Rr為人工標定目標框內的像素總數，Rt為算法追蹤到目標框內像素總數。式(19)中分子為兩框重合區域內像素數量，分母是兩框合并后總區域內像素數量。

圖10是在7個視頻上的綜合成功率曲線，表示隨著重合率閾值 s0從0到1之間遞增時，各算法的綜合成功率相應的變化。可見，本文算法略好于DSST算法，但遠好于其他3種算法。其原因在于：DSST和本文算法都能根據目標大小調整圖像框大小，而其他算法采用固定圖像框，因此重疊率受目標尺度變化影響較大。

圖 10 在7個序列上的綜合成功率曲線Fig. 10 Success plots over all the seven sequences

表4是當閾值 s0選定為0.5時各算法的成功率，其中最后一行是各算法在所有視頻上按幀數的加權平均值。本文算法在所有視頻上均取得了最高值，比DSST算法高4.4%，比排在第3位的STC算法高47.5%。雖然DSST算法跟蹤成功率與本文算法接近，但由表2可見該算法速度很慢，在實時性要求較高的水下海參采捕中難以應用。

表 4 平均成功率Table 4 Average success rate

4 結束語

針對跟蹤水下尺度變化的海參，在核相關濾波器基礎上提出了一種可以追蹤尺度變化海參的算法。首先把追蹤模塊合理地選擇在海參的兩頭部；然后用KCF算法追蹤兩個頭部，通過兩個模塊間距離來檢測海參的尺度并計算出海參的中心。通過對比實驗，本文算法的跟蹤速度、精度和成功率均高于其他其他算法，能較好地處理尺度和旋轉變化等問題。雖然DSST算法跟蹤成功率與本文算法接近，但由于DSST算法跟蹤速度很慢，不能滿足對實時性要求較高的水下海參采捕的實際跟蹤過程。下一步的工作：將算法應用到海參采捕水下機器人樣機進行采捕實驗，針對出現的問題進行更深入研究，以進一步提高跟蹤算法的魯棒性。