追蹤過程中的無人機目標(biāo)重定位方法研究

劉云平， 朱帥暉， 張婷婷， 許 軍

(1.南京信息工程大學(xué) 自動化學(xué)院， 南京 210044； 2.陸軍工程大學(xué) 指揮控制工程學(xué)院， 南京 210017)

1 引言

近年來，無人機作為成本低，機動性及可擴展性強的載體，在作戰(zhàn)中利用計算機視覺進行目標(biāo)追蹤[1-3]成為熱點問題。然而無人機在戰(zhàn)場環(huán)境執(zhí)行任務(wù)時面臨著兩大挑戰(zhàn)，環(huán)境因素影響：嚴(yán)重遮擋、光照變化、距離突變等帶來的目標(biāo)丟失；目標(biāo)與自身帶來的挑戰(zhàn)：目標(biāo)的幾何變形、旋轉(zhuǎn)和無人機姿態(tài)變換等造成的追蹤失敗。

針對上述挑戰(zhàn)，早期的學(xué)者們基于傳統(tǒng)圖像處理方法提出了多種追蹤器，根據(jù)目標(biāo)外觀模型表達(dá)的不同，可分為生成模型和判別模型兩類。生成模型廣泛應(yīng)用于高精確度的研究，如LIU等[3]提出了一種基于混合模型的在線學(xué)習(xí)追蹤算法；叱干鵬飛等[4]提出了基于全局搜索的實時分布場目標(biāo)追蹤方法。而判別模型在高速性及節(jié)省資源上有明顯優(yōu)勢，其代表算法即2014年Henriques等提出的核相關(guān)濾波算法Kernel Correlation Filter(KCF)[5]。ZHAO等[6]采用局部稀疏編碼作為PF的外觀模型，利用改進的模型捕捉目標(biāo)尺度變化，加強了模型對多尺度目標(biāo)的追蹤能力。WANG等[7]通過研究局部模型，設(shè)計出一種感知目標(biāo)局部信息的核相關(guān)濾波器算法，算法的魯棒性獲得了較大的提升。李健寧等[8]在多尺度下改進顏色特征有效提升了尺度變化下跟蹤器的魯棒性。隨著深度學(xué)習(xí)的發(fā)展，先在大規(guī)模圖像數(shù)據(jù)集上訓(xùn)練樣本，再利用分類器識別追蹤目標(biāo)[9-10]也成為了熱點方法之一。以上學(xué)者對算法的改進有效提高了追蹤過程中的精確度，但在戰(zhàn)場復(fù)雜環(huán)境下，上述方法缺乏對誤差產(chǎn)生后解決方案的關(guān)注，存在短時間遮擋引起目標(biāo)丟失，丟失后無法二次定位和尺寸誤差持續(xù)積累，缺少校正等問題。同時為了應(yīng)對無人機追蹤的實際需求，目標(biāo)丟失時無人機失去引導(dǎo)的問題也亟待解決。

本文針對上述問題，提出一種利用軌跡預(yù)測和空間感知重定位目標(biāo)的無人機目標(biāo)追蹤方法，并設(shè)計仿真和實機追蹤實驗驗證方法的有效性。

2 軟件框架

本文系統(tǒng)軟件的算法實時追蹤流程如圖1所示。首先利用YOLOv3算法識別目標(biāo)，并將框選區(qū)域用于KCF的樣本訓(xùn)練；設(shè)置匹配度檢測方程，匹配度不足則利用SGBM計算的位置信息進行擴展卡爾曼濾波預(yù)測目標(biāo)位置；隨后判斷遮擋情況，利用預(yù)測位置及YOLOv3檢測結(jié)果對遮擋目標(biāo)重新定位。的當(dāng)算法以高匹配度識別到目標(biāo)時，則檢測目標(biāo)尺寸，通過YOLOv3校正后更新模型及濾波器，完成追蹤過程。

圖1 算法實時追蹤流程框圖

3 動態(tài)目標(biāo)識別與追蹤

3.1 動態(tài)識別優(yōu)化

(1)

3.2 動態(tài)追蹤優(yōu)化

3.2.1雙目立體視覺測距

傳統(tǒng)KCF算法追蹤窗口大小固定，當(dāng)目標(biāo)尺度迅速變化時，追蹤窗口提取特征不充分，易產(chǎn)生大幅漂移和分類器模型信息錯誤的問題，引導(dǎo)無人機向錯誤方向飛行。本文采用雙目立體視覺技術(shù)對目標(biāo)進行空間定位和測距，保持相對位置的穩(wěn)定性。步驟如圖2所示，包括雙目標(biāo)定、立體校正、立體匹配、視差計算和深度計算。Matlab完成雙目標(biāo)定,得到相機的內(nèi)外參數(shù)后，為滿足實際飛行的實時性要求，采用Bouguet進行立體校正和局部立體匹配算法semi-global block matching(SGBM)生成視差圖，計算方式如式(2)、式(3)所示：

(2)

(3)

式(3)中：R為旋轉(zhuǎn)矩陣，T為平移矩陣；Rl和Rr分別為左右相機旋轉(zhuǎn)一半的旋轉(zhuǎn)矩陣；e1為主光軸方向；e2為主光軸正交方向；Rrect為左相機的左極點矩陣。通過上述旋轉(zhuǎn)矩陣的變換，能將原雙目立體圖像平行配置并導(dǎo)入SGBM算法中計算視差。SGBM算法選取左右目圖像的視差組成視差圖，并設(shè)置能量函數(shù)求解最小值使其達(dá)到最優(yōu)，原理如式(4)所示：

(4)

式(4)中：E(D)指視差圖所對應(yīng)的能量函數(shù)；p和q代表雙目圖像中的像素點；C(p,Dp)指p像素點視差為Dp時的代價；P1、P2為懲罰系數(shù)，分別作用于像素p相鄰像素中視差值與p的視差值相差等于1和大于1的像素；I[]函數(shù)在[]內(nèi)為真時返回1，否則返回0。在求解最小值后，獲得的視差圖噪聲小，平滑度高，在中近距離能獲得精確結(jié)果，處理過程及效果如圖2所示。

圖2 雙目立體視覺測距流程及效果示意圖

獲取目標(biāo)空間位置信息后，無人機通過差速驅(qū)動的方式進行運動，根據(jù)穩(wěn)定距離區(qū)間[dmin,dmax]和測定距離Dd來調(diào)整無人機在目標(biāo)物方向上的線速度。

(5)

式(5)中，V為無人機最大安全飛行速度，為常數(shù)。

3.2.2目標(biāo)外觀模型更新

在追蹤過程中，為使每一時刻算法準(zhǔn)確追蹤目標(biāo)，需實時保持目標(biāo)外觀模型的完整性，本文設(shè)計偏移誤差Ed對預(yù)測框與目標(biāo)位置的貼合度進行評估，將KCF算法預(yù)測的目標(biāo)框體面積Sk與YOLO算法檢測的目標(biāo)大小Sy進行比較，比值作為面積誤差；2種算法計算出的目標(biāo)重疊度So作為重疊誤差；當(dāng)前時刻與前一時刻的2種誤差變化量Ev作為誤差修正值，最后由式(6)計算出位置誤差Ed：

(6)

如果Ed高于閾值T，則通過YOLOv3當(dāng)前幀與上一幀預(yù)測框的交并比(IOU)判斷有無出現(xiàn)遮擋情況。IOU>0.5 判斷為無遮擋，則提高更新率；IOU<0.5判斷有遮擋，則保持原來的外觀模型，并將學(xué)習(xí)率減小為0，等待YOLOv3的檢測數(shù)據(jù)進行重定位。如果Ed低于一定的閾值T，則認(rèn)為追蹤過程不存在嚴(yán)重的位置偏差和目標(biāo)外觀遮擋，保持追蹤過程不變，并進一步進行尺度檢測。根據(jù)雙目標(biāo)定后的內(nèi)外參數(shù)，定義距離與預(yù)測框大小匹配度k：

(7)

在k=-1時，則認(rèn)為目標(biāo)尺度的更新結(jié)果不可信，通過YOLOv3算法重新規(guī)劃KCF算法追蹤框。

3.2.3運動軌跡預(yù)測

目標(biāo)丟失時，無人機缺少目標(biāo)位置的引導(dǎo)極易導(dǎo)致目標(biāo)脫離視野范圍，本文利用擴展卡爾曼濾波器(extended kalman filter，EKF)對目標(biāo)被遮擋時的位置信息進行預(yù)測。由于無人機追蹤系統(tǒng)可看作恒定轉(zhuǎn)率和速度模型(constant turn rate and velocity，CTRV)，誤差來源于直線加速度和偏航角加速度噪聲，因此目標(biāo)狀態(tài)量可設(shè)為：

(8)

式(8)中:x、y為目標(biāo)的橫縱坐標(biāo)，v為目標(biāo)線速度，θ和ω為偏航角和偏航角速度。對目標(biāo)狀態(tài)量進行積分并加入迭代過程，可得到狀態(tài)轉(zhuǎn)移函數(shù)g：

(9)

目標(biāo)的測量模型由雙目相機獲取，測量空間內(nèi)數(shù)值Hk和加速度噪聲uk可表達(dá)為

(10)

(11)

4 實驗

4.1 實驗平臺與參數(shù)

本文設(shè)計了仿真測試并開發(fā)了實物樣機對算法性能進行驗證。在Windows 10系統(tǒng)下利用Matlab 2017a進行追蹤算法仿真和結(jié)合EKF算法的路徑預(yù)測仿真；在ubuntu18.04系統(tǒng)下利用ros-melodic和gazebo進行物理引擎下的追蹤算法仿真。實機測試平臺為850軸距六軸無人機。無人機搭載NVIDIA Jetson TX2開發(fā)板和ZED2雙目相機。相機基線為12 cm，標(biāo)定后可感知最大距離為20 m。組裝后實機效果如圖3所示。

圖3 實驗硬件平臺圖

4.2 數(shù)據(jù)集制作與識別效果

為保證YOLOv3在追蹤任務(wù)執(zhí)行中的可靠性，本研究選取作業(yè)無人機預(yù)先在實驗場地拍攝的200張包含追蹤目標(biāo)的實景圖片，結(jié)合100張仿真構(gòu)建的無人機圖片進行標(biāo)注和訓(xùn)練，部分標(biāo)注數(shù)據(jù)及識別效果如圖4所示。

圖4 部分標(biāo)注數(shù)據(jù)及識別效果圖

4.3 目標(biāo)重定位驗證

本文采用一架任務(wù)機和一架靶機進行目標(biāo)丟失下的追蹤實驗，對比傳統(tǒng)KCF算法與本文提出的算法在追蹤任務(wù)中發(fā)生大面積遮擋時的情況，實驗效果如圖5所示。

由圖5(a)24幀可看出：傳統(tǒng)KCF能夠在無干擾情況下完成追蹤任務(wù)，但在圖5(a)86幀下，目標(biāo)受到紅色遮擋物的大面積遮擋，追蹤框發(fā)生了錯誤的位置偏移。即使圖5(a)113幀下，目標(biāo)已脫離遮擋范圍，算法仍無法重新找回目標(biāo)。

改進后的算法能夠?qū)崟r對目標(biāo)位置及尺度進行判別并及時修正。圖5(b)第18幀目標(biāo)未被遮擋，算法正常實現(xiàn)追蹤效果。圖5(b)第52幀時，目標(biāo)被紅色遮擋物完全遮擋，算法停止模板和尺度的更新，等待YOLOv3對追蹤目標(biāo)進行重新初始化。在圖5(b)第127幀下，目標(biāo)脫離遮擋范圍后 YOLOv3算法檢測到目標(biāo)位置及尺寸，重新初始化追蹤窗口并繼續(xù)完成目標(biāo)追蹤任務(wù)。

4.4 改進算法的無人機飛行驗證

上述實驗驗證了追蹤無人機能夠有效的在視野范圍內(nèi)跟蹤目標(biāo)靶機，并在丟失后重新找回目標(biāo)。為進一步驗證所提算法能夠有效引導(dǎo)無人機完成實際飛行任務(wù)，并具有足夠的實時性、可靠性，本文將算法在850軸距6軸無人機平臺進行了基于圖像的追蹤測試[13-15]。

如圖6(a)所示，對追蹤過程中的目標(biāo)位置數(shù)據(jù)進行擴展卡爾曼濾波，預(yù)測值因測量值的波動在定位不準(zhǔn)的A段產(chǎn)生小范圍偏移，但仍能進行有效預(yù)測；而在平穩(wěn)飛行的B段獲得了穩(wěn)定可靠的預(yù)測效果，因此整體可作為重定位時的信息補充；圖6(b)為Matlab下完整算法的仿真效果，算法引導(dǎo)的任務(wù)機軌跡能夠準(zhǔn)確地追蹤目標(biāo)軌跡，并在定位不準(zhǔn)時及時修正飛行軌跡；同樣，算法在圖6(c)gazebo的物理引擎測試下也取得了穩(wěn)定的追蹤效果。實機驗證時，考慮無人機軸距與安全飛行要求，將任務(wù)機與靶機保持一定距離后開始任務(wù)。如圖6(d)所示，實際環(huán)境對兩機的飛行軌跡平滑度影響較大，但仍能看出任務(wù)機可有效追蹤靶機。

圖5 2種方法在目標(biāo)遮擋下的追蹤效果圖

圖6 仿真和實機追蹤效果曲線

5 結(jié)論

從追蹤任務(wù)中對目標(biāo)的重定位和空間感知兩個方面進行研究，利用YOLO算法對KFC算法進行初始化及校正，使算法能夠在丟失后重新找回目標(biāo)；利用雙目立體視覺觀測目標(biāo)空間信息，保持無人機與目標(biāo)靶機的相對距離并判斷圖像的目標(biāo)尺度及位置，提高了算法精度；通過擴展卡爾曼濾波預(yù)測目標(biāo)運動軌跡，提高了目標(biāo)暫時丟失時無人機的持續(xù)追蹤能力。實驗結(jié)果表明該方法引導(dǎo)任務(wù)機追蹤實時性強，追蹤精度較高，具有很好的校正能力。同時，實驗發(fā)現(xiàn)YOLO算法對目標(biāo)存在過量重新選取問題，過多的采用預(yù)測值引導(dǎo)會造成無人機飛行抖動。后續(xù)將針對目標(biāo)區(qū)域的自適應(yīng)更新能力進行改進，減少重新初始化次數(shù)。