基于YOLOv4-tiny的無人機全自動跟蹤方法

張 碩,陸宇峰,王丹翔,謝芳芳,季廷煒

(浙江大學 航空航天學院,杭州 310000)

0 引言

隨著人工智能迅速發(fā)展,無人機作為一種新型的運載平臺和應(yīng)用工具被廣泛應(yīng)用于多個領(lǐng)域并具有巨大發(fā)展?jié)摿ΑＳ嬎銠C視覺賦予無人機視覺能力,在航空攝影[1]、基礎(chǔ)設(shè)施檢查、災(zāi)后救援等多個方面扮演著重要的角色。同時,結(jié)合視覺技術(shù)的無人機在軍事領(lǐng)域因其良好的機動性和可視化條件成為了新興的戰(zhàn)場利器。例如,在沒有GNSS(全球?qū)Ш叫l(wèi)星系統(tǒng))覆蓋的區(qū)域,無人機可以通過相機連續(xù)幀的圖像探測來跟蹤其他飛行器,并利用其高機動性接近一些難以抵達的區(qū)域。

目前,大多數(shù)傳統(tǒng)的圖像后處理技術(shù)都難以實現(xiàn)無人機實時目標檢測。其中,Mean Shift[2]算法在目標初始區(qū)域已知的情況下可以實時跟蹤目標,但不能在運動對象的大小發(fā)生變化時自適應(yīng)地跟蹤對象,同時無法跟蹤快速移動的物體。Dalal等[3]采用不同的HOG(方向梯度直方圖)特征描述子來提取不同的特征,并與不同的SVM(支持向量機)分類器進行組合。還有其他離散目標檢測算法,如Sift檢測和廣義輪廓搜索算法。傳統(tǒng)算法的性能雖然在不斷提升,但仍存在面對具體的實際環(huán)境時泛化性較差、計算量大、實時性不好等缺陷。目前,隨著深度學習(deep learning,DP)進程的加快,目標檢測領(lǐng)域的發(fā)展迎來一個高速發(fā)展的時代。CNN[4]和“YOLO”都被認為是嵌入在基于視覺的無人機導(dǎo)航系統(tǒng)中的強大主流目標探測算法。其中基于卷積神經(jīng)網(wǎng)絡(luò) (convolutional neural networks,CNN)的目標檢測算法一般分為2個階段,包括候選區(qū)域的提取以及對候選區(qū)域的分類,在此基礎(chǔ)上還開發(fā)了R-CNN[5]、Fast-RCNN[6]、Faster-RCNN[7]等算法,并在很大程度上提升了目標檢測效果。但是這種分為2個階段的算法在速度上還是不能滿足目標檢測任務(wù)對于實時性的要求。2016年Redmon等[8]提出YOLO(you only look once)算法,通過將單幅圖像輸入到卷積網(wǎng)絡(luò)中,在一次評估中生成邊界框坐標、置信水平、類概率,進一步加快目標檢測算法的速度。但部署在無人機上的計算資源有限,依舊無法滿足“YOLO”目標檢測系統(tǒng)的計算要求。在“YOLO”算法的基礎(chǔ)上,陸續(xù)出現(xiàn)了許多改進算法。例如,Shafiee等[9]提出的“fast-YOLO”框架,Huang等[10]提出的“YOLO-lite”、YOLOv2-tiny”和“YOLOv3-tiny”框架,以及Bochkovskiy[11]提出的“YOLOv4-tiny”框架,均能顯著降低原本“YOLO”框架中網(wǎng)絡(luò)的復(fù)雜性,從而大大提高目標的檢測速度。

綜上所述,經(jīng)過改進后的“YOLO”算法基本可以滿足無人機的實時目標檢測要求。由于實際情況中不能保證目標物體總是被捕獲,同時在機載計算資源、無人機載重、尺寸、功率等條件的限制下,提出一種實時的目標檢測算法與無人機嵌入式系統(tǒng)集成的框架。同時,結(jié)合卡爾曼濾波器作為輔助技術(shù)處理短時間遮擋下位置的更新和軌跡的預(yù)測。特別是不只強調(diào)對目標的感知,還融合無人機跟蹤控制策略模塊。在低成本無人機系統(tǒng)中實現(xiàn)三維姿態(tài)跟蹤算法,并通過飛行實驗對該系統(tǒng)進行驗證。本研究中使用的大部分訓(xùn)練數(shù)據(jù)集都是由無人機捕獲視頻提取的圖像,使所選的模型獲得足夠的精度。

1 自主無人機的系統(tǒng)方案和跟蹤控制策略

整個系統(tǒng)的目標是將深度方法集成到一個全自動跟蹤監(jiān)視無人機中,如圖1所示。視覺系統(tǒng)的主要組件為Intel RealSense D435i雙目相機,其結(jié)合寬視場和全局快門傳感器。嵌入式設(shè)備采用NVIDIA Jetson Xaiver NX,其能提供高達14～21TOPS的算力,內(nèi)置的CUDA-X AI軟件可以為深度學習架構(gòu)進行優(yōu)化推理。此外部署RTK定位系統(tǒng)用于室外視覺定位,相較于傳統(tǒng)GPS定位具有厘米級定位精度,能實時地提供測站點在指定坐標系中的三維定位結(jié)果。飛行控制器選用Pixhawk4硬件,預(yù)裝最新的PX4原生固件。

圖1 自主無人機跟蹤方案框架圖

所設(shè)計的自主無人機系統(tǒng)的主要軟件架構(gòu)為:① 感知模塊;② 目標跟蹤算法和姿態(tài)估計;③ 無人機機動。此架構(gòu)由機器人操作系統(tǒng)(ROS)支持,使用MAVROS實現(xiàn)機載電腦和Pixhawk4的通信,Mavlink實現(xiàn)地面站與Pixhawk4的通信。無人機感知RGB圖像和深度數(shù)據(jù),并通過YOLOv4-tiny算法識別視場中的目標物體,然后將生成的二維邊界框與深度數(shù)據(jù)進行融合,獲得物體的三維姿態(tài)估計。最后Pixhawk4根據(jù)跟蹤控制策略模塊給出的數(shù)據(jù)指令控制飛行器至期望姿態(tài)和期望位置。

用于實施飛行測試的無人機技術(shù)規(guī)格和嵌入式系統(tǒng)分別如表1、表2所示。

表1 無人機技術(shù)規(guī)格

表2 嵌入式系統(tǒng)

根據(jù)方案要求,提出的整套跟蹤控制邏輯策略如下:首先系統(tǒng)初始化,操作人員通過地面端PC遠程連接機載電腦切換至Offboard模式。無人機起飛到一個初始設(shè)定的高度,并開始以一個設(shè)定的旋轉(zhuǎn)角速度來360°搜索目標。雙目相機獲取視頻流,機載處理器通過輸入幀檢測目標物體。當定位并鎖定目標后,機載電腦計算二者的相對位姿,當前幀的位姿信息輸入得到無人機控制指令,判斷無人機是否進入“跟蹤”模式。為防止目標在短時間內(nèi)離開相機視野,“跟蹤”模式的設(shè)定為無人機的中心軸應(yīng)該與目標對齊,使目標檢測的預(yù)測框位于畫面的中心。而當目標被觀察為“水平動態(tài)”即水平方向存在偏移量時,無人機將嘗試搖擺,保持目標物體停留在中心附近,旋轉(zhuǎn)角速度控制在wmax內(nèi);當目標為“垂直動態(tài)”時,無人機嘗試爬升或下降。值得注意的是,為使無人機保持平穩(wěn),垂直速度控制在vmax以內(nèi)。若當前模式為“跟蹤”模式,無人機根據(jù)深度數(shù)據(jù)得到無人機與目標物體的相對距離來判斷下一步的機動行為。同時設(shè)定一個安全距離Dsafe來避免跟蹤無人機與目標物體的碰撞。當相對距離小于安全距離,無人機則根據(jù)控制系統(tǒng)生成的一系列離散的航路點遠離目標物體,并保持無人機速度小于vmax;如果相對距離大于安全距離,目標物體動態(tài)遠離時,無人機作出機動反應(yīng)跟隨目標物體運動。同時目標丟失時間大于2 min,則會觸發(fā)無人機的著陸指令。具體流程如圖2所示。系統(tǒng)可以同時處于多種狀態(tài)中,比如爬升和前進、后退和下降。

圖2 視覺跟蹤控制邏輯系統(tǒng)

2 目標姿態(tài)估計

2.1 YOLOv4-tiny目標檢測

YOLO系列算法屬于端到端的目標檢測方法。YOLO將目標檢測視為一個回歸問題,通過對整個圖像應(yīng)用一個CNN和邊界框,進行目標的分類和定位。作為無人機跟蹤目標的重要前提,視覺檢測算法的體積和實時性尤為重要。YOLOv4-tiny算法作為YOLO系列的第4代改進算法的輕量化算法,具有網(wǎng)絡(luò)結(jié)構(gòu)簡單、參數(shù)少、計算量小的特點。它使用CSPDarknet53-tiny主干網(wǎng)絡(luò)代替YOLOv4的CSPDarknet53主干網(wǎng)絡(luò),整體網(wǎng)絡(luò)結(jié)構(gòu)僅有38層,使用3個殘差單元,激活函數(shù)使用LeakyReLU。相較于YOLOv4,不僅大幅度優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu),而且保持了可接受的檢測精度與檢測速度。在實時目標檢測中,YOLO在視頻輸入的每一幀上生成二維邊界框來預(yù)測被檢測目標的二維位置。

2.2 數(shù)據(jù)集訓(xùn)練

無人機數(shù)據(jù)集包含3類對象:人類、四旋翼、鳥類。四旋翼是無人機空中偵察的主要目標物體,鳥類通常會作為空中目標的干擾類別,人類目標在低空環(huán)境中較為常見且利于飛行試驗的開展。為提高模型的準確性,在數(shù)據(jù)集中增加沒有目標對象的背景圖像作為負樣本。該數(shù)據(jù)集共包含6 000張圖像,具有不同光照條件、尺度、角度視圖、長寬比、分辨率和背景。每個類包含1 250張訓(xùn)練圖片和250張驗證圖片,如圖3所示。

圖3 訓(xùn)練集和驗證集

首先使用ImageLab[12]圖像標注軟件對數(shù)據(jù)集進行手動標注,然后對所有經(jīng)過標注的數(shù)據(jù)集的Anchor(多尺度滑動窗口)進行K-means聚類。將樣本點劃分成K個聚類,再計算每個類的聚類中心,重復(fù)此過程盡可能使相似樣本為同一聚類,其衡量相似度的指標為每一個對象與聚類中心的歐氏距離。將聚類得到的結(jié)果作為預(yù)設(shè)后續(xù)訓(xùn)練的Anchor box,從而提高每個網(wǎng)格單元的平均重疊度(intersection over union,IoU)和目標定位的整體精度。實驗所得錨框的尺度分別為(7,10);(9.7,13);(12.5,15.3);(14.3,20.4);(19,22.4);(25,30);(33,39);(46,49.2);(84,78)。聚類精度提升5.28%,圖4為K-means聚類的結(jié)果。

模型在搭載A100的高性能服務(wù)器上訓(xùn)練,訓(xùn)練的目的是最大化平均精度均值 (mean average precision,mAP),最小化Loss(損失函數(shù))。其訓(xùn)練參數(shù)設(shè)置為:初始迭代次數(shù)為2 000,輸入分辨率為416pixel*416pixel,批量處理大小為8,置信度閾值為0.5,權(quán)重衰減系數(shù)為0.000 5,學習率為 0.002 5。在訓(xùn)練的過程中,每間隔指定的迭代次數(shù),采用驗證數(shù)據(jù)集對模型進行評估。如圖5所示,對于有負樣本和無負樣本的數(shù)據(jù)集,結(jié)果表明:有負樣本的數(shù)據(jù)集訓(xùn)練模型mAP更高且Loss曲線下降更快。在實驗過程中,模型訓(xùn)練約400次迭代后,檢測結(jié)果趨于穩(wěn)定。

圖5 有無負樣本下mAP和Loss迭代變化曲線

為了驗證模型的實驗效果,在Nvidia Jetson Xaiver NX板載計算機上們評估訓(xùn)練模型的性能,圖6為隨機選取的圖片進行測試的結(jié)果,無人機對于中小目標的檢測精度高達92%,檢測速率為25 FPS,滿足實時跟蹤的需求。

圖6 鳥類和旋翼的檢測結(jié)果

2.3 目標位置估計

通過上述目標檢測,可以實時獲得相機中每幀目標物體的預(yù)測邊界框,包含4個參數(shù)bx、by、bw、bh(bx和by為中心坐標,bw和bh分別為寬度和高度),記作感興趣區(qū)域S。對目標物體的預(yù)測邊界框進行縮放,記作Sr,縮放因子為θ。表示為:

S=[bxbybwbh]

Sr=[bxbyθbwθbh]

結(jié)合雙目相機給出的深度信息,過濾掉Sr以外的像素信息,取Sr中深度信息的平均值作為目標相對位姿。圖7的中心部位為示例縮放區(qū)域。

圖7 YOLOv4-tiny生成的圖像平面上的邊界框坐標和深度數(shù)據(jù)示意圖

2.4 基于濾波器的跟蹤

YOLOv4-tiny算法雖然具有較好的速度和準確度,但由于空中目標物體和無人機的狀態(tài)都是動態(tài)變化的,存在相機的抖動和目標物體不在視野中的情況。相機的抖動可能會導(dǎo)致目標物體無法被持續(xù)性跟蹤,并且在復(fù)雜環(huán)境中也不能保證目標物體總是被捕獲。本文中采用卡爾曼濾波器[13]作為應(yīng)對短時間閉塞的輔助技術(shù)從而提高系統(tǒng)跟蹤性能。

卡爾曼濾波器是一個遞歸的算法。首先用相機的相對位置和速度建立物體的狀態(tài)矢量xk,即相機協(xié)調(diào)坐標系中的x、y和z坐標。假定目標狀態(tài)隨恒定的速度變化,所有的測量值和噪聲都遵循高斯分布。離散條件下估計系統(tǒng)的遞歸方程為

xk=Fxk-1+Bμk+wk

(1)

觀測方程為

zk=Hxk+vk

(2)

式(1)、式(2)中:F為狀態(tài)轉(zhuǎn)移矩陣;B為輸入控制矩陣;wk為噪聲矩陣;zk為觀測值;H為測量矩陣;vk為測量噪聲。該系統(tǒng)可以進一步分為2個步驟:預(yù)測和更新。圖8為卡爾曼濾波預(yù)測和更新的狀態(tài)過程。

圖8 卡爾曼濾波預(yù)測和更新過程

預(yù)測方程為

(3)

式(3)中:P為計算預(yù)測狀態(tài)值和預(yù)測值與真實值之間的預(yù)測誤差協(xié)方差矩陣;Q為系統(tǒng)預(yù)測噪聲協(xié)方差矩陣,代表整個系統(tǒng)的可靠程度,一般初始化為很小的值。當無人機沒有捕獲到目標對象時,啟動卡爾曼濾波器利用上一幀數(shù)據(jù)預(yù)測目標的當前位置。更新方程為

(4)

式(4)中:K為最優(yōu)卡爾曼增益;zk為測量矩陣;H為轉(zhuǎn)移矩陣;R為觀測噪聲協(xié)方差矩陣。卡爾曼濾波器的運動狀態(tài)之間具有遞推關(guān)系,可以通過每次迭代來更新狀態(tài)信息。

綜上所述,整個視覺算法實現(xiàn)過程如下:

輸入:實時視頻流。

步驟1：YOLO進行目標檢測;

步驟2：如果檢測到目標,觸發(fā)并初始化卡爾曼濾波器參數(shù);

步驟3：卡爾曼濾波器進行預(yù)測,得出預(yù)測狀態(tài)xk和預(yù)測誤差協(xié)方差矩陣P;

步驟4：持續(xù)檢測到目標,置信度大于等于0.7:目標狀態(tài)即為觀測值zk,卡爾曼濾波器利用觀測值輸入更新方程得到卡爾曼增益K,更新狀態(tài)xk,更新估計協(xié)方差矩陣P;置信度<0.7:卡爾曼濾波啟動預(yù)測過程,目標狀態(tài)為預(yù)測值;

步驟5：若未檢測到目標,將步驟3所得預(yù)測參數(shù)輸入卡爾曼濾波更新過程;

步驟6：輸出后驗估計和目標狀態(tài)xk;

步驟7：融合目標狀態(tài)和深度信息得出Sr;

步驟8：進入跟蹤控制邏輯模塊,程序結(jié)束。

3 飛行試驗

飛行試驗在戶外空曠的草地上進行。分別進行目標為四旋翼和目標為人類的實驗。目標將以直線往復(fù)式進行移動。初始化系統(tǒng)之前,準備工作如下:首先將無人機上的機載電腦客戶端和地面的PC機服務(wù)器端建立連接,然后無人機將畫面實時傳回。無人機的位置變化取決于控制系統(tǒng)生成的一系列離散的航路點,通過確定目標物體在3個軸上的移動趨勢來作出機動反應(yīng)。由于戶外環(huán)境的復(fù)雜性,光照條件和背景的變化都會影響無人機檢測目標物體的精度。試驗選擇在陰天且開闊的地方進行,確保雙目相機深度數(shù)據(jù)的準確性和RTK的定位精準性。在跟蹤過程中,盡可能保持無人機與目標物體的相對距離不超過8 m,防止無人機脫離跟蹤模式。圖9為多次飛行試驗中觀察者視角、無人機的視角。綠色邊框為生成的檢測框,右上角數(shù)據(jù)分別為:類別、類預(yù)測概率、目標距離。

圖9 飛行試驗圖

圖10為直線往復(fù)式跟蹤實驗過程示意圖,x軸是無人機與跟蹤目標的歐式距離在地平面的投影。考慮到相機精度和RTK的漂移誤差對跟蹤性能的影響,設(shè)定無人機和目標的z軸高度為固定2 m,初始相對距離為4 m左右,目標線速度不超過0.4 m/s。無人機在跟蹤起始點A懸停,令目標從B點出發(fā),沿x軸方向移動。當目標被視覺系統(tǒng)捕獲,跟蹤系統(tǒng)開始工作,無人機作出機動反應(yīng)。因為整個試驗過程無人機和目標在z軸方向上沒有明顯的變化,故對無人機和目標的中心的x、y軸坐標進行數(shù)據(jù)分析。

圖11、圖12為無人機和目標在x、y軸方向的位置關(guān)系圖。從圖11、圖12中可以看出,在x軸方向,位置偏差在0.4 m范圍內(nèi),無人機在大部分時間內(nèi)都能夠跟隨目標無人機且保持一定的安全距離。此外,在目標第2個反向運動時,無人機沒有作出實時機動反應(yīng),且在實驗后期存在跟蹤滯后的現(xiàn)象。在y軸方向,基本在與目標同一位置附近波動,存在小擾動和傳感器的誤差,波動偏差在0.2 m范圍內(nèi),在某些時刻存在一定的超調(diào)現(xiàn)象,這是由于目標的運動的和RTK等傳感器的漂移。與關(guān)注靜態(tài)目標而非動態(tài)目標的跟蹤系統(tǒng)相比,反映出較高的誤差,但對總體性能沒有產(chǎn)生顯著影響。由于動態(tài)目標的實時位置精度對系統(tǒng)的跟蹤魯棒性有關(guān)鍵影響,需要對估計的無人機距離動態(tài)目標的真實值和跟蹤過程中通過視覺系統(tǒng)捕捉的目標相對距離值展開進一步分析。分別統(tǒng)計4 m內(nèi)和4～8 m的平均誤差,如表3所示。當目標相對距離在4 m內(nèi)時,視覺系統(tǒng)具有更高的精度,隨著目標距離的增加,光照、噪聲等因素將對相機造成更大的干擾。

表3 不同距離下相對距離的誤差比較

圖12 跟蹤無人機和目標無人機y軸方向地面真實值

4 結(jié)論

1) 基于YOLOv4-tiny和嵌入式設(shè)備的無人機全自動跟蹤方法可以用于偵察和跟蹤空中物體,且不需要關(guān)于外部環(huán)境或目標對象的先驗知識,以完全無監(jiān)督的方式執(zhí)行空中任務(wù)作出機動反應(yīng)。

2) 在感知算法基礎(chǔ)上,結(jié)合卡爾曼濾波避免假陽性或假陰性等情況,通過提出的跟蹤控制邏輯模塊確保無人機能自主平穩(wěn)跟蹤目標。

3) 飛行實驗對所采用的深度學習技術(shù)的優(yōu)越性進行評估。研究結(jié)果表明,即使在目標范圍、照明條件和局部背景的顯著變化時,此種方法對簡單跟蹤任務(wù)已具備可行性和魯棒性。在下一步的工作中,將對目標復(fù)雜運動和遠距離跟蹤展開研究,進一步驗證面對復(fù)雜任務(wù)時的魯棒性。