基于計算機視覺的無人機物體識別追蹤

李杰 劉子龍

摘 要：提出一種將ROS系統(tǒng)的AR.Drone飛行器作為載體，基于飛行器實現(xiàn)物體識別追蹤的具體優(yōu)化方案。在計算機視覺方面，結(jié)合物體識別OpenCV模塊中的Haar級聯(lián)分類器與卡爾曼濾波，實現(xiàn)無人機的目標識別以及對錯誤目標的過濾功能，使飛行器在搭載攝像頭模塊后，可結(jié)合現(xiàn)有視覺模型完成目標識別要求，算法融合后的系統(tǒng)性能具有良好的魯棒性;在飛行器控制方面，結(jié)合飛行器自身的反饋控制模塊與基于相對位置控制的PD位置控制器，優(yōu)化飛行器自身姿態(tài)及目標追蹤過程中的動態(tài)參數(shù)調(diào)節(jié)優(yōu)化功能，使飛行器在目標追蹤過程中具有良好的自適應(yīng)性。基于以上兩點優(yōu)化方案建立實驗?zāi)Ｐ停〉昧溯^好的實驗效果。具體相對位置估計均方根誤差實驗結(jié)果為：在x方向上為0.124 Sm，在v方向上為0.243 7m，在z方向上為0.176 8m，證明了該優(yōu)化方案的實用性。

關(guān)鍵詞：計算機視覺;無人機;目標識別;目標追蹤;ROS系統(tǒng);OpenCV

DOI： 10. 11907/rjdk.191475

開放科學(xué)（資源服務(wù)）標識碼（OSID）：

中圖分類號：TP301

文獻標識碼：A

文章編號：1672-7800（2020）001-0021-04

0 引言

在計算機視覺領(lǐng)域，物體識別算法框架的發(fā)展已趨于穩(wěn)定，目前的計算機視覺已能夠應(yīng)用于大部分場景[1-6]。無人駕駛飛行器[7-8]（ Unmanned Aerial Vehicle，UAV）是一種兼具飛行、垂直起降等功能，具有較好機動性的小型機器人，在融合計算機視覺技術(shù)后，廣泛應(yīng)用于無人機導(dǎo)航、定位著陸、飛行避障、視覺同步定位與建圖（ Simultaneous Lo-calization and Mapping，SLAM）等方面。無人機物體識別追蹤技術(shù)利用無人機作為載體，結(jié)合計算機視覺技術(shù)，在飛行過程中結(jié)合飛行高度與視角，提取目標物體圖像特征并對特征信息進行處理，同時結(jié)合相對位置控制算法，實現(xiàn)追蹤功能。

無人駕駛飛行器在發(fā)展過程中，必然會經(jīng)歷具備自主飛行能力的階段，而在自主飛行技術(shù)中，視覺追蹤技術(shù)是其中最為重要的。無人機由軍用與民用飛機演變而來，在定位方面，飛機上通常采用ADS-B廣播式自動相關(guān)監(jiān)視系統(tǒng)與掃描雷達系統(tǒng)相融合實現(xiàn)自身定位，而早期大型無人機也沿用這種思路，通過GPS衛(wèi)星確定飛機自身位置，定期向外廣播自身位置與航向。由于GPS衛(wèi)星及雷達的成本非常高，隨后出現(xiàn)一種通過“看見”目標佩戴的GPS跟蹤器實現(xiàn)追蹤目的的特殊無人機，類似Lily Camera。該技術(shù)識別目標的能力較強，但也有著明顯缺點，受額外GPS追蹤器的限制，使其暫時難以得到廣泛應(yīng)用。另一種方案是使用攝像頭與超聲波接發(fā)裝置，使無人機能用光學(xué)或聲學(xué)方式掃描周圍空間。如大疆的高端無人機“悟”，即憑借該技術(shù)可以在沒有GPS的室內(nèi)進行簡單的懸停。但無論是光學(xué)攝像頭還是超聲波，都要依靠信號差進行判斷，因而無力應(yīng)對反差小或者消聲、吸光的地面狀況。近年來隨著深度學(xué)習(xí)技術(shù)在計算機視覺領(lǐng)域的快速發(fā)展，使無人機依靠高性能芯片自主提取與識別跟蹤目標特征，從而實現(xiàn)物體的自動識別追蹤成為可能。

本文融合計算機視覺領(lǐng)域與機器人領(lǐng)域技術(shù)，提出飛行器在目標識別追蹤[9-13]過程中的一種優(yōu)化模型。該模型改進了飛行器在目標識別追蹤過程中的視覺估計誤差匹配精度，達到了更好的人機交互效果。

1 整體系統(tǒng)描述

本實驗采用四旋翼飛行器AR.Drone Parrot，飛行器模型見圖1。

由于該飛行器體積小、質(zhì)量較輕，并且有泡沫機身保護，因而可以很好地應(yīng)對個人實驗項目。在硬件設(shè)施上，該無人機配備有三軸陀螺儀與加速度計、超聲波高度計、氣壓傳感器和磁羅盤。此外，其包含兩個攝像頭：飛行器前部有帶90。角鏡頭的攝像頭，分辨率為1280×720像素，采樣頻率為30 fps，用于對實時視頻流與圖像進行記錄;飛行器底部有一個微型攝像頭，分辨率為320×240像素，采樣頻率為15 fps，可用于估算水平光流速度。飛機本身嵌入Linux系統(tǒng)，因此可通過WiFi使飛行器與手機等電子產(chǎn)品進行交互。但該飛行器的軟件和硬件都采用封閉式架構(gòu)，需要使用一臺裝配ROS操作系統(tǒng)[14]的PC作為上位機，通過上位機各模塊節(jié)點實現(xiàn)對下位機驅(qū)動程序的控制。實驗?zāi)Ｐ涂刂屏鞒桃妶D2。

2 視覺對象識別與跟蹤

2.1 物體識別算法

實驗過程中飛行器正前方攝像頭以BCR格式、30Hz速率傳輸圖像，通過上位機中的OpenCV庫進行視頻流分析，并使用內(nèi)核為Sx5的模糊濾波器對圖像進行平滑處理，實現(xiàn)降噪功能，從而減少因高頻噪聲引起的誤報檢測次數(shù)。同時，使用直方圖均衡化改善圖像對比度。ROS系統(tǒng)調(diào)用OpenCV庫中的Haar分類器[15-17]對目標進行識別，并通過卡爾曼濾波器選擇跟蹤識別目標。目標識別追蹤流程見圖3。

Haar分類器是一種監(jiān)督分類器，其通過圖像的不同級別級聯(lián)使用H aar-like特征進行檢測，以確定是否存在預(yù)先訓(xùn)練的指定目標物體圖片。此外，Haar分類器還使用積分圖（Intergral Image）對Haar-like特征求值進行加速，采用AdaBoost算法訓(xùn)練區(qū)分具有特定特征的強分類器，并使用篩選式級聯(lián)方式將強分類器級聯(lián)結(jié)到一起，以提高準確率。

2.2 目標追蹤模型構(gòu)建

卡爾曼濾波[8-20j（ Kalman Filter）是一種高效率的遞歸濾波器（自回歸濾波器），其能夠從一系列不完全及包含噪聲的測量中，估計動態(tài)系統(tǒng)狀態(tài)。為了增強算法對抗遺漏檢測的穩(wěn)健性，以及在離散時間內(nèi)的類似場景都能識別出訓(xùn)練過的目標對象，在目標追蹤分類器上考慮使用卡爾曼濾波器。隨著離散時間的增加，線性算子則會作用在當前狀態(tài)上，產(chǎn)生一個新的狀態(tài)，同時會帶入一些噪聲，并且系統(tǒng)一些已知控制器的控制信息也會被加入。

本文控制算法基于真實實驗?zāi)M場景，見圖4。對于每個被跟蹤的目標，飛行器會在離散時間內(nèi)對目標建立運動學(xué)模型。

在卡爾曼濾波處理中有兩個過程：當檢測窗口的值小于某個門限值時采用卡爾曼濾波器，否則采用修正后的卡爾曼濾波算法。當飛行器在識別過程中捕獲多個目標時，分類器會識別與先前估計值最接近的目標。若正確識別目標，則更新卡爾曼濾波估計值，并用選框標記出來進行追蹤，追蹤過程中會更新卡爾曼濾波測量矢量參數(shù);若識別多目標時出現(xiàn)錯誤，則進行算法流程迭代，追蹤過程中更新卡爾曼濾波估計，最終正確識別目標并進行檢測。

2.3 相對位置控制模型

為了保證飛行器在目標追蹤過程中有良好的自適應(yīng)性和魯棒性，獲得完整的目標狀態(tài)信息反饋，需要飛行器在飛行過程中對目標物體保持恒定距離。將飛行器相對位置控制轉(zhuǎn)換成具有時變參考的三維位置控制，可以使用PD位置控制器對控制回路進行補償，則飛行器動態(tài)模型如下：

3 算法實驗與分析

為了更好地研究飛行器在實際目標識別追蹤過程中的性能，采用基于室內(nèi)和室外兩種不同背景條件的檢測方法。在室內(nèi)條件下，由于實驗背景的單一性及外部噪聲較少，飛行器在目標識別與追蹤過程中可以實現(xiàn)快速響應(yīng)，因此室內(nèi)試驗條件可用于測試計算機視覺算法融合結(jié)果。在室外實驗條件下，飛行器受光照、風(fēng)力、背景等噪聲干擾較大，對其目標識別與追蹤性能造成一定干擾，則可以測試動態(tài)視覺相對位置估計誤差。

3.1 計算機視覺算法融合結(jié)果分析

針對計算機視覺算法融合結(jié)果的分析，是指在卡爾曼濾波控制飛行器位姿基礎(chǔ)上，融合Haar級聯(lián)分類器對目標的視覺算法結(jié)果進行分析。Haar級聯(lián)分類器可以預(yù)先訓(xùn)練目標識別權(quán)重，卡爾曼濾波則有助于過濾識別的錯誤目標，從而提高系統(tǒng)運算速度，并使其具有較好的魯棒性。實驗數(shù)據(jù)見圖5。

3.2 計算機視覺估計誤差結(jié)果分析

視覺估計誤差結(jié)果見圖6。從圖中可以看出，在離散時間內(nèi)，飛行器基于自身姿態(tài)相對位置估計誤差值比較穩(wěn)定。對實驗數(shù)據(jù)進行處理后可以得出，在x、y、z3個方向上，相對位置估計均方根誤差的實驗結(jié)果分別為0.124 5m、0.243 7m和0.176 8m。

本文提出的飛行器目標識別追蹤算法在實驗中表現(xiàn)出良好性能，不論是在室內(nèi)還是室外環(huán)境中，飛行器都能較好地應(yīng)對外界噪聲，證實了系統(tǒng)的有效性、自適應(yīng)性與魯棒性。

同時，本次實驗也存在一些不足。首先本實驗基于計算機視覺技術(shù)識別目標物體，對特征不明顯或未經(jīng)過訓(xùn)練的目標會出現(xiàn)識別錯誤等情況;其次是在飛行器追蹤功能中，采用相對位置控制以保證飛行器始終能獲取目標特征，但對于偏航造成的目標特征丟失過程缺乏魯棒性;受實驗條件限制，本實驗飛行器追蹤速度恒定，不適用于追蹤移動速度較快的目標。

4 結(jié)語

本文基于一種能夠搭載ROS系統(tǒng)的飛行器實現(xiàn)目標識別與追蹤功能。硬件設(shè)備使用AR.Drone與一臺裝配了ROS機器人系統(tǒng)的上位機，通過上位機節(jié)點通信功能實現(xiàn)對飛行器的控制以及物體識別與追蹤。在計算機視覺算法中，目標識別可通過Haar級聯(lián)分類器加以實現(xiàn)，同時調(diào)用卡爾曼濾波追蹤被標記的目標。在飛行器追蹤過程中，通過PD控制模型使飛行器在離散時間內(nèi)完成與目標物體的相對位置調(diào)節(jié)，最終完成狀態(tài)反饋。未來希望能夠在本實驗數(shù)據(jù)基礎(chǔ)上，通過融合機器人及計算機視覺領(lǐng)域相關(guān)技術(shù)，進一步改善人機交互過程，使智能機器人能夠更好地服務(wù)于人們的生產(chǎn)和生活。

參考文獻：

[1] CHEN C H.Handhook of pattern recognition and computer vision[Ml. USA： World Scientific. 2015.

[2]DONALD G，STUART G，NEIL H， et al.Visual tunng test for com-puter vision systems[Jl. PNAS March， 2015， 112（ 12）： 3618-3623.

[3]SURAJ S，RAVI K S，KONDA R M， et al.A taxonomy of deep convo-lutional neural nets for computer vision[J].Front.Robot.AI. 2016，2（36）：1-13.

[4]STANISLAV E，DMITRY M，ALEKSANDR I，et al.Multilayer cogni-tive architecture for UAV control [J]. Cognitive Systems Research，2016， 39： 58-72.

[5]曹美會，鮮斌，張旭，等.基于視覺的四旋翼無人機自主定位與控制系統(tǒng)[J].信息與控制，2015，44（2）：190-196.

[6] 劉錦濤，吳文海，李靜，等.四旋翼無人機風(fēng)場擾動軌跡控制器設(shè)計[J].飛行力學(xué)，2016， 34（2）：47-54.

[7]郁一帆，王磊.無人機技術(shù)發(fā)展新動態(tài)[J].飛航導(dǎo)彈，2019（2）：34-42.

[8]LAV G，RAJ J，GABOR V.Survey of important issues in UAV com-munication net，vorks[J].IEEE Communications Survevs& Tutorials，2016， 18（2）：1123-1152.

[9]DAWEI D，YUANKAI Q， HONCYANC Y. et al.The unmanned aeri-al vehicle benchmark： object detection and tracking[C].The Europe-an Conference on Computer Vision（ ECCV）， 2018： 370-386.

[10]CUSTAV H， COUTAM B， MARTIN D.Combining visual trackingand person detection for long term tracking on a UAV [Jl. Interna-tional Symposium on Visual Computing， 2016， 10072： 557-568.

[11]L1 J，YE D H. CHUNG T，et al.Multi-target detection and trackingfrom a single camera in unmanned aerial vehicles（ UAVs）[ C]. 2016IEEE/RSJ International Conference on Intelligent Robots and Sys-tems （IROS）. IEEE， 2016

[12] 張音哲，劉貴喜，李斯，等.無人機多機動目標自主探測與跟蹤[J].控制理論與應(yīng)用，2015，32（ 11）：1561-1566.

[13]朱曉鋼，楊兵，許華杰.支持無線傳感器網(wǎng)絡(luò)多目標跟蹤的最鄰近數(shù)據(jù)關(guān)聯(lián)算法研究[J].計算機科學(xué)，2011， 38（5）：67-70.

[14]ANIS K.Robot Operating System （ROS）[ M]. Saudi Arabia： Spring-er， Cham.2016.

[15] 閆河，王鵬，楊曉龍，等.一種新的AdaBoost人臉檢測方法[Jl.重慶理工大學(xué)學(xué)報：自然科學(xué)，2019， 33（2）：106-110， 161.

[16] 張雪芹，方婷，李志前.基于類Haar特征和AdaBoost的車輛識別技術(shù)[J].華東理工大學(xué)學(xué)報，2016，42（2）：260-265.

[17]張丹丹，李雷.基于PCANet-RF的人臉檢測系統(tǒng)[J].計算機技術(shù)與發(fā)展，2016， 26（2）：31-34.

[18]崔培林，周翟和，呂品，等.自適應(yīng)誤差四元數(shù)無跡卡爾曼濾波四旋翼飛行器姿態(tài)解算方法[J].西安交通大學(xué)學(xué)報，2019， 53（3）：97-102. IlO.

[19]CARCIA R V， NICHOLAS D F O M. KUGA H K， et al.UnscentedKalman filter for spacecraft atitude estimation using modified Ro-drigues parameters and real data [Jl. Computational and AppliedMathematics. 2016.35（3）： 835-846.

[20]喬少杰，韓楠，朱新文，等.基于卡爾曼濾波的動態(tài)軌跡預(yù)測算法[J].電子學(xué)報，2018， 46（2）：418-423.

[21]YONGPINC P，HAOYONG Y， TAIREN S. Global asymptotic stabi-lization using adaptive fuzzy PD control[ J].

IEEE， 2015， 45（3）：574-582.

[22]TOLGAY K. ALI H M. Adaptive PD-SMC for nonlinear robotic ma-nipulator tracking control [Jl. Studies in Informatics and Control，2017. 26（1）：49-58.

（責(zé)任編輯：黃健）

基金項目：國家自然科學(xué)基金項目（ 61573246）

作者簡介：李杰（1994-），男，上海理工大學(xué)光電信息與計算機工程學(xué)院碩士研究生，研究方向為機器人控制、圖像處理;劉子龍（1972-），男，上海理工大學(xué)光電信息與計算機工程學(xué)院副教授、碩士生導(dǎo)師，研究方向為嵌入式系統(tǒng)、控制科學(xué)與控制理論、機器人控制。