基于計算機視覺的UAV自主空中加油半物理仿真

段海濱 張奇夫

(北京航空航天大學(xué) 飛行器控制一體化技術(shù)重點實驗室，北京100191)

范彥銘

(中國航空工業(yè)集團公司 沈陽飛機設(shè)計研究所，沈陽110035)

李 昊

(北京航空航天大學(xué) 飛行器控制一體化技術(shù)重點實驗室，北京100191)

無人機(UAV，Unmanned Aerial Vehicle)在當(dāng)今軍事行動中扮演越來越重要的角色，能夠有效完成復(fù)雜和危險的偵查和作戰(zhàn)任務(wù)[1].UAV雖然在軍事和民用等領(lǐng)域已有廣泛應(yīng)用，但其自身的很多關(guān)鍵技術(shù)尚有待進一步研究和應(yīng)用[2].其中，自主空中加油(AAR，Autonomous Aerial Refueling)是目前UAV遠程作戰(zhàn)的挑戰(zhàn)性技術(shù)之一[3－4]，自主空中加油是指在飛行過程中一架飛機在不需要人的干預(yù)下向另一架或多架飛機傳輸燃油的活動[5].近幾年來世界各大軍事強國均投入了大量財力和物力開展這一關(guān)鍵技術(shù)的攻關(guān).

自主空中加油主要分飛行硬管式(探針式)和插頭-錐套式兩種[5]，影響自主空中加油性能的兩個重要因素在于加油機與受油機的相對距離和干擾.對于軟管式加油而言，其關(guān)鍵技術(shù)是精確測量加油錐管和受油機之間的相對位置，以及對受油機實施精確導(dǎo)引和控制[6].計算機視覺具有信息豐富、精度高等優(yōu)點，近年來在UAV自主著陸、空中加油和協(xié)同編隊飛行等方面已有廣泛應(yīng)用.

本文在實驗室環(huán)境下，開發(fā)了一種基于計算機視覺的UAV自主空中加油半物理仿真平臺，通過設(shè)計相應(yīng)飛行控制律對受油機進行精確導(dǎo)引，可完成復(fù)雜環(huán)境下的加油對接.

1 無人機加油計算機視覺算法

UAV自主空中加油半物理仿真平臺框架如圖1所示.

圖1 基于計算機視覺的UAV自主空中加油半物理仿真平臺框架

由圖1可見，計算機視覺自主空中加油系統(tǒng)主要包括視覺導(dǎo)航與導(dǎo)引控制兩部分.此處假定加油機進行定高勻速直線平飛，在加油機的加油錐管上安裝輔助光學(xué)標記，受油機上安裝機載攝像機，采用計算機視覺測量技術(shù)實時測量并解算加油錐管的位置和姿態(tài)，通過設(shè)計相應(yīng)飛行控制律對受油機進行精確導(dǎo)引，可完成復(fù)雜環(huán)境下的加油對接.

1.1 點檢測算法

由于加油錐上的發(fā)光二極管(LED，Light E-mitting Diode)是紅色，可利用其顏色特征信息進行點提取.首先對機載攝像機所采集圖像進行彩色空間(RGB，Red-Green-Blue)到色相、飽和度和明度(HSV，Hue-Saturation-Value)處理，選取H、S、V三個通道中的H、S通道圖像進行閾值分割，可得二值化圖像.二值化圖像存在噪聲，可用腐蝕、膨脹等形態(tài)處理技術(shù)，把噪聲濾除[7].然后對兩個通道的二值圖像進行融合，可檢測到LED光點，并為加油錐與機載攝像機相對位姿測量做準備.

1.2 對應(yīng)點匹配

對應(yīng)點匹配(point feature matching)指的是匹配標記連續(xù)幀圖像對應(yīng)特征點的位置[8].假定投影點集為，從機載攝像機采集圖像提取特征點所得的觀測點集為{p1，p2，…，pn}，其中pj=(uj，vj)表示圖像坐標，對應(yīng)的投影點集為)是根據(jù)針孔投影成像模型計算而得的圖像坐標.對于點集，可根據(jù)式(1)計算二者之間的m×n歐式距離矩陣:

由式(1)，可用經(jīng)典的數(shù)學(xué)指派問題來描述點集對應(yīng)問題，其數(shù)學(xué)模型可表述為:假設(shè)有兩個點集A，B，用Sik表示集合A中的點i與集合B中的點k之間的歐式距離，則若建立A、B兩個點集之間的對應(yīng)關(guān)系，有如下公式:

式中，sik＞0，xik∈{0，1}.對于求解對應(yīng)點匹配問題，可采用Hungarian算法(限于求方陣)，或采用改進Munkres算法(限于求非方陣).

1.3 位姿匹配算法

文獻[9]中，Lu，Hager和Mjolsness提出了通過求解對象空間線性誤差最小值來解決位置估計問題的LHM算法.首先，設(shè)圖像序列在k時刻檢測、標記的特征點j的坐標是[ujvj1]T，記

第k時刻的對象空間線性誤差向量用ej表示，定義如下:

其中，CTT表示從加油機坐標系到相機坐標系的轉(zhuǎn)移矩陣.由此，計算機視覺自主加油的位姿估計問題等價于使得誤差平方和最小化的參數(shù)求解問題.

該算法通過迭代，更新改善位姿向量旋轉(zhuǎn)部分的估算值，估計相關(guān)的平移分量，最終計算出滿足性能指標的估計值.實際應(yīng)用中，這是通過利用線性方程組來實現(xiàn)的:

2 擾動及加油錐建模

2.1 大氣擾動與尾渦流模型

在空中加油過程中，加油機和UAV均會受到復(fù)雜風(fēng)擾動的影響.對于UAV而言，還會受到來自前方加油機產(chǎn)生的尾渦流干擾.加油機尾渦流場在加油機后方某一截面內(nèi)，按照渦場對受油機的作用效果可以分為上洗、下洗和滾轉(zhuǎn)3個區(qū)域.其中，兩條尾渦的內(nèi)側(cè)為下洗區(qū)，受油機進入該區(qū)域時，迎角減小，上升率降低;兩條尾渦的外側(cè)為上洗區(qū)，加油機進入該區(qū)域時，迎角增加;兩條尾渦的渦心區(qū)域為滾轉(zhuǎn)區(qū)，加油機進入此區(qū)域時，將受到附加滾轉(zhuǎn)力矩的影響.

尾渦風(fēng)場的作用實際上就是改變受油機上的相對氣流，從而改變受油機所受到的氣動力，而這種附加的氣動力可通過受油機運動狀態(tài)量的等價改變來進行表示.

2.2 加油錐運動建模和狀態(tài)預(yù)估

2.2.1 加油錐模型

空中加油過程中，加油錐將受到多種不確定性因素的影響，一般難以建立準確的數(shù)學(xué)模型，這里將加油錐運動模型簡化為是一個彈性阻尼線性時不變系統(tǒng)，其狀態(tài)方程如下:

式中，加油錐的狀態(tài)向量為

式中，Δxd，Δyd和Δzd表示相對于基準位置的位置偏差量;表示相對于基準位置的速度偏差量(假設(shè)基準位置偏差量和速度偏差量均為0);wg(t)表示大氣湍流干擾下的外部擾動輸入.

加油錐在大氣擾動、尾渦流等作用下，前向、縱向和側(cè)向都將產(chǎn)生一定程度的自由擺動，其中縱向和側(cè)向的自由擺動幅度比較大，可以達到1～1.5 m，前向的擺動相對較小，一般只有厘米級.因此，在UAV飛行控制系統(tǒng)設(shè)計中可忽略前向位置的自由擺動，僅考慮加油錐縱向和側(cè)向位置的自由擺動.

2.2.2 加油錐狀態(tài)預(yù)估

相對位置運動的預(yù)估計是UAV自主加油導(dǎo)引控制的基礎(chǔ).本文采用卡爾曼濾波器實現(xiàn)對實時運動物體的狀態(tài)預(yù)估計.其過程分兩步:

1)利用當(dāng)前狀態(tài)和誤差協(xié)方差估計下一時刻狀態(tài)，得到先驗估計;

2)通過反饋將新的實際觀測值與先驗估計值同時考慮，從而獲得后驗估計.

在每次完成預(yù)測和更新以后，由后驗估計值預(yù)測下一時刻的先驗估計，重復(fù)以上步驟，此即卡爾曼濾波器的遞歸原理，工程上易于實現(xiàn).

3 無人機飛行控制律設(shè)計

UAV自主加油問題本質(zhì)上為緊密編隊問題，即UAV的飛行控制律必須使其能夠沿著可行的參考航路飛至期望的固定位置.緊密編隊飛行控制系統(tǒng)的輸入量為加油機相對于UAV的距離，且在編隊飛行過程中保持不變.將加油機的運動作為對系統(tǒng)的干擾量，飛行過程中會引起編隊拓撲結(jié)構(gòu)變化，因此在控制器設(shè)計中必須充分考慮到加油機影響.該導(dǎo)引控制問題可采用線性二次型調(diào)節(jié)器(LQR，Linear Quadratic Regulator)進行實現(xiàn)，圖2給出了飛行控制系統(tǒng)實現(xiàn)方案.

圖2中，“控制器”的目的是使UAV受油管與目標點之間的相對距離rd在規(guī)定時間內(nèi)趨近于0(r=0).“計算機視覺(MV)”模塊向UAV提供相對位置和姿態(tài)信息.“控制器”模塊用來通過LQR產(chǎn)生控制指令使UAV能按給定指令操縱舵面，從而能準確快速到達加油點并完成加油任務(wù).本文微粒群優(yōu)化(PSO，Particle Swarm Optimization)算法作為一種高效的仿生智能優(yōu)化算法，在UAV圖像匹配[10]、編隊協(xié)同[11]等各方面均獲得了實際應(yīng)用，將PSO用于對兩機之間相對距離的實時優(yōu)化.

圖2 UAV自主加油控制模塊

4 無人機視覺加油半實物平臺

4.1 機載攝像機內(nèi)參數(shù)標定

求得機載攝像機的內(nèi)參數(shù)(包括圖像中心位置、焦距、畸變系數(shù)等)在工程實現(xiàn)過程中是必不可少的環(huán)節(jié)[12].根據(jù)機載攝像機內(nèi)參數(shù)，結(jié)合相應(yīng)算法，計算實際加油錐與機載攝像機坐標系之間的位姿信息.每個像素都是通過透射投影得到的，對應(yīng)于與場景點的一條射線，因此機載攝像機標定問題是確定該射線在場景絕對坐標系中的方程，由此建立圖像陣列中的像素位置和場景點位置之間的關(guān)系，本文利用張氏標定法來標定機載攝像機的固有內(nèi)參數(shù).

4.2 機載攝像機/投影儀半實物仿真環(huán)境

機載攝像機采用的是德國AVT Manta-G125C彩色CCD攝像機，成像分辨率為1 292×964，拍攝幀率在理想情況下為30幀/s.屏幕分辨率為1 600×1200.實際處理時，需要根據(jù)攝像機與投影儀的相對位置，以及投影屏幕之間距離設(shè)置成像分辨率，本實驗設(shè)置成像分辨率700×540，在該配置下，目標跟蹤算法的處理速度為6～7幀/s.所用機載攝像機及相應(yīng)系統(tǒng)如圖3所示.

機載攝像機/投影儀半實物仿真步驟如下:

1)投影棋盤標定板，分辨率為1600×1200，格子數(shù)為40×30;

2)設(shè)置機載攝像機合適的感興趣區(qū)域(ROI，Region of Interest)，保證能采集到整個投影幕上的標定板圖像;

3)棋盤格特征點提取和單應(yīng)性矩陣計算，其中特征點提取采用OpenCV庫函數(shù)中提供的角點檢測算法;

4)加/受油視景投影，LED特征點提取、匹配和位姿估計.所開發(fā)的UAV自主空中加油視景部分如圖4所示.

圖3 基于虛擬視景的UAV空中自主加油半物理仿真系統(tǒng)構(gòu)成

圖4 UAV自主空中加油視景

5 試驗分析

5.1 攝像機內(nèi)參標定結(jié)果

半物理仿真試驗中，從各個角度拍攝了20張標定板圖片，其中一張如圖5所示.

圖5 用于機載攝像機內(nèi)參數(shù)標定的圖像

開啟實物加油錐上的LED光源，并確保加油錐在機載攝像頭視野范圍內(nèi)，然后運行相應(yīng)的計算機視覺處理模塊進行位置測量.圖6為20張標定圖片中的一張.

圖6 張氏標定角點提取序列圖像

所采用的機載相機內(nèi)參數(shù)標定后得到的參數(shù)矩陣為

5.2 投影儀攝像頭半實物仿真

將投影棋盤標定板圖像投影到屏幕上，調(diào)整機載攝像頭與投影儀之間的幾何位置，保證機載攝像頭能采集到屏幕上的棋盤標定板，且使標定板恰好能充滿整個圖像空間.對投影儀/機載攝像機幾何關(guān)系進行標定，得到單應(yīng)性矩陣.隨后投影仿真視景，輸入單應(yīng)性矩陣，運行并實時采集圖像，調(diào)節(jié)HSV通道閾值，以保證能檢測到LED特征點，所得測試結(jié)果如圖7、圖8所示.

圖7 機載攝像機采集的棋盤格投影圖像

圖8 OpenCV角點檢測結(jié)果

通過計算，所得的單應(yīng)性矩陣和逆矩陣分別為

在此基礎(chǔ)上，對圖像特征點進行實時檢測.首先提取圖像H、S通道信息，如圖9所示.

圖9 圖像通道提取

對HSV通道圖像進行二值化閾值分割，H、S、V閾值具體分別為0.03，0.5，0.5.通過腐蝕、膨脹形態(tài)學(xué)操作，濾除二值圖像噪聲，結(jié)果如圖11所示.

圖11 加油錐特征點檢測過程和結(jié)果

當(dāng)檢測到特征點后，計算所得的加油錐距虛擬視點相對位置姿態(tài)信息通過千兆網(wǎng)卡實時傳給UAV飛行控制系統(tǒng)，然后通過控制指令傳給視景計算機，并驅(qū)動視景，構(gòu)成自主空中加油半物理閉環(huán)仿真環(huán)境.設(shè)置視景加油錐的相對距離為:(－1.4，0.5，5.6)，通過計算機視覺信息處理算法計算所得的相對距離為:(－1.412，0.517，5.631).當(dāng)軟管和加油錐處于這個距離并達到相對穩(wěn)態(tài)時，就可進行精確對接.

6 結(jié)束語

自主空中加油是解決UAV燃油量少、航程短的有效技術(shù)途徑.本文對基于計算機視覺的UAV軟管式自主加油技術(shù)進行了系統(tǒng)研究和實現(xiàn)，利用計算機視覺算法進行特征提取、點匹配和位姿估計.考慮了風(fēng)、尾渦等復(fù)雜干擾因素，設(shè)計了基于LQR的UAV自主飛行控制律.在此基礎(chǔ)上，利用機載攝像機和投影儀等開發(fā)半物理仿真試驗環(huán)境.

系列半物理仿真試驗結(jié)果驗證了采用計算機視覺進行UAV自主空中加油對接的可行性和有效性.

References)

[1]段海濱，范彥銘，張雷.高空長航時無人機技術(shù)發(fā)展新思路[J].智能系統(tǒng)學(xué)報，2012，7(3):195－199

Duan Haibin，F(xiàn)an Yanming，Zhang Lei.New thoughts on the development of a HALE UAV[J].CAAI Transactions on Intelligent Systems，2012，7(3):195－199(in Chinese)

[2]Duan H B，Shao S，Su B W，et al.New development thoughts on the bio-inspired intelligence based control for unmanned combat aerial vehicle[J].Science China Technological Sciences，2010，53(8):2025－2031

[3]Nalepka J，Hinchman J.Automated aerial refueling:extending the effectiveness of UAVs[R].AIAA 2005-6005，2005

[4]Lee J H，Hullender D，Dogan A，et al.Estimation of receiver aircraft states and wind vectors in aerial refueling[R].AIAA 2012-4533，2012

[5]董新民，徐躍鑒，陳博.自動空中加油技術(shù)研究進展與關(guān)鍵問題[J].空軍工程大學(xué)學(xué)報:自然科學(xué)版，2008，9(6):1－5

Dong Xinmin，XuYuejian，Chen Bo.Progress and shallenges in Automatic aerial refueling[J].Journal of Air Force Engineering University:Natural Science Edition，2008，9(6):1－5(in Chinese)

[6]Napolitano M R，F(xiàn)ravolini M L.Simulation environment for machine vision based aerial refueling for UAVs[J].IEEE Transactions on Aerospace and Electronic Systems，2009，45(1):138－151

[7]Duan H B，Deng Y M，Wang X H，et al.Small and dim target detection via lateral inhibition filtering and artificial bee colong based selective visual attention[J].PLoS ONE，2013，8(8):e72035

[8]Campa G，Mammarella M，Napolitano M R，et al.A comparison of pose estimation algorithms for machine vision based aerial refueling for UAVs[C]//Proceedings of the 14th Mediterranean Conference on Control and Automation.Ancona:IEEE，2006:1－4

[9]Lu C P，Hager G D，Mjolsness E.Fast and globally convergent pose estimation from video images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(6):610－622

[10]Liu F，Duan H B，Deng Y M.A chaotic quantum-behaved particle swarm optimization based on lateral inhibition for image matching[J].Optik，2012，123(21):1955－1960

[11]Duan H B，Liu S Q.Nonlinear dual-mode receding horizon control for multiple UAVs formation flight based on chaotic particle swarm optimization[J].IET Control Theory＆Applications，2010，4(11):2565－2578

[12]張偉，程鴻，韋穗.攝像機標定系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機工程，2007，33(2):255－256

Zhang Wei，Cheng Hong，Wei Sui.Design and implementation of camera calibration system[J].Computer Engineering，2007，33(2):255－256(in Chinese)