基于跑道的視覺導航信息分析*

張紅良,郭鵬宇

(國防科學技術大學航天科學與工程學院,長沙 410073)

基于跑道的視覺導航信息分析*

張紅良,郭鵬宇

(國防科學技術大學航天科學與工程學院,長沙 410073)

基于跑道的視覺導航廣泛用于無人機自主著陸等場合。文中從信息的角度,分析了視覺導航中跑道邊緣線、地平線和跑道橫向控制線提供的姿態和位置導航信息,推導并證明了兩個基本結論:已知寬度的跑道邊緣線可以提供兩個姿態和兩個位置信息;地平線和跑道橫向控制線可以完善姿態和位置信息。文中的研究對于進行基于跑道的視覺導航算法設計、精度分析和組合導航可觀性分析等具有理論價值。

視覺導航;跑道;地平線;無人機著陸

0 引言

無人機近年來成為研究和應用的熱點,自主著陸是無人機自動化智能化的關鍵環節,基于視覺的無人機自主著陸技術受到持續的關注和研究[1-9]。基于視覺的著陸技術利用機載視覺傳感器對跑道或著陸區域成像,通過圖像分析,利用視覺導航或組合導航計算無人機的位置、姿態等參數。從用于著陸導航的視覺信息看,基于視覺的著陸技術主要分為兩類:一類視覺導航信息來源于在著陸場或跑道布設合作特征點或特征結構[1,3,5-8];另一類視覺導航信息直接來源于跑道邊緣或地平線[2,4,10-11]。基于跑道邊緣或地平線等信息的視覺著陸方法無需人工特定設置合作特征物,具有更廣泛的適用性,可用于一般跑道,并可擴展至在高速公路上的著陸場合或基于跑道燈光的著陸場合[12]。

不同于已有文獻基于跑道的無人機著陸視覺導航具體算法[2,4,10-11]的設計,文中立足于分析無人機著陸中跑道(地平線)能夠提供的視覺信息,從理論上推導跑道方向、跑道寬度、地平線和跑道橫向控制線對視覺系統姿態和位置的約束關系。文中的研究對于進行基于跑道的視覺導航算法設計、精度分析和導航可觀性分析等具有理論價值。

1 坐標系描述

為便于后面的描述,不失一般性,首先對相關坐標系進行定義和描述。

定義跑道坐標系(W系)為:原點OW在跑道中心線上,XW軸沿跑道方向,YW軸沿高度方向(向上為正),ZW軸指向跑道側向(以右手直角坐標系確定正向)。

(1)

其中:Fx、Fy為視覺傳感器的等效焦距;Cx、Cy為視覺傳感器的像面主點,對于已標定視覺傳感器,Fx、Fy、Cx和Cy都為已知量。

(2)

2 跑道邊緣線視覺導航信息分析

對視覺導航來說,跑道的信息主要體現在跑道方向和跑道寬度上,下面從這兩個方面分別分析,最后總結相關結論。

2.1 跑道方向提供的姿態導航信息

如圖1所示,兩條平行的跑道邊緣線L1和L2成像為l1和l2,根據小孔成像原理,視覺系統斜視跑道時l1和l2不平行,延長線相交于點Vp,點Vp稱為邊緣線圖像的消隱點(vanishing point)。由于物理空間的跑道邊緣線平行,消隱點對應跑道坐標系XW軸方向無窮遠處點的像,光心到消隱點的連線矢量與跑道坐標系XW軸方向平行:OCVp∥XW,其單位矢量在跑道坐標系內可表示為:

(3)

圖1 視覺系統對跑道成像示意圖

(4)

(5)

原理上,根據式(3)～式(5)可以確定俯仰角和偏航角姿態導航信息(繞跑道坐標系XW軸旋轉角即滾轉角無法確定)。

不失一般性,下面利用一種姿態角定義方法給出證明。在無人機著陸導航過程中,滾轉角、俯仰角和偏航角一般定義為無人機體相對于跑道坐標系的姿態。為方便推導,假設視覺系統的光軸(ZC軸)與無人機機頭方向一致,YC軸垂直機身向上,XC在機身平面內指向左側,則跑道坐標系按Y-Z-X-Y(2-3-1-2)順序依次旋轉偏航角φ、俯仰角θ、滾轉角γ和90°后與視覺測量坐標系重合,視覺測量系統姿態矩陣為:

(6)

將式(3)、式(4)和式(6)代入式(5),整理可得:

(7)

若滾轉角γ已知,則可以求解出俯仰角θ和偏航角φ。即根據跑道方向(跑道邊緣圖像消隱點)可以確定俯仰角和偏航角信息。

因此,跑道方向可以提供俯仰角和偏航角姿態導航信息。

2.2 跑道寬度提供的位置導航信息

如圖2所示,設跑道寬度為2Z0,則兩條跑道邊緣線方程在跑道坐標系(W系)內的表示為

(8)

圖2 跑道邊緣線對位置的約束

則視覺系統光心和跑道邊緣線L1和L2組成的平面方程在跑道坐標系內滿足方程:

(9)

式中m1、n1、m2、n2為待定參數。式(9)也可寫成:

(10)

式中i=1,2,且s1=n1Z0,s2=-n2Z0。

根據跑道邊緣線在圖像上的直線(圖2中l1和l2)可擬合出其直線方程分別為:

li:v=kiu+di,i=1,2

(11)

式中ki、di(i=1,2)為擬合參數。

設視覺系統光心與圖像直線l1和l2組成平面(等同于光心和跑道邊緣線L1和L2組成的平面)在視覺測量坐標系(C系)中滿足方程(像機光心為視覺測量坐標系原點,因此方程無常數項):

i=1,2

(12)

式中ai、bi、ci(i=1,2)為待定參數。

13)

這些單位矢量都在光心與圖像直線l1和l2組成平面上,即滿足式(12)。將式(13)代入式(12),化簡可得:

(14)

式(14)對任意u都成立,因此:

(15)

式中ai、bi、ci為未知數。

由于式(12)等號右邊為0,因此可以令bi=-Fy,代入式(15),求得ai、ci:

(16)

即根據跑道邊緣線的圖像可以確定光心和跑道邊緣線組成平面方程在視覺測量坐標系內的表示。

借助式(2),將式(12)表示的平面轉換到跑道坐標系(W系)內表示為:

i=1,2

(17)

i=1,2

(18)

(19)

因此可以求得視覺測量系統位置的Y和Z分量,即利用跑道寬度可以提供高度(YW向)和偏離跑道中心線方向(ZW向)位置導航信息。

需要注意的是,在根據以上原理設計算法時需要考慮跑道邊緣線圖像l1和l2與YC軸近似平行情況,此時的l1和l2直線方程應該擬合成u=kiv+di(i=1,2)形式,相應的求解具體形式可以類似推導。

因此,已知姿態前提下,跑道寬度可以提供高度(YW向)和偏離跑道中心線方向(ZW向)位置導航信息。

從物理內涵上講,上述結論不難理解。如圖2所示,已知姿態前提下,可以確定視覺系統光心與跑道邊緣線組成的兩個平面,該兩個平面的交線與跑道方向平行,確定了光心在高度方向(YW向)和跑道側向(ZW向)的兩個位置約束。

由2.1、2.2部分的分析,可以得到如下結論:

結論1:已知寬度的跑道邊緣線可以提供如下姿態和位置視覺導航信息:俯仰角、偏航角、高度(YW向)和偏離跑道中心線方向(ZW向)位置。

3 地平線和跑道橫向控制線視覺導航信息分析

由第2部分的分析可知,跑道邊緣線提供的姿態和位置視覺導航信息都不完備,在實際應用中可進一步利用地平線和跑道橫向控制線完善導航信息。

圖3 地平線和跑道橫向控制線成像示意圖

3.1 地平線提供的姿態導航信息

若能夠提取出視覺圖像中的地平線,則可以以此確定視覺系統的滾轉角和俯仰角。

假設地平線圖像方程為:

v=k3u+d3

(20)

類似2.2部分的分析,可以得到光心與地平線確定的平面在跑道坐標系內的表示:

(21)

其中a3=k3Fx,b3=-Fy,c3=k3Cx-Cy+d3。

由于地平線在無窮遠處,因此光心與地平線確定的平面方程(21)等價于如下方程:

m3yW+n3=0

(22)

因此有:

(23)

將姿態矩陣變換到等號右邊,并寫成單位向量的形式:

(24)

姿態矩陣仍按照2.1部分式(6)定義,則有:

(25)

由此可以求解出滾轉角γ和俯仰角θ。

3.2 跑道橫向控制線提供的姿態和位置導航信息

跑道橫向控制線指跑道平面內垂直于跑道方向的特征線(如跑道底邊、跑道進近橫排燈線),其對應的XW坐標已知,控制線方程表示為:

(26)

假設跑道橫向控制線對應圖像直線的方程為:

v=k4u+d4

(27)

類似2.2部分的分析,可以得到視覺系統光心與跑道橫向控制線確定的平面在跑道坐標系內的表示為:

(28)

其中a4=k4Fx,b4=-Fy,c4=k4Cx-Cy+d4。

根據跑道橫向控制線方程(26),包含視覺系統光心和跑道橫向控制線的平面在跑道坐標系的表示滿足:

m4(xW-X0)+n4yW=0

(29)

其中m4和n4為待定系數。式(29)與方程(28)等價,因此:

(30)

1)跑道橫向控制線提供的姿態信息

將式(6)代入式(30)的第三個等式可得:

(31)

由于跑道邊緣線消隱點可以提供俯仰角θ和偏航角φ信息,再結合式(31),可以求解出滾轉角γ。

2)跑道橫向控制線提供的位置信息

由3.1、3.2部分的分析,可以得到如下結論:

結論2:地平線可以提供視覺滾轉角和俯仰角導航信息;跑道橫向控制線可以提供滾轉角和跑道方向位置信息。

4 結論

文中針對基于跑道信息的無人機視覺著陸問題開展研究。不同于已有文獻具體算法的設計,文中立足于從理論上分析無人機著陸中跑道能夠提供的視覺信息,得到兩個基本結論:

1)已知寬度的跑道邊緣線可以提供如下姿態和位置視覺導航信息:俯仰角、偏航角、高度(YW向)和偏離跑道中心線方向(ZW向)位置。

2)地平線可以提供視覺滾轉角和俯仰角導航信息;跑道橫向控制線可以提供滾轉角和跑道方向位置信息。

文中的研究對于進行基于跑道的視覺導航算法設計、精度分析和導航可觀性分析等具有理論價值。

[1] SHARP C S, SHAKERNIA O, SASTRY S S. A vision system for landing an unmanned aerial vehicle [C]∥Proceedings of the 2001 IEEE International Conference on Robotics and Automation, 2001: 1720-1727.

[2] SASA S, GOMI H, NINOMIYA T,et al. Position and attitude estimation using image processing of runway: AIAA 2000-0301 [R]. 2000.

[3] 白亮, 陳袱, 膝科嘉. 計算機視覺輔助無人機自主著陸系統 [J]. 彈箭與制導學報, 2006, 26(2): 320-321.

[4] 張小苗. 機載視覺著陸導航測量方法及關鍵技術研究 [D]. 長沙: 國防科學技術大學, 2008: 129-150.

[5] 張廣軍, 周富強. 基于雙圓特征的無人機著陸位置姿態視覺測量方法 [J]. 航空學報, 2005, 26(3): 344-348.

[6] 蔡鳴, 孫秀霞, 徐嵩. 視覺技術輔助的無人機自主著陸組合導航研究 [J]. 應用光學, 2015, 36(3): 343-350.

[7] 徐貴力, 倪立學, 程月華. 基于合作目標和視覺的無人飛行器全天候自動著陸導引關鍵技術 [J]. 航空學報, 2008, 29(2): 437-482.

[8] GUI Y, GUO P Y, ZHANG H L, et al. Airborne vision-based navigation method for UAV accuracy landing using infrared lamps [J]. Journal of Intelligent & Robotic Systems, 2013, 72(2): 197-218.

[9] ZHOU X, LEI Z H, YU Q F, et al. Videometric terminal guidance method and system for UAV accurate landing [C]∥Proc. SPIE 8387, Unmanned Systems Technobgy XIV，2012.

[10] 朱楓, 劉昶, 吳清瀟. 視覺約束下無人機位姿參數的后驗估計 [J]. 機器人, 2012, 34(4): 424-431.

[11] 莊麗葵, 丁萌, 曹云峰. 利用地平線與跑道邊緣線估計無人機著陸參數 [J]. 傳感器與微系統, 2010, 29(3): 104-108.

[12] 李飛, 譚樂祖, 唐亮. 基于跑道燈光的計算機視覺輔助無人機著陸 [J]. 兵工自動化, 2012, 31(1): 11-13.

Information Analysis of Vision Navigation Based on Runway

ZHANG Hongliang,GUO Pengyu

(College of Aerospace Science and Engineering, National University of Defense Technology, Changsha 410073, China)

Vision navigation based on runway is a common application in landing an unmanned aerial vehicle (UAV). From the information point in vision navigation, observability of UAV attitude and position knowing edges of runway, horizon and transverse runway line were analyzed. Two conclusions about visual navigation information were deduced. It is proved that yaw, pitch, altitude and sideways position can be calculated by viewing edges of the runway known width, and with additionally viewing the horizon and the transverse runway line, complete attitude and position can be known. The research can be theoretically referred by method design, precision analysis and observability analysis of visual navigation based on runway.

vision navigation; runway; horizon; UAV landing

2015-10-12基金項目:國家自然科學基金(11272347)資助

張紅良(1981-),男,江蘇沛縣人,講師,博士,研究方向:攝像測量、視覺導航、慣性導航。

V249

A