圖像透視特征提取方法及其在無人機視覺導航中的應用

摘 要： 近年來，圖像透視特征在無人機視覺導航中應用日益廣泛，因此結合近年來視覺導航技術的發展狀況，分析了圖像透視特征在無人機視覺導航領域中的重要作用。同時，還詳細介紹了圖像透視特征的提取方法，以及圖像透視特征提取方法在無人機視覺導航技術中的應用，如飛行器姿態角估計，高度估計以及相對位姿估計等。

關鍵詞： 透視特征； 無人機導航； 滅點； 透視變換

中圖分類號： TN919?34 文獻標識碼： A 文章編號： 1004?373X（2014）02?0016?05

0 引 言

無人機在監視、巡邏、搜索、救援、航拍、航測等領域具有廣泛的應用前景。以前最常用的無人機導航技術主要有慣性導航系統（Inertial Navigation System，INS）和全球定位系統（Global Position System，GPS）。然而這兩種系統都存在明顯的缺陷，如慣性導航系統在導航過程中存在累計誤差，對初始值過于敏感[1]，而全球定位系統并非在任何情況下都能夠獲取，且其精度往往滿足不了無人機導航的需要[1]。

近年來，視覺導航方法由于其自主性、可靠性，以及設備低重量、小尺寸、廉價等特點越來越成為導航策略領域的研究熱點，并且在無人飛行器（Unmanned Air Vehicles，UAV）上得到了廣泛應用。視覺導航通常指利用計算機模擬人的視覺功能，提取客觀事物圖像中的有價值信息并進行識別和理解，從而獲得載體相關導航參數的導航技術[2]。視覺導航技術主要包括圖像處理、計算機視覺、模式識別和信息融合等，其最早應用于地面機器人的障礙規避和路徑規劃，之后便逐漸廣泛應用于空中機器人導航。而圖像的透視特征作為一類典型的圖像特征，在視覺導航技術中具有十分廣闊的應用前景。因此本文針對圖像透視特征提取方法及其無人機視覺導航中的應用進行研究和總結，以供本領域研究工作者參考。

1 圖像透視特征提取方法

能夠應用于無人機視覺導航的圖像透視特征提取方法有很多，最常見的是對滅點的多種提取方法以及通過透視變換對圖像信息進行提取等。

1.1 滅點的提取

在理想情況下，用針孔相機拍攝平行線時，若圖像中與這些平行線相對應的直線相交于一點，那么這個交叉點就被稱為滅點（Vanishing Point），這個點有時候是位于無窮遠的。一個平面內的滅點所決定的直線被稱為消失線（Vanishing Line）。圖1展示了一個立方體的三個滅點和消失線，其中一個滅點位于無窮遠處[3]。

圖1 立方體的三個消失點和消失線

Straforini等人提出了一種滅點提取方法，其主要思想是用有界并且已分區的極坐標空間中的點來表示線段，并且將極坐標空間中相同分區中的線段歸于一類[4]。然而這種方法忽略了線段參數的精度問題，且會受到相機與被拍攝物體的相對位置的局限，并且極坐標空間的分區要依賴于相機與被拍攝物體間相對角度。

目前最常見的滅點提取方法是基于Hough變換（Hough Transform，HT）[5]的提取方法。Hough變換是利用圖像的全局特性將源圖像上的點映射到用于累加的參數空間，從而對已知解析式曲線進行識別的方法。最簡單的Hough變換是對直線進行識別，通過Hough變換可以把對圖像空間中的直線檢測轉換為對參數空間中的點的檢測，即點?線對偶。另一種通過Hough變換求直線的基本思想是點?正弦曲線對偶，其原理與點?線對偶相似，只是用極坐標描述直線使圖像空間中的點于參數空間中的正弦曲線相對應，從而避免了點?線對偶在圖像空間的直線斜率無窮大時累加器尺寸過大的弊端。為了解決Hough變換運算量大的問題同時改善Hough變換的實時探測性能，Leandro A.F.等人針對實時直線探測進行了Hough變換的改進[6]，J. Matas等人將一種改進的Hough變換法（Progressive Probabilistic Hough Transform，PPHT）用于機器人的直線探測[7]。當利用Hough變換或其改進方法得到圖像空間直線后，即可通過直線的坐標求出直線的交叉點，即滅點的坐標。

對于平面內線段較多的情況，人們最常使用另一種基于Hough變換提取滅點的方法[8]，該方法是將參數空間置于一個高斯球體上，此時與圖像中直線相對應的平面和球體相交并且使球體中心與投影中心重合，則滅點就是大圓的交點，如圖2所示[9]。

L. Quan等人曾對上述方法進行了改進，他們采用分級的Hough變換方式在室內進行滅點的探測[9]。而Magee等人則基于上述方法，將所有線段都投影到高斯球體上來增加判斷的準確性，但是此方法使計算量大大增加[10]。為了減小計算的復雜度，Brillault建立了一個線段的不確定性模型[11]，而Tuytelarrs等人是通過將線段的參數映射到有界的Hough空間來減少計算量[12]。此外，Shufelt等人基于上述方法研究了另外兩種關于提取滅點的方法[13?14]。一種是整合相機方位和成像物體幾何形狀的先驗知識，另一種則是用邊緣誤差建模，從而對線段的探測精度和長度進行分析。

近些年來，人們又提出了一些新的滅點探測方法，如Andres Almansa等人提出了一種基于Helmoltz原則的方法[15]，該方法不需要先驗知識，同時能保證很高的準確性， 不過此方法需要犧牲較大的計算量。

針對滅點的檢測，Faraz M. Mirzaei等人使用了隨機抽樣一致性算法（RANdom Sample Consensus，RANSAC）[16]，而Wolfgang Forstner加入了MLESAC估計法并且提出了一種對點、線的齊次坐標和旋轉的不確定度的最小表示，從而避免出現奇異矩陣[17?18]。

對于現有的滅點檢測技術的內部缺陷，Jean?Charles Bazin等人使用了基于區間分析理論（Interval Analysis Theroy）的分支定界（branch?and bound）程序[19]。另外，Jean?Philippe Tardif提出了一種基于J?linkage的滅點檢測算法，這種方法既不需要迭代也不依賴于對空間內滅點的統計，是一種較新的方法[20]。

1.2 圖像透視投影及透視變換

透視投影[21]是計算機圖像學中一種基本的投影方式，是在二維平面上將三維感官體現出來，因此具有和人眼類似的視覺體驗。

基本的透視投影模型由視點E和視平面P構成，如圖3所示，對世界中的任一點，構造一條起點為視點E并經過該點的射線，射線與視平面的交點即是該任意點的在平面P上的透視點。將這一系列透視點排列到視平面上即產生了三維世界的透視圖。

視點E與視平面之間的射線組成的可視空間可以視為一無限大椎體，但因人類實際視野范圍有限，往往取一特定范圍使其有限大。如圖4所示，該有限棱臺被稱為視椎體，其所包圍區域是可視區域，其余為非可視區域。

定義透視投影模型——視點E位于原點，視平面垂直于z軸，且四邊分別平行于x軸和y軸。其中視平面距視點的距離為n，三維物體上的實際點坐標設為（x，y，z），其在視平面的透視投影點坐標為（xp，yp，zp），如圖5所示。

從實際點和投影點分別做z軸的垂線并在x?z平面上投影，則有：

在x?z平面上投影：

[xPn=xz]

在y?z平面上投影：

[yPn=yz]

解得：

[xP=x·nz， yP=y·nz， zP=n] （1）

式（1）便是透視投影的變換公式，由于投影點始終位于視平面，所以zp恒等于n，實際計算的時候可以不考慮zp。但當投影平面為凸面或凹面時，zp不恒等于n，此時投影圖形會產生違背人類視覺的形變，需另作考慮。

根據透視投影原理，這里希望獲得一個與圖3中P平面相平行的平面上的圖像，即一個觀測者在對事物進行垂直觀測時所獲圖像。但實際中，特別在無人機的視覺導航中，攝像設備往往不能垂直觀測該平面，而這種情況下所得到的視平面上的待觀測目標是扭曲的，不利于導航和識別。因此需要對直接獲取的視平面圖像進行透視變換以獲得更為理想的圖像。

透視變換的原理十分簡單，其實質是將一個嵌入在三維空間的二維平面上的映射點映射到另一個不同的二維空間。為了使所獲扭曲圖像恢復原本的形狀，需要給這些二維平面的點額外增加一維，即給二維空間引入z維，并將z值設為1，之后將該空間再投影到輸出的二維空間，其透視變換公式為：

[x′=a11x+a12x+a13a31x+a32x+a33 ； y′=a21x+a22x+a23a31x+a32x+a33] （2）

1.3 圖像透視特征提取方法在無人機視覺導航中的應用

無人機視覺導航技術是利用計算機視覺和圖像處理等方法從已獲圖像中提取無人機的導航參數以便實現自主導航，其主要提取的無人機導航參數包括姿態、位置、速度等[3]。由于圖像透視特征的提取方法應用于速度參數提取的方面較少，因此本文著重從飛行器姿態與位置相關參數提取的角度介紹圖像透視特征提取方法在無人機視覺導航中的應用。

（1） 姿態角估計

姿態角是飛行器飛行姿態的重要參數，可分為俯仰角、滾動角、偏航角等。俯仰角指機體縱軸與水平面的夾角，在飛機起降過程的導航中尤為重要；滾動角指機體橫軸與水平面的夾角，對飛行器的平穩和方向調整十分重要；偏航角指機體縱軸在水平面上的投影與地面坐標系x軸的夾角，用于檢測飛機的飛行方向。

滾動角提取最常用的視覺導航方法是直接利用提取的地平線進行估計[22]，偏航角主要根據分析“T”形等特殊形狀的人工標志進行測算[23]。但俯仰角無法像前兩者那樣在由攝像機獲取的圖像上直觀地獲取，因此需要對其進行間接提取。下面主要從滅點的角度簡述無人機俯仰角的估計方法。

在此方法中，利用滅線的特點可求得飛行器位姿的關鍵參數。所謂滅線即指平行直線的所有滅點所在的直線。因此可以在一剛性支架兩端分別固定一架攝像機，同時使其面向同一場景且光軸平行，從而獲取滅線的位置。以飛機著陸為例，設飛行器相對著陸點的俯仰角為θ，飛行器與地面相對高度為H，攝像機坐標系為XcYcZc，世界坐標系為XwYwZw，攝像機光心為FOVC，攝像機平移方向在圖像中的膨脹中心為FOE，則根據圖6所示的幾何關系可得到滅線和滅點的位置[24]。

圖6 飛行器著陸模型

當攝像機預先標定時，利用飛行器著陸模型圖上滅點、光心、膨脹中心三個參數即可求得俯仰角θ，公式如下：

[θ=arctanLbfP=arctanLffP=arctanfP（LP-Lf）f2b+LbLf] （3）

式中：Lf為FOVC到FOE距離；Lh為FOVC到滅點距離；fp為XcYcZc坐標系的原點到FOVC的距離，即攝像機焦距[24] 。

（2） 高度估計

由立體視覺原理可知，若兩個攝像機間的基線長度、攝像機焦距以及目標特征點在圖6中的視差已知，則可通過式（4）計算得到目標特征點相對于攝像機深度yc的信息。

[yC=bfPD] （4）

式中：b為兩攝像機間的基線長度；fp為攝像機焦距；D為雙目視差。

若假設攝像機與飛行器位置重合，則根據式（3）所得俯仰角θ，運用三維重建方法可近似求得攝像機相對地面的高度H如下所示：

[H=ycsinθ+zccosθ] （5）

式中zc為特征點到光心的距離[24]。

另一種關于圖像透視特征的飛行器高度提取方法是將一個魚眼相機結合一個透視相機進行高度估計[25]。與傳統的基于特征匹配的立體視覺系統不同，這種方法是根據兩幅圖像的相同特征的對應對高度進行測量從而對地平面進行檢測。

（3） 相對位姿估計

在相對位姿估計過程中，基于圖像透視特征的視覺導航方法具有直觀、精度高的特點，例如可以通過透視變換及其相關算法方法進行信息的采集和處理。

以飛行器與地標的相對位姿估計為例，通過圖象矩與聲納傳感器所獲信息的結合即可估計出UAV與地標的相對位置信息[26]。此外，用基于單應性矩陣 （Homography）[27]分解的相對位姿估計算法[28]不僅能得到飛行器相對于地標的位置，還可以得到飛行器與地標間的三維姿態信息，因此單應性矩陣在視覺導行中的應用比圖像矩更為廣泛。例如Kanade T等人就用其實現了微小型無人直升機的位姿估計和導航控制[29]，任沁源等人同樣將單應性矩陣應用于他們所提出的基于視覺信息的UAV位姿估計算法中[30]，從而獲得無人機的位姿信息[31]。

2 展 望

無人機視覺導航技術由于其成本低、方法簡便等特點在實際無人機導航中具有廣泛的應用。其中關于滅點等圖像透視特征的無人機自主導航方法更是在近幾年得到了大量研究并有了很大進展。然而僅有圖像透視特征視覺導航方法使無人機進行精確的自主導行是遠遠不夠的，如對于運動目標的檢測，需要采用光流法、背景差法、幀差法等進行實現。另外，視覺導航方法本身也并不能夠全面地進行無人機導航。雖然視覺導航方法能構精確應用于簡單的室內環境、有特殊地標的機場和空曠的外界環境，然而在應用于室外復雜環境時，視覺導航方法則會受到限制并且減少可信度。如在復雜環境中飛行過快時，無人機導航須要進行大量的算法處理同時保證較少的延時[1]，這是僅僅通過視覺導航方法很難達到的。因此需要運用相關的濾波方法和數據融合算法將視覺導航方法得到的信息與其他導航方法進行有效融合使無人機在室外復雜環境的導航精度提高。同時，還應當針對如何提高無人機視覺導航算法的速度，如何面對無人機自身模型的不確定性和外界的干擾等問題進行進一步的研究，使視覺導航方法在無人機導航中的應用更加廣泛。

參考文獻

[1] 吳顯亮，石宗英，鐘宜生.無人機視覺導航研究綜述[J].系統仿真學報，2010，22（z1）：62?65.

[2] 王先敏，曾慶化，熊智，等.視覺導航技術的發展及其研究分析[J].信息與控制，2010，35（5）：609?613.

[3] ROTHER Carsten. A new approach to vanishing point detection in architectural environments [J]. Image and Vision Computing， 2002， 20（9/10）： 54?59.

[4] STRAFORINI M， COELHO C， CAMPANI M. Extraction of vanishing points from images of indoor and outdoor scenes [J]. Images and Vision Computing， 1993， 11： 91?99.

[5] BALLARD D H. Generalizing the hough transform to detect arbitrary shapes [J]. Pattern Recognition， 1981， 13（2）： 111?122.

[6] FERNANDEZ LA F， OLIVEIRA M M. Real?time line detection through an improved hough transform voting scheme [J]. Pattern Recognition， 2008， 41（1）： 299?314.

[7] MATAS J， GALAMBOS C， KITTLER J. Robust detection of lines using the progressive probabilistic hough transform [J]. Computer Vision and Image Understanding， 2000， 78（1）： 119?137.

[8] BARNARD S T. Interpreting perspective images [J]. Artificial Intelligence， 1983， 21（4）：435?462.

[9] QUAN L， MOHR R. Determining perspective structures using hierarchical hough transform [J]. Pattern Recognition， 1989， 9（4）： 279?286.

[10] MAGEE M J， AGGARWAL J K. Determining vanishing points from perspective images [J]. Computer Vision， Graphics and Image Processing， 1984， 26（2）： 222?231.

[11] BRILLAULT?O’MAHONY B. New method for vanishing point detection [J]. Computer Vision， Graphics， and Image Processing， 1991， 54（2）： 289?300.

[12] TUYTELAARS T， VAN GOOL L， PROESMANS M， et al. A cascaded hough transform as an aid in aerial image interpretation [C]// Proceedings of the 6th International Conference on Computer Vision. Bombay， India： ICCV， 1998： 67?72.

[13] SHUFELT J A. Exploiting photogrammetric methods for building extraction in aerial images [J]. International Archives of Photogrammetry and Remote Sensing， 1996， 331： 74?79.

[14] SHUFELT J A. Performance Evaluation and Analysis of Vanishing Point Detection Techniques [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1999， 21（3）：282?288.

[15] ALMANSA A， DESOLNEUX A， VAMECH S. Vanishing point detection without any a priori information [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2003， 25（4）： 502?507.

[16] MIRZAEI F M， ROUMELIOTIS S I. Optimal estimation of vanishing points in a manhattan world [C]// Proceedings of 2011 International Conference on Computer Vision. Barcelona， Spain： ICCV， 2011： 2454?2461.

[17] FORSTNER Wolfgang. Optimal vanishing point detection and rotation estimation of single images from a legoland scene [C]// Proceedings of ISPRS Commission III Symp Photogramm Comput Vis Image Anal. [S.l.]： [s.n.]， 2010： 156?162.

[18] TORR P H S. MLESAC： a new robust estimator with application to estimating image geometry [J]. Computer Vision and Image Understanding， 2000， 78（1）： 2000?2016.

[19] MIRZAEI F M， ROUMELIOTIS S I. Globally optimal line clustering and vanishing point estimation in manhattan world [C]// Proceedings of 2011 IEEE International Conference on Computer Vision and Pattern Recognition. Barcelona： CVPR， 2012： 2454?2461.

[20] TARDIF J?P. Non?iterative approach for fast and accurate vanishing point detection [C]// Proceedings of 2009 IEEE 12th International Conference on Computer Vision. Kyoto： IEEE， 2009：1250?1257.

[21] 孫家廣，楊長貴.LearningOpenCV[M].北京：清華大學出版社，1998.

[22] ETTINGER S M， NECHYBA M C， IFJU P G， et al. Vision?guided flight stability and control for micro air vehicles [J]. Advanced Robotics， 2003， 17（7）： 617?640.

[23] SHARP C S， SHAKERNIA O， SASTRY S S. A vision system for landing an unmanned aerial vehicle [C]// Proceedings of 2001 IEEE International Conference on Robotics and Automation. [S.l.]： IEEE， 2001， 2： 1720?1727.

[24] 潘翔，馬德強，吳貽軍，等.基于視覺著陸的無人機俯仰角與高度估計[J].浙江大學學報：工學版，2009（4）：692?696.

[25] EYNARD D， VASSEUR P， DEMONCEAUX C， et al. UAV altitude estimation by mixed stereoscopic vision [C]// Proceedings of 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems. [S.l.]： IEEE， 2010： 646?651.

[26] SARIPALLI S， MONTGOMERY J F， SUKHATME G S. Vision?based autonomous landing of an unmanned aerial vehicle [C]// Proceedings of IEEE international conference on Robotics and automation. [S.l.]： IEEE， 2002， 3： 2799?2804.

[27] HARTLEY R， ZISSERMAN A. Multiple view geometry in computer vision [M]. Cambridge： [s.n.]， 2000.

[28] FAUGERAS O D， LUSTMAN F. Motion and structure from motion in a piecewise planar environment [J]. International Journal of Pattern Recognition and Artificial Intelligence， 1988， 2（03）： 485?508.

[29] KANADE T， AMIDI O， KE Q. Real?time and 3D vision for autonomous small and micro air vehicles [C]// Proceedings of 2004 CDC 43rd IEEE Conference on Decision and control. [S.l.]： IEEE， 2004， 2： 1655?1662.

[30] 任沁源，李平，韓波.基于視覺信息的微型無人直升機位姿估計[J].浙江大學學報：工學版，2009（1）：18?22.

[31] 谷雨.空中機器人視覺導航與控制若干問題研究[D].杭州：浙江大學，2009.