視覺著艦中非合作結構化特征匹配算法

畢道明，黃 輝，范 靜，陳恭彥，張 海

（1.國防科技大學空天科學學院，長沙410073；2.沈陽飛機設計研究所，沈陽110035；3.北京航空航天大學自動化科學與電氣工程學院,北京100191）

艦載機、航母間的相對定位與運動測量對著艦安全有著決定性作用，考慮到全球導航衛星系統存在被干擾的可能[1]，開展全自主抗干擾著艦定位技術研究有著十分重要的意義?；诜呛献髂繕说囊曈X著艦技術，可以最大限度地降低系統間耦合性，并提高系統可用性，是重要的發展方向。

視覺著艦系統利用機載攝像頭獲取目標的圖像信息，通過圖像處理技術計算出無人機與甲板的相對位姿，最后將位姿信息發送給飛行控制系統，引導無人機自主完成著艦動作[2]。許多研究機構與高校都開展了相關方面的研究，并取得一定的研究成果。文獻[3]和文獻[4]利用特征點匹配計算兩幀圖像的位姿變換，其特征點提取方法受到環境干擾影響較大，且不能直接得出無人機與艦船的相對位姿，需要借助一方的絕對位姿信息。文獻[5]設計了一種T形紅外熱輻射合作目標來引導著艦；文獻[6]設計了一種彩色非對稱合作目標,通過計算合作目標的最小周長多邊形來獲取輪廓上的角點；文獻[7]設計了一種新型的三維立體合作目標與定位算法，提升了著艦過程中的抗遮擋魯棒性。然而針對合作地標點的位姿解算依靠艦船，隱蔽性較差，且不能做到真正的自主性。

針對上述問題，本文提出了一種視覺著艦中魯棒的非合作特征點匹配算法，僅利用航母自身建筑及標志標線的結構特性選取位置穩定的結構特征點，可以有效避免現有特征點算法因成像質量、視角變化等原因造成的特征點位置不穩定問題，特征點匹配誤差小于1個像素，進而保證視覺解算精度，并具有抗戰損、全自主的優點。

1 魯棒特征點設計思想

視覺著艦的關鍵是：艦載機在下滑過程中，能夠準確獲得位置精確已知的視覺特征點，進而通過機器視覺解算，得到艦載機與航母的相對位置與運動信息。為滿足不同情況下視覺著艦的要求，如圖1所示，非合作視覺特征點能夠穩定存在、定位精度高，且具有合理的分布，提高視覺位姿解算的精度。所謂非合作視覺特征點，指的是僅利用航母自身建筑及標志標線的結構特性選取位置穩定的結構特征點，而不依靠人為放置額外標志物，從而可以達到全自主的優點。目前視覺導航中應用最為廣泛的視覺特征有基于加速分割的特征[8]（Fea?tures from accelerated segment test，FAST）、有向FAST與旋轉BRIEF[9]（Oriented FAST and rotat?ed BRIEF，ORB）、加速魯棒特征[10]（Speeded up robust feature，SURF）等。

圖1 視覺著艦問題描述Fig.1 Problem description of visual landing

ORB特征是一種改進的FAST角點特征，在考慮像素鄰域點的灰度變化的基礎上計算了特征點的主方向。然而其基本原理仍然是考慮圖像的灰度變化，沒有利用周圍環境信息的約束，無法對特征點進行穩定有效檢測。

SURF特征被認為是目前精度最高、穩定性最好的特征匹配算法，其是對尺度不變特征變換[11]（Scale invariant feature transform，SIFT）特征的改進，其基本結構、步驟與SIFT相近，但具體實現的過程有所不同。然而SIFT、SURF特征點為不同尺度下小區域圖像內容的統計指標峰值，從提取原理上看，該方法避免了特征點出現在直線上，其特征點與結構近似無關，不能作為計算錨點。

圖2給出了航母模型的ORB、SURF特征，可見特征點并不能保證出現在穩定的外形與標志結構上，且實驗表明隨著光照、距離、視角的變化特征點變化明顯，不能達到利用航母表面標定點進行視覺定位解算的目的。

圖2 主流特征點提取算法效果圖Fig.2 Effect diagrams of mainstream feature point ex?traction algorithm

本文提出了以外形及標志標線為對象的結構化特征點檢測方案，將圖3中穩定存在的特征點提取出來，但并不能利用ORB、SURF等方法可靠獲得特征作為非合作特征，如艦尾的角點、跑道線的角點等，核心思想是挑選穩定存在的直線交點，因其具有抗干擾能力強、定位準確的特點，但現有基于灰度信息的圖像特征算法無法滿足要求，必須設計新的結構特征檢測與匹配算法。

圖3 特征點的選取Fig.3 Feature point selection

2 結構化特征點設計

利用圖像的結構化特征點一定是由直線相交所形成這一思想，在圖像結構邊緣檢測的基礎上進行特征點的檢測。將不同方向的結構化邊緣進行組合，若存在角點，則邊緣將會產生交點，該交點位置即為圖像結構化特征點。

在直線檢測方法中，線段檢測子（Line seg?ment detector，LSD）算法被認為是目前最有效的方法之一[12]，其按照梯度方向的一致性直接將鄰近像素編組為線段區域，能在線性時間內得出亞像素級精度的檢測結果，具有速度快、調節參數少的優點，但也存在著一些不足：(1)算法對每個像素點在區域增長步驟中標記了是否使用，所以每個像素點只能被一條直線包含，當圖像上兩直線相交時至少有一條直線被分為兩段；(2)雖然使用降采樣和高斯濾波可以降低圖像噪聲的影響，卻造成小尺度下線段的提取精度下降；(3)遮擋、光照變化等環境因素會影響線段的連續性和穩定性。

圖4給出了LSD直線檢測效果，圖中紅色線段為檢測結果，可見LSD能夠有效檢測結構性邊緣，但斷續線段增加了結構特征識別的難度，不利于非合作特征提取的數量最大化，而特征的數量、分布對后續相對定位解算至關重要，因此必須對基于LSD的結構特征提取進行改進。

圖4 LSD檢測效果圖Fig.4 Effect diagram of LSD detection

2.1 LSD算法改進

改進思想是對LSD提取線段進行合理接續。

首先根據線段長度進行排序，得到l={l1,l2,l3,…,ln}，從最長的線段l1開始進行線段分組，因為長線段往往來自具有連續強梯度的圖像區域，所以更加可靠。

通過直線斜率篩選，得到候選線段集合，有

式中ks為衡量線段斜率相近程度的篩選閾值。

通過端點距離篩選，得到候選線段集合

式中ds為衡量線段端點相近程度的篩選閾值。

通過中點斜率篩選，得到最終候選線段集合

式中kn為衡量線段中點斜率相近程度的篩選閾值。

需要注意的是，3個篩選步驟的順序很重要，按照合理的優先級依次進行可以有效提交合并效率，因為角度篩選的計算最簡便，所以應該最先使用，其次端點距離，最后中點斜率差。線段分組及合并重復迭代地進行，直到無法再分組及合并為止。具體的算法流程如圖5所示。傳統LSD直線提取算法與優化后的直線提取算法效果對比如圖6所示。

圖5 線段合并流程圖Fig.5 Flow chart of line segment merging

從對比圖6中可以看出，改進后的直線檢測算法刪除了過短的線段，保留了穩定性較高的直線，將原本被割斷的直線被合并在了一起，提升了結構化特征點的提取穩定性。

圖6 直線檢測算法效果對比圖Fig.6 Comparison of the effect of line detection algo?rithms

2.2 結構化特征點定位

在改進線段連續性后，可以依據穩定直線進行結構特征點選取。從LSD直線原理來看，一個點只能屬于某一條直線，因此提取線段不會相交，需要按一定的規則找到優化后的線段的交點。本文采用了以下方法：首先，找到符合可能相交的兩條線段，構成線段集合?，相交判定準則為：兩條線段的最近端點的距離小于給定值ds，且斜率之差大于給定值ks；然后將線段進行直線參數化描述；最后求取參數化直線的交點，即為結構化的角點，從而得到結構化特征點集合P。

式中：kij為線段li和lj斜率差；dij為線段li和lj最近的端點距離。

經以上處理得到的結構化特征點數量較多，按照直線提取的穩定性對特征點進行排序，將長直線的交點作為最高優先級，并按照特征點的分布進行航母表面區域網格化優先級排序，圖7給出了部分最高優先級結構特征點。

圖7 部分結構化特征點分布圖Fig.7 Distribution of some structured feature points

3 基于BRISK的結構化特征點匹配

在應用中，以上操作僅僅是獲得了實時圖像中的結構特征點，尚未建立起與基準圖中參考點的匹配關系，鑒于現有基于描述符的匹配算法不能保證所有結構特征能夠被有效匹配，且干擾情況下僅能實現個別特征點的匹配，本文采用基于特征描述符灰度圖像預匹配與單應陣空間匹配兩階段的方案，可以實現所有實時圖像結構特征點的有效利用，對提高后續定位解算精度與可靠性有重要意義。

3.1 基于BRISK描述符預匹配

由于結構化特征點的提取并不是僅僅依靠圖像的灰度變化或者圖像內容的統計指標峰值，所以用普通的描述符并不能很好地描述該關鍵點周圍像素的信息，從而造成匹配丟失或者誤匹配現象。鑒于結構化特征點具有明確的角點及灰度梯度變化性質，采用二進制魯棒尺度不變特征點（Binnry robust invariant scalable keypoint,BRISK）[13]描 述符進行預匹配。

BRISK特征描述符是一種具有尺度不變性和旋轉不變性的二進制描述子，采用的是鄰域采樣模式。相比BRIEF[14]描述子隨機選取兩個像素點做二進制比較，BRISK具有旋轉、尺度不變性和對噪聲的魯棒性。圖8給出了BRISK算子采樣情況，以關鍵點為中心，進行多層、多尺度圓周采樣，每個虛線圓代表對應位置的高斯平滑標準差σ，其正比于每個采樣點與各自中心的距離。

圖8 BRISK采樣模式Fig.8 BRISK sampling mode

然后對N個點兩兩選取組成點對，共有N(N-1)/2個點對，表示為(pi,pj)。這些點的平滑 像 素 值 分 別 為I(pi,σi)、I(pj,σj)。根 據 以 上 信息，可計算出局部梯度，有

對所有采樣點對集合A，根據距離長短定義短距離點對S和長距離點對的子集L，特征點的主方向計算如下

描述符的每bit值等于短距離點對的比值，即

式中α是根據計算的特征點主方向的旋轉角度。

通過式（8），生成二進制描述符，并選擇Ham?ming距離進行匹配。

3.2 結構特征點的匹配策略

在圖像清晰、實時圖與基準圖尺度相近情況下，通過BRISK特征描述符可實現大部分結構化特征點匹配，但使用大量基準圖并不是最優的解決方案，為實現少量基準圖下的所有結構特征點有效匹配，在BRISK特征匹配基礎上設計了單應陣再匹配方案。

單應陣匹配就是在已有BRISK匹配基礎上，利用已知的確定特征間的位置關系，依據成功匹配特征點確定的實時圖、基準圖間單應陣，對BRISK未匹配的實時圖結構特征點進行空間位置匹配，實現結構特征點的最大利用。

算法設計中，首先采用尺度相近基準圖、實時圖匹配，然后進行實時圖相鄰幀匹配的方法，提高BRISK特征匹配成功率，基于基準圖、實時圖中成功匹配點集p1、p2，建立當前實時圖與基準圖間的單應變換矩陣，有

利用H可以獲得基準圖結構化特征點(xp,yp)在實時圖中的大致位置，即

進而在實時圖的小區域內尋找直線的交點，因在結構化特征點選擇方案設計中充分考慮了特征的鄰域突出性，可以有效避免誤匹配，最終獲得匹配點，有

綜合考慮圖片大小和H陣計算精度對搜索鄰域σ的影響，采用自適應方法對σ進行修正，有

式中：F為圖片大??；m為BRISK預匹配成功的特征點對數。

通過實驗發現圖片大小為720像素×720像素，特征點對數為15時，對應σ=2可以獲得較好的效果。

由圖9可見，在BRISK描述符預匹配的基礎上，利用結構化特征點的結構化信息實現再匹配，可以找回部分丟失的匹配點，實現結構特征點的最大利用。

圖9 特征匹配效果圖Fig.9 Feature matching renderings

4 位姿解算

首先定義基準幀和當前幀兩個概念，然后在航母中無人機的著陸甲板選擇一點為航母坐標系原點，坐標系按照定義的各軸向確定得到航母坐標系XwYwZw，無人機坐標系為XpYpZp，之后在基準幀中保存結構化特征點的世界坐標，獲取實時圖后，用第1幀與基準幀進行特征匹配，這樣就獲取了第1幀中結構化特征點在世界坐標系中的坐標；最后根據N個3D空間點以及它們的投影位置，利用EPnP[15]算法估計相機相對于航母模型的相對位姿。依次將前一幀當作當前幀的基準幀，進行特征匹配，并估計位姿，如此循環。

5 實驗結果與分析

為驗證視覺著艦中魯棒特征點匹配算法設計的有效性，設計一套半物理仿真平臺進行實驗驗證，航母模型采用1∶700的遼寧艦模型。測試平臺為 戴 爾i5?8500T＠2.10 GHz，8 GB內 存，64位Linux操作系統。算法基于OpenCV庫在KDevel?op開發環境下編寫。

實驗在實際著艦下滑角情況下采集視頻，并選擇1 000 m距離視覺效果作為目標場景，對ORB、SURF以及本文提出算法的特征匹配效果進行對比，結果如圖10所示。算法效果對比如表1、2所示。

由圖10及表1、2可見，ORB算法提取的特征點數雖然最多，但是其分布不規律、過于集中在部分區域，且不穩定，不能滿足定位解算需求。SURF算法提取的特征點雖具有較好分布，但不能保證出現在結構化邊緣上，特征點位置隨成像質量、視角的變化而變化，無法滿足相對位置解算的需要。本文算法相比于其他算法能更好地提取到圖像的結構化特征點，具有更好的抗尺度、旋轉及成像質量變化的能力，且可利用LSD算法能夠將非合作特征點定位誤差控制在1個像素以下，并能保證算法的實時性，可為機器視覺解算提供位置精度高且穩定的參考特征。

表2 算法平均耗時對比Table 2 Compar ison of algor ithm average time con?sumption ms

6 結 論

本文針對視覺著艦應用，提出了一種非合作視覺特征點設計方法，利用LSD直線檢測算法實現航母外形及標志標線結構化角點的高精度、高可靠性檢測，該算法可有效抑制尺度、旋轉、視角和成像質量等多種因素的不利影響，充分利用航母自身結構及視覺圖像的穩定性為視覺著艦提供穩定、定位精度高的圖像特征點，并通過實驗驗證了算法的有效性。