不同季節下無人機航拍圖像與衛星圖像匹配方法研究

任 艷，劉勝男，陳新禹，黃振家

(1 沈陽航空航天大學人工智能學院，遼寧 沈陽 110136；2 沈陽航空航天大學自動化學院，遼寧 沈陽 110136)

0 引言

先進的導航系統是決定無人機完成作戰任務、提高生存力的關鍵。目前無人機常用的導航方式有:全球衛星導航系統(global navigation satellite system,GNSS)[1-2]、慣性導航系統((inertial navigation system,INS)[2-3]、地形輔助導航、多普勒導航、組合導航系統等。其中使用最廣泛的為GNSS。然而,GNSS系統易受其他無線電信號干擾,導致定位精度降低,惡劣時甚至完全無法定位。INS系統通過處理陀螺儀和里程計傳感信號來間接估計無人機的航路與位置,可靠性較高,但由于導航系統中缺少閉環校正過程,在航程中會產生誤差累積,存在著無法單獨使用和難以持續穩定導航的問題。

隨著視覺傳感器、計算機視覺技術的迅速發展,視覺導航技術逐漸顯露出解決上述問題的優勢[4-5]。同時視覺處理包含有信息校正的閉環回路,因此視覺導航技術可以作為其他導航系統的有益補充。目前視覺導航技術主要是將計算機視覺與INS相結合,即以計算機分析得到的地面圖像信息來修正INS的誤差。但由于INS質量較大,上述技術尚不適用于負載能力有限的無人機。

近年來,無人機視覺定位技術受到了研究者的大量關注,各類基于計算機視覺的圖像匹配算法被陸續提出。文獻[6]提出了一種基于NCC(normalized cross correlation)的圖像匹配算法。該算法通過計算像素值的累積和與平方和,并使用降采樣過程,降低了程序運行時間和復雜度。但該算法對局部強度的變化很敏感,匹配效果不佳。文獻[7]提出了一種基于改進SURF(speeded up robust features)[8]的圖像匹配算法。該算法引入了顏色、信息熵理論和一系列約束條件來提高圖像匹配精度。該算法匹配速度快,且具有仿射和旋轉不變性的優點,但在處理四季變化圖像時,易出現匹配錯誤。文獻[9]提出了一種面向目標定位的、基于區域劃分的圖像匹配框架。該算法將檢測到的Harris角點合并到SIFT(scale invariant feature transform)關鍵點集中,以實現圖像匹配。該算法在復雜的模擬航拍圖像上進行驗證,取得了較好的效果。但該算法是利用遙感圖像來模擬無人機航拍圖像,未體現對真實無人機航拍圖像的實驗驗證。文獻[10]提出了一種基于abBRIEF描述符的無人機圖像與不同尺度衛星圖像的匹配算法。該算法在BRIEF(binary robust indenpendent elementary features)[11]描述符中添加了顏色信息。然而,顏色信息在顯著的季節外觀變化中沒有獲得較理想的匹配結果。文獻[12]提出了一種基于空間尺度卷積的雙通道深度卷積神經網絡,該網絡在圖像之間進行匹配模式學習,以實現圖像匹配。卷積神經網絡方法需要基于大量的標注數據,目前尚未有公開的、真實的四季變化(尤其是雪景圖)的無人機航拍圖像庫供深度網絡進行訓練。

因此,在面向視覺定位的圖像匹配中,實時圖像和基準圖像獲取的傳感器不同、光照差異、季節變化會造成兩者提取到的特征存在差異,從而導致匹配錯誤[13]。例如冬季雪后地物被冰雪覆蓋,會造成無人機航拍圖像和春季衛星圖像在同一場景的視覺特征上出現較大差異,導致兩者在匹配時得到錯誤的定位結果。由于圖像邊緣特征集中了圖像中信息的大部分結構信息,也是地物被遮擋后較穩定的特征,較圖像的特征點相比,對四季變化特征不一致性具有較強的魯棒性。同時由于模糊信息粒具有描述不精確、不確定事件與現象的能力,因此文中基于模糊信息粒來提取地物信息被遮擋情況下無人機航拍圖像的不清晰邊界,進而建立針對四季變化、光照差異條件下異源圖像匹配方法,最后將該方法應用到無人機的視覺定位中。

1 算法

在無人機絕對視覺定位技術研究中,以參考數字衛星地圖為基準圖像,無人機實時航拍圖像為待匹配的目標圖像。由于基準圖像幅面大,因此將定位問題轉化為無人機航拍圖像與參考區域內所有瓦片圖像的匹配問題。通過解算目標圖像和瓦片圖像之間的匹配映射關系對無人機位置進行估計,得到定位信息。無人機絕對視覺定位示意圖如圖1所示。在無人機視覺定位中,高效的圖像匹配算法起著至關重要的作用。本節將提出一個基于模糊信息粒的異源圖像匹配算法。

圖1 無人機絕對視覺定位示意圖Fig.1 UAV absolute visual localization diagram

首先,根據衛星圖像和無人機航拍圖像的分辨率確定無人機航拍圖像的尺度縮放系數,進而對無人機航拍圖像進行尺度預處理;然后,基于模糊信息粒邊緣檢測算子,提取無人機航拍地物圖像與待匹配衛星瓦片圖像的邊緣;最后,對提取的圖像邊緣進行二值化,遍歷衛星瓦片,計算無人機二值圖像與衛星瓦片二值圖像之間的相似性,并根據相似性結果尋找最大值,從而得到最終的匹配結果。

1.1 尺度預處理

在一些應用中,來自衛星和無人機的異源圖像之間的匹配是非常重要的。例如,無人機的視覺定位、戰場感知目標識別中異源圖像間的信息融合等。無人機影像和衛星影像由于成像傳感器不同、高度變化等原因,分辨率存在較大差異。無人機影像的地面分辨率一般優于衛星影像,通常可以達到亞米級別甚至更小[14],而衛星影像的地面分辨率一般較低,通常在米級別或數米級別[15]。

現假設無人機飛行的地理參考區域的衛星圖像為G(衛星地圖的級別為l,地球赤道周長為d),在該區域上共有U幅瓦片地圖,即G={G1,G2, …,GU},其中Gu(u=1, 2, …,U)。令無人機航拍圖像為Iuav(即待匹配圖像),無人機的飛行高度為h,a為機載攝像機的像元尺寸,f為機載攝像機鏡頭的焦距,lat為地理參考區域衛星圖像G的緯度信息。無人機航拍圖像的地面分辨率ruav[16]與衛星瓦片圖像的地面分辨率rtile[17]的計算公式分別為:

(1)

(2)

則無人機航拍圖像的尺度縮放系數β為:

(3)

經尺度縮放之后的無人機航拍圖像為:

(4)

1.2 基于模糊信息粒的邊緣檢測方法

在四季變化的異源圖像(無人機航拍圖像與衛星圖像)匹配過程中,圖像在灰度特性和環境外觀等方面存在較大差異,導致異源圖像匹配困難。邊緣特征作為圖像的基本特征,集中了圖像信息的大部分結構信息,在無人機航拍圖像和衛星瓦片圖像之間具有較高的一致性。同時由于模糊信息粒具有描述不精確、不確定事件與現象的能力,因此文中基于模糊信息粒邊緣檢測方法實現異源圖像匹配,進而為無人機視覺定位提供技術儲備。

1.2.1 圖像的模糊信息粒表示

在圖像I的x和y維度上分別定義模糊集P={P1,P2, …,PM}和Q={Q1,Q2, …,QN},其中Pm(m=1, 2, …,M)和Qn(n=1, 2, …,N)可看作是由模糊集表示的信息粒,如圖2所示。

圖2 圖像的模糊信息粒示意圖Fig.2 Schematic diagram of fuzzy information granules for one image

Tmn(x,y)=(Pm×Qn)(x,y)=Pm(x)tQn(y)

(5)

(6)

(7)

(8)

1.2.2 模糊信息粒邊緣檢測算子

1) 生成FIG算子卷積核[19]。設信息粒Pm和Qn是高斯型隸屬度函數,即:

Pm(x)=exp(-σ(x-2)2)

(9)

Qn(y)=exp(-σ(y-2)2)

(10)

1.3 匹配

(11)

2 實驗結果與分析

為評估文中方法的性能,本節將在夏季和冬季的無人機航拍圖像上實驗驗證,并將結果與其他圖像匹配算法進行對比分析,主要包括SIFT[22],SSD(sum of squared differences)[23],NCC[24],SAD(sum of absolute differences)[25],MatchNet[26]和2chDCNN(2 channel deep convolution neural network)[12]。

2.1 實驗數據

在冬季,尤其是地面被積雪覆蓋的情況下,衛星影像包含的地面特征大量減少,圖像缺乏豐富紋理,故冬季衛星圖一般不適宜作為無人機視覺定位的基準圖庫。而夏季衛星圖地面信息特征明顯,更適合作為基準圖庫。因此文中選用夏季衛星圖作為匹配的基準圖庫。

實驗所用的夏季無人機航拍圖像來自于西北工業大學的數據集,圖像分辨率為2 000×2 000,待匹配的衛星圖像是在太樂地圖下載器下載的17級Google地圖,其中每幅瓦片圖像的分辨率為256×256。若選擇15級Google地圖,地面分辨率較大,無人機航拍圖像經過尺度預處理后較小,因此選擇17級Google地圖。所用的冬季無人機航拍圖像是由大疆無人機在遼寧省沈陽市沈北地區上空拍攝得到的,飛行高度為200 m與300 m,圖像分辨率為4 000×3 000。待匹配的衛星圖像是由太樂地圖下載器下載的15級Google地圖,其中每幅瓦片圖像的分辨率為256×256。夏季與冬季無人機航拍圖像如圖3、圖4所示。

圖3 夏季無人機航拍圖像Fig.3 Summer UAV aerial image

圖4 冬季無人機航拍圖像Fig.4 Winter UAV aerial image

2.2 匹配結果

在25對夏季圖像和10對冬季雪景圖像上對文中方法進行了驗證。其中每對圖像由無人機航拍圖像和相應地面實況的春季Google衛星瓦片組成。

由于FIG檢測算子受σ取值的影響,下面以航拍圖像為例,σ分別取0.01、0.02、0.04,得到不同的邊緣檢測算子,圖5給出了應用三個不同FIG算子得到的邊緣檢測結果。

圖5 不同σ取值的邊緣檢測結果Fig.5 Edge detection results with different σ values

從邊緣檢測結果可以看出,如果σ數值太大,則提取的邊緣體現的是圖像的主干邊緣,邊緣點較少,雖然提高了匹配速度,但邊緣會出現斷線現象。如果σ數值太小,則圖像的邊緣細小,此時邊緣會有噪聲出現,從而導致匹配難度的增加。因此綜合上述分析,文中飛行高度為200 m的無人機航拍圖像和衛星瓦片圖像選取的σ分別為0.22與0.11,飛行高度為300 m的無人機航拍圖像和衛星瓦片的σ分別為0.08與0.04。

為了進一步驗證文中匹配方法的有效性,使用交并比RIoU作為客觀評價指標,對匹配結果進行評價。RIoU評價圖像匹配結果時主要指模板圖像的地面真實位置和預測位置之間的重疊率,即兩個矩形框的交集和并集的比值[27-28]:

(12)

式中:Be表示預測的矩形框面積;Bt表示地面真實的矩形框面積。

RIoU值越大,表明真實值與測試值越接近,從而得到的圖像匹配效果也更好。圖6、圖7給出了文中方法與其他六種方法的圖像匹配示例圖。從左到右依次為UAV image,SIFT,SSD,NCC,SAD,2chDCNN,MatchNet和文中方法。紅色矩形為每個方法的預測位置,藍色矩形為地面真實位置。從矩形框可以看出,文中方法的匹配結果與地面真實位置最接近,明顯要優于其他方法。

圖6 冬季無人機航拍圖像匹配結果Fig.6 The matching results of UAV aerial images in winter

圖7 夏季無人機航拍圖像匹配結果Fig.7 The matching results of UAV aerial images in summer

此外,文中利用接收者操作特性曲線(ROC曲線)來進一步評價匹配結果的好壞[30]。ROC曲線給出了圖像重疊率大于重疊閾值所占比例,其中橫軸為重疊閾值,縱軸為成功率。重疊閾值越大,成功匹配的標準就越嚴格,即匹配成功率隨著重疊閾值的增加而降低。

文中提出的方法在冬季與夏季數據集上與其他六種方法的ROC曲線如圖8、圖9所示。

圖8 冬季圖像上各種方法的ROC曲線Fig.8 ROC curves of various methods on the winter UAV aerial image

圖9 夏季圖像上各種方法的ROC曲線Fig.9 ROC curves of various methods on the summer UAV aerial images

曲線下方的面積SAUC量化了整體的準確性,較大的SAUC代表了較好的性能。不同匹配算法的SAUC指標結果如表1所示。可以發現,文中方法在夏季和冬季數據集上的SAUC得分均高于其他匹配方法。雖然夏季圖像中不存在積雪遮擋,但無人機航拍圖像和衛星圖像通常是在不同時間、不同傳感器、不同觀測點/角度以及不同氣象條件下獲得的,導致兩幅圖像同一場景視覺特征上存在較大的差異,給圖像匹配帶來了影響。文中利用模糊信息粒描述不精確、不確定事件與現象的能力來提取地面圖像特征,并將相似但不完全一致的特征進行匹配,克服了差異性對匹配的影響,提高了圖像匹配的準確性。同時,模糊信息粒能夠通過簡單的計算實現圖像特征提取,具有高效性。此外,所有方法在夏季數據集上的表現都優于冬季數據集,這說明了積雪對無人機航拍圖像匹配的影響較大。文中方法在夏季數據集上的SAUC結果比冬季數據集的SAUC結果高,這是由于夏季相對于冬季圖像,能夠更加清晰地顯示出圖像的細節和特征,這對于圖像匹配的準確性有一定的促進作用。

表1 不同方法的實驗結果對比Tab.1 Comparison of experimental results of different methods

2.3 在無人機絕對視覺定位上的應用

為了驗證文中所提出的圖像匹配方法的有效性,將該方法應用在無人機絕對視覺定位上[29-30]。該實驗將無人機航拍圖像作為輸入圖像,將其與預存參考區域的Google衛星地圖進行匹配。文中選用的參考區域地圖是使用Arc Tiler下載器從Google地圖中下載的,由50幅分辨率為256×256的瓦片圖像組成,如圖10所示。其中每幅瓦片都帶有瓦片坐標。此時定位問題可轉化為無人機航拍圖像與參考區域內瓦片圖像的匹配問題。

圖10 衛星瓦片圖像Fig.10 Satellite tile images

在匹配過程中,式(11)用來計算和評價無人機航拍圖像Iuav與參考區域內瓦片圖像的匹配結果。最終與輸入圖像匹配度最高的瓦片坐標記為(xtile,ytile)。

然后,根據瓦片坐標與經緯度坐標轉換式[31](13)、式(14)將瓦片坐標轉換為無人機的經緯度位置信息(°),從而得到無人機的定位結果。

(13)

(14)

無人機絕對視覺定位軟件界面以Visual C++為開發平臺,使用MFC庫設計并實現了界面顯示。

該軟件界面由4部分組成。第一部分由3個路徑設置控件組成,用于設置無人機圖像、衛星圖像和瓦片地圖的存儲路徑。第二部分由3個圖像顯示控件組成,用于顯示無人機測試圖像,與當前位置無人機圖像匹配度最高的瓦片圖像,以及無人機的定位結果(定位結果指當前無人機在參考區域衛星圖像上的位置)。第三部分由兩個文字顯示控件組成,用于顯示無人機當前位置的經緯度計算結果。最后一部分由1個進度條控件和1個按鈕控件組成,用于實時顯示無人機定位任務完成的進度和控制無人機定位軟件的啟動和停止。

圖11給出了可視化界面結果,無人機當前的定位結果被紅色正方形框選在參考區域衛星圖像上。同時,界面的右下角給出了當前無人機的經緯度坐標。

圖11 無人機絕對視覺定位結果Fig.11 The result of UAV absolute visual localization

在圖12所示的航拍圖像上,將文中方法獲得的無人機位置信息與無人機實時的GPS位置信息進行對比,進而驗證方法的有效性。表2給出了文中方法獲得的無人機位置信息、無人機實時的GPS信息以及誤差。從結果可以看出應用文中匹配方法獲得的無人機定位結果誤差較小,范圍在0.02%～0.88%之間。因此,文中的匹配方法能夠實現對無人機準確、穩定的定位。

表2 無人機航拍圖像的定位結果對比Tab.2 Comparison of localization results of UAV aerial images (°)

圖12 無人機航拍圖像Fig.12 UAV aerial image

綜上所述,文中提出的基于模糊信息粒的圖像匹配方法適用于不同季節的無人機航拍地物場景。該研究可以拓展當前無人機視覺定位研究工作,為多季節下無人機視覺引導下的準確定位與導航提供一定的技術支撐。

3 結論

文中基于模糊信息粒提出了一種不同季節下無人機航拍圖像與衛星圖像匹配方法,該方法能夠提取到地物信息被遮擋情況下無人機航拍圖像的不清晰邊界,有效解決了四季變化、光照差異條件下異源圖像匹配困難的問題。文中將該方法與SIFT,SSD,NCC,SAD,2chDCNN和MatchNet匹配算法進行了比較,并在ROC曲線和SAUC值上進行了仿真和分析。同時,文中還將所提出的匹配方法應用在無人機絕對視覺定位上,并將定位結果與無人機實時的GPS位置信息進行對比,驗證了文中方法的定位準確性。實驗結果表明文中方法具有較高的匹配精度,具備一定的工程應用價值。