改進SAR-SIFT算法的無人機影像匹配方法研究

韋春桃，張冬梅，朱旭陽

(重慶交通大學 土木工程學院，重慶 400074)

無人機技術在地質災害監測、交通物流等方面的應用前景非常廣闊。利用無人機拍攝到的圖像通常存在覆蓋范圍小、旋轉角度變化大、容易發生畸變等問題，也使無人機圖像匹配變得愈加困難，Lowe教授提出的SIFT算子[1]在無人機圖像上也不能達到很好效果。針對以上問題，提出一種匹配精度高、效果好的算法是目前亟需解決的問題。

圖像匹配分為兩大類，即基于灰度的圖像匹配和基于特征的圖像匹配。尚明姝等[2]提出了Harris與SIFT算子結合的快速匹配方法，主要針對Harris算子進行改進，再用改進的SIFT算法進行匹配，提高匹配效率。也有針對傳統的SURF算法進行改進，張文卿等[3]提出一種基于Radon變換對SURF特征的維度降低，以增加圖像配準的效率。主要是改進傳統的SURF描述符計算方法,達到對SURF描述符降維的效果,并將圖像的色彩信息與特征信息融合進行圖像粗匹配。產葉林等[4]則是將FAST和SURF結合，提高匹配的效率。關于描述符的改進，楊順等[5]提出一種基于梯度信息GM和GO融合的新方法,構建兩種具有高分辨能力的新描述符。針對傳統的圖像匹配方法還有ORB算法、KAZE算法、AKAZE算法等[6]。目前有很多人工智能深度學習的方法應用在圖像匹配中。圖像匹配中的經典網絡包括MatchNet以及對經典網絡的創新產生的PN-Net、L2-Ne[7]，文獻[8]提出端到端圖像匹配網絡RF-Net，這些算法均能從一定程度上提高匹配的精度，實現跨源圖像塊的準確匹配。2015年提出針對SAR圖像匹配的SAR-SIFT算法[14]，且該方法能應用在無人機影像匹配上。該方法匹配的正確率較高，比較穩定，但匹配數量少，故文中提出基于改進SAR-SIFT算法的無人機圖像匹配方法，利用無人機圖像的光譜信息和特征信息進行特征點提取，采用SAR-SIFT算法進行圖像匹配，設置描述符的最鄰近距離和次臨近距離的閾值，剔除不滿足要求的特征點后用余弦距離進行匹配，最后采用VFC算法進行圖像匹配剔錯。實驗證明文中算法增加了圖像的匹配對數，匹配的準確率較高。

1 圖像的RGB分量提取

彩色圖像都是由R，G，B三原色組成，R，G，B是圖像的紅、綠、藍顏色的3個通道，其他各種彩色均是通過R，G，B三原色按照不同比例疊加而成。圖像中不同物體對應著不同的R，G，B值，例如植被為綠色，其在G分量上的值會大于其在R，B分量上的值[9]。所以為充分利用圖像的彩色信息，增加提取特征點數量，文中采用3個顏色分量分別對圖像進行特征提取，針對不同物體都能正確檢測特征點信息。原圖含有不同顏色的地物，其在3個分量上表現也是不同的，如圖1所示。

圖1 無人機圖像三分量圖

文中通過對圖像的B，G，R 3個分量進行提取特征點，然后將所有的特征點集合在一起進行匹配，再將有效特征點提取較多的圖像計算其梯度方向和梯度幅值，增加正確匹配的數量。這種改進方法在SAR-SIFT的基礎上增加正確匹配的數量。文中算法流程如圖2所示。

圖2 文中算法流程

2 圖像匹配

傳統圖像匹配算法有尺度不變特征變換算法[10](Scale-Invariant Feature Transform，SIFT)，ORB(Oriented Fast and Rotated Brief)算法[11]和加速穩健特征(Speeded Up Robust Features,SURF)算法[12]。ORB算法所提取的特征點分布不均勻、存在冗雜，且不具有尺度不變性。SURF算法雖然在時間上比SIFT算法更加高效，但是較SIFT算法而言，其計算復雜度高、配準精度低。Schwind等證實SIFT算法也能應用在SAR圖像匹配上[13]。在2015年一種適用于SAR圖像的SIFT改進算法被提出[14]，其算法原理類似于SIFT算法，將此算法應用在無人機圖像上也能取得很好的效果。

2.1 圖像初匹配

SIFT算法由Lowe于1999年提出，后來于2004年進行改進，以匹配自然圖像中的局部特征。該算法結合兩個運算符：特征檢測器和特征描述符。特征檢測包括選擇興趣點，然后計算描述符以描述特征。SIFT算子包括關鍵點檢測、方向分配、描述符計算和圖像匹配4個步驟。在SAR-SIFT算法中仍然遵從這4個步驟。

1)關鍵點檢測。首先通過像素點的坐標(x,y)和尺度σ和方向θ來選擇和描述關鍵點。然后選擇符合要求的局部極值點來定位關鍵點，把高斯尺度空間中的插值LOG空間中不同尺度下穩定性較高的候選點標記為關鍵點，將具有低對比度或位于邊緣的候選點用DOG值的閾值和Hessian矩陣準則進行過濾。高斯尺度空間是采用不同尺度的高斯卷積核對圖像進行卷積得到。設有圖像I(x,y)，圖像大小為m×n，σ為尺度因子。

L(x,y,σ)=G(x,y,σ)*I(x,y).

(1)

其中，G(x,y,σ)表示高斯卷積核。

(2)

在改進算法中，采用了新的卷積核計算方式,

(3)

在進行興趣點提取時，利用多尺度Harris矩陣計算滿足閾值的點，

依據SVD原理,將本次所測得的振動信號進行降噪處理.過濾掉噪聲等干擾信號后,經過多次調整和試算,利用SVD的逆運算重構出振動相空間矩陣.該矩陣就是降噪后振動信號的最佳逼近值,如圖7所示.

(4)

R(x,y,σ)=det(C(x,y,σ))+t×tr(C(x,y,σ))2.

(5)

(6)

在新的梯度算法將像元鄰域分為上、下、左和右4個方向，采用4個不同的模板對圖像進行卷積，獲得圖像4部分卷積值mup，mdown，mright，mleft。

則其水平、垂直方向梯度表示為：

(7)

(8)

其梯度幅值m(x,y)和梯度角θ(x,y)分別表示為：

(9)

與傳統SIFT方法一致，在文中仍采用直方圖來統計像素領域內的梯度和方向。并將梯度直方圖的角度分為36個柱(bins)，每柱10°。最后取直方圖的峰值方向作為關鍵點的主方向。

在傳統方法中，計算梯度都是利用彩色圖像的灰度來計算。在將彩色圖像轉化為灰度圖像時均是通過R,G,B 3個通道的灰度值進行加權平均，得到灰度圖像。其采用的算式為：

GRAY=0.3×R+0.59×G+0.11×B.

(10)

由式(10)可以看出在圖像灰度化的過程中，將圖像色彩差異明顯的地區平均化，在后續計算像素點梯度時會漏掉色彩差異明顯的特征點。如圖3所示，圖3為圖1的部分截圖，其中圖3(a)表示原始彩色圖像，圖3(b)表示原圖像的灰度特征點提取圖像，特征點提取個數為29；圖3(c)表示原圖像的B通道的特征點提取圖像，特征點個數為62；圖3(d)表示G通道的特征點提取圖像，特征點個數為39；圖3(e)表示R通道的特征點提取圖像，特征點個數為22，說明將圖像灰度化后，大大減少了圖像的明顯特征。藍色房頂在B通道圖像上的特征點數量最多，且均勻分布在圖像中物體的邊緣。

圖3 特征點提取

在文中提及的算法中，需將三通道圖像提取的特征點去重后集合在一起，查漏補缺，提高匹配準確率。在文中去重采用計算兩特征點距離的方法。若兩個特征點相同，則其歐式距離為0。將三通道圖像的特征點放在集合P1中，創建新的特征點集合P2，逐一遍歷P1每個特征點并判斷P2中是否存在該特征點，將P2中不存在的特征點存入P2中，直到遍歷完所有特征點，得到去重后的特征點集合P2。

3)描述符計算。使用GLOH的圓形鄰域(半徑為12σ)和對數極性扇區，而不是用原始SIFT描述符中那樣使用正方形鄰域和4×4正方形扇區。傳統SIFT算子描述子采用4×4×8=128維向量表征，在文中采用17個定位倉來創建特征描述符，將0°～360°梯度方向分8個間隔分別計算各個方向的描述符，如圖4所示。

圖4 GLOH描述符計算

2.2 VFC算法

VFC(Vector Field Consensus)算法是向量場一致性算法，該算法與隨機采樣一致性(Random Sample Consensus,RANSAC)算法的作用相同，用于圖像匹配的剔錯處理。但是RANSAC算法依賴幾何參數模型，當圖像間的幾何關系將不滿足任何參數模型，算法也將不再適用,另外當初始特征匹配點對中包含過多離群點時，算法的效率會急劇下降[15]。而VFC算法能夠解決這些問題，并在文獻[16]得到證實。故文中采用VFC算法進行圖像精匹配，該剔錯算法的基本思路是將粗匹配過后的特征點對應關系轉換為圖像運動場的樣本，再根據先驗概率求出具有強魯棒性的插值算法進行轉換插值，然后根據前者轉換的樣本數據估計出適合整個圖像的模型，來確定匹配對中特征點精確的對應關系，其算法大致有如下步驟[16]。

以初始匹配的(xn,yn)為樣本組成樣本點集合S，S中既含有正確匹配的點也含有誤匹配點。基于該樣本集，VFC通過插值計算，估計出光滑、魯棒的向量場模型，滿足該模型的點為正確匹配，不滿足該模型的點為錯誤匹配。由于正確匹配點的位置誤差在場中呈高斯分布，錯誤匹配點的位置誤差在場中呈均勻分布。因此，樣本集滿足如下似然函數模型:

(11)

式中：X，Y分別是xn，yn的集合；zn∈{0,1}是隱含變量，p(zn=0)=1-γ表示均勻分布；p(zn=1)=γ表示高斯分布；σ為高斯標準差；a為均勻分布常數；f為向量場模型；δ{f,σ2,γ}表示3個未知量的集合。

δ*=arg maxδp(δ|X,Y|)=

arg maxδp(Y|X,δ)p(f),

(12)

(13)

3 實驗及分析

文中針對無人機影像匹配的效率研究，實驗環境為：Intel(R)Core(TM)i7-10750H CPU，2.6 GHz，16G內存的筆記本;軟件開發工具為Window10 64位操作系統，Visual Studio2015、OpenCV3.4編程環境。

首先對無人機影像進行預處理: 無人機影像大小為6 000像素×4 000像素，為節省匹配時間和內存，重采樣得到800像素×533像素。并分別進行與傳統匹配算法的對比實驗，其中每種匹配算法均用VFC精匹配。實驗中SURF算法的Hessian矩陣閾值為400。SIFT算法的比例閾值為0.04，邊緣閾值為10，高斯尺度空間為1.6。在改進的算法中，生成描述子采用的是GLOH模板，其中GLOH網格中間圓半徑和外圓半徑之比為0.73，最內層圓半徑和外圓半徑之比0.25，描述子閾值為0.2，領域半徑為12。RatioTest的取值一般為0.6～0.8，在本實驗中采用RatioTest=0.8。

3.1 實驗數據

本實驗為遼寧省某地采用飛馬無人機拍攝的影像和大疆無人機拍攝的重慶某地的影像，文中采用9組目標不一致圖像，分別表示植被圖像、道路圖像、建筑圖像和植被與建筑混雜的圖像。實驗的9組原始影像如圖5所示。

圖5 實驗數據

3.2 實驗結果及分析

由于SAR-SIFT在光學圖像上匹配具有很好的穩定性，從圖6中看出其匹配正確率較高。較傳統匹配方法SIFT、SURF而言，SAR-SIFT算法在特征初匹配中的正確率較高，因為在剔錯后召回率較高，錯誤率較低。相對傳統算法而言，SAR-SIFT的特征點匹配對數量較少，容易導致圖像的配準和融合效果差，后續的圖像三維重建工作增加難度。針對這一缺點，文中提出利用圖像的R，G，B分量提取特征點，充分利用圖像的色彩信息，增加算法的正確匹配對數。

從圖6可知，文中方法是在SAR-SIFT上的改進算法，相對于傳統SIFT方法和SURF算法在總體上可以提高圖像的匹配精度。文中方法在保持原來的匹配精度基礎上增加匹配的數量，但是匹配時間相對較長，可能是在進行圖像通道計算并進行特征點檢測，并且進行特征點去重處理，所以耗費時間較長。在圖像提取特征點方面，SAR-SIFT比SURF算法、SIFT算法檢測的相對較少，文中方法增加特征點提取數量，經過誤匹配剔除處理之后，匹配正確的數量也相對較多。本實驗得到的特征點如表1所示，文中的方法增加特征點數量。

圖6 匹配結果

表1 特征點檢測數量

無人機圖像可能會受到拍攝光線以及噪聲等影響，導致匹配的效果不佳，如圖7所示。本實驗將采用前3組數據從噪聲和光照變化來分析算法的匹配效果，實驗中的所有變量取值與上面實驗一致，其為原參考圖像與噪聲待匹配、亮度變換后待匹配圖像之間的匹配。匹配結果如圖8和圖9所示，文中方法較SIFT、SURF算法，在匹配時間和匹配數量差不多時，正確率較高。在匹配時間相差不大的情況下，增加了匹配數量。

圖7 改變后圖像

圖8 噪聲圖像匹配結果

圖9 亮度變化圖像匹配結果

4 結 論

文中將SAR圖像匹配方法SAR-SIFT應用在無人機圖像上，表現出較好效果，較高正確率。但是該算法較傳統算法而言，其匹配對數量較少，故將SAR-SIFT算法進行改進，利用圖像的R,G,B分量增加圖像的正確匹配數量。實驗結果表明，改進方法在增加正確匹配數量上有一定進展。由于需要計算圖像的各個分量并提取其特征點，故該改進方法在匹配時間上比SAR-SIFT算法長一點。在未來的工作中，需繼續改進該方法，將匹配時間縮短，提高匹配效率。