面向海洋應用的無人機遙感圖像配準研究

王 飛，高小偉，高 寧，趙建華，吳合風，孟慶輝

(1. 國家海洋環境監測中心，遼寧 大連 116023； 2. 國家海洋局海域管理技術重點實驗室，遼寧 大連 116023； 3. 航天圖景(北京)科技有限公司，北京 101300)

面向海洋應用的無人機遙感圖像配準研究

王 飛1,2，高小偉3，高 寧1,2，趙建華1,2，吳合風3，孟慶輝1,2

(1. 國家海洋環境監測中心，遼寧 大連 116023； 2. 國家海洋局海域管理技術重點實驗室，遼寧 大連 116023； 3. 航天圖景(北京)科技有限公司，北京 101300)

在海洋應用中，大面積水體的同名點匹配相比陸地更加困難，制約了無人機遙感圖像的配準精度和收斂速度。本文提出了一種改進算法適用于海洋無人機遙感應用，采用主成分分析(PCA)和水體閾值方法去除水體，獲得圖像中非水體區域的分塊圖像，然后利用仿射-尺度不變特征變換算法(ASIFT)進行圖像的特征點提取和重疊圖像非水體區域的同名點匹配。通過海島、海岸線的無人機遙感試驗結果表明，基于改進算法，在不增加時間開銷的情況下，可以增加30%～50%的同名點數量，精度提高約5%～10%。文中方法適應用于海洋無人機遙感的序列圖像配準，為海島、海岸線的遙感監測提供了有效的技術支持。

無人機；遙感；海洋應用；海島監測；序列圖像配準

在海洋應用中，對于海島、海岸帶的及時監測是一項重要任務。常規的人工測量或船載作業方式受制于距離遠、地勢復雜、工作量大等問題；衛星遙感經常受到云層遮擋影響，而且分辨率和重訪周期等也存在不足；而航空遙感受到航空管制和轉場等限制、飛行成本較高、受云霧天氣的影響，導致空間信息的更新緩慢。近年來，無人機遙感技術發展迅速，在遙感領域中獲得較為廣泛的應用，成為衛星遙感與航空遙感的有力補充。在海洋應用中，無人機遙感的快速響應，靈活機動、高分辨率、高效率等特征，隨著其航行時間、操控性能和傳感器的進一步提升，能夠滿足海島、海岸線觀測的任務需求，具有廣泛的應用空間[1-2]。但是由于無人機遙感圖像存在大量海面場景，且由于海風等因素的作用，海面變化較大，同名點提取的誤差相比陸地圖像大量增加，使得光束法平差的精度較低甚至迭代無法收斂，嚴重制約無人機遙感技術在海洋監測中的應用，亟待解決。

基于圖像點特征的同名點提取算法，首先找出特征點，然后依據特征信息進行匹配，如通過Harris算子中的一階差分矩陣[3-4]，可以精確地獲取圖像上紋理變化的角點，但是Harris算子只能提取像素級匹配點。FAST算法[5]計算效率高，在角點特征提取的過程中，表現出很強的抗噪聲能力。SIFT[6-7]是一種提取局部特征的算法，通過利用二維高斯函數，在尺度空間上尋找極值點，提取位置、尺度、旋轉不變量，獲得特征點的方向描述子。為了提高匹配效率，將主成分分析(principal component analysis,PCA)應用于對描述子向量的降維，改進SIFT算法，形成PCA-SIFT[8]算法。SURF[8]采用卷積方法和Hessian矩陣，改進SIFT算法，同樣提升了特征匹配的效率。Morel和YU提出了仿射-尺度不變特征變換算法(affine-sift,ASIFT)[9-10]，該算法可以抵抗強仿射，不僅在低重疊度影像上能夠提取足夠的特征，而且提取的特征類似于SIFT特征，可以參與光束法平差進行全局一致性約束處理，有效提高同名點匹配的精度。ASIFT算法已經成功應用于陸地上空的無人機遙感觀測，但是目前少有其對于海洋觀測的應用。

在實際遙感拍攝獲得的無人機海洋監測圖像中，由于海面波浪的影響，短時間內海面圖像的紋理特征容易發生較大的變化，從而造成大面積水體存在的像對間同名點的錯誤匹配。因此，本文提出一種通過去除水體的無人機遙感圖像配準方法，提取非水體區的特征點，并進行重疊圖像非水體區的同名點匹配算法。首先利用PCA主成分分析和水體閾值方法去除水體，獲得圖像中非水體區域的分塊圖；然后利用ASIFT算法進行分塊圖像的特征點提取和重疊圖像非水體區域的同名點匹配。基于陸地的分塊圖像，可以增加特征點提取的個數，提高同名點匹配的數量和精度。而且由于圖像大小的縮小，計算時間略有下降，與去除水體的時間相抵消，改進算法不增加時間開銷；改進算法能夠提高無人機遙感技術在海洋監測中的應用效果。

1 原理和算法

在無人機海洋遙感過程中，由于大面積水體的存在，Harris、SIFT等圖像同名點匹配算法的效果較差，像對間自動提取的同名點數量通常小于20個，難以滿足區域網平差所需要的同名數數量。基于ASIFT的同名點匹配算法，由于其設計的過程中考慮各種仿射變換后的結果，因此可以抵抗強仿射，并在低重疊度影像上能夠提取足夠的特征(通常大于100個)，從而滿足區域網平差的需要。對于海洋無人機遙感而言，由于存在大面積水體的影響，ASIFT算法獲得的水面紋理特征不容易進行成功匹配，影響其同名點的匹配精度和數量。

因此，本文首先對無人機遙感獲得的序列圖像進行水體去除，然后針對海島、海岸線等陸地進行特征點提取與同名點匹配，改進直接配準的同名點匹配精度，技術路線如圖1所示。在技術實現上，首先進行特征點提取和匹配，然后在極幾何約束和單應性約束的基礎上，利用RANSAC算法對特征點進行粗差點剔除。遙感圖像處理中常用的水陸場景分離，一般利用到近紅外波段提取歸一化水體指數等信息，但是由于載重等條件的限制，無人機遙感器一般采用數碼相機進行遙感監測，只具有紅綠藍3個波段。因此，本文采用主成分分析算法獲得彩色圖像的主成分信息，然后基于水陸閾值進行水陸場景的分離，從而去除水體，生成沒有水體的分塊圖像，用于后續的特征點提取與同名點匹配。

圖1 面向海洋應用的無人機遙感圖像配準技術路線

1.1 水體去除

基于遙感圖像的水陸場景分離也是當前研究的熱點問題之一[11]。由于無人機遙感圖像通常只有紅綠藍3個波段，缺少近紅外波段，無法利用常用的歸一化水體指數進行水體識別。同時，在圖像分割過程中，由于近海的海浪較多，利用分割算法進行圖像分割的效果也較差，相對耗時。因此，本文采用主成分分析算法獲得彩色圖像的主成分信息，然后基于水陸閾值進行水陸場景的分離，從而去除水體，生成沒有水體的分塊圖像。

主成分分析方法常用于高光譜遙感圖像的降維處理，也有利于無人機遙感圖像的二值化處理和空間信息提取[12]。主成分分析通過多變量線性變換將多維遙感數據按照信噪比大小進行排列，可以獲得不相關的主成分，從而在一定程度上壓縮信息。主成分分析方法降維后的第一主分量包括了絕大部分的遙感圖像數據信息，特別是空間信息。主成分分析能夠有效處理多分量數據，將一組互相相關的變量變換成一組新的互相無關的幾個綜合變量，具有降維效率高等特點。

首先計算無人機遙感圖像R、G、B這3個波段的相關矩陣，然后由相關矩陣計算出特征值λ1和特征向量φi(i=1,2,…,n)，將特征值按照大小次序排列，最后基于第i波段數據di計算第一主分量圖像PC1，即

(1)

海域上空的無人機遙感圖像，經過主成分分析后，可以獲得差異明顯的水陸場景，然后利用簡單的閾值方法，可以快速地進行水陸場景的分離。根據陸地區域在圖像中的最大最小坐標，考慮海岸與海水的灰度差異較小，向外擴展10%的寬高，獲得分塊圖像。

1.2 同名點匹配

利用ASIFT算法獲取關鍵點的特征信息。基于特征信息的配準方法提取的是圖像不變特征作為配準信息，這些不變特征指圖像變化(如旋轉、縮放和仿射變換等)在局部區域內仍保持穩定的特征及對這些特征的描述信息。常用的圖像不變特征有尺度不變特征(如Dog關鍵點等)和仿射不變特征(如Harris-Affine等)。ASIFT算法是對SIFT算法的改進算法，通過不同仿射情況的遍歷而形成的一種完全仿射不變的圖像匹配方法。ASIFT算法對于縮放、旋轉、平移，以及相機軸向角都具有不變性。相比SIFT算法，ASIFT算法更加適用于具有低重疊度的無人機遙感圖像間的同名點匹配，特別是拍攝角度變化的情況。同時，對于大面積水體存在的像對，也可以將其視為陸地具有較低重疊度的情況，因此，ASIFT算法也具有相應的優勢。

A=HλR1(ψ)TtR2(φ)=

(2)

通過模擬所有可能由視角變化而引起的仿射畸變，獲取仿射變換參數。首先對圖像進行仿射變換，得到所有可能仿射變換下的模擬圖像。然后利用SIFT算子，開展圖像的特征提取和同名點匹配，得到粗匹配的同名點對。下一步依據坐標唯一性、斜率約束以及極線約束剔除錯誤的匹配點，進一步通過RANSAC算法[13]刪除外點來達到特征點精確匹配的目的。最后采用幾何糾正模型進行粗差分離，分離出殘差最大點，獲得最佳的匹配點對。通過上述一系列步驟后，可以大幅提高特征點對匹配的準確率，進而保證求解的變換模型參數的準確性。

圖2 仿射變換后的模擬圖像

2 試驗分析

本文以低空飛行(300～500 m)的無人機遙感圖像為例，首先在圖像中搜索所有同名點，進一步獲取圖像中所有的全局同名點。如圖3所示，圖像大小為4288×2848像素，原始分辨率為0.1 m。圖像中存在面積水體，圖(a)占到85%左右，圖(b)占到70%左右。

圖3 無人機海洋遙感實驗圖像對

利用主成分分析，獲得圖像的第一主分量，如圖4所示。本文設置水陸分離閾值為30，大于閾值的為陸地，小于閾值的為海面。基于陸地的最大最小坐標，獲得如圖4虛線所示的陸地外接區域。由于海岸線如巖石、沙灘等地物與海面的差異較小，因此將陸地外接區域擴展10%，生成如實線所示區域，作為匹配區域。水體去除算法大約耗時2 s。

圖4 基于閾值的主成分分析圖像分塊

利用CPU多核并行的ASIFT算法分別獲得圖對的特征點22 458個和25 231個，消耗時間共23 s。直接基于全圖匹配的初始同名點為144個，而去除水體后匹配獲得的同名點為198個。采用RANSAC去除粗差，以模型誤差0.05為閾值，得到小于閾值的精確同名點。如圖5和圖6所示，直接基于全圖匹配的同名點為131個，正確匹配率為91%，而去除水體后匹配獲得的同名點為193個，正確匹配率為97.5%。直接匹配和去除水體后匹配分別耗時51和50 s。相比較而言，這組圖像直接利用SIFT算法沒有獲得足夠的同名點(5個)。

圖5 水平方向上的算法對比

本文基于5組無人機遙感圖像進行試驗分析，統計每組圖像拼接后的精度，并比較算法消耗的時間(見表1)。其中，匹配精度指的是初始同名點的正確匹配率，計算所耗時間包括所有步驟的時間總和。由于匹配過程沒有采用GPU顯卡加速等技術，使得時間開銷較大，而水體去除一般消耗時間較少，因此幾乎可以忽略不計。

圖6 垂直方向上的算法對比

方法組號初始匹配點正確同名點正確匹配率/(%)總耗時/s直接ASIFT方法114413191.074215614089.778312311791.976417616789.879518817591.076去除水體后ASIFT方法119819397.575222021597.777318717895.277423322194.879521320294.877

從表1可以看出，本文在去除水體的基礎上進行特征點提取和匹配的方法能夠得到更多的同名點數量和較高的正確匹配精度。基于改進算法，在不增加時間開銷的情況下，可以增加30%～50%的同名點數量，精度提高約5%～10%。

3 結 論

本文提出了一種面向海洋應用的無人機序列遙感圖像同名點匹配方法，可以增加同名點數量、提高同名點匹配精度。通過主成分分析結合水體閾值的方法去除水體，獲得圖像中非水體區域的分塊圖像，然后利用ASIFT方法進行分塊圖像的特征點提取和重疊圖像非水體區域的同名點匹配。本文方法適用于無人機長序列遙感圖像的海島、海岸線監測，在大面積水體存在的情況下仍然可以獲得大量高精度同名點，并且取得較好的效果。需要指出的是雖然ASIFT算法結果精確，但是相對耗時，后續可以利用GPU并行加速進行優化，以提高其應用能力。

[1] 郭忠磊, 翟京生, 張靚, 等. 無人機航測系統的海島礁測繪應用研究[J]. 海洋測繪, 2014, 34(4): 55-57.

[2] 麻德明, 鄧才龍, 徐文學, 等. 無人機遙感系統在岸線勘測中的應用[J]. 海洋開發與管理, 2015, 32(4): 45-48.

[3] HARRIS C.A Combined Corner and Edge Detector[C]∥Proceedings of Alvey Vision Conference. Manchester:[s.n.], 1988:147-151.

[4] 謝東海, 詹總謙, 江萬壽. 改進Harris算子用于點特征的精確定位[J]. 測繪地理信息, 2003, 28(2): 22-23.

[5] ROSTEN E, DRUMMOND T. Fusing Points and Lines for High Performance Tracking[C]∥Tenth IEEE International Conference on Computer Vision.Washington, DC, USA: IEEE Computer Society, 2005:1508-1515.

[6] LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60 (2): 91-110.

[7] 吳俁, 余濤, 謝東海, 等. 高分辨率多光譜遙感圖像的自動配準[J]. 紅外與激光工程, 2012, 41(12): 3285-3290.

[8] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up Robust Features(SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[9] MOREL J M, YU G. ASIFT: A New Framework for Fully Affine Invariant Image Comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469.

[10] 宋耀鑫, 張丹丹, 唐伶俐,等. 基于ASIFT算法的低重疊度無人機影像拼接方法[J]. 遙感技術與應用, 2015, 30(4): 725-730.

[11] 唐為林. 基于紋理分析的遙感圖像水陸場景分類[D]. 武漢：華中科技大學, 2012.

[12] 田野, 趙春暉, 季亞新. 主成分分析在高光譜遙感圖像降維中的應用[J]. 哈爾濱師范大學自然科學學報, 2007, 23(5): 58-60.

[13] FISCHLER M A, BOLLES R C. A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

RemoteSensingImageRegistrationofUnmannedAerialVehicleforMarineApplications

WANG Fei1,2，GAO Xiaowei3，GAO Ning1,2，ZHAO Jianhua1,2，WU Hefeng3，MENG Qinghui1,2

(1. National Marine Environment Monitor Center, Dalian 116023, China; 2. Key Laboratory of State Oceanic Administration Management Technology, Dalian 116023, China; 3. Space GeoData (Beijing) Co. Ltd., Beijing 101300, China)

In marine applications, large water areas lead to more difficulties compared to land on the corresponding point matching, which restricts the UAV remote sensing image registration precision and convergence speed. This paper proposes an improved algorithm for the marine UAV remote sensing applications. First, remove water using principal component analysis (PCA) and water threshold method, and obtain the block image without water. Then, feature points extraction and the corresponding points matching of these block images were performed using the affine scale invariant feature transform algorithm (Affine-Sift, ASIFT). The experiment results show that the improved algorithm can increase 30%～50% points, the accuracy increases by about 20%, and time is not increased. This method is suitable for the sequence of UAV remote sensing image registration on the marine, and it can provide effective technical support for the remote sensing monitoring of island and coastline.

UAV；remote sensing；marine application；island monitoring；registration of image sequences

王飛，高小偉，高寧,等.面向海洋應用的無人機遙感圖像配準研究[J].測繪通報，2017(11)：123-127.

10.13474/j.cnki.11-2246.2017.0361.

P23

A

0494-0911(2017)11-0123-05

2017-07-18

海洋公益性行業科研專項(201405028)；國家海洋局海域管理重點實驗室基金(201509)

王 飛(1982—)，男，碩士，工程師，主要從事海域無人機遙感監測及數據處理工作。E-mail：16464392@qq.com