基于SIFT的飛行器圖像自動拼接處理系統的研究與實現

王 欣

(武昌工學院信息工程學院，湖北 武漢 430065)

0 引言

衛星技術與應用不斷發展，飛行器因其重量輕、體積小、成本低、研制周期短、發射方式靈活且快速等特點[1]，成為當前主要的研究熱點之一。但受到CCD大小和設備成本等因素的限制，一般難以得到物體的全景圖像。解決這一問題的有效途徑就是采用多CCD拍攝的圖像，然后利用圖像間的冗余信息把拍攝的圖像拼接融合起來[2]。但是目前飛行器原始數據的圖像拼接存在兩方面的問題：一是圖像拼接之前需先對原始數據進行預處理，拼接過程又較復雜，增加了整個流程實現自動化的難度；二是飛行器獲取的影像重疊度低且缺少精確的內參數，而待拼接圖像的數據量較大，容易產生較大的誤差，這些對拼接處理提出了更高的要求。因此設計一個自動處理系統，實現對飛行器原始數據的圖像拼接成為當務之急。

圖像拼接是整個數據處理最重要的環節，其直接決定數據處理結果的精度。目前常用的匹配算法可分為基于區域的和基于特征的兩大類。基于區域的匹配算法根據兩幅圖像重疊區域之間的相關性進行匹配，缺點是未考慮圖像旋轉、尺度縮放等造成的影響。而基于特征的匹配算法是提取圖像的特征，如邊界、輪廓和拐點等特征進行匹配，在處理不同特征的圖像以及圖像間發生復雜變化的情況下更具穩定性。目前基于SIFT特征的匹配算法[3]在圖像匹配上有獨特的優勢，本文采用此算法，依次完成四片CCD的圖像拼接，得到全景圖像。

1 SIFT特征匹配算法

基于SIFT（尺度不變特征變換）描述子的圖像匹配算法，是David G.Lowe在2004年提出的，能處理具有不同特征的圖像，并適用于圖像間變形復雜的情況，分三步實現：①SIFT特征的生成；②特征點匹配；③基于Ransac算法的匹配矯正[4-6]。

1.1 SIFT特征的生成[7]

為使圖像達到尺度不變性，需在不同尺度下提取圖像特征。Koendetink[6]證明了高斯核是實現尺度變換的惟一變換核，因此利用高斯核對圖像做尺度變換。

高斯核G(x,y,σ)定義如式⑴所示，其中（x,y）是空間坐標，σ表示尺度空間因子：

一個圖像I(x,y)，其在不同尺度下的尺度空間L（x,y,σ)定義為原始圖像與高斯核G(x,y,σ)的卷積運算，如式⑵所示。

為獲取圖像在不同尺度空間下的穩定特征點，根據式⑵來建立高斯金字塔。然后建立DOG高斯金字塔，DOG金字塔是相鄰兩尺度空間函數之差，表達式定義如式⑶，可通過高斯金字塔同一階上相鄰兩層的尺度空間函數相減得到，其第一層的尺度因子與高斯金字塔的第一層保持一致，如圖1(a)所示。

接著在DOG金字塔的基礎上進行極值檢測[4]。為進行DOG空間的極值點檢測，需將DOG空間中的每個像素點與它26個相鄰像素點進行比較（同層的8個，上層和下層各9個像素點）。若比較后發現該檢測點為極值點，則該點成為圖像在該尺度下的一個候選特征點，如圖1(b)所示。

圖1 建立尺度空間、檢測關鍵點

由于DOG值對噪聲和邊緣較敏感，檢測到的局部極值點還要經過去除一些低對比度和不穩定的候選特征點及邊緣點才能精確定位為特征點。然后利用特征點鄰域像素的梯度方向分布特征來確定特征點的方向，使算子具備旋轉不變形。可利用式⑷與式⑸計算，兩式分別表示(x,y)處的梯度值和方向，L是每一個特征點各自所在的空間尺度函數。

通過以上步驟，圖像的特征點檢測完成，每個特征點包含位置、對應尺度和方向三個信息。最后需生成特征向量描述子。確定特征點的鄰域范圍的大小對于進一步描述特征點的信息至關重要。通常以特征點為中心取16*16的鄰域范圍，如圖2(a)所示，4*4個子區域形成一個種子點，每個種子點有八個方向的向量信息。這樣對于16*16的領域范圍會產生4*4=16個種子點，使得每個關鍵點的信息量包含在了4*4*8=128維特征向量里[8]，如圖2(b)所示。

圖2 生成SIFT描述子

1.2 特征點匹配

SIFT特征向量的匹配首先應進行相似性度量。一般采用的匹配方法有：歐式距離和馬氏距離等。本文采用歐氏距離對特征點進行匹配。在獲取SIFT特征向量后，采用優先k-d樹進行優先搜索來查找每個特征點的近似最近鄰特征點。在這兩個特征點中，若最低的距離除以次近的距離少于某比例閾值，我們才接受這一對匹配。當這個比例閾值降低，SIFT匹配點數目減少，但也增加了穩定性。

1.3 基于Ransac算法的匹配矯正

通過相似性度量得到的匹配對，不可避免會存在一些錯誤匹配，需采用Ransac方法去除錯配。Ransac方法是一種迭代的方法，具體思路是：首先在基準圖和目標圖中選取3對匹配點對，通過這三對點得到一個仿射變換矩陣，求基準圖中的點通過變換矩陣得到的點與目標圖中的對應點的誤差，若該誤差小于某個閾值，則判定該點為內點；重復這個步驟，找到內點最多的一次變換，并將該次變換得到的匹配點對作為新的匹配點集合，進行一輪新的迭代，直到該次迭代所找到的最大內點數目與此次匹配點集合中的點數目一致時結束迭代過程，此時得到的就是去誤配后的匹配點集[9]。

2 飛行器原始數據自動拼接處理系統設計及結果分析

飛行器共有四片CCD，相鄰兩片CCD的拼接過程基本相同，故以CCD3與CCD4的圖像拼接為例分析飛行器原始數據自動拼接處理系統的流程。整個系統大致可分為預處理、獲取重疊區域圖像和基于Ransac算法的SIFT特征自動拼接三個部分，如圖3所示。

圖3 自動拼接處理系統流程圖

2.1 原始數據的預處理

針對飛行器的原始數據，在拼接之前，需先對圖像進行預處理。本文的預處理包含解同步、去格式兩步。其中，幀同步負責從衛星下傳的基帶數據流提取幀同步字并進行成幀處理，可用硬件和軟件兩種方式實現。軟件方式具有開發周期短、成本低、可配置和移植性強的優點[10]，本系統采用軟件方式實現幀同步模塊。此外，還需進行數據解析，以獲取所需的圖像數據和相應的輔助參考數據。經過預處理，得到飛行器的格式為raw的圖像數據。

2.2 重疊區域圖像的獲取

本文一次處理N行飛行器數據，N通常根據實際需求決定。為方便對格式為raw的原始數據做后續處理，先將其轉換為格式為tif的圖像數據。并且需先提取兩幅圖像的重疊區域圖像，來避免在全幅圖像上做特征匹配時引起的誤匹配過多和耗時過長等問題，進一步提高圖像匹配的準確性和速度。飛行器重疊區域為M列，CCD3最右邊的M列與CCD4最左邊的M列為重疊區域的數據。單獨提取出來轉換成tif的圖像格式，通過基于Ransac算法的SIFT特征自動匹配處理即可計算得到兩片CCD之間的仿射矩陣，供圖像融合使用。

2.3 基于Ransac算法的SIFT特征自動拼接

利用相鄰兩片CCD重疊區域的圖像數據，按前述SIFT特征匹配算法的三個步驟，即可計算得到仿射矩陣。值得注意的是，在Ransac方法消除誤配時，閾值的選取直接影響匹配的穩定性。降低這個閾值，SIFT的匹配點數會減少，但結果更加穩定，故選取合適的閾值對拼接結果至關重要。利用求出來的仿射矩陣，通過逆變換將待拼接圖像轉換到兩幅參考圖像的坐標系中，即可完成相鄰兩片CCD的圖像拼接，得到平滑無縫的拼接后圖像。

2.4 基于XML配置的通用系統模塊的設計

對于不同衛星而言，幀同步、去格式等處理模塊的流程基本相同，僅配置參數有所差異；而拼接模塊中的參數，如歐氏距離比例閾值也可能會隨著實際需求進行調整。為提高本系統的通用性，本文采用XML文件配置處理參數[11]，將處理數據與處理流程分開，使其能靈活地進行數據處理。

2.5 實驗結果及分析

針對本文采用的四片CCD的飛行器原始數據，本實驗在win64軟件平臺上，采用VS2010+OpenCV編程實現自動拼接處理系統，基于SIFT算法對實驗數據做預處理和拼接，最后自動生成一幅拼接后無縫清晰的影像，如圖4所示。

圖4 CCD 1000行原始數據拼接結果

實驗結果表明：該系統針對飛行器原始數據，可獲得足夠數量穩定的匹配點對，處理得到的圖像平滑無縫清晰，適用于飛行器原始數據的自動拼接。

3 結束語

本文重點研究SIFT算法，對飛行器原始數據進行預處理和拼接，最終實現一套飛行器CCD原始數據的自動化拼接系統。實現結果驗證了本系統一方面成功實現了飛行器原始數據的自動拼接，得到了平滑無縫的配準圖像；另一方面，解同步、去格式等模塊采用XML文件配置，實現了對多顆衛星的通用預處理；最終成功解決了飛行器原始數據預處理流程多、拼接自動化不足、拼接效果不理想等問題。

本系統可以進一步改進和優化，一方面，由于算法的復雜度較高，計算量較大，計算速度相對較慢，不具有實時性，需要向并行處理改進，提高算法的實時性；另一方面，在基于SIFT的拼接算法中，一些閾值的選取通常是憑經驗人工選取，直接影響到拼接結果，圖像之間具有灰度差異，這些都對特征匹配的準確性提出了要求，也是今后需要進一步研究的方面。

參考文獻(References):

[1]詹亞鋒,馬正新,曹志剛.現代微小衛星技術及發展趨勢[J].電子學報,2000.28(7):102-106

[2]李秀華,宋立明,王朔等.CCD圖像拼接技術綜述[C]//2010 Internation Conference on Future Information Technology and Management Engineering,2010:270-273

[3]David G Lowe.Distincive Image Features from Scale-Invariant Interest Points[J]. InternationalJournalof Computer Vision,2004.60(2):91-110

[4]王國美,陳孝威.SIFT特征匹配算法研究[J].鹽城工學院學報:自然科學版,2007.20(2):1-5

[5]David G Lowe,Distincive Image Features from Scale-Invariant Interest Points[J]. InternationalJournal of Computer Vision,2004.60(2):91-110

[6]David G Lowe,Object Recognition from Local Scale-Invariant Features[C]//7th International Conference on Computer Vision,1999:1150-1157

[7]劉伯江,姜明新.基于sift特征的圖像匹配算法[J].系統信息工程,2001.5:33-36

[8]李明.基于SIFT特征點匹配的目標跟蹤算法研究[D].合肥工業大學,2011.4.

[9]TaejungKim,Yong-Jo Im.AutomaticSatelliteImage Registration by Combination of Matching and Random Sample Consensus[J].IEEE Transactions on Geoscience and Remote Sensing,2003.41(5):1111-1117

[10]候仰拴,石濤,胡玉新.HJ-1C衛星實時軟件幀同步算法研究與實現[J].雷達學報,2014.6(3):326-331

[11]陳元偉,基于流程再造的遙感衛星地面預處理系統中處理功能的分析與實現[D].中國科學院對地觀測與數字地球科學中心,2008.6.