基于優化SIFT算法的無人機遙感作物影像拼接

賈銀江，徐哲男，蘇中濱，靳思雨，Arshad M.Rizwan

（東北農業大學電氣與信息學院，哈爾濱 150030）

·農業航空工程·

基于優化SIFT算法的無人機遙感作物影像拼接

賈銀江，徐哲男，蘇中濱，靳思雨，Arshad M.Rizwan

（東北農業大學電氣與信息學院，哈爾濱 150030）

針對作物遙感影像因對比度低所導致的使用尺度不變特征變換算法（scale-invariant feature transform，SIFT）提取特征點數目少，拼接效果不理想的情況，提出了一種基于圖像銳化的自適應修改采樣步長的非極小值抑制拼接算法，該算法在圖像預處理中引入銳化濾波器對平滑后的圖像進行卷積，增強圖像細節，增加特征點提取數目，同時通過基于尺度的自適應修改采樣步長，使圖像特征點分布更加均勻，根據低對比度作物遙感影像的成像特性，采用非極小值抑制，提高圖像匹配效率。在查找匹配點的過程中，引入最優節點優先算法（best-bin-first，BBF）查找最近鄰與次近鄰，采用隨機抽樣一致算法（random sample consensus，RANSAC）優選特征點。通過試驗驗證，該文改進后的算法相比于標準SIFT算法，在處理低空作物遙感影像時，特征點提取數目平均增加 77.5%，特征點匹配對數平均增加 15對，對于標準SIFT算法無法匹配的低對比度作物遙感影像，提取到了8對以上的匹配點對，滿足了拼接條件。該改進算法相對于標準SIFT算法更適于低對比度遙感影像的拼接。

作物；遙感；無人機；非極小抑制；圖像拼接；特征檢測；魯棒性

賈銀江，徐哲男，蘇中濱，靳思雨，Arshad M. Rizwan. 基于優化SIFT算法的無人機遙感作物影像拼接[J]. 農業工程學報，2017，33(10)：123－129. doi：10.11975/j.issn.1002-6819.2017.10.016 http://www.tcsae.org

Jia Yinjiang, Xu Zhenan, Su Zhongbin, Jin Siyu, Arshad M.Rizwan. Mosaic of crop remote sensing images from UAV based on improved SIFT algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017,33(10): 123－129. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.10.016 http://www.tcsae.org

0 引 言

圖像拼接定義為將處于同一場景的多張圖像之間建立對應關系，作為遙感數據分析的基礎已廣泛應用于精準農業[1-5]、農情信息分析[6-8]、病蟲害預測[9]等農業生產中。目前，基于無人機獲取的圖像，拼接主要采用 2種方法：一種是利用無人機POS數據對影像進行拼接，但由于無人機自身因素和氣流的影響，可能無法得到較為精確的飛行姿態等數據，匹配精度難以保證；第二種方法是采用基于圖像區域特征的匹配[10-12]，該方法具有旋轉，縮放和平移不變性。本文對基于圖像特征的尺度不變特征變換[13-16]（scale-invariant feature transform, SIFT）算法進行優化來實現低對比度作物遙感影像拼接。

SIFT算法是1999年由Lowe提出，并于2004年進行完善[13-14]。該算法是在尺度空間上進行特征點的提取，具有良好的尺度不變性以及較強的光照及視角變化的魯棒性[17]。然而在對作物遙感影像拼接時，該算法出現了特征點提取數目少且分布過于集中的情況。這將直接影響圖像的拼接效果，甚至可能導致無法完成拼接。針對上述不足，研究人員提出了不同的改進方案，王萬同等人提出了將SIFT算法與Canny算子結合以增加特征點的查找數目[18]，但該方法大大增加了SIFT算法計算量，很難應用到實際工作中；Yan ke等人提出利用主成分分析的 PCA-SIFT算法來降低特征描述子維度，減少計算量[19]，但在沒有任何先驗知識的情況下，反而會使計算量增大；Delponte等人提出了用奇異值分解（singular value decomposition，SVD）方法進行特征匹配[20]，但匹配過程仍然復雜。針對以上研究中存在的問題，本文利用銳化濾波器來增強圖像細節，以此增加特征點提取數目。同時，使用基于圖像尺度的自適應采樣步長的極值點比較方法，使特征點分布更加均勻，進而提高算法效率。

1 SIFT算法

SIFT算法首先通過預處理對圖像進行去噪以及修正[21-22]；然后利用高斯差分函數構造多尺度空間，在不同尺度空間影像上檢測出具有方向信息的局部極值點；最后將極值點精確定位，去除不穩定的點，根據極值點臨近像素，生成128維的SIFT特征描述子，對特征描述子進行歸一化處理，減小因圖像旋轉以及光照、尺度、噪聲等變化而造成的錯誤匹配概率[13-14]。

1.1 尺度空間極值點檢測

SIFT算法通過高斯核對圖像進行尺度空間變換，高斯核是進行尺度變換的唯一線性核[23-24]。尺度變換的高斯函數定義為：

圖像尺度空間函數L(x,y,σ)定義為：

式中I(x,y)為輸入圖像，G(x,y,σ)是一個可變尺度高斯算子，*是卷積操作，σ為尺度因子，σ值越大，圖像越模糊，σ值越小，圖像越清晰[25]。同時，Lowe在論文中指出，特征點檢測是基于尺度不變的特性[13]，而Lindeberg證明尺度規范化的高斯拉普拉斯算子（laplacian-of-Gaussian, LOG）具有真正的尺度不變性[21]。為了在尺度空間檢測到相對穩定的特征點，Lowe提出了更為有效的 LoG算子的近似算子，即高斯差分算子（difference of Gaussian，DoG）。該算子是將高斯金字塔中上下兩層圖像進行相減得到。圖 1即為使用高斯差分算子構造差分高斯金字塔的構造過程。首先對初始圖像采用不同的平滑因子進行高斯模糊得到第一層圖像（first octave），然后對該層下的最后一幅圖像進行下采樣，長和寬分別縮短一倍，圖像縮小為原四分之一，這幅圖像就是下一層的初始圖像，在該層初始圖像的基礎上完成屬于這個層的高斯模糊處理，以此類推完成整個算法所需要的所有層的構建。構建完高斯金字塔后，將同層內相鄰兩幅圖像進行差值運算，得到對應層的差分高斯圖像，由差分高斯圖像構建成差分高斯金字塔。差分高斯圖像計算公式為：

式中k是常數乘性因子，其取值與尺度空間每層圖片數S有關，即k=21/S。

圖1 差分高斯金字塔構造圖Fig.1 Formation of DoG (difference of Gaussian) pyramid

圖 2所示為在差分高斯金字中進行極值點查找的原理圖，將圖中檢查點A與其同一尺度上相鄰的8個像素和上下2個相鄰尺度上9個像素的灰度值進行比較，確定檢查點是否為該 27個像素灰度值中的極大值或極小值，若成立則A點為一個極值點。

圖2 極值點查找Fig.2 Extreme points detection

查找到極值點后，需對其進行 2步篩選：第一步是利用尺度空間D(x,y,σ)函數的泰勒二次展開式進行曲線擬合來去除低對比度的特征點；第二步是獲得該點 2×2的Hessian矩陣，去除不穩定的邊緣響應點。Taylor展開式為：

式中D為尺度空間，X為偏移量，即 ,,TX=(x ys)，T為矩陣轉置。

Hessian矩陣為：

通過上述步驟，去除了一些低對比度的極值點和不穩定的邊緣點，增強了算法匹配穩定性，提高了算法的抗噪能力。

1.2 主方向生成

通過計算關鍵點鄰域像素的梯度直方圖，為每個關鍵點分配一個基準方向，即方向直方圖中的最大值。梯度模值m(x,y)和方向θ(x,y)公式為：

1.3 生成特征描述符

通過以上步驟，特征點將具有位置、方向、尺度 3個基本信息。同時為了保證特征點的旋轉不變性，將圖像的坐標軸旋轉到關鍵點所在的主方向，然后以關鍵點為中心，劃分4×4個種子區域，每個區域設置8個方向，計算各子區域的梯度直方圖，形成了一個 128維特征向量。最后對特征描述符進行歸一化處理，去除光照變化產生的影響。

2 優化SIFT算法

針對作物遙感影像特征點不鮮明，特征點提取不理想的情況，本文提出一種優化SIFT算法。通過優化，不僅增加了特征點提取數量，而且特征點分布也更加均勻，便于后續處理。優化后算法拼接流程如下：

1）圖像預處理中，通過使用自定義銳化濾波器對高斯變換后的圖像進行處理；

2）在特征點提取階段，引入自適應修改采樣步長的方法對特征點進行提取；

3）特征點提取后，使用非極大值抑制對特征點進行篩選。

4）使用BBF算法優化特征點，RANSAN算法計算變換矩陣，最后使用小波變換進行圖像融合[21]。

優化流程圖如圖3所示。具體優化方案如下文所述。

圖3 優化算法流程圖Fig.3 Flowchart of optimization algorithm

2.1 基于銳化濾波器的圖像預處理

對于SIFT算法，圖像預處理后，雖能有效去除圖像噪點，但由于作物遙感影像色彩單一且變化不明顯，導致其轉化為灰度圖像后對比度過低，同時在構造高斯金字塔的過程中進行了多次平滑操作，使圖像細節進一步模糊，這不利于特征點的提取。因此為了增強圖像細節，增加特征點數目，需降低高斯變換對遙感影像細節的影響。由于圖像模糊是因圖像自身因素以及進行了像素的平均運算或者積分運算所造成，因此可以對圖像進行相應的逆運算，如微分運算來突出圖像細節，使圖像變得更為清晰。本文使用了自定義的銳化濾波器（式8），其是一種微分算子。通過該銳化濾波器對平滑后的圖像進行卷積操作（式9），增強了圖像細節。同時在高斯變換后進行卷積操作，避免了由于卷積而使圖像噪點突出的問題。

式中I(x,y)為輸入圖像，F為自定義銳化濾波器，操作結果對比如圖4所示。

圖4 灰度圖像銳化對比圖Fig.4 Contrast of sharpening gray-scale image

2.2 自適應修改采樣步長的非極小值抑制

Song等人試驗證明[27]，通過去除密集區域不穩定特征點，可使特征點的分布趨于均勻化，均勻分布的特征點能有效改善圖像匹配效果。但由于 SIFT算法在 DoG金字塔中是將當前像素點與同尺度及相鄰尺度的26個像素點進行比較求得的局部極值點，這使得特征點通常集中于色彩變化明顯區域，導致SIFT特征點分布不均勻[28]，為了解決這一問題，在同一尺度上可采用較大的采樣步長，從而增加特征點距離，優化同一尺度特征點的分布。同時，為了研究特征點分布與不同尺度的關系，對圖 5a提取出的特征點進行分析，其對應特征點與尺度分布如圖5b，其中為了便于觀察將初始尺度為編號1，依次后排。

圖5 特征點分布圖Fig.5 Feature points distribution

由圖5b可知，在低尺度區域的特征點占特征點總數的76.7%，而高尺度區域特征點數目僅占23.3%，因此，特征點主要集中在低尺度區域，為了得到更加均勻的特征點分布，同時防止使用相同采樣步長而導致高尺度區域特征點數目過少，本文提出基于圖像尺度的自適應修改采樣步長的方法優選特征點。如圖 6所示，根據當前檢查點A所在尺度，將同尺度相鄰極值點檢測區域由圖3所示更改為(2r+1)×(2r+1)，其中r表示查找半徑，其由式11所示的差分金字塔最大尺度σmax與當前所在尺度σ(s)的差決定，即所在尺度越小抑制半徑越大，尺度越大抑制半徑越小。通過比較同一尺度上的(2r+ 1)2-1個像素點和相鄰尺度18個像素點來獲得極值。使用該方法得到的極值點間距將不小于r。同時，若該點為局部極值點，則對同尺度上的(2r+1)×(2r+1)區域像素點不再檢測，以提高算法效率。

圖6 優化算法極值點查找Fig.6 Extreme points detection of optimization algorithm

檢測半徑公式如下：

式（10）中σmax表示高斯金字塔中的尺度最大值，σ0表示初始尺度，octvs表示金字塔的層數。式（11）中加1是為了避免尺度為0的情況，即抑制半徑最大為高斯金字塔中最大尺度減當前尺度后加1，因此抑制半徑最小為1。

傳統的非極值抑制方法需要不斷改進r值來獲得較為理想的特征點數目，但這種方法使算法復雜化。本文采取一種自適應步長的抑制方法，即根據像素所在尺度，自適應的選取抑制半徑：尺度越小，圖像越清晰，特征點數目越多，采取較大的抑制半徑；尺度越大，圖像越模糊，特征點數目越少，采取較小的抑制半徑。同時，我們隨機選取了部分作物遙感影像進行試驗，試驗結果如表 1所示，可以看出，極值點多集中于極小值，而少量極大值點往往不會對圖像匹配效果造成影響，反而會增加算法運算量，因此本文采用非極小值抑制。

表1 作物遙感影像極值點數量分布Table 1 Distribution of crop remote sensing images extreme points

2.3 圖像匹配

本文采用BBF算法實現圖像匹配，該算法在待匹配圖像特征點集中尋找最近鄰N1與次近鄰N2[29]，計算最近鄰與次近鄰歐式距離之比，當比值小于閾值時（本文為0.5），則最近鄰點N1視為匹配點。最后，為了減少光照及其噪聲等的影響，使用隨機抽樣一致性RANSAC算法去除錯誤匹配[30]。

3 結果及分析

2016年7月至8月在黑龍江省方正縣水稻研究院及其周邊地區開展了基于無人機遙感平臺的作物遙感信息獲取試驗，方正縣水稻研究院位于哈爾濱東南部，地處東經 128°49′41″、北緯 45°54′46″。試驗采集主要作物類型為水稻，采集時期為水稻抽穗期，試驗遙感平臺為TY-6固定翼無人機，傳感器為DSC-RX1RM2相機，相機分辨率為795 2×530 4，對焦方式為手動對焦，鏡頭焦點設置為無限遠，觸發方式為無人機觸發。飛行高度為550 m，空間分辨率為0.064 6 m，飛行時間為10點到14點擇機起飛，一個架次采集圖像約300張，拍攝區域約6 km2。數據分析平臺為：AMD雙核CPU 2.6 GHz，4.0 GB內存。

3.1 特征點提取對比分析

通過對同一遙感區域使用SIFT算法以及本文優化算法進行特征點提取，結果如圖7所示。其中圖7a為使用SIFT算法進行特征點提取的結果，圖中共提取出了25個特征點，均不含輔方向。圖7b為使用優化算法進行提取的結果，共提取到了100個特征點，其中24個點被賦予了輔方向。通過對比可以看出，優化后特征點提取數目明顯增加,尤其是使用SIFT算法提取數目過少的A1、A3、A4區域，同時由于使用了自適應修改采樣步長的非極小值抑制的方法，特征點分布也更加稀疏均勻，這種特征點分布方式有利于特征之間的配準。

圖7 特征點分布對比圖Fig.7 Contrast of feature points distribution

3.2 匹配效果對比分析

為驗證優化算法的匹配效果，在參數保持一致的情況下，分別使用本文優化算法以及SIFT算法進行遙感影像匹配，匹配結果如表2所示。

由表2可以看出，標準SIFT算法在特征點檢測過程中分別檢測到了25個和26個特征點，而優化算法則分別檢測到了100個以及125個特征點。同時由于匹配點數目少于4對時無法完成拼接，而標準SIFT算法僅檢測到了2對匹配對，因此標準SIFT算法匹配結果不符合拼接要求；本文優化算法雖耗時較SIFT算法高，但檢測到17對匹配點，且 17對匹配點均為正確匹配，與未優化SIFT算法相比，具有較好的拼接效果。

表2 特征點匹配統計結果Table 2 Statistical results of feature points matching

3.3 魯棒性對比分析

標準SIFT算法具有較強的魯棒性，經過試驗驗證，本文的優化算法在旋轉變換、尺度縮放、仿射變換等方面同樣具有較好的穩定性。限于篇幅，本文僅選取旋轉變換方面為例，對其匹配效果和試驗數據進行分析說明。在特征點的數量，匹配點對和匹配率方面的比較結果如圖8所示。

圖8 旋轉魯棒性對比圖Fig.8 Comparison of rotation robustness

由圖8a可以看出，通過使用了本文的優化算法中式（9）所示的銳化濾波器，特征點提取數目比標準 SIFT算法約增加了 4倍。說明本文優化算法在拼接影像旋轉情況下，同樣保持了良好的特征點查找性能。由圖 8b、圖8c可知，同等情況下，特征點匹配率平均增加9.46%，本文算法正確匹配點平均增加15對，高于匹配基本條件。從以上試驗可以得出，優化后的算法對旋轉圖像具有較好的拼接效果，同時保持了對旋轉較強的魯棒性。

4 結 論

針對使用SIFT算法對農作物遙感拼接過程中出現的因農作物遙感影像對比度過低所導致特征點提取數目少，拼接效果差的情況。文章中提出了一種基于SIFT算法改進的針對作物遙感影像拼接優化方法。該方法引入自定義銳化濾波器增強了作物遙感影像的細節。通過使用自適應采樣步長的特征點查找方法來均勻特征點分布。在特征點匹配階段，由低對比度作物遙感影像的成像特性可知，農作物遙感影像的特征點多集中于極小值，而少量極大值點往往不會對圖像匹配效果造成影響，反而會增加算法運算量，因此本文采用非極小值抑制來提高算法運行效率。使用該算法進行的驗證試驗結果如下：

1）通過對采集到的作物遙感影像進行特征點查找測試，結果表明：使用了該文優化算法所提取到的特征點數目與標準SIFT算法相比，查找數目提高，平均增加了4倍以上。

2）通過對特征點分布狀況的對比分析，結果顯示使用自適應采樣步長的特征點查找方法，提取到的特征點的分布更加均勻，說明該文提出的優化方法能有效改善作物遙感影像特征點分布集中的情況。

3）算法魯棒性試驗驗證結果表明，優化算法能提取到的特征點數目穩定在 110左右，正確匹配點平均增加15對，特征點正確匹配率平均增加 9.46%，滿足了基本拼接條件，同時當遙感影像發生旋轉時，能夠保持 SIFT算法所具有的優秀的穩定性。

綜上所述，該文優化算法針對性地優化了影響標準SIFT算法拼接作物遙感影像時特征點提取數目不足，拼接效果差的問題，并且保持了SIFT算法較高的魯棒性。本文算法相對于SIFT算法，更適合用于作物遙感影像的拼接。

[1]劉煥軍，康苒，Susan Ustin，等. 基于時間序列高光譜遙感影像的田塊尺度作物產量預測[J]. 光譜學與光譜分析，2016，36(8)：2585－2589.Li Huanjun,Kang Ran, Susan Ustin, et al. Study on the pediction of cotton yield within field scale with time series hyperspectral imagery pressure[J]. Spectroscopy and Spectral Analysis, 2016, 36(8): 2585－2589. (in Chinese with English abstract)

[2]田振坤，傅鶯鶯，劉素紅，等. 基于無人機低空遙感的農作物快速分類方法[J]. 農業工程學報，2013，29(7)：109－116.Tian Zhenkun, Fu Yingying, Liu Suhong, et al. Rapid crops classification based on UAV low-altitude remote sensing[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(7): 109－116. (in Chinese with English abstract)

[3]李宗南，陳仲新，王利民，等. 基于小型無人機遙感的玉米倒伏面積提取[J]. 農業工程學報，2014，30(19)：207－213.Li Zongnan, Chen Zhongxin, Wang Limin, et al. Area extraction of maize lodging based on remote sensing by small unmanned aerial vehicle[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(19): 207－213. (in Chinese with English abstract)

[4]李冰，劉镕源，劉素紅，等. 基于低空無人機遙感的冬小麥覆蓋度變化監測[J]. 農業工程學報,2012,28(13)：160－165.Li Bing, Liu Rongyuan, Liu Suhong, et al. Monitoring vegetation coverage variation of winter wheat by low-altitude UAV remote sensing system[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(13): 160－165. (in Chinese with English abstract)

[5]Mulla D J. Twenty five years of remote sensing in precision agriculture: Key advances and remaining knowledge gaps [J].Biosystems Engineering, 2013, 114(4): 358－371.

[6]王利民，劉佳，楊玲波，等. 基于無人機影像的農情遙感監測應用[J]. 農業工程學報，2013，29(18)：136－145.Wang Limin, Liu Jia, Yang Lingbo, et al. Applications of unmanned aerial vehicle images on agricultural remote sensing monitoring[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013,29(18): 136－145. (in Chinese with English abstract)

[7]楊貴軍，李長春，于海洋，等. 農用無人機多傳感器遙感輔助小麥育種信息獲取[J]. 農業工程學報, 2015,31(21)：184－190.Yang Guijun, Li Changchun, Yu Haiyang, et al. UAV based multi-load remote sensing technologies for wheat breeding information acquirement[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(21): 184－190. (in Chinese with English abstract)

[8]史舟，梁宗正，楊媛媛，等. 農業遙感研究現狀與展望[J].農業機械學報,2015, 46(2)：247－260.Shi Zhou, Liang Zongzheng, Yang Yuanyuan, et al. Status and prospect of agricultural remote sensing[J]. Transactions of the Chinese Society of. Agricultural Machinery, 2015,46(2): 247－260. (in Chinese with English abstract)

[9]Martinelli F, Scalenghe R, Davino S, et al. Advanced methods of plant disease detection. A review[J]. Agronomy for Sustainable Development, 2014, 35(1): 1－25.

[10]周志艷，閆夢璐，陳盛德，等. Harris角點自適應檢測的水稻低空遙感圖像配準與拼接算法[J]. 農業工程學報,2015,31(14)：186－193.Zhou Zhiyan, Yan Menglu, Chen Shengde, et al. Image registration and stitching algorithm of rice low-altitude remote sensing based on Harris corner self-adaptive detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015,31(14): 186－193.

[11]Brown M, Lowe D G. Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision, 2007, 74(1): 59－73.

[12]Heikkil? M, Pietik?inen M, Schmid C. Description of interest regions with local binary patterns[J]. Pattern Recognition,2009, 42(3): 425－436.

[13]Lowe D G. Object recognition from local scale-invariant features[C]//Proceedings of the Seventh International Conference on Computer Vision, 2002, 2: 1150.

[14]Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004,60(2): 91－110.

[15]何敬，李永樹，魯恒，等. 基于 SIFT特征點的無人機影像拼接方法研究[J]. 光電工程, 2011, 38(2)：122－126.He Jing Li Yongshu, Lu Heng, et al. Research of UAV aerial image mosaic based on SIFT[J]. Opto-Electronic Engineering,2011, 38(2): 122－126. (in Chinese with English abstract)

[16]吳建，馬躍. 一種改進的 SIFT算法[J]. 計算機科學,2013,40(7)：270－272.Wu Jian, Ma Yue. Improved SIFT Algorithm[J]. Computer Science, 2013, 40(7): 270－272. (in Chinese with English abstract)

[17]Mikolajczyk K, Schmid C. Performance evaluation of local descriptors. [J]. IEEE Transactions on Pattern Analysis &Machine Intelligence, 2005, 27(10): 1615－30.

[18]王萬同，韓志剛，劉鵬飛. 基于SIFT點特征和Canny邊緣特征匹配的多源遙感影像配準研究[J]. 計算機科學,2011,38(7)：287－289.Wang Wantong, Han Zhigang, Liu Pengfei. Multi-sensor image registration algorithm based on SIFT points and Canny edge features matching[J]. ComputerScience, 2011, 38(7):287－289. (in Chinese with English abstract)

[19]Yan Ke, Sukthankar R. PCA-SIFT: A more distinctive representation for local image descriptors[J]. 2004, 2(2): 506－513.

[20]Delponte E, Isgrò F, Odone F, et al. SVD-matching using SIFT features[J]. Graphical Models, 2006, 68(5/6): 415－431.

[21]Teillet P M. Image correction for radiometric effects in remote sensing[J]. International Journal of Remote Sensing,1986, 7(12): 1637－1651.

[22]Schettini R, Gasparini F, Corchs S, et al. Contrast image correction method.[J]. Journal of Electronic Imaging, 2010,19(2): 334－343.

[23]楊曉敏，吳煒，卿粼波，等. 圖像特征點提取及匹配技術[J]. 光學精密工程,2009,17(9)：2276－2282.Yang Xiaomin, Wu Wei, Qing Linbo, et al. Image feature extraction and matching technology[J]. Guangxue Jingmi Gongcheng/optics & Precision Engineering, 2009, 17(9):2276－2282. (in Chinese with English abstract)

[24]Koenderink J J. The structure of images[J]. Biological Cybernetics, 1984, 50(5): 363－70.

[25]Tony Lindeberg. Scale-space theory: A basic tool for analyzing structures at different scales[J]. Journal of Applied Statistics, 2011, 21(1): 225－270.

[26]Li H, Manjunath B S, Mitra S K. Multi-Sensor Image fusion using the wavelet transform.[J]. Graphical Models & Image Processing, 1995, 57(3): 235－245.

[27]Song R, Szymanski J. Well-distributed SIFT features[J].Electronics Letters, 2009, 45(6): 308－310.

[28]許曉帆，王毅，王永泉. 基于自適應非極大值抑制的SIFT改進算法[J]. 電子設計工程,2014，22(206)：180－182.Xu Xiaofan, Wang Yi, Wang Yongquan. Improved SIFT algorithm based on adaptive non-maximun suppression[J].Electronic Design Engineering, 2014, 22 (206): 180－182.(in Chinese with English abstract)

[29]Beis J S, Lowe D G. Shape indexing using approximate nearest-neighbour search in high-dimensional spaces[J].Conference on Computer Vision and Pattern Recognition(CVPR), 1997: 1000－1006.

[30]Wang S, Sidhu R, Karve G, et al. Systems and experiment paper: Construction of panoramic image mosaics with global and local alignment. [J]. International Journal of Computer Vision, 2000, 36(2): 101－130.

Mosaic of crop remote sensing images from UAV based on improved SIFT algorithm

Jia Yinjiang, Xu Zhenan, Su Zhongbin, Jin Siyu, Arshad M. Rizwan
(School of Electronic Engineering and Information, Northeast Agricultural University, Harbin150030,China)

The technology of unmanned aerial vehicle (UAV) remote sensing takes the UAV as a remote sensing platform and the digital equipment as the mission payload. UAV is characterized by high mobility, low cost and automated acquisition of the remote sensing data. These characteristics of UAV can be used to acquire high resolution images, and therefore, they are widely used in precision agriculture, pest forecasting, crop yield prediction, and so on. However, due to the restrictions of acquisition equipment and flight height, the task area may not be fully covered in acquired images. So it is necessary to mosaic the gathered image. In the process of using the scale-invariant feature transform (SIFT) algorithm for the mosaic of crop remote sensing images, the feature points were few and the effect of mosaic was poor because of the low contrast of the crop remote sensing images. To solve this problem, the contrast experiment was conducted for analyzing the steps of SIFT algorithm using the low altitude crop remote sensing images of past years. It was noted that the images were blurred because of Gaussian transform in the stage of image preprocessing and Gaussian pyramid constructing, which led to the lack of the feature points. Aiming at this problem, we proposed to use a sharpening filter to highlight the details of the image and increase the number of feature points after the Gauss transform. In the stage of searching feature points, after analyzing the feature points on the same scale, we found the feature points concentrated in the regions where the color changed obviously; while in the different scales, the overall distribution of the feature points was inversely proportional to the scale. To prevent the reduction of the feature points caused by the same sampling step in the regions of high scale, in this paper, a search method of feature points based on adaptive sampling step was used to achieve uniform distribution of the feature points, because the uniform distribution of feature points was more conducive to image mosaic. A larger sampling step was used in the low-scale region and a smaller sampling step was used in the high-scale region. In the phase of feature matching, the feature points of crop remote sensing images were mostly concentrated at the minimum value, and a few maximum points often did not affect the image matching effect, but it would increase the amount of calculation. Therefore, this paper adopted non-minimum suppression to improve the efficiency of the algorithm. In order to verify the validity of the proposed algorithm, we carried out the experiment based on UAV remote sensing platform from July to August in 2016. Through the contrast experiment using SIFT algorithm and proposed algorithm, we could see that, as for low altitude crop remote sensing images, the number of feature points was averagely increased by 77.5% after optimization, the distribution of feature points was also more uniform,the number of matching points averagely increased by 15 pairs and the matching rate averagely increased by 9.46%; for the crop images that could not be stitched by SIFT algorithm, the proposed algorithm could extract more than 8 pairs of matching points, and this satisfied the condition of image mosaic. Experiments have showed that the custom sharpening filter can extract more feature points, and after introducing the adaptive sampling step, the distribution of the feature points is more uniform,and the optimized algorithm keeps the robustness. Therefore, this algorithm is more suitable for the crop remote sensing images mosaic than SIFT algorithm.

crops; remote sensing; unmanned aerial vehicle; non-minimum suppression; image mosaic; sampling step; robustness

10.11975/j.issn.1002-6819.2017.10.016

TP391

A

1002-6819(2017)-10-0123-07

2016-10-02

2017-04-05

國家重點研發計劃專項（2016YFD0200701）；863計劃項目（2013AA102303）；國家重點研發計劃專項（2016YFD020060305）

賈銀江，男，黑龍江集賢人，副教授，博士，主要從事農業遙感與信息技術研究。哈爾濱 東北農業大學電氣與信息學院，150030。

Email：jiayinjiang@126.com