基于優(yōu)化SIFT算法的農(nóng)田航拍全景圖像快速拼接

劉媛媛，何 銘，王躍勇，孫 宇，高雪冰

?農(nóng)業(yè)信息與電氣技術(shù)?

基于優(yōu)化SIFT算法的農(nóng)田航拍全景圖像快速拼接

劉媛媛1,3，何 銘1,3，王躍勇2,3※，孫 宇1,3，高雪冰1,3

（1. 吉林農(nóng)業(yè)大學(xué)信息技術(shù)學(xué)院，長春 130118；2. 吉林農(nóng)業(yè)大學(xué)工程技術(shù)學(xué)院，長春1 30118；3. 吉林農(nóng)業(yè)大學(xué)智慧農(nóng)業(yè)研究院，長春 130118）

為了快速準(zhǔn)確獲取大面積農(nóng)田圖像信息，提高保護性耕作秸稈還田監(jiān)測效率和準(zhǔn)確性，該研究提出一種基于優(yōu)化SIFT（scale-invariant feature transform）算法的農(nóng)田航拍全景圖像快速拼接方法。首先對高分辨率圖像進行降采樣處理，針對圖像的重疊區(qū)域進行有效檢測；然后采用基于梯度歸一化的特征描述符對特征點進行匹配，同時通過漸進樣本一致算法去除誤匹配，精準(zhǔn)計算拼接轉(zhuǎn)換模型；最后采用基于最佳拼接線的多分辨率融合算法進行圖像融合，得到全景拼接圖像。試驗結(jié)果表明：該文方法在圖像配準(zhǔn)階段與傳統(tǒng)SIFT算法和SURF（speeded up robust feature）算法相比，特征點數(shù)量分別減少了97%和90%，運行時間減少了94%和69%，平均匹配效率為65.17%，約為SIFT算法的4倍，SURF算法的9倍；與APAP（ss-projective-as-possible）、SPHP（shape-preserving half-projective）和AANAP（adaptive as-natural-as-possible）算法相比，該方法拼接圖像的信息熵、平均梯度和圖像對比度均有明顯提高。與傳統(tǒng)方法相比，該文分層拼接方法提高了全景拼接圖像的清晰度和融合效果，解決了傳統(tǒng)方法中出現(xiàn)的錯位和重影問題，其中全景圖像的信息熵、平均梯度小幅提高，對比度明顯提高，拼接時間大約縮短了90%以上。研究結(jié)果可為保護性耕作秸稈還田監(jiān)測提供科學(xué)參考。

無人機；圖像處理；全景拼接；SIFT算子；特征點匹配；圖像融合

0 引 言

秸稈覆蓋還田能夠杜絕秸稈焚燒產(chǎn)生的大氣污染，同時還能起到增肥增產(chǎn)作用，對農(nóng)業(yè)生產(chǎn)、生態(tài)環(huán)境有積極影響[1-3]。為了更好地實行秸稈還田補貼政策，準(zhǔn)確評估秸稈還田率極其重要。目前，國內(nèi)主要采用人工拉繩法來測量秸稈覆蓋率，效率低、精度差。因此，采用計算機視覺技術(shù)解決田間秸稈覆蓋率精準(zhǔn)檢測問題十分重要[4-6]。近幾年，無人機航拍技術(shù)不斷發(fā)展與普及，其具有快速、靈活、操作方便、影像分辨率高等優(yōu)勢，得到廣泛應(yīng)用[7-8]。受到無人機飛行高度和相機成像視場的限制，無人機獲取的單幅圖像難以完全覆蓋目標(biāo)區(qū)域，為了滿足秸稈覆蓋率及地理信息檢測對大面積全景圖像的要求，需要利用圖像拼接技術(shù)，對無人機采集的序列圖像進行全景拼接。圖像拼接技術(shù)最初由SUTHERLAND[9]提出。1975年KUGLIN等[10]提出通過傅里葉變換把原始圖像變換到頻域區(qū)，通過歸一化互動功率譜計算相鄰圖像間的平行和旋轉(zhuǎn)量，最后得到拼接圖像。

圖像配準(zhǔn)是序列圖像拼接的關(guān)鍵。HARRIS等[11]提出了Harris特征點檢測器，對像素直接進行處理，通過角點計算特征點，像素精度高，魯棒性好，但其不具有尺度不變性，對圖片的明暗程度比較敏感，在紋理角點豐富的場景下檢測效果較差。LOWE等[12]提出了尺度不變特征變換（scale-invariant feature transform, SIFT）算法，該算法匹配精度高，有良好的尺度不變性以及較強光照及視角變化的魯棒性，但特征點計算量大，特征描述子計算過程復(fù)雜度高，無法滿足圖像快速拼接要求。BAY[13]對SIFT算法的興趣點提取及其特征向量描述進行改進，提出了高魯棒性局部特征點檢測（speeded up robust feature，SURF）算法。與SIFT算法相比，SURF算法充分利用積分圖像，大大減少了計算復(fù)雜度和計算量，計算速度更快，但算法穩(wěn)定性差且對尺度和旋轉(zhuǎn)的變化容忍度低。MOREL等[14]提出了一種仿射尺度不變特征轉(zhuǎn)換（affine scale invariant feature transform，ASIFT）算法，該算法建立一種仿射模型對SIFT算法中仿射變換匹配計算進行改進。RUBLE等[15]提出了ORB（oriented FAST and rotated BRIE）算法，該算法在圖像匹配計算中速度更快。但也不具備尺度不變性，在很多應(yīng)用上都有著很大的不足。

國外關(guān)于圖像拼接的研究主要集中在拼接相鄰兩幅圖像[16]或同行多幅圖像生成全景圖像[17-18]的簡單情況。目前，國內(nèi)研究人員對無人機航拍圖像拼接的研究也取得快速發(fā)展。賈銀江等[19]提出了一種基于圖像銳化的自適應(yīng)修改采樣步長的非極小值抑制拼接算法。沈躍等[20]提出了基于Kinect彩色和深度雙信息特征源的圖像拼接方法，能夠有效克服光照、風(fēng)吹等環(huán)境因素的影響，避免了圖像缺失、亮暗差異、重影等拼接錯誤。吳如夢等[21]提出根據(jù)無人機航拍過程中自身的參數(shù)和攝像頭的參數(shù)信息，使用SURF算法對預(yù)處理后的圖像進行特征檢測的方法。王紅君等[22]提出了基于改進SPHP算法的無人機遙感圖像全景拼接方法。王艷等[23]通過改進SIFT算法提出一種基于GA-SIFT算法的航拍圖像拼接方法。目前已有遙感圖像拼接軟件如Pix4、ENVI、Agisoft等對圖像具有較高要求，圖像重疊率必須為80%以上，在對大面積農(nóng)田圖像拼接時，所需圖像數(shù)據(jù)較多，耗時較大，無法滿足快速拼接要求。

針對上述問題，本文結(jié)合航拍秸稈農(nóng)田圖像特點，對多幅高分辨率圖像拼接方法展開研究，提出了一種基于優(yōu)化SIFT算法的秸稈農(nóng)田全景圖像快速拼接方法，針對圖像重疊區(qū)域提取秸稈目標(biāo)特征點，并在特征匹配階段對匹配點進行篩選，利用漸進樣本一致（progressive sample consistency，PROSAC）算法去除誤匹配點，實現(xiàn)精準(zhǔn)匹配，最后采用基于最佳拼接線的多分辨率融合算法進行圖像融合，得到高分辨率的農(nóng)田區(qū)域全景圖像。

1 航拍農(nóng)田圖像快速拼接算法

1.1 算法流程

為了準(zhǔn)確、快速地計算農(nóng)田秸稈還田率，通過無人機航拍采集低空高分辨率圖像，結(jié)合航拍秸稈農(nóng)田圖像特點提出了一種基于優(yōu)化SIFT算法的農(nóng)田航拍全景圖像快速拼接算法，為大面積秸稈還田率檢測及地理信息檢測提供大面積區(qū)域圖像信息是非常有價值的[24-26]。本算法流程如圖1所示。

圖1 航拍農(nóng)田圖像快速拼接算法

首先，通過對無人機獲取的低重疊率秸稈農(nóng)田序列圖像進行濾波和增強處理；其次，運用優(yōu)化SIFT算法檢測圖像重疊區(qū)域的特征點，獲取特征描述子MN-SIFT[27]；然后，根據(jù)尺度還原后的特征點描述子進行特征點匹配，利用漸進樣本一致算法對匹配結(jié)果優(yōu)化，剔除其中的誤匹配；最后，計算圖像投影轉(zhuǎn)換模型，采用基于最佳縫合線的多分辨率圖像融合算法進行圖像融合，生成全景拼接圖像。

1.2 重疊區(qū)域檢測

無人機采集的相鄰圖像之間存在旁向重疊和航向重疊（本文均為20%），用于拼接的有效區(qū)域僅為重疊區(qū)域。傳統(tǒng)的SIFT和SURF算法為全局特征提取，即對圖像的全部區(qū)域進行特征提取，會在重疊區(qū)域外檢測出大量無效特征點，增加了算法計算量，從而導(dǎo)致特征檢測效率低、耗時長。因此，為提高檢測和匹配效率，實現(xiàn)快速拼接，在進行特征點檢測前，需要判定相鄰圖像之間的重疊區(qū)域，確定特征檢測的有效區(qū)域。由于圖像采集過程中無人機按照設(shè)置航線飛行，如圖2所示，相鄰圖像之間相對位置，無較大偏轉(zhuǎn)，根據(jù)航線方向和重疊率，可計算出航向（軸）和旁向（軸）重疊區(qū)域在圖像中的坐標(biāo)。根據(jù)所求坐標(biāo)，僅對圖像重疊區(qū)域進行特征檢測，圖3為相鄰航拍圖像重疊區(qū)域示意圖。

圖2 無人機圖像采集

圖3 相鄰航拍圖像重疊區(qū)域示意圖

1.3 特征點提取

本文根據(jù)不同視角和時間采集農(nóng)田航拍圖像，具有紋理、投影、光度和非線性強度變化，且圖像中秸稈特征相似，顏色接近，特征匹配難度較大。直接采用傳統(tǒng)SIFT算法檢測和匹配特征點，存在特征點冗余、耗時長、配準(zhǔn)效率低等問題。因此，本文對SIFT算法進行改進，只針對重疊區(qū)域（有效區(qū)域）進行特征提取，去除了無效區(qū)域大約80%的特征點，在此基礎(chǔ)上對圖像進行降采樣處理，以降低圖像的分辨率，減少SIFT特征檢測的計算量；針對秸稈圖像的紋理特征采用一種新的特征描述子，可以更好地匹配秸稈特征，提高配準(zhǔn)精度。具體步驟為：

1）圖像降采樣處理。根據(jù)降采樣系數(shù)，對輸入圖像中每行每列間隔點取樣。由于不同場景中的航拍圖像信息豐富度不同，降采樣系數(shù)的取值也不同。

2）尺度空間極值點檢測。搜索所有尺度的圖像位置，通過高斯微分函數(shù)識別潛在的尺度和旋轉(zhuǎn)不變的興趣點。二維圖像的尺度空間(,,)定義為尺度可變高斯函數(shù)(,,)與原圖像(,)的卷積，如式（1）～（2）。

式中，為橫縱坐標(biāo)，為尺度大小。

3）精確定位特征點。通過擬合三維二次函數(shù)獲得極值點，確定特征點的位置和尺度，同時過濾低對比度特征點和不穩(wěn)定的邊緣響應(yīng)點，以增強匹配穩(wěn)定性，提高抗噪聲能力。

式中min和max是圖像區(qū)域內(nèi)獲得的梯度幅值最小值和最大值，（,）表示像素位置。

以特征點為原點，構(gòu)建41×41（像素）的圖像區(qū)域(,)，并將其分成4×4個子區(qū)域，如圖4所示。

圖4 構(gòu)建圖像子區(qū)域

將該區(qū)域(,)與[?1,0,1]和[?1,0,1]T進行卷積，分別獲得水平和垂直方向梯度F和F。由式（4）～（5）得到梯度幅值(,)和特征方向(,)。

通過取余運算，將方向(,) 分為8個等級，(,)由式（7）計算，根據(jù)(,)計算特征直方圖h，如式（8）所示。

式中ì[0,7]，函數(shù)在除0以外的點都等于0。當(dāng)()=1時，為主方向，否則為其他方向：

最后，將每個子區(qū)域特征直方圖h串聯(lián)，形成一個不受尺度、旋轉(zhuǎn)和光照等影響的MN-SIFT特征描述子。

改進算法去除了特征檢測中大量無效特征點，用少量精準(zhǔn)特征點實現(xiàn)高質(zhì)量配準(zhǔn)，解決傳統(tǒng)SIFT算法耗時長、匹配效率低的問題，并對秸稈農(nóng)田航拍圖像的旋轉(zhuǎn)變換、尺度縮放、亮度變化具有較好的魯棒性。

1.4 特征點匹配

在特征匹配前，根據(jù)降采樣系數(shù)對提取到的特征點坐標(biāo)和尺度進行等比例還原，將檢測出的特征點還原到原始圖像中，保證后續(xù)高分辨率圖像拼接的精度，利用還原后的特征點描述子MN-SIFT對特征點對進行相似度度量，生成匹配點對。特征點匹配的篩選標(biāo)準(zhǔn)為特征點間的歐氏幾何距離，見式（10），選取歐氏幾何距離最小的兩個特征點，計算最小兩個歐氏幾何距離的比值并與特定閾值進行比較（式（11））。在兩向量夾角較小時，兩向量的歐氏距離可通過向量的點積運算近似得出。

式中和分別代表參考圖像和目標(biāo)圖像中的特征點，D和D分別代表維特征描述子。

式中1和2分別是特征點最近鄰點和次近鄰點的歐氏距離。若比值小于特定閾值（通常為0.4～0.6之間），則認(rèn)可這一對匹配點，反之則剔除。

通過相似性度量可以實現(xiàn)圖像特征點的快速匹配，但不可避免會產(chǎn)生誤匹配，嚴(yán)重時會導(dǎo)致后續(xù)拼接圖像發(fā)生重影、錯位等情況。為解決這一問題，本文采用漸近樣本一致算法進一步優(yōu)化匹配結(jié)果，篩選得到精準(zhǔn)的匹配特征點對。

1.5 基于最佳縫合線的多分辨率融合

航拍秸稈農(nóng)田圖像中信息多、細(xì)節(jié)復(fù)雜，本文將多分辨率融合算法與最佳縫合線法[28]相結(jié)合，提出基于最佳縫合線的多分辨率融合算法。

最佳縫合線法[28]通過能量函數(shù)（式（12））計算，融合顏色差異、梯度差異和紋理復(fù)雜性，在待融合圖像間的重疊區(qū)域搜索最佳縫合線，將重疊區(qū)域圖像劃分為過渡區(qū)域和縫合線區(qū)域，構(gòu)建掩膜圖像和模板圖像。

式中表示最終權(quán)重，E表示色差，E表示梯度差，E表示紋理差，表示懲罰。

利用金字塔變換對掩膜圖像和模板圖像進行8層金字塔操作，通過高斯濾波器(,)對圖像卷積操作，然后經(jīng)過下采樣構(gòu)建高斯金字塔，將高斯金字塔的每一層圖像減去上一層經(jīng)過上采樣和高斯卷積之后的圖像，各層差值圖像組成拉普拉斯金字塔L，見式（13）～（15）。其中代表層數(shù)，和分別代表行和列數(shù)，為高斯金字塔最大層數(shù)，為拉普拉斯金字塔最大層數(shù)。

采用漸入漸出算法對掩膜圖像金字塔中相對應(yīng)的每層圖像分別進行融合，將兩張融合圖像分別定義為1和2，融合后圖像為，如式（16）。其中1(,)、2(,)為權(quán)值函數(shù)，1(,)+2(,)=1，(,) 表示距邊界的距離最終構(gòu)建成新的拉普拉斯金字塔。

拉普拉斯金字塔逆變換可以將融合后的拉普拉斯金字塔逐層恢復(fù)成其對應(yīng)的高斯金字塔，然后使用插值法將其與模板圖像結(jié)合，得到融合圖像，如式（17）。

本文融合算法有效去除拼接拼接過程中出現(xiàn)的鬼影和虛影現(xiàn)象，能夠避免圖像信息丟失，保留圖像細(xì)節(jié)信息，實現(xiàn)圖像的高質(zhì)量拼接。

1.6 分層拼接策略

全景拼接中多圖拼接的核心是求拼接序列中所有圖像的投影模型，對其組合，但由于誤差累計，嚴(yán)重影響拼接效果。本文提出多幅圖像的分層拼接策略，降低多圖拼接累積誤差，提高全景圖像質(zhì)量。具體思路是：由于無人機航拍作業(yè)時同一路線的圖像之間的相對位置關(guān)系明確，偏轉(zhuǎn)角度較小，轉(zhuǎn)換模型累計誤差也較小，所以采用按航線進行分層，其首要任務(wù)是拼接每一層圖像，然后將每一層的結(jié)果全景拼接，形成完整全景圖像。

2 圖像拼接試驗結(jié)果與分析

2.1 圖像采集與試驗設(shè)備

無人機遙感圖像數(shù)據(jù)來自3個不同的試驗區(qū)，包括吉林省長春市吉林農(nóng)業(yè)大學(xué)教學(xué)科研基地（125°37′57.38″E，44°16′33.64″N）；吉林省長春市農(nóng)業(yè)機械研究院試驗基地（43°52′6.83″E，125°30′19.67″N）；吉林省長春市二道區(qū)三道鎮(zhèn)和平農(nóng)場（125°30′39.87″E，43°52′27.21″N）。采集時間為3月中下旬－4月上旬和10月中下旬－11月中下旬，晴天，采集時間集中在上午9：00－11：00和下午13：00－15：00。采集設(shè)備為大疆M200 V2無人機搭載X5S增穩(wěn)云臺。無人機飛行高度為120 m，圖像橫縱重疊率均為20%，圖像大小為5 280×2 970（像素），共200張。試驗環(huán)境為Windows10操作系統(tǒng)，Intel(R) Core(TM) i5-7300 CPU 2.50 GHz，GTX 1050，內(nèi)存為8 GB。

2.2 降采樣系數(shù)選擇

為獲得較為理想的特征點數(shù)目和匹配率，需要不斷改進降采樣系數(shù)值，經(jīng)過對多張不同地塊的單張秸稈圖像進行試驗，統(tǒng)計多次試驗后圖像特征點檢測數(shù)量、匹配率（匹配點數(shù)量/特征點數(shù)量）和運行時間的平均值，如表1所示。由表1可知，值越大，特征點數(shù)目越少，時間越短。當(dāng)值為3時，單幅圖像特征點匹配點數(shù)量適中，速度較快，且匹配率最高，滿足快速拼接要求，因此本文取= 3。

表1 特征匹配結(jié)果統(tǒng)計

2.3 特征點檢測與匹配

為驗證本文方法的配準(zhǔn)效果，選取具有復(fù)雜背景和特征差異的航拍圖像，分別采用傳統(tǒng)SIFT、SURF和本文算法進行特征點檢測與匹配，試驗結(jié)果如圖5所示。統(tǒng)計3種算法的特征點數(shù)量、匹配點數(shù)量、匹配率（匹配點數(shù)量/特征點數(shù)量）和運行時間，如表2所示。

由圖5可以看出，傳統(tǒng)SIFT算法檢測出了大量特征點，但大部為無效特征點（圖5a）。采用SURF算法的特征點數(shù)量較傳統(tǒng)SIFT算法減少，但也有大量無效特征點，且特征點分布不均勻（圖5b）。本文優(yōu)化算法的特征檢測結(jié)果與傳統(tǒng)SIFT算法，僅對重疊區(qū)域檢測，去除了大量無效特征點，大大提高了檢測和匹配效率（圖5c）。

圖5 特征檢測結(jié)果對比

表2 特征配準(zhǔn)結(jié)果

從表2的特征點數(shù)量和匹配率結(jié)果可知，本文算法檢測出的特征點數(shù)量相較于傳統(tǒng)SIFT和SURF算法分別減少了97%和90%，且匹配率（匹配點數(shù)量平均值/特征點數(shù)量平均值之比）為65.17%，遠高于其他兩種算法。此外，本文算法大大降低了運行時間，比傳統(tǒng)SIFT和SURF算法節(jié)約了94%和69%的時間，極大地提高了特征檢測與匹配的效率，單幅平均檢測時間約為3.72 s，達到快速檢測的目的。

2.4 圖像拼接

2.4.1 單幅圖像拼接

本文采集的秸稈農(nóng)田圖像背景比較復(fù)雜，除秸稈外還包含道路、房屋、車等。為驗證本文快速拼接方法的有效性，將兩幅圖像的拼接結(jié)果與當(dāng)前優(yōu)秀的圖像拼接方法進行了比較，包括APAP[16]，SPHP[17]，AANAP[18]算法。試驗圖像尺寸為5280×2970（像素），圖像之間的重疊率為20%。

利用不同算法對3個地塊的圖像進行拼接試驗，拼接結(jié)果如圖6所示，圖中紅框標(biāo)注同一圖像位置的拼接細(xì)節(jié)。可以看出，本文算法實現(xiàn)了良好的融合效果和高質(zhì)量拼接。

圖6a和圖6b在拼接區(qū)域有明顯錯拼，且出現(xiàn)模糊、錯位現(xiàn)象，圖像質(zhì)量相對較低。圖6c在拼接區(qū)域雖然無明顯錯拼和現(xiàn)象，但圖像細(xì)節(jié)模糊，有重影現(xiàn)象，圖像質(zhì)量一般。圖6d在拼接區(qū)域過渡自然、清晰，圖像質(zhì)量相對較高。

采用信息熵（I）[29]、平均梯度（C）[30]和圖像對比度（I）對拼接圖像質(zhì)量進一步評估。

信息熵表示圖像所包含的平均信息量的多少，熵值越大則所含信息量越多，效果越好，計算式為

式中代表圖像，P表示在圖像中灰度值為的像素在圖像總像素數(shù)量中所占的比例，是灰度等級，一般取256。

平均梯度也稱為清晰度，反映圖像中的微小細(xì)節(jié)反差與紋理變化特征，值越大越清晰，計算式為

式中()表示圖像對應(yīng)像素(,)的灰度值。

圖像對比度表示圖像黑與白的比值，表示從黑到白的漸變層次。比值越大，圖像色彩越豐富，圖像質(zhì)量越好，計算式為

式中d(i,j)=|i-j|，為相鄰像素間灰度差，Pd為相鄰像素間的灰度差d的像素分布概率。

圖6拼接圖像的評價指標(biāo)計算結(jié)果如表3所示。由表3可知，與其他方法相比本文方法拼接后的圖像的信息熵、平均梯度小幅提高，對比度明顯提高，圖像質(zhì)量更高，在多組試驗中的表現(xiàn)都明顯優(yōu)于其他方法。此外，與其他方法相比，本文方法的拼接時間有較大改善，拼接效率明顯提高，滿足快速拼接的要求。

表3 拼接性能比較

2.4.2 多幅圖像拼接

為驗證多幅高分辨率圖像分層拼接策略及本文方法的有效性，針對具有復(fù)雜背景的高分辨率秸稈農(nóng)田航拍圖像，分別采用傳統(tǒng)方法和本文方法進行5組試驗，并對全景拼接結(jié)果進行比較和分析，部分結(jié)果示例如圖7所示。

由圖7可以看出，本文方法對背景復(fù)雜、特征差異大的3組隨機圖像都取得了很好的拼接效果。矩形框標(biāo)注圖像中的拼接細(xì)節(jié)，放大圖像細(xì)節(jié)可以看出，本文方法生成的圖像整體質(zhì)量較高，細(xì)節(jié)清晰，拼接效果自然，沒有出現(xiàn)錯位和重影現(xiàn)象。而用傳統(tǒng)方法拼接后的圖像整體質(zhì)量較低，有明顯的重影、錯位和模糊現(xiàn)象。2種方法的評價指標(biāo)結(jié)果見表4。

由表4可知，本文方法生成的全景圖像的信息熵、平均梯度提高約10%，對比度提高約20%，整體耗時降低90%以上。根據(jù)主觀和客觀指標(biāo)評價，可以看出，本文方法的拼接質(zhì)量較高，提高了拼接后圖像的清晰度和融合效果，也解決了傳統(tǒng)方法中出現(xiàn)的錯位和重影問題。

圖7 全景拼接對比圖

表4 多圖拼接性能比較

3 結(jié) 論

本文基于無人機采集的秸稈農(nóng)田航拍數(shù)據(jù)，提出了一種基于優(yōu)化SIFT算法的農(nóng)田航拍圖像快速拼接方法，通過特征點數(shù)量、運行時間以及圖像質(zhì)量等指標(biāo)驗證本方法的高效性，結(jié)果如下：

1）在特征檢測階段，本文算法只針對重疊區(qū)域（有效區(qū)域）進行特征提取，去除了無效區(qū)域大約80%的特征點，在此基礎(chǔ)上對圖像進行降采樣，降低圖像的分辨率，在保證拼接質(zhì)量的條件下進一步減少了特征點的數(shù)量；與傳統(tǒng)SIFT算法和SURF算法相比，特征點數(shù)量減少了97%和90%；運行時間減少了94%和69%，滿足快速拼接檢測的要求。

2）在特征匹配階段，本文算法對提取到的特征點坐標(biāo)和尺度進行等比例還原，保證了圖像信息完整和拼接的精度；使用新的特征描述子進行匹配，有效提高了特征點檢測精度，匹配率（匹配點數(shù)量/特征點數(shù)量）為65.17%；與傳統(tǒng)SIFT算法和SURF算法相比有較大提升；并且通過PROSAC算法進一步去除誤匹配，提高了轉(zhuǎn)換模型的精度，拼接圖像的質(zhì)量。

3）通過基于最佳縫合線的多分辨率圖像融合算法有效去除鬼影、虛影，能夠避免圖像信息丟失，保存圖像細(xì)節(jié)信息完整。本文方法在單幅圖像的拼接中實現(xiàn)了良好的融合效果和高質(zhì)量的拼接，與其他拼接方法相比，該方法的性能優(yōu)于其他廣泛使用的優(yōu)秀方法。

4）針對高分辨率秸稈圖像的多圖拼接，提出了一種多幅高分率航拍圖像的分層拼接策略。與傳統(tǒng)方法相比，本文的快速拼接方法生成的全景圖像，其信息熵、平均梯度提高約10%，對比度提高約20%，圖像整體的拼接精度和質(zhì)量有明顯提高。最后將本文整體的航拍全景圖像的快速拼接方法與傳統(tǒng)方法相比，在提高拼接圖像質(zhì)量的同時，整體耗時降低90%以上，滿足快速拼接檢測的要求。

本文方法能夠在復(fù)雜背景條件下針對無人機航拍圖像中的重疊區(qū)域快速準(zhǔn)確地提取秸稈目標(biāo)特征點，能在特征匹配階段區(qū)分秸稈和雜波等其他干擾源，實現(xiàn)匹配點的精確匹配，最后采用基于最佳縫合線的多分辨率圖像融合算法進行圖像融合，提高了圖像質(zhì)量，實現(xiàn)圖像的全景拼接，但在時間上仍有進一步提高的空間。該方法也可以應(yīng)用于遙感和農(nóng)業(yè)監(jiān)測領(lǐng)域，生成用于作物評估和預(yù)測的實時全景圖像。

[1] 田慎重，張玉鳳，邊文范，等. 深松和秸稈還田對旋耕農(nóng)田土壤有機碳活性組分的影響[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(2)：185-192.

TIAN Senzhong, ZHANG Yufeng, BIAN Wenfan, et al. Effect of deep loosening and straw return on the organic carbon activity fraction of rototilled farmland soils[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(2): 185-192. (in Chinese with English abstract)

[2] 汪可欣，付強，張中昊，等. 秸稈覆蓋與表土耕作對東北黑土根區(qū)土壤環(huán)境的影響[J]. 農(nóng)業(yè)機械學(xué)報，2016，47(3)：131-137.

WANG Kexin, FU Qiang, ZHANG Zhonghao, et al. Effects of straw mulching and topsoil tillage on soil environment in the root zone of northeastern black soil[J]. Transactions of the Chinese Society of Agricultural Machinery, 2016, 47(3): 131-137. (in Chinese with English abstract)

[3] 王忠江，王澤宇，司愛龍，等. 秸稈與沼肥同步翻埋還田對秸稈腐解特性的影響[J]. 農(nóng)業(yè)機械學(xué)報, 2017，48(6)：271-277.

WANG Zhongjiang, WANG Zeyu, SI Ailong, et al. Effect of simultaneous reburial of straw and methane fertilizer on the decomposition characteristics of straw[J]. Transactions of the Chinese Society of Agricultural Machinery, 2017, 48(6): 271-277. (in Chinese with English abstract)

[4] 劉媛媛，孫嘉慧，張書杰，等. 用多閾值多目標(biāo)無人機圖像分割優(yōu)化算法檢測秸稈覆蓋率[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(20)：134-143.

LIU Yuanyuan, SUN Jiahui, ZHANG Shujie, et al. Detection of straw cover with multi-threshold multi-objective UAV image segmentation optimization algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 134-143. (in Chinese with English abstract)

[5] 劉媛媛，周小康，王躍勇，等. 改進U-Net模型的保護性耕作田間秸稈覆蓋檢測[J]. 光學(xué)精密工程，2022，30(9)：1101-1112.

LIU Yuanyuan, ZHOU Xiaokang, WANG Yueyong, et al. Improved U-Net model for straw cover detection in conservation tillage fields[J]. Optics and Precision Engineering, 2022, 30(9): 1101-1112. (in Chinese with English abstract)

[6] 劉媛媛，張碩，于海業(yè)，等. 基于語義分割的復(fù)雜場景下的秸稈檢測[J]. 光學(xué)精密工程，2020，28(1)：200-211.

LIU Yuanyuan, ZHANG Shuo, YU Haiye, et al. Straw detection algorithm based on semantic segmentation in complex farm scenarios[J]. Optics and Precision Engineering, 2020, 28(1): 200-211. (in Chinese with English abstract)

[7] 李欣璐，凌燦權(quán). 無人機遙感技術(shù)在農(nóng)情監(jiān)測中的應(yīng)用[J].現(xiàn)代農(nóng)業(yè)裝備，2022，43(5)：45-51.

LI Xinlu, LING Canquan. Application of UAV remote sensing technology in agricultural situation monitoring[J]. Modern Agricultural Equipment, 2022, 43(5): 45-51. (in Chinese with English abstract)

[8] 劉忠，萬煒，黃晉宇，等. 基于無人機遙感的農(nóng)作物長勢關(guān)鍵參數(shù)反演研究進展[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(24)：60-71.

LIU Zhong, WAN Wei, HUANG Jinyu, et al. Research progress on the inversion of key parameters of crop growth based on UAV remote sensing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(24): 60-71. (in Chinese with English abstract)

[9] SUTHERLAND I E. Sketchpad a man-machine graphical communication system[J]. Simulation, 1964, 2(5): R-3-R-20.

[10] KUGLIN C. The phase correlation image alignment methed[J]. Proc. Int. Conference Cybernetics Society, 1975: 163-165.

[11] HARRIS C G, STEPHENS M. Harris C, Stephens M. A combined corner and edge detector[C]//Alvey Vision Conference. 1988.

[12] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision. 2004, 60(2): 91-110.

[13] BAY H T. Surf: Speeded up robust features[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[14] MOREL J M, Yu G. ASIFT: A new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469.

[15] RUBLEE E, KABAUI V, KONOLIGE K, et al. ORB: An efficient alternative to SIFT or SURF[C]//International Conference on Computer Vision. Barcelona: IEEE Pree, 2011: 2564-2571.

[16] ZARAGOZA J, CHIN T J, BROWN M S, et al. As-projective-as-possible image stitching with moving DLT[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 36(7): 2339-2346.

[17] CHANG C H, SATO Y, CHUANG Y Y. Shape-preserving half-projective warps for image stitching[C]//IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA. 2014: 3254-3261.

[18] LIN C C, PANKANTI S U, RAMAMURTHY K N, et al. Adaptive as-natural-as-possible image stitching[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, 2015: 1155-1163.

[19] 賈銀江，徐哲男，蘇中濱，等. 基于優(yōu)化SIFT算法的無人機遙感作物影像拼接[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(10)：123-129.

JIA Yinjiang, XU Zhe’nan, SU Zhongbin, et al. UAV remote sensing crop image stitching based on optimized SIFT algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(10): 123-129. (in Chinese with English abstract)

[20] 沈躍，朱嘉慧，劉慧，等. 基于深度和彩色雙信息特征源的Kinect植物圖像拼接[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(5)：176-182.

SHEN Yue, ZHU Jiahui, LIU Hui, et al. Kinect plant image stitching based on depth and color dual information feature sources[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 176-182. (in Chinese with English abstract)

[21] 吳如夢，方挺，李文欽. 基于SURF特征的無人機航拍圖像拼接方法[J]. 現(xiàn)代制造技術(shù)與裝備，2019(8)：34-36.

WU Rumeng, FANG Ting, LI Wenqin. SURF feature-based stitching method for UAV aerial images[J]. Modern Manufacturing Technology and Equipment, 2019(8): 34-36. (in Chinese with English abstract)

[22] 王紅君，劉一鳴，岳有軍，等. 基于改進SPHP算法的無人機遙感圖像拼接技術(shù)[J]. 計算機工程與設(shè)計，2020，41(3)：783-788.

WANG Hongjun, LIU Yiming, YUE Youjun, et al. UAV remote sensing image stitching technique based on improved SPHP algorithm[J]. Computer Engineering and Design, 2020, 41(3): 783-788. (in Chinese with English abstract)

[23] 王艷，祁萌. 基于 GA-SIFT 算法的無人機航拍圖像實時拼接[J]. 測繪通報，2021(8)：28-32，47.

WANG Yan, QI Meng. Real-time stitching of UAV aerial images based on GA-SIFT algorithm[J]. Mapping Bulletin, 2021(8): 28-32, 47. (in Chinese with English abstract)

[24] 劉杰，游品鴻，占建斌，等. 改進SIFT快速圖像拼接和重影優(yōu)化[J]. 光學(xué)精密工程，2020，28(9)：2076-2084.

LIU Jie, YOU Pinhong, ZHAN Jianbin, et al. Improved SIFT fast image stitching and ghosting optimization algorithm[J]. Optics and Precision Engineering, 2020, 28(9): 2076-2084. (in Chinese with English abstract)

[25] ZHANG W, WANG Y, LIU Y. Generating High-Quality Panorama by View Synthesis Based on Optical Flow Estimation[J]. Sensors, 2022, 22(2): 470.

[26] DENG L, YUAN X, DENG C, et al. Image stitching based on nonrigid warping for urban scene[J]. Sensors. 2020, 20(24): 7050.

[27] SALEEM S, BAIS A, SABLATNIG R. Towards feature points based image matching between satellite imagery and aerial photographs of agriculture land[J]. Computers and Electronics in Agriculture, 2016, 126: 12-20.

[28] LU J, XU Y, GAO Z. An improved method of an image mosaic of a tea garden and tea tree target extraction[J]. 2022, 4(1): 231-254.

[29] 王茜，寧紀(jì)鋒，曹宇翔，等. 基于SIFT算法的無人機遙感圖像拼接技術(shù)[J]. 吉林大學(xué)學(xué)報（信息科學(xué)版），2017，35(2)：188-197.

WANG XI, NING Jifeng, CAO Yuxiang, et al. UAV remote sensing image stitching technology based on SIFT algorithm[J]. Journal of Jilin University (Information Science Edition), 2017, 35(2): 188-197. (in Chinese with English abstract)

[30] 沈躍，朱嘉慧，劉慧，等. 基于彩色和深度信息結(jié)合K-means聚類算法快速拼接植株圖像[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(23)：134-141.

SHEN Yue, ZHU Jiahui, LIU Hui, et al. Fast stitching of plant images based on color and depth information combined with K-means clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE). 2018, 34(23): 134-141. (in Chinese with English abstract)

Fast stitching for the farmland aerial panoramic images based on optimized SIFT algorithm

LIU Yuanyuan1,3,HE Ming1,3,WANG Yueyong2,3※,SUN Yu1,3,GAO Xuebing1,3

(1.,,130118,;2,,130118,;3.,,130118,)

Straw mulching has been a common measure for black land conservation in the northeastern plains of China. It is a great significance of an effective solution to reduce soil erosion for environmental protection and sustainable development in modern agriculture. However, it is difficult to calculate the coverage rate at one time, due to the wide area of crop cultivation. Therefore, it is a high demand for the rapid acquisition of image information on a large area of farmland, in order to improve the efficiency and accuracy of straw mulching. Fortunately, aerial drone images and videos can be widely used in various fields, such as agricultural monitoring, weather forecasting, and geographic mapping. Among them, the application of remote sensing technology focuses mainly on the crops and soil in agriculture. The spectral patterns of the ground can be utilized to monitor the crops and soil in the field. Specifically, the spectral characteristics of the ground are used to monitor the growth of crops, crop quality, crop pests, and diseases. The high-resolution images can be collected by unmanned aerial vehicle (UAV) aerial photography. The panoramic stitching can be selected for rapid and accurate access to the large-area farmland image information. Therefore, it is of great practical significance to agricultural intelligence, particularly for the high efficiency and accuracy of straw cover monitoring of conservation tillage. In this study, a fast-stitching method was proposed for the aerial panoramic images of the fields using the optimized scale-invariant feature transform (SIFT) algorithm. Firstly, the high-resolution image was down-sampled to effectively detect the overlapping regions of the image. The gradient normalization-based feature descriptors were then used to match the feature points. The false matches were removed by the progressive sample consistency algorithm, in order to accurately calculate the stitching conversion model. Finally, the multi-resolution fusion algorithm was used for the high-quality stitched imageusing the best stitching line. The experimental results show that the improved algorithm reduced the number of feature points by 97% and 90%, the running time by 94% and 69%, and the average matching efficiency by 65.17% in the image alignment stage, respectively, compared with the traditional SIFT and Speeded Up Robust Feature (SURF) algorithm, which was about 4 times that of SIFT algorithm, and 9 times that of SURF algorithm, respectively. Compared with the as-projective-as-possible (APAP), the shape-preserving half-projective (SPHP), and the adaptive as-natural-as-possible (AANAP) algorithms, the new algorithm significantly improved the information entropy, the average gradient, and image contrast of the stitched image. More importantly, the stitched image was of higher quality with more than a 90% reduction in the running time, particularly with better overall performance. The systematic evaluation demonstrated that the layered stitching method significantly improved the clarity and fusion effect of the panoramic stitched images, compared with the traditional. Moreover, there was no misalignment and ghosting that appeared in the traditional. Specifically, the information entropy and average gradient of the panoramic images were slightly improved to increase the contrast by about 20%, indicating a higher stitching efficiency than before. The overall stitching time was also shortened by about 90% or more. The research structure can also provide a scientific reference to monitor the conservation of tillage with straw returning.

UAV; image processing; panoramic stitching; SIFT operator; feature point matching; image fusion

10.11975/j.issn.1002-6819.202210135

TP751.1

A

1002-6819(2023)-01-0117-09

劉媛媛，何銘，王躍勇，等. 基于優(yōu)化SIFT算法的農(nóng)田航拍全景圖像快速拼接[J]. 農(nóng)業(yè)工程學(xué)報，2023，39(1)：117-125.doi：10.11975/j.issn.1002-6819.202210135 http://www.tcsae.org

LIU Yuanyuan, HE Ming, WANG Yueyong, et al. Fast stitching for the farmland aerial panoramic images based on optimized SIFT algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(1): 117-125. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.202210135 http://www.tcsae.org

2022-10-18

2022-12-12

國家自然科學(xué)基金資助項目（42001256）；吉林省科技廳技術(shù)創(chuàng)新引導(dǎo)項目（20220402023GH）；吉林省科技廳重點科技項目（20230202039NC，20220203004SF）；吉林省發(fā)展和改革委員會創(chuàng)新項目（2019C054）；吉林省教育廳科學(xué)技術(shù)研究項目（JJKH20220339KJ）

劉媛媛，博士，副教授，研究方向為農(nóng)業(yè)信息化圖像和視頻信號處理。Email：liuyuanyuan1980@126.com

王躍勇，博士，副教授，研究方向為田間保護性耕作機械及智能系統(tǒng)。Email：yueyongw@.jlau.edu.cn