全景圖像拼接技術在胡楊研究中的應用

施明登　周鵬　白鐵成

摘要：為了解決超過人眼視角的場景時，在近距離內無法用照相機將其完整拍攝下來的問題，通過SIFT特征提取、特征匹配、Homography矩陣計算、透視變換和圖像融合技術，較好地實現胡楊全景圖像的拼接。結果表明，通過全景圖像拼接獲得高分辨率的胡楊全景圖片是可行的方法。

關鍵詞：全景圖像拼接；胡楊；特征匹配；圖像融合

中圖分類號：TP399 文獻標識碼：A 文章編號：0439-8114（2014）22-5539-03

塔里木河位于新疆維吾爾自治區，是中國最長的內陸河，河岸兩邊分布著落葉闊葉喬木——胡楊，其種植面積約占全國的80%以上[1]。胡楊林是干旱荒漠區惟一建群的古老喬木樹種，胡楊林多為純林。近年來，由于經濟開發活動、資源濫用等，造成了胡楊林面積大幅度減少，胡楊林的退化與衰敗是新疆南疆荒漠脆弱生態系統的具體體現[2]。胡楊林可減少風的攜沙能力，有效地阻截、固定流沙，防止流沙擴張，由胡楊組成的荒漠河岸林帶，是一條天然防風林帶，保護著綠洲農田的穩定[3]。同時胡楊林也具備森林生態系統其他服務功能，如生產有機質、涵養水源、固碳制氧、凈化環境等，越來越多的專家學者開展了胡楊相關研究。

本研究是在進行胡楊林春尺蠖防治研究過程中，由于超過人眼視角的場景，無法用照相機完整地將胡楊林拍攝下來，而拉大拍攝距離雖然可以得到寬范圍的圖像，但是拍攝到的胡楊可能會相對較小，經過放大后的圖像會出現馬賽克現象，效果很差。因此，為獲得高分辨率的胡楊林全景圖像，在參考已有的數字圖像拼接技術[4-7]基礎上開展針對胡楊林全景圖像拼接技術應用研究，采用固定多攝像頭方式獲取多幅數值圖像[8]，然后運用局部特征點匹配算法進行圖像拼接[9]。

1 全景圖像拼接流程

通過SIFT特征提取、特征匹配、Homography矩陣計算、透視變換和圖像融合等步驟進行全景圖像拼接，拼接流程如圖1所示。待拼接圖像拍攝位置和拍攝角度等有可能不同，需要對圖像進行透視變換將兩幅圖像映射到同一坐標系中，可以直接將一副圖像映射到另一幅圖像的坐標系中，因此，需要計算兩幅圖像之間的Homography（單應）矩陣。通過圖像SIFT特征的匹配，計算得到單應矩陣，在對圖像做完透視變換后，對兩幅圖像進行融合即可得到想要的全景圖。

2 全景圖像拼接關鍵技術與實現

2.1 SIFT特征提取

二維圖像中存在各種尺度的目標和特征，要想獲得這些特征，需要在不同尺度的圖像下檢測特征。SIFT特征不僅具有良好的位置、尺度、旋轉不變性，而且在圖像亮度或拍攝角度變化的情況下仍然具有良好的效果，所以本研究采用SIFT算法進行特征提取。

SIFT算法在尺度空間中使用了一種圖像金字塔結構，其中包括高斯金字塔和高斯殘差金字塔兩個部分。高斯殘差金字塔由對應相鄰的高斯金字塔中的兩個圖像尺度層相減獲得。金字塔由多級組成，每級包含多個圖像尺度層，每層之間的σ值[圖像的尺度大小用高斯核的標準差（σ）來表示]相差k倍。每級的底層由下一級中對應的尺度層通過系數為2的抽樣操作獲得。高斯殘差是尺度規格化Laplacian算子的一種近似，因而SIFT算法直接選取高斯殘差金字塔中在局部區域內獲得極值的像素點為特征點。

SIFT算法主要包括尺度空間的構造、檢測尺度空間的極值點、精確確定極值點位置、特征點方向分配、生成特征點描述子，具體的SIFT特征點提取過程可參見文獻[10]。選用兩幅亮度和顏色有較明顯區別的圖片作為輸入圖像進行圖像拼接應用研究，如圖2所示。通過SIFT算法完成特征提取結果如圖3所示，圖中用紅色對SIFT特征進行了標示。

2.2 特征匹配

當兩幅圖像的SIFT特征向量生成后，下一步采用關鍵點特征向量的歐氏距離作為兩幅圖像中關鍵點的相似性判定度量。然而由于遮擋等原因，匹配可能出現錯配的情況，需要采取一些措施降低錯配率。

kd-tree是一種有效的用于組織高維數據的數據結構，其在很多查詢問題中都有很好的應用，如范圍查詢、最近鄰查詢等。kd-tree的本質是一種索引結構，因此在高維數據搜索中引入kd-tree相當于為數據集構建了一個索引結構，通過索引結構來查找目標數據大大地減少了查找的計算量，從而提高搜索效率。

對于提取SIFT特征點的圖像，計算其描述符之間歐氏距離的相似度來作為判定特征點匹配的準則。首先將其中一幅圖像中的所有關鍵點構建一棵kd-tree，選取另一幅圖像中的一個點K，之后釆用最近鄰搜索算法來遍歷這棵kd-tree，分別計算點K的128維矢量與kd-tree中每個點所對應的各維矢量的歐氏距離，之后再將128維的歐氏距離求和，找到與K點的歐氏距離最小的兩個關鍵點并記錄歐氏距離的值，最后計算最小的歐氏距離與次小的歐氏距離的比值，如果比值小于閾值T，那么認為歐氏距離最小的那個點與K點匹配，反之匹配失敗。

函數kdtree_build使用輸入的特征構建一個kd-tree，而函數kdtree_bbf_knn在kd-tree中搜索和給定特征最相近的k個特征，采用best bin first的搜索算法。特征匹配的試驗結果如圖4所示，兩幅圖片對應的匹配關鍵點用綠線標示。

2.3 Homography矩陣計算

實現了對應特征點的粗匹配后，為了進一步實現兩幅圖片的拼接，需要計算兩幅圖像間的單應性矩陣H，使兩幅拼接圖像滿足射影變換關系。為了提高得到的H準確率和效率，研究中采用RANSAC（Random sample consensus）算法來進行計算，選擇3×3的透視變換矩陣作為參數模型，用公式表示為：

x2y2z2=H11 H12 H13 H21 H22 H23H31 H32 H33x2y2z2 （1）

式（1）中，透視變換矩陣H又稱單應性矩陣，適用于平面場景，能夠反映攝像機的平移、旋轉、縮放和一些仿射變化。其中，X1=（x1，y1，z1）T，X2=（x2，y2，z2）T為歸一化齊次坐標，z1=l，z2=l。透視變換是中心投影的射影變換，采用非齊次射影坐標表達時，透視變換用8個參數單應矩陣表示，H33=1。endprint

理論上僅需4對匹配點對，即可對上式聯立求解線性方程組，實際上，由于噪聲、精度誤差等因素影響，需要8～10對以上的非共線匹配點對。試驗中，通過每次隨機選取匹配的4對匹配點聯立求解線性方程組，計算H，采用重復該過程N次，然后選取所得到最好的H，作為H的8個參數齊次最優解。H的準確性可以用在H下內點（inlier）的個數來表征。這樣當N足夠大時，H可以達到很高的精度。

2.4 透視變換

根據前面計算得到的圖像透視變換矩陣H對待配準的圖像中像素點坐標做矩陣乘法，可以將相鄰兩幅圖像中處于各自坐標系下的像素點統一到同一坐標系下。透視變換根據兩幅圖像的坐標系之間的關系（由單應矩陣H刻畫），通過矩陣乘法將二者的坐標系統一成一個，將源圖像變換到目標圖像，完成圖像的幾何配準最后變成一幅圖像。

透視變換通過函數cvWrapPerspective完成，結果如圖5所示。由圖5可知，兩幅圖像因為亮度和顏色差異較大，直接拼接后的效果并不理想，拼接邊緣已經用紅色進行了標示。

2.5 圖像融合

經過SIFT圖像配準工作完成后，求得變換矩陣，此時的兩幅圖像已經拼連在一起并且位于同一平面上，但是由于兩幅圖像拍攝時亮度的差異等因素，會導致兩幅圖像在拼接的位置有明顯的拼縫。圖像融合的作用是使圖像拼接整體亮度保持一致，圖像重疊區域拼接過渡平滑，消除因拼接產生的拼接縫隙。使用OpenCV中的MultiBandBlender類完成這一過程，結果如圖6所示。

3 小結

針對胡楊研究過程中如何獲取較大視域全景圖像的問題，利用數字圖像處理技術，綜合運用SIFT特征提取、特征匹配、Homography矩陣計算、透視變換和圖像融合方法，實現多個單一圖像融合成一幅圖像。結果表明，將全景拼接技術應用于胡楊的研究中是一種可行的方法。因為是在胡楊林春尺蠖防治研究課題的基礎上開展的全景圖像拼接應用研究，未對其他樹種進行應用分析，理論上該實現方法在其他樹種的應用也是可行的。

參考文獻：

[1] 王吳續，徐崇志，李 青.新疆塔里木南緣胡楊林生態價值測度[J].北方園藝，2014（9）：210-213.

[2] 鄧潮洲，李 利，吳俊俠，等.塔里木河上游胡楊群落及種群特征分析[J].中國沙漠，2010，30（6）：1381-1388.

[3] 桑巴葉，劉 康，朱玉偉，等.墨玉縣天然胡楊林春尺蠖飛防試驗研究[J].防護林科技，2013（9）：16-17，35.

[4] 江 鐵，朱桂斌，孫 奧.全景圖像拼接技術研究現狀綜述[J].重慶工商大學學報（自然科學版），2012，29（12）：60-65.

[5] ZHOU B，ZHENG J，ZHOU H. Tree image mosaicing system based on featured area matching[J]. Transactions of CSAM，2010，41（10）：195-198.

[6] SAWHNEY H S， KUMAR R.True multi-image alignment and its application to mosaicing and lens distortion correction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21（3）：235-243.

[7] 鄭加強，賈志成，周 博，等.基于動態樹木圖像序列的實時拼接系統及其深度信息檢測[J].林業科學，2014，50（5）：82-89.

[8] 劉 暢，金立左，費樹岷，等.固定多攝像頭的視頻拼接技術[J].數據采集與處理，2014，29（1）：126-133.

[9] 郭曉冉，崔少輝.基于局部特征點配準的圖像拼接算法[J].半導體光電，2014，35（1）：89-94.

[10] 劉小軍，楊 杰，孫堅偉，等.基于SIFT的圖像配準方法[J].紅外與激光工程，2008，37（1）：156-160.

（責任編輯 屠 晶）endprint

理論上僅需4對匹配點對，即可對上式聯立求解線性方程組，實際上，由于噪聲、精度誤差等因素影響，需要8～10對以上的非共線匹配點對。試驗中，通過每次隨機選取匹配的4對匹配點聯立求解線性方程組，計算H，采用重復該過程N次，然后選取所得到最好的H，作為H的8個參數齊次最優解。H的準確性可以用在H下內點（inlier）的個數來表征。這樣當N足夠大時，H可以達到很高的精度。

2.4 透視變換

根據前面計算得到的圖像透視變換矩陣H對待配準的圖像中像素點坐標做矩陣乘法，可以將相鄰兩幅圖像中處于各自坐標系下的像素點統一到同一坐標系下。透視變換根據兩幅圖像的坐標系之間的關系（由單應矩陣H刻畫），通過矩陣乘法將二者的坐標系統一成一個，將源圖像變換到目標圖像，完成圖像的幾何配準最后變成一幅圖像。

透視變換通過函數cvWrapPerspective完成，結果如圖5所示。由圖5可知，兩幅圖像因為亮度和顏色差異較大，直接拼接后的效果并不理想，拼接邊緣已經用紅色進行了標示。

2.5 圖像融合

經過SIFT圖像配準工作完成后，求得變換矩陣，此時的兩幅圖像已經拼連在一起并且位于同一平面上，但是由于兩幅圖像拍攝時亮度的差異等因素，會導致兩幅圖像在拼接的位置有明顯的拼縫。圖像融合的作用是使圖像拼接整體亮度保持一致，圖像重疊區域拼接過渡平滑，消除因拼接產生的拼接縫隙。使用OpenCV中的MultiBandBlender類完成這一過程，結果如圖6所示。

3 小結

針對胡楊研究過程中如何獲取較大視域全景圖像的問題，利用數字圖像處理技術，綜合運用SIFT特征提取、特征匹配、Homography矩陣計算、透視變換和圖像融合方法，實現多個單一圖像融合成一幅圖像。結果表明，將全景拼接技術應用于胡楊的研究中是一種可行的方法。因為是在胡楊林春尺蠖防治研究課題的基礎上開展的全景圖像拼接應用研究，未對其他樹種進行應用分析，理論上該實現方法在其他樹種的應用也是可行的。

參考文獻：

[1] 王吳續，徐崇志，李 青.新疆塔里木南緣胡楊林生態價值測度[J].北方園藝，2014（9）：210-213.

[2] 鄧潮洲，李 利，吳俊俠，等.塔里木河上游胡楊群落及種群特征分析[J].中國沙漠，2010，30（6）：1381-1388.

[3] 桑巴葉，劉 康，朱玉偉，等.墨玉縣天然胡楊林春尺蠖飛防試驗研究[J].防護林科技，2013（9）：16-17，35.

[4] 江 鐵，朱桂斌，孫 奧.全景圖像拼接技術研究現狀綜述[J].重慶工商大學學報（自然科學版），2012，29（12）：60-65.

[5] ZHOU B，ZHENG J，ZHOU H. Tree image mosaicing system based on featured area matching[J]. Transactions of CSAM，2010，41（10）：195-198.

[6] SAWHNEY H S， KUMAR R.True multi-image alignment and its application to mosaicing and lens distortion correction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21（3）：235-243.

[7] 鄭加強，賈志成，周 博，等.基于動態樹木圖像序列的實時拼接系統及其深度信息檢測[J].林業科學，2014，50（5）：82-89.

[8] 劉 暢，金立左，費樹岷，等.固定多攝像頭的視頻拼接技術[J].數據采集與處理，2014，29（1）：126-133.

[9] 郭曉冉，崔少輝.基于局部特征點配準的圖像拼接算法[J].半導體光電，2014，35（1）：89-94.

[10] 劉小軍，楊 杰，孫堅偉，等.基于SIFT的圖像配準方法[J].紅外與激光工程，2008，37（1）：156-160.

（責任編輯 屠 晶）endprint

理論上僅需4對匹配點對，即可對上式聯立求解線性方程組，實際上，由于噪聲、精度誤差等因素影響，需要8～10對以上的非共線匹配點對。試驗中，通過每次隨機選取匹配的4對匹配點聯立求解線性方程組，計算H，采用重復該過程N次，然后選取所得到最好的H，作為H的8個參數齊次最優解。H的準確性可以用在H下內點（inlier）的個數來表征。這樣當N足夠大時，H可以達到很高的精度。

2.4 透視變換

根據前面計算得到的圖像透視變換矩陣H對待配準的圖像中像素點坐標做矩陣乘法，可以將相鄰兩幅圖像中處于各自坐標系下的像素點統一到同一坐標系下。透視變換根據兩幅圖像的坐標系之間的關系（由單應矩陣H刻畫），通過矩陣乘法將二者的坐標系統一成一個，將源圖像變換到目標圖像，完成圖像的幾何配準最后變成一幅圖像。

透視變換通過函數cvWrapPerspective完成，結果如圖5所示。由圖5可知，兩幅圖像因為亮度和顏色差異較大，直接拼接后的效果并不理想，拼接邊緣已經用紅色進行了標示。

2.5 圖像融合

經過SIFT圖像配準工作完成后，求得變換矩陣，此時的兩幅圖像已經拼連在一起并且位于同一平面上，但是由于兩幅圖像拍攝時亮度的差異等因素，會導致兩幅圖像在拼接的位置有明顯的拼縫。圖像融合的作用是使圖像拼接整體亮度保持一致，圖像重疊區域拼接過渡平滑，消除因拼接產生的拼接縫隙。使用OpenCV中的MultiBandBlender類完成這一過程，結果如圖6所示。

3 小結

針對胡楊研究過程中如何獲取較大視域全景圖像的問題，利用數字圖像處理技術，綜合運用SIFT特征提取、特征匹配、Homography矩陣計算、透視變換和圖像融合方法，實現多個單一圖像融合成一幅圖像。結果表明，將全景拼接技術應用于胡楊的研究中是一種可行的方法。因為是在胡楊林春尺蠖防治研究課題的基礎上開展的全景圖像拼接應用研究，未對其他樹種進行應用分析，理論上該實現方法在其他樹種的應用也是可行的。

參考文獻：

[1] 王吳續，徐崇志，李 青.新疆塔里木南緣胡楊林生態價值測度[J].北方園藝，2014（9）：210-213.

[2] 鄧潮洲，李 利，吳俊俠，等.塔里木河上游胡楊群落及種群特征分析[J].中國沙漠，2010，30（6）：1381-1388.

[3] 桑巴葉，劉 康，朱玉偉，等.墨玉縣天然胡楊林春尺蠖飛防試驗研究[J].防護林科技，2013（9）：16-17，35.

[4] 江 鐵，朱桂斌，孫 奧.全景圖像拼接技術研究現狀綜述[J].重慶工商大學學報（自然科學版），2012，29（12）：60-65.

[5] ZHOU B，ZHENG J，ZHOU H. Tree image mosaicing system based on featured area matching[J]. Transactions of CSAM，2010，41（10）：195-198.

[6] SAWHNEY H S， KUMAR R.True multi-image alignment and its application to mosaicing and lens distortion correction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21（3）：235-243.

[7] 鄭加強，賈志成，周 博，等.基于動態樹木圖像序列的實時拼接系統及其深度信息檢測[J].林業科學，2014，50（5）：82-89.

[8] 劉 暢，金立左，費樹岷，等.固定多攝像頭的視頻拼接技術[J].數據采集與處理，2014，29（1）：126-133.

[9] 郭曉冉，崔少輝.基于局部特征點配準的圖像拼接算法[J].半導體光電，2014，35（1）：89-94.

[10] 劉小軍，楊 杰，孫堅偉，等.基于SIFT的圖像配準方法[J].紅外與激光工程，2008，37（1）：156-160.

（責任編輯 屠 晶）endprint