基于Harris算法的無人機影像拼接技術

趙文君 李梟

摘 要：處理無人機影像數據時，Harris角點檢測算法具有較強的魯棒性和穩定性。使用Harris角點檢測算法時，影像邊界處由于影像畸變影響，生成的特征點存在角點聚簇和偽角點的概率非常大，在處理該類問題時，通常是刪除影像邊界生成的角點。針對影像邊緣特征點刪除量的合理性進行了實驗：先對影像生成特征點面積進行限制，用Harris算法提取特征點。然后用非極大抑制算法選取特征點，去除偽角點和聚簇的角點，生成最佳縫合線進行影像匹配融合。最后對比影像生成特征點面積和最后影像匹配效果，論證影像邊緣刪除Harris角點的合理量。實驗結果表明，相對于傳統的直接刪除邊界Harris角點方法，該方法更可靠更精確。

關鍵詞：Harris算法；影像拼接；無人機影像

DOI：10.11907/rjdk.172721

中圖分類號：TP317.4

文獻標識碼：A 文章編號：1672-7800（2018）004-0216-04

Abstract：When processing the data of Unmanned Aerial Vehicle （UAV） image， Harris corner detection algorithm has strong robustness and stability. Because of image distortion in its boundaries with Harris corner detection algorithm， there is a very large probability for characteristic points to be corner clusters and pseudo corner points， so when processing this problem， the corner points generated by the image boundaries are usually removed. In order to extract the UAV image characteristic points by Harris algorithm， the rationality of the deletion of the characteristic points which are generated in the image boundaries is studied，this paper launches the experiment at this point.The area of image-generated characteristic points is limited first， and the extraction of characteristic points is carried on by Harris corner detection algorithm next， and the characteristic points selected by non maximum suppression algorithm are used to remove the pseudo corner points and corner clusters and generate the best suture to match and fuse images； finally， having comparing the relationship between the area of image-generated characteristic points and the final image matching effect， the reasonable number of deleted Harris corners in the image boundaries is demonstrated. The experimental results show that the method of this paper is more accurate and reliable than the traditional method of deleting Harris corners of the boundaries directly.

Key Words：Harris algorithm； image stitching； UAV image

0 引言

無人機航測節省了大量人力物力，使影像獲取更加便捷。但無人機體積小、質量輕，在飛行時容易受到氣流影響，拍攝出來的照片存在畸變，影響后續影像拼接。

影像拼接技術指將一組重疊影像集合拼接成一幅大范圍的無縫高分辨率影像[1]。影像拼接技術包括角點提取、圖像配準和圖像融合3個關鍵步驟[2]。已有的圖像匹配算法主要有基于特征點的配準、基于灰度信息的配準以及基于變換域的配準3大類。基于特征點配準算法可對圖像中特征穩定的點進行匹配，減少了信息處理量，對圖像的灰度變化具有魯棒性[3]。目前提取影像特征點的主流算法有SIFT算法[1]、Moravec算法[4]、Harris算法[5]、SUSAN算法[6]等，本文選用Harris角點檢測算法。Harris角點檢測算法改進主要集中在3個方面：①基于角點的尺度不變性進行改進；②像素點梯度模板改進；③對閾值選取的改進[7]。2015年，鄒志遠等[8]針對Harris算法自適應差的問題，提出了一種自適應閾值檢測算法，從而使角點檢測具有自適應性、角點個數合理、均勻等優點。2016年，張東等[9]提出一種Harris與Sift相結合的算法，對圖像特征進行提取，提高了提取特征的準確性、魯棒性[10]。

本文用Harris角點檢測算法對無人機影像進行匹配處理，然后以同樣的數據減小其生成角點面積，再通過非極大抑制算法去除偽角點和聚簇角點，進而生成最佳縫合線[11]進行影像的配準融合，得出影像生成Harris角點的最優面積。

1 無人機影像拼接方法

本文所用方法流程如圖1所示，整個流程包括無人機影像生成特征點區域限制、Harris算法提取特征點、非極大抑制算法選取特征點、RANSAC算法估計仿射變換、尋找最佳縫合線、生成拼接好的影像圖、比較不同面積生成特征點后拼接好的影像圖質量。其中提取特征點區域限制是本文的關鍵步驟。

2 Harris算法與非極大抑制算法

2.1 Harris算法

角點被普遍認為是二維圖像亮度變化劇烈或者圖像邊緣曲線上曲率極大值的點[6]。Harris算法按其角點檢測方法可分為兩類：①基于圖像邊緣的角點檢測；②基于圖像灰度的角點檢測。前者需要經過圖像預分割、輪廓鏈碼提取和角點檢測，后者主要通過計算曲率及梯度進行角點檢測，通過計算邊緣的曲率來判斷角點的存在[12]。

首先將處理的圖像轉換為灰度圖像，然后對圖像進行高斯模糊，再用sobel算子計算圖像在x，y方向上的亮度梯度，提取特征點，之后用高斯函數對梯度進行平滑處理，公式如下：

特征值的大小直接反映特征點的位置，即當兩個特征值都比較小時，此點可能位于平坦區，不為角點或邊界點；當兩個特征值一個較大另一個相對較小時，則此點位于邊界上，屬于邊界點；當兩個特征值均相對較大時，則此點沿任意方向的曲率都較大，為需要提取的角點[13]。

2.2 自適應非極大抑制算法

由于用Harris角點檢測算法會生成大量的特征點，這些特征點并不都是特征十分明顯的特征點，如果都保留不僅會帶來非常大的程序運算量，還會帶來非常大的匹配錯誤率，所以需要用非極大抑制算法篩選特征點。

非極大抑制算法的核心思想是：有一個中心點，其半徑為r，設它的初始r值為0，然后慢慢增加r值，使得到的特征點的半徑小于中心點的半徑r，直到得到期望特征點的個數為止。公式如下：

xi，xj分別為關鍵點及其鄰域像素的位置向量，參數為小于1的正數，用來確定區域的特征顯著程度閾值，本文取0.9[14]。

3 提取特征點區域限制

無人機航攝時所帶相機拍攝出來的相片都會存在如圖2所示的畸變問題，在糾正畸變和刪除邊緣點方向進行了很多研究，本文著重于研究從影像邊緣開始去掉以像素為單位的影像面積，減少相片邊緣畸變問題對后續影像拼接的影響。利用提取特征點區域限制的方法提高后續影像配準的精度，以達到提高生產效率的目的。

圖3為影像重疊度示例，所用航攝影像符合航測規范，生成特征點的最優位置選擇如圖4所示，影像的重疊分為航向重疊和旁向重疊，設影像航向重疊區域為1，陰影部分為x（即為舍棄部分），余下部分為1-2x。同理設旁向重疊區域為1，陰影部分為y（即為舍棄部分），余下部分為1-2y。對不同面積生成的特征點進行比較得到去掉x和y的最優區域。本方法把影像面積減小，因為影像重疊度較高，所以對后續操作影響并不大[15]。

4 實驗

本實驗選取兩個航帶內6張無人機影像進行實驗，相機為Sony的A7R，焦距為30mm，平均航高為150m，影像大小為7 360×4 912，影像的航向重疊度在70%左右，旁向重疊度在50%左右，符合航測規范。影像的匹配用Harris角點算法進行特征點提取，用非極大抑制算法對生成的特征點進行粗差剔除，用RANSAC算法對序列影像匹配結果進行仿射變換，得到變換矩陣并建立最佳縫合線進而拼接成一幅影像圖。以相同的實驗數據反復進行試驗，得出生成特征點的最優面積。

圖5是兩張用Harris算法提取并生成特征點后的原始影像，因為原始影像太大不利于觀察，因而以原始影像的細節圖代替原始影像。從圖5可以看出，用Harris角點提取的特征點中存在較多角點聚簇和偽角點現象，尤其在影像畸變較大的邊緣處。若直接使用所有的特征點進行下一步操作會大大增加程序運行時間且增加后續剔除粗差點和匹配的錯誤率。

圖6是原始影像A和原始影像B的局部細節圖，A（1）是原始影像A的4 000×2 500的局部影像在減少邊界10px后生成特征點的圖像（即局部影像A（1）的面積為3 980×2 480），A（2）和A（3）是在局部影像A（1）的基礎上依次減少10px和20px的局部影像用Harris角點算法生成特征點的影像（局部影像A（2）的面積為3 960×2 460，局部影像A（3）的面積為3 940×2 440）。同理，B（1）是原始影像B的4 000×2 500的局部影像在減少邊界10px后生成特征點的圖像（即局部影像B（1）的面積為3 980×2 480），B（2）和B（3）是在局部影像B（1）的基礎上依次減少10px和20px的局部影像用Harris角點算法生成特征點的影像（局部影像B（2）的面積為3 960×2 460，局部影像B（3）的面積為3 940×2 440）。局部影像初始提取的特征點數和局部影像依次減小面積后提取的特征點數如表1所示。

后還是存在偽角點，匹配效果不理想，圖7（b）是局部影像A（1）和局部影像B（1）經過非極大抑制算法剔除粗差點后特征點的匹配圖，對比于圖7（a）有較輕微改善，但還是存在偽角點，匹配效果不理想，圖7（c）是局部影像A（2）和局部影像B（2）經過非極大抑制算法剔除粗差點后特征點的匹配圖，較比于前兩幅匹配的特征點有明顯改善，匹配效果較理想，圖7（d）是局部影像A（3）和局部影像B（3）經過非極大抑制算法剔除粗差點后特征點的匹配圖，與圖7（c）的效果相近，但是比圖7（c）的效果要好一些，匹配效果較理想。

圖8是局部影像對應的融合后影像效果圖。與圖7對應，可以看出圖8（a）和圖8（b）融合后的影像中，建筑物處出現鬼影現象較為明顯，圖8（c）融合后的影像中建筑物處鬼影現象已經有了明顯改善，但建筑物右邊拼接影像還是有點模糊，圖8（d）融合后的影像最清晰。

觀察圖8可以看出，未去掉像素時拼接的影像和去掉10像素生成的影像基本沒有差別，當去掉影像周圍20像素時，對比原始影像拼接效果已經有了明顯改善，當去掉影像周圍30像素時匹配結果最好。因為去掉20像素時最后匹配結果還是有些模糊，隨后在去掉影像20～30像素之間進行實驗，發現去掉邊界24像素時效果和去掉邊界30像素的結果一致，達到實驗目的。

5 結語

本文用提取特征點區域限制的方法限制Harris角點生成的面積，再結合非極大值抑制算法剔除粗差和聚簇角點，生成最佳縫合線進行后續的影像配準融合，得到了較好效果，實現了圖像的精配準。對比于傳統的Harris角點檢測算法剔除邊緣角點的隨意性，本文給出了具體數值，為今后使用Harris角點檢測算法剔除邊緣角點提供了可靠數據，為下一步圖像融合打下了良好基礎。但是因為數據的多樣性不足，后續將收集不同地物的無人機影像進行深入研究。

參考文獻：

[1] BROWN M， LOWE D G. Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision，2007，74（1）：59-73.

[2] 王娟，師軍，吳憲祥.圖像拼接技術綜述[J].計算機應用研究，2008，25（7）：1940-1943.

[3] 張宇馳.一種改進的基于Harris角點的圖像拼接方法[J].機械工程師，2017（10）：54-55.

[4] MOREVEC H P. Towards automatic visual obstacle avoidance[C]. International Joint Conference on Artificial Intelligence. Morgan Kaufmann Publishers Inc.1977：584-584.

[5] HARRIS C. A combined corner and edge detector[J]. Proc Alvey Vision Conf，1988（3）：147-151.

[6] SMITH S M， BRADY J M. SUSAN-A new approach to low-level image processing[J]. International Journal of Computer Vision，1997，23（1）：45-78.

[7] 張維，張晶晶.基于Harris角點的圖像拼接技術研究[J].電子質量，2016（7）：12-14.

[8] 鄒志遠，安博文，曹芳，等.一種自適應紅外圖像角點檢測算法[J].激光與紅外，2015，45（10）：1272-1276.

[9] 張東，余朝剛.基于特征點的圖像拼接方法[J].計算機系統應用，2016，25（3）：107-112.

[10] 張見雙，張紅民，羅永濤，等.一種改進的Harris角點檢測的圖像配準方法[J].激光與紅外，2017，47（2）：230-233.

[11] 方賢勇，潘志庚，徐丹.圖像拼接的改進算法[J].計算機輔助設計與圖形學學報，2003，15（11）：1362-1365.

[12] 趙萌，溫佩芝，鄧星，等.一種參數自適應的Harris角點檢測算法[J].桂林電子科技大學學報，2016，36（3）：215-219.

[13] 陳靜.圖像配準特征點提取算法研究[D].南京：南京理工大學，2006.

[14] 許曉帆，王毅，王永泉.基于自適應非極大值抑制的SIFT改進算法[J].電子設計工程，2014（18）：180-182.

[15] 韓峰，劉昭，劉偉，等.重疊度對無人機圖像拼接效率的影響[J].江蘇農業科學，2017，45（12）：182-187.

（責任編輯：杜能鋼）