無人機航拍圖像拼接的研究與實現(xiàn)*

肖映彩，徐光輝，朱 森

(中國人民解放軍理工大學 通信工程學院，江蘇 南京 210007)

無人機航拍圖像拼接的研究與實現(xiàn)*

肖映彩，徐光輝，朱 森

(中國人民解放軍理工大學 通信工程學院，江蘇 南京 210007)

針對無人機航拍圖像的特點，采用基于圖像特征的拼接技術(shù)，實現(xiàn)了無人機航拍圖像的無縫拼接。首先提出一種改進的自適應(yīng)閾值的Harris算法來提取圖像的特征點，并用歸一化互相關(guān)函數(shù)對特征點進行雙向匹配，采用RANSAC算法剔除誤匹配點對并估算出變換模型，最后用漸入漸出的加權(quán)平均融合法融合圖像。實驗結(jié)果表明，本文采用的方法有很好的穩(wěn)定性和魯棒性，能很好地實現(xiàn)無人機航拍圖像的拼接。

無人機；圖像拼接；Harris算法；RANSAC

0　引 言

近年來，隨著無人機技術(shù)的發(fā)展，無人機在高空航拍、電力巡檢、邊防巡邏、安全監(jiān)控等領(lǐng)域得到了廣泛應(yīng)用[1]。其中，基于無人機航拍視頻、圖像的應(yīng)用越來越多，其應(yīng)用價值也越來越大。把無人機航拍的圖像序列進行拼接，獲得某個局部區(qū)域的全景圖像，這在地質(zhì)勘察、環(huán)境監(jiān)測、軍事指揮等活動中具有重要意義。

圖像拼接一般包括三個步驟：特征提取、特征匹配和圖像融合[2]。根據(jù)圖像特征匹配的方法，可將圖像拼接技術(shù)分為三類：基于圖像灰度的方法、基于變換域的方法和基于圖像特征的方法[3]。基于圖像特征的拼接方法運算量較其他兩種方法低，并且具有良好的精確度和魯棒性，能很好地處理無人機航拍圖像中存在的變形、噪聲和亮度變化等問題。

本文采用基于圖像特征的拼接技術(shù)，利用改進的Harris算法提取圖像的特征點，并用歸一化互相關(guān)函數(shù)對特征點進行雙向匹配，通過RANSAC算法剔除誤匹配點對并估算出變換模型，最后用漸入漸出的加權(quán)平均圖像融合法，實現(xiàn)了無人機航拍圖像的無縫拼接。

1　圖像拼接的原理與實現(xiàn)過程

1.1特征點提取

1.1.1常用的特征點提取算法比較

目前，應(yīng)用比較廣泛的特征點提取算法有Moravec、Harris、SUSAN、SURF、SIFT等算法。Moravec算法對圖像邊緣、孤立點和噪聲特別敏感，檢測出的偽角點較多[4]。文獻[5]從穩(wěn)定性、抗噪聲能力和算法復(fù)雜度三個方面對Harris算法和SUSAN算法進行比較。實驗結(jié)果表明，Harris算法在這三項指標上都優(yōu)于SUSAN算法。文獻[6]從計算復(fù)雜度和精確性兩方面比較Harris、SURF等幾種特征點提取算法。測試結(jié)果表明，SURF雖然具有較高的精確度，但是運算速度遠遠不如Harris算法。文獻[7]則從圖像拼接的應(yīng)用中比較了Harris和SIFT算法。SIFT算法具有良好的尺度和旋轉(zhuǎn)不變性，但是算法復(fù)雜運算速度慢；而Harris算法運算速度快且在旋轉(zhuǎn)圖像的拼接上效果更好。由于Harris算法計算簡單、穩(wěn)定性高、具有很好的魯棒性，即使圖像存在旋轉(zhuǎn)、亮度變化和干擾噪聲，也能精確檢測出圖像中的特征點，因此本文采用Harris算法提取待拼接圖像的特征點。

1.1.2Harris算法的原理

Harris特征點檢測算法是C.Harris和M.Stephens在Moravec算法的基礎(chǔ)上，提出的一種經(jīng)典的基于信號的特征點提取算法[8]。Harris算法的原理是在圖像中的一個小的觀察窗口內(nèi)，在特征點處窗口沿任意方向移動微小的距離都會觀察到圖像灰度值的劇烈變化。

定義窗口內(nèi)灰度值的變化量：

式中w(x,y)為窗口函數(shù)。

為了較好地抑制噪聲，窗口函數(shù)選用高斯函數(shù)：

對式（1）用泰勒級數(shù)展開，取一階近似可得：

式中，

Ix、Iy分別為圖像在x和y方向上的一階偏導數(shù)：

令：

則，

設(shè)λ1、λ2分別是矩陣M的兩個特征值，根據(jù)λ1和λ2的值可以判斷觀察窗口內(nèi)灰度變化量E的變化情況，可以分為以下三種情況：

（1）λ1和λ2都很小，說明是在圖像的平坦區(qū)域，窗口沿任意方向移動E的變化都很小。

（2）λ1和E一個很大而另一個很小，說明此時是在圖像的邊緣區(qū)域，窗口沿邊緣方向移動E變化很小，而沿邊緣法線方向E變化很大。

（3）λ1和λ2都很大，說明此時是在圖像中的角點位置，窗口沿任意方向移動都會引起E值的劇烈變化。

根據(jù)上述原理，Harris特征點檢測算法的實現(xiàn)過程可以概括為以下幾步：

（1）根據(jù)式（5）、式（6），計算圖像在水平和垂直方向上的一階偏導數(shù)Ix、Iy。

（2）根據(jù)式（7），用均值為零的離散二維高斯函數(shù)對Ix和Iy濾波，計算矩陣M中每個元素的值。

（3）定義角點響應(yīng)函數(shù)：

式中Det(M)為M的行列式，Trace(M)為M的跡，k為經(jīng)驗值，一般取0.04～0.06。

根據(jù)式（9）計算圖像中每個像素的響應(yīng)值R。如果R為當前窗口的局部最大值，則把該點作為候選點。

（4）如果候選點的響應(yīng)值R大于設(shè)定的閾值T，則把該點作為有效特征點保留。

1.1.3Harris算法的改進

Harris算法根據(jù)像素點的角點響應(yīng)值R是否為局部最大值且是否大于手動設(shè)定的閾值T來判斷該像素點是否為特征點。手動設(shè)置閾值的方法只能根據(jù)圖像的特征不斷試驗調(diào)整，很難找到適合不同圖像的閾值，即不具有自適應(yīng)性。閾值決定了特征點的數(shù)量，閾值設(shè)置的低則特征點數(shù)量多，反之特征點數(shù)量少。在圖像拼接中，如果特征點數(shù)量少，則有可能造成待拼接的兩幅圖像成功匹配的特征點對很少，從而使估算出的變換矩陣誤差較大，最終導致拼接后的圖像效果不理想；反之，如果特征點較多，則會增加特征點匹配過程中的冗余計算量。

為了解決上述閾值的設(shè)置問題，可以采用一種自適應(yīng)的閾值設(shè)置方法：將圖像中所有角點響應(yīng)值R的最大值Rmax作為參考，將閾值設(shè)置為cRmax，c的取值范圍為0.01～0.05。采用這種方法，就可以不用針對每幅圖像手動調(diào)整閾值，具有較好的自適應(yīng)性。

1.2特征點匹配

特征點匹配基于歸一化互相關(guān)函數(shù)來實現(xiàn)。該方法以特征點相關(guān)窗口內(nèi)所有像素點灰度值的歸一化互相關(guān)系數(shù)作為判斷依據(jù)來實現(xiàn)特征點匹配[9]。一個（2N+1）×（2N+1）相關(guān)窗口內(nèi)的歸一化互相關(guān)函數(shù)定義如下：

式中I1和I2表示待拼接的圖像分別表示圖像I1和I2在窗口內(nèi)的平均灰度。當NCC=1時，表示兩幅圖像的該對特征點完全相關(guān)；NCC=0時，表示該對特征點相互獨立。實際應(yīng)用中，可以設(shè)定一個閾值。當NCC的值大于該閾值時，則認為這對特征點是匹配的。

為了提高匹配精度，本文采用雙向的歸一化互相關(guān)方法實現(xiàn)特征點的匹配，具體實現(xiàn)過程如下：

（1）對于圖像I1中的一個特征點，根據(jù)式（12）計算與I2中每個特征點的NCC值，保留最大值。如果該最大值大于設(shè)定的閾值，則記錄與該特征點匹配的I2中的特征點。按照此方法在I2中尋找I1中每個特征點的匹配點，得到一個匹配點集合S1。

（2）按照第一步的方法，對S1中的每個點在I1中尋找匹配點，得到另一個匹配集合S2。

（3）如果S1和S2中有相互對應(yīng)的點，即I1中的某一特征點a1，通過步驟（1）計算出的匹配點為I2中的點a2，而點a2通過步驟（2）計算出的匹配點為a1，則認為特征點a1和a2是一對相互匹配的點。

與單向匹配的方法相比，雙向匹配能夠更加精確地找出待拼接的兩幅圖像中相互匹配的特征點對。

1.3變換模型估計

待拼接的兩幅圖像在確定匹配的特征點對后，將其中一幅圖像I1作為參考圖像，另一幅圖像I2作為待配準圖像。拼接前，需尋找一個合適的坐標變換模型，利用該模型建立I2和I1之間的變換關(guān)系。I1和I2之間的變換模型可以用投影變換模型描述：

式中，H為變換矩陣，(x1,y1)為I1中匹配點的坐標，(x2, y2)為I2中匹配點的坐標。矩陣H中有8個自由度，因此至少需要用4對匹配點才能求出H中的全部參數(shù)。

用雙向的歸一化互相關(guān)方法找到的特征點對還可能會存在一些誤匹配點對，這時可以通過RANSAC（隨機抽樣一致性）算法把這些誤匹配點剔除。RANSAC算法是一種魯棒的數(shù)據(jù)擬合方法，被廣泛用于圖像特征點匹配和變換模型的估計中。用該算法可以有效剔除誤匹配點對，并估計出最佳變換模型。具體實現(xiàn)步驟如下：

（1）從兩幅圖像的匹配點對中隨機抽取4對匹配點，并保證每幅圖像中的任意3點不在同一條直線上。

（2）利用抽取的4對匹配點求解變換矩陣H。

（3）根據(jù)變換矩陣H，計算每一對匹配點的距離誤差。如果誤差小于設(shè)定的閾值，則判斷該匹配點對為內(nèi)點，同時記錄內(nèi)點個數(shù)；如果內(nèi)點數(shù)滿足期望，則用所有局內(nèi)點重新估計模型，求取更精確的變換矩陣H。距離誤差的計算公式為：

式中，m1i和m2i是一對匹配點，由變換矩陣H計算出的在對應(yīng)圖像中的投影點分別為||·||則表示歐氏距離。

（4）重復(fù)執(zhí)行上述過程足夠多次。

（5）選擇內(nèi)點數(shù)最多的模型，得到最終的變換矩陣H。

1.4圖像融合

圖像融合的目的是選擇合適的方法來完成圖像拼接，避免拼接后的圖像出現(xiàn)明顯的拼接縫隙，甚至有模糊和失真等現(xiàn)象。目前，常用的圖像融合技術(shù)有直接平均融合法和加權(quán)平均融合法。采用直接平均融合法拼接出來的圖像往往會有比較明顯的拼接痕跡[3]。

本文采用漸入漸出的加權(quán)平均融合法進行圖像融合。令I(lǐng)1和I2表示待拼接的兩幅圖像，I表示拼接后的圖像，則用該方法融合的圖像可以描述如下：

式中，w1和w2表示重疊區(qū)域的權(quán)重，它們與重疊區(qū)域的寬度width滿足如下關(guān)系：

其中0＜w1,w2＜1。

在重疊區(qū)域，w1從1漸變?yōu)?，w2從0漸變?yōu)?，這樣就可以在圖像融合過程中，重疊區(qū)域由I1平滑地過渡到I2。采用這種方法拼接的圖像能有效消除拼接縫隙，實現(xiàn)無縫拼接。

2　實驗結(jié)果分析

實驗環(huán)境為運行MATLAB R2014a的PC機、Intel Core i3處理器、主頻3.6 GHz、運行內(nèi)存4 GB、64位Windows7操作系統(tǒng)。實驗選用的兩張無人機拍攝的圖像分別如圖1中（a）、（b）所示。

圖1　原無人機航拍圖像

利用改進的Harris算法提取兩幅圖片的特征點，閾值設(shè)置為0.04Rmax。圖2為兩幅圖像提取的特征點，其中“+”代表特征點。

圖2　特征點提取結(jié)果

用雙向歸一化互相關(guān)函數(shù)對兩幅圖像的特征點進行初步匹配，互相關(guān)閾值設(shè)置為0.85。特性點匹配的結(jié)果如圖3所示，兩幅圖片共檢測到19對匹配點。為了方便觀察，匹配的特征點對用直線連接。從圖中可以看出，匹配的結(jié)果中存在誤匹配點對，需要做進一步處理。

圖3　特征點初步匹配結(jié)果

特征點初步匹配后，為了得到精確的匹配結(jié)果，可采用RANSAC算法進行優(yōu)化，剔除誤匹配點對。RANSAC算法最大迭代次數(shù)設(shè)置為1 000次，距離誤差設(shè)置為3，得到的匹配結(jié)果如圖4所示。剔除誤匹配點對后，剩下13對有效的匹配點。

圖4　去除偽匹配點對的結(jié)果

最后，利用RANSAC算法估算出的變換模型，用漸入漸出的加權(quán)平均融合法對兩張圖像進行融合，融合的結(jié)果如圖5所示。從圖5中可以看出，兩幅圖像融合的效果比較理想，重疊區(qū)域過渡平滑，沒有出現(xiàn)明顯的拼接痕跡。

圖5　圖像拼接后的結(jié)果

3　結(jié) 語

本文詳細討論基于圖像特征的圖像拼接方法，借助MATLAB仿真平臺進行相關(guān)實驗，結(jié)果表明，本文使用的方法能很好地滿足無人機航拍圖像拼接的要求，實現(xiàn)圖像的無縫拼接，具有重要的實際意義。下一步的工作將進一步優(yōu)化算法，并用C/C++語言在具體的應(yīng)用平臺上實現(xiàn)無人機航拍圖像拼接。

[1] 謝相博,徐光輝,范凱鑫等.基于4G的無人機遠程巡邏系統(tǒng)[J].通信技術(shù),2015,48(11):1305-1309. XIE Xiang-bo,XU Guang-hui,FAN Kai-xin,et al.UAV Remote Patrol System based on 4G[J].Communications Technology,2015,48(11):1305-1309.

[2] 王娟,師君,吳憲祥.圖像拼接技術(shù)綜述[J].計算機應(yīng)用技術(shù)研究,2008,5(07):1940-1947. WANG Juan,SHI Jun,WU Xian-xiang.Survey of Image Mosaics Techniques[J].Application Research of Computers,2008,5(07):1940-1947.

[3] 楊楊.無人機航拍視頻圖像實時拼接軟件系統(tǒng)的設(shè)計與開發(fā)[D].北京:北京工業(yè)大學,2013. YANG Yang.Design and Development A Real Time Mosaic Method for Remote Sensing Video Images from UAV[D].Beijing:Beijing University of Technology,2013.

[4] 盧瑜,郝興文,王永俊.Moravec和Harris角點檢測方法比較研究[J].計算機技術(shù)與發(fā)展,2011,21(06):95-97. LU Yu,HAO Xing-wen,WANG Yong-jun.Research on Moravec and Harris Corner Algorithm[J].Computer Technology and Development,2011,21(06):95-97.

[5] Chen J,Zou L H,Zhang J.The Comparison and Application of Corner Detection Algorithms[J].Journal of Multimedia,2009,4(06):435-441.

[6] Ghosh P,Pandey A,Pati U C.Comparison of Different Feature Detection Techniques for Image Mosaicing[J]. ACCENTS Transactions on Image Processing and Computer Vision,2015,1(01):1-7.

[7] Chandratre R,Chakkarwar V.Image Stitching Using Harris Feature Detection and Random Sampling[J].International Journal of Computer Applications,2014,89(05):14-19.

[8] Harris C,Stephens M.A Combined Corner and Edge Detector[A]//.Proceedings of the 4th Alvey Vision Conference[C]. Manchester,England:[s.n.],1988.

[9] 趙璐璐.基于特征匹配的全景圖像拼接算法研究[D].西安:西北大學,2013. ZHAO Lu-lu.Research of Panoramic Image Stitching Algorithm Based on Feature Matching[D].Xi'an:Northwest University,2013.

肖映彩（1989—），男，碩士研究生，主要研究方向為嵌入式系統(tǒng)設(shè)計、計算機視覺；

徐光輝（1973—），男，博士，副教授，主要研究方向為SOC技術(shù)與嵌入式系統(tǒng)設(shè)計；

朱 森（1990—），男，碩士研究生，主要研究方向為說話人識別。

Research and Implementation of UAV Aerial Images Mosaic

XIAO Ying-cai, XU Guang-hui, ZHU Sen
(College of Communications Engineering, PLAUST, Nanjing Jiangsu 210007,China）

Aiming at the characteristics of UAV aerial images, and with mosaic technology based on the features of images, the seamless mosaic of UAV aerial images is implemented. First, a modified Harris algorithm with adaptive threshold is proposed to extract the feature points of images. Then the normalized cross-correlation function is used to make two-way match of the feature points, and with RANSAC algorithm the false pairs of matching points are eliminated, and the transformation model also estimated. Finally, a gradually fade-out weighted fusion method is adopted to implement image fusion. The experimental results indicate that the proposed algorithm has good reliability and robustness, and performs well in implementing mosaic of UAV aerial images.

UAV; image mosaic; Harris algorithm; RANSAC

TP391.41

A

1002-0802(2016)-08-01006-05

10.3969/j.issn.1002-0802.2016.08.010

2016-04-20;

2016-07-20

date:2016-04-20;Revised date:2016-07-20