一種基于鄰域對比的拼接縫消除方法

羅永濤，張紅民，王 艷，張見雙，陳柏元

(重慶理工大學 a.電氣與電子工程學院; b.計算機科學與工程學院， 重慶 400054)

一種基于鄰域對比的拼接縫消除方法

羅永濤a，張紅民a，王 艷b，張見雙a，陳柏元a

(重慶理工大學 a.電氣與電子工程學院; b.計算機科學與工程學院， 重慶 400054)

針對圖像拼接中尋找拼接縫準確性低、不能有效消除的問題，提出了一種基于鄰域對比的拼接縫消除方法。首先，采用一個3×3模板在圖像的重疊區域尋找連續數行灰度標準差最大的點，迭代剔除偏差較大的點直至2個，求剩余點均值作為拼接縫的起始點，以后每行的拼接點以上一行拼接點所在列兩側為標準設置閾值來限制候選拼接點區域。然后，將候選點中3×3鄰域灰度標準差最大的點作為該行的拼接點。最后，連接每行的拼接點作為最佳拼接縫。實驗結果表明：該方法能使得拼接縫兩側灰度差異較小，從而消除拼接縫，使得拼接后的圖像效果平滑、自然，較好地實現無縫拼接。

拼接縫消除；灰度標準差；最佳拼接縫；圖像拼接

在圖像拼接時，由于待拼接圖像在獲取過程中不可避免地會受到光照等外界因素的影響，使得其在拼接邊界上存在灰度差異，從而產生拼接縫[1-4]，這嚴重影響了拼接圖像的質量。如何有效地消除拼接縫是圖像融合的關鍵環節[5-8]。為了獲取具有良好視覺效果的拼接圖像，對拼接縫進行有效地消除就具有重要的意義。因此，在圖像拼接過程中，尋找較為準確的拼接縫是消除拼接縫的一種有效途徑，能使得拼接后的圖像平滑過渡。

近幾年來，許多學者對尋找拼接縫方法進行了大量研究。2014年，鄭悅等[9]提出鄰域最短距離法，并采用該方法對其進行消除，改善了拼接圖像質量，但對圖像融合錯位現象仍不能完全消除。2015年，孟建良等[10]提出最佳點平滑法尋找最佳拼接縫并對其消除，提高了拼接速率，但在速率和圖像質量上仍不能較好地兼顧。2016年，焦婷等[11]提出一種基于顏色相似度的拼接縫消除方法，消除了虛影現象，但仍存在不明顯的拼接縫，不能有效地進行消除。

雖然上述方法能消除明顯的拼接縫和鬼影現象，但對于一些錯位現象及不明顯的拼接縫仍不能有效地消除，因此本文提出一種基于鄰域對比的拼接縫消除方法。

1 加權平均拼接縫消除方法

加權平均法因其算法計算量小，計算速度快，對于一般的拼接縫消除效果良好，是一種常用的拼接縫消除方法。在圖像重疊區域，采用加權平均法對灰度值進行處理，從而在一定程度上減小圖像由于灰度變化明顯而產生的拼接縫痕跡，其計算公式如下：

(1)

其中w1和w2表示權值，滿足w1+w2=1，且0

該算法雖然對重疊區域拼接縫的消除表現出不錯的效果，但無法消除待拼接圖像間因光照等因素而產生的差異，使得拼接后圖像仍存在亮度不均勻等現象。

2 基于鄰域對比拼接縫消除方法

為了有效消除待拼接圖像間因光照等因素而產生的拼接縫，提出一種基于鄰域對比的拼接縫消除方法。

該算法基本思想是：利用圖像鄰域灰度標準差及梯度，從尋找盡可能準確的拼接縫角度考慮，采用加權平均法對其進行消除處理，使得處理后的拼接圖像不但達到了消除拼接縫的目的，同時也消除了拼接圖像間因光照因素等差異引起的圖像亮度不均衡的現象，從而實現無縫拼接。

鄰域對比的拼接縫消除方法實現步驟如下：

1) 先將待拼接彩色圖像轉化為灰度圖像。

2) 由于灰度標準差及梯度容易受噪聲影響，故對待拼接的2幅圖像進行去噪處理。

3) 對去噪后的灰度圖像，在重疊區域，采用一個3×3滑動模板尋找連續n行灰度標準差最大的像素點。為達到較好的拼接縫消除效果，根據實驗驗證，n值選取范圍在3～7之間。為了避免計算時間過長，本文選取n=5進行實驗，其灰度標準差值計算公式如下：

(2)

(3)

其中:μ為n個數的平均值;σ為灰度標準差值。灰度標準差值越大，則說明該區域灰度變化幅度越大。

4) 求5行中灰度標準差最大像素點橫坐標的均值，將其與已知5個像素點作比較，迭代剔除與均值相差較大的像素點直至2個，求這2個點均值作為拼接縫的起始點。

5) 設定距離閾值H來限制其他行候選拼接點區域，根據經驗值，選取H=4。令每行最佳拼接點列位置為j，之后每一行的最佳拼接點都將從其上一行或下一行已確定的列位置j所在列兩側的H個點中選取灰度標準差值最大的像素點。若出現灰度標準差值相等的點，選取以對應像素為中心3×3鄰域內梯度和較小的點作為該行的最佳拼接縫位置。梯度計算公式如下：

(4)

其中:Tx為像素點(x，y)在x方向上的梯度;Ty為像素點(x，y)在y方向上的梯度。像素點(x，y)的梯度模值為

(5)

6) 待所有行的最佳拼接點確定后，將其進行連接作為最佳拼接縫位置，并利用線性加權平滑法對其進行消除，最終實現拼接縫的有效消除。

算法流程如圖1所示。

圖1 算法流程

3 實驗結果及分析

為驗證本文算法的有效性，選取大小不同的3組圖像，如圖2所示，其中：圖(a)(b)均為網絡采集的巴士圖像，大小為293×375；圖(c)(d)均為圖像數據庫中輪船的圖像，大小為332×271；圖(e)(f)均為實景拍攝的學校校門圖像，大小為460×499。采用的仿真平臺為Matlab R2014a。

圖3(a)(c)(e)均為基于加權平均法的拼接縫消除效果圖；圖3(b)(d)(f)均為基于鄰域對比法的拼接縫消除效果圖。圖3(a)中，其重疊區域存在較明顯的拼接縫，即圓圈標注區域；圖3(c)中，其重疊區域存在錯位現象；圖3(e)中，其重疊區域存在不明顯的拼接縫。可知拼接效果圖3(a)(c)(e)影響了人眼視覺效果；圖3(b)(d)(f)在對應的重疊區域，不存在明顯的拼接縫與錯位現象，并且重疊區域平滑自然，人眼視覺效果較好。從實驗結果可以看出：經本文算法處理的拼接圖像整體亮度均勻、自然，與單純的加權平均法相比，拼接縫消除效果有所提升。

圖2 待拼接的3組圖像

為進一步驗證本文算法的有效性，采用信息熵、互信息與平均梯度[12-14]等評價指標對得到的拼接圖像進行對比分析。信息熵體現圖像包含的信息量多少，信息熵越大，說明圖像信息越豐富，拼接縫消除效果越好；互信息值體現拼接圖像包含源圖像信息量大小，互信息值越大，融合效果越好；平均梯度反映圖像細節信息，平均梯度值越大，則說明圖像越清晰，即圖像質量也越好。

拼接縫消除效果參數對比如表1所示。由表1可知：用本文算法所得的拼接圖像的信息熵、互信息與平均梯度值較大，即本文算法的拼接縫消除效果明顯，色調過渡平滑、自然，圖像較清晰，視覺效果較好，有效地消除了拼接縫，獲得了質量較好的拼接圖像。

表1 拼接圖像客觀評價

4 結束語

針對圖像拼接時待拼接圖像存在灰度差異而導致拼接縫的問題，提出一種基于鄰域對比的拼接縫消除方法。實驗結果表明：基于本文算法的拼接縫消除效果好于單純的加權平均法。該算法有效避免了因灰度差異較大而導致的拼接縫現象，融合后的圖像視覺效果得到明顯改善，對今后圖像融合方法的研究具有一定的參考價值。

[1] HAYAT K,PUECH W,GESQUIERE G.Seamless Hetero-geneous Tessellation via Smoothing and Mosaicing in the DWT Domain[C]//Proceeding of SPIE.USA:[s.n.],2010:1-8.

[2] 牛姣蕾,林世忠,陳國強.圖像融合與拼接算法在無人機電力巡檢系統中的應用[J].電光與控制,2014(3):88-91.

[3] 程紅,鄭悅,孫文邦.基于局部區域梯度最小點的遙感圖像鑲嵌算法[J].國土資源遙感,2014(1):31-36.

[4] 曹君,劉正華,洪勇,等.車載魚眼圖像的全景圖拼接誤差分析[J].測繪科學,2016(7):202-204.

[5] BYUN Y,CHOI J,HAN Y.An area based image fusion scheme for the integration of SAR and optical satellite imagery[J].IEEE Geoscience&Remote Sensing Society ,2013,6(5):2212-2220.

[6] 程紅,鄭悅,孫文邦.基于相鄰像素灰度改正比的遙感圖像拼接縫消除[J].電光與控制,2014(5):73-77.

[7] 王民,鄭余杰,權宇寰,等.基于斜率改正比的遙感圖像拼接縫消除算法[J].計算機工程與應用,2015,18:165-168.

[8] 瞿中,喬高元,林嗣鵬.一種消除圖像拼接縫和鬼影的快速拼接算法[J].計算機科學,2015(3):280-283.

[9] 鄭悅,程紅,孫文邦.鄰域最短距離法尋找最佳拼接縫[J].中國圖象圖形學報,2014,19(2):227-233.

[10]孟建良,王雅繼.最佳點平滑法尋找最佳拼接縫[J].計算機工程與科學,2015,37(7):1387-1392.

[11]焦婷，李良福，肖樟樹.存在運動目標時的圖像鑲嵌方法研究[J].計算機應用研究，2016,33(2):607-611.

[12]黃立勤,陳財淦.全景圖拼接中圖像融合算法的研究[J].電子與信息學報,2014,36(6):1292-1298.

[13]陳立偉,蔣勇.圖像融合算法的綜合性能評價指標[J].計算機工程,2015,41(2):219-223.

[14]陳天明,王俊琦,張星祥,等.基于特征提取的紅外與可見光圖像融合[J].激光與紅外,2016(3):357-362.

(責任編輯 陳 艷)

Splicing Seam Elimination Method Based on Neighborhood Comparison

LUO Yongtaoa, ZHANG Hongmina,WANG Yanb, ZHANG Jianshuanga, CHEN Boyuana

(a.College of Electrical and Electronic Engineering; b.College of Computer Science and Engineering, Chongqing University of Technology, Chongqing 400054, China)

For finding splicing seam with low accuracy and it can’t eliminate splicing seam effectively in the image splicing, a splicing seam elimination method based on neighborhood comparison is proposed. First of all, use a 3×3 sliding template to find a pixel point whose gray standard deviation value which is the largest in each row of number of rows continuously from the image overlap areas line by line, and to exclude the pixel points with large deviation until after two points in iteration, and to calculate the mean value of the rest of points as the starting splice point of the splicing seam, and to set the threshold value to limit the range of candidate splicing point in turn on the basis of their column position.Then, it selects the points with largest gray standard deviation of the candidate points in the 3×3 neighborhood as the splice point of the row. Finally, it connects the optimal splicing point of each row as the optimal splicing seam. Experimental results show that the method can make the gray difference smaller on both sides of the splicing seam in order to eliminate the splicing seam relatively effectively, and to make the image overlap region smooth and natural, and to realize seamless splicing better.

splicing seam elimination; gray standard deviation; optimal splicing seam; image splicing

2017-05-15 基金項目：重慶市基礎與前沿研究計劃項目(cstc2015jcyjA40051)

羅永濤(1991—)，女，山西大同人，碩士研究生，主要從事圖像分析與處理研究,E-mail:1525991437@qq.com ;通訊作者 張紅民(1970—)，男，河南舞陽人，博士，教授，主要從事圖像處理與模式識別研究,E-mail:Hmzhang@cqut.edu.cn。

羅永濤，張紅民，王艷，等.一種基于鄰域對比的拼接縫消除方法[J].重慶理工大學學報(自然科學)，2017(8):140-144.

format：LUO Yongtao, ZHANG Hongmin,WANG Yan,et al.Splicing Seam Elimination Method Based on Neighborhood Comparison[J].Journal of Chongqing University of Technology(Natural Science)，2017(8):140-144.

10.3969/j.issn.1674-8425(z).2017.08.023

TP39

A

1674-8425(2017)08-0140-05