一種三角函數權重的圖像拼接算法

汪 丹，劉 輝，李 可，周 威

?

一種三角函數權重的圖像拼接算法

汪 丹，劉 輝，李 可，周 威

（湖南師范大學 物理與信息科學學院，湖南 長沙 410006）

針對傳統加權平均融合算法和漸入漸出融合算法仍然存在相對明顯的拼接痕跡，提出一種三角函數權重的圖像拼接算法。首先，對參考圖計算圖像重疊區域從左邊界開始每一列像素所占重疊區的比例，將其用相應的角度表示；然后計算角度對應余弦值的平方，將此結果作為參考圖的權重信息；對于目標圖，計算靠近右邊界的每一列所占重疊區的比例，并用角度表示，然后計算該角度對應正弦值的平方，將此結果作為目標圖的權重；最后用計算得到的2個非線性的權重對兩幅圖進行圖像拼接。實驗結果表明無論攝像機是否在曝光差異較大情況下進行拍攝，改進的圖像融合算法效果更好。

加權平均融合；漸入漸出融合；三角函數；權重；圖像融合；曝光差異

0 引言

圖像融合是指將多張在同一時間（不同時間）獲取的關于某個場景的圖像序列信息加以綜合，生成一個新的完整的關于此場景的解釋。圖像融合技術主要用于虛擬現實技術VR（virtual reality）[1]之中，作為靜態圖像拼接、視頻圖像實時拼接[2]后至關重要的一步，融合質量的好壞對結果有很大影響。

目前為止，國內外學者提出了很多圖像融合算法。國外近幾年主要針對多光譜、多視點圖像融合[3]進行研究。提出了基于向導濾波的方法[4]、從原圖中提取感興趣區域的方法[5]、基于EOL的加權平均算法[6]、可見光譜下多分辨率變換算法[7]等融合算法。傳統的加權平均融合算法[8]，簡單易懂，但因為權重是固定的，拼接縫隙比較明顯，融合效果相對較差；漸入漸出融合算法[9]采用基于距離變換的權值，使圖像在重疊區域有一種漸變效果，過渡相對自然，現實中這種融合算法應用比較廣泛，但仍然存在肉眼可見的拼接縫隙；最佳縫合線算法[10]是一種利用動態規劃的思想減小融合中“鬼影”以及重影問題的算法，但計算量相對較大，曝光差異較明顯。多分辨率融合是將待拼接圖像分解成一系列拉普拉斯圖像金字塔，相對麻煩。

本文在漸入漸出融合算法前提下提出一種基于三角函數權重的拼接算法，通過計算每一列與角度的關系，將每一列用角度表示，計算其余弦值的平方作為權重，計算復雜度低。

1 圖像拼接

進行圖像融合之前需要先進行圖像拼接，圖像拼接是將一組相互之間存在重疊區域的圖像序列進行空間匹配，經過重采樣融合后形成一幅包含各圖像序列信息的寬視角場景的、完整的、高清晰的新圖像的技術。

以圖1中2幅圖像A、B的拼接為例，基本步驟如下：①將實景圖A、B分別投影到柱面，統一坐標系；②利用SIFT[11]、SURF[12]等算法（本文選用SIFT算法）進行特征點檢測，然后進行特征點匹配得到匹配對信息；③由特征點匹配對信息計算出兩幅圖的變換矩陣，得到兩幅圖的空間變換關系；④以實景圖A為參考圖，對實景圖B進行矩陣變換，即完成圖像拼接。

圖1 實景圖

對實景圖A、B經過柱面投影、SIFT特征點檢測和匹配、計算矩陣以及進行矩陣變換后，拼接結果如圖2所示，從圖中可以看到明顯的拼接痕跡，需要有效的圖像融合算法來消除。

圖2 圖像拼接結果

2 漸入漸出融合算法

融合主要是處理圖像拼接所產生的痕跡，使邊界部分過度自然平滑。在重疊區域，漸入漸出融合算法[13]主要是使權重按式(1)隨著像素點位置的變化而呈線性變換，以此實現平滑過渡，提高圖像融合質量：

式中：是像素點的列數；、分別是重疊區域的左、右邊界。

按照式(1)，實景圖A、B的權重變化如圖3所示。

圖3 漸入漸出融合權重變化圖

按照圖3進行融合后，重疊區域像素點的灰度值可以按式(2)計算：

(,)＝×(,)＋(1－)×(,) (2)

當A、B為真彩圖時，3個顏色通道分別按照式(2)計算即可。

3 三角函數權重融合算法

3.1 理論分析

在漸入漸出融合算法前提下，提出一種三角函數權重的融合算法，首先把每列像素點按照式(3)用角度表示：

計算可知的取值范圍在區間[0,p/2]。

然后，按照式(4)和式(5)求參考圖和目標圖的權重，兩個權重滿足式(6)的要求：

＝cos2() (4)

＝sin2() (5)

cos2()＋sin2()＝1 (6)

最后求融合后像素點與實景圖A、B的關系，如下式：

(,)＝×(,)＋×(,) (7)

如果是真彩圖像，分別對3個顏色通道運用式(7)即可。由式(3)、(4)可以得權重隨著位置變化的關系：

兩個權重隨像素位置變化的關系如圖4。

對比圖3和圖4，可以直觀地看到，本文算法的權重從2個邊界向中心逼近時變化非常平緩。而圖像融合算法通常是權重隨著像素位置變換越緩慢越好，表示圖像過渡得越自然。為了從理論上分析本文算法與漸入漸出融合算法的優劣，選用權重對位置的導數來衡量。式(9)是基于三角函數的權重隨位置變化的快慢關系式，式(10)是漸入漸出融合算法中權重隨位置的快慢變化關系：

比較式(9)、(10)得出的只是兩種方法在任何一個像素點時權重的瞬時變化率。即當像素點靠近邊界，即拼接痕跡時，本文算法得到的權重比漸入漸出算法變化小很多，即在邊界處，本文算法減少甚至消除痕跡的效果更明顯。為了比較總的變化率，采用下面兩式對兩種瞬時變化率求積分即可：

由上面兩式可以看出，兩種方法在重疊區域的總變化率是相同的。即本文算法在處理邊界痕跡時效果更好，同時總的變化率又不會比漸入漸出融合算法大。

3.2 實驗結果

本算法均在Window 7操作系統上利用Visual Studio 2013結合OpenCV庫函數實現。圖5分別是傳統加權平均融合算法[14]、漸入漸出融合算法和本文算法的融合結果。

由圖5看出，加權平均融合算法效果較差，拼接痕跡非常明顯；而漸入漸出融合算法融合效果已經比較好，基本能滿足實驗要求，但劃線部分仍存在拼接縫隙；本文算法的融合效果已經幾乎看不出拼接痕跡。圖5(b)和(c)的融合效果依靠肉眼可能看不出特別明顯的差別，這就需要統計圖像評價指標的數據。

3.3 曝光差異下的圖像融合比較

圖1中的兩幅圖是在正常光線下拍攝的實景圖，但有時候當攝像機平移或者旋轉時，自動或手動選取的曝光系數可能不同，即兩幅圖的曝光差異可能很大。如圖6中的兩幅圖所示，實景圖C很亮，而實景圖D很暗。

圖6 曝光差異下的實景圖

一般情況下，為了得到較好的視覺效果，當待拼接實景圖出現曝光差異很大時，先要進行亮度調整然后再進行拼接、融合。為了比較本文所述算法的有效性和先進性，在此不進行亮度調整而是直接進行拼接。

圖7給出了加權平均融合算法、漸入漸出融合算法、三角函數權重融合算法處理后的效果圖。

圖7 圖6經3種算法融合后的效果圖

從圖7看出，在曝光差異很大的情況下，加權平均融合算法對拼接產生的痕跡只有輕微的減弱作用；漸入漸出融合算法雖然已經減輕了拼接痕跡的影響，但仍然可以看出融合不自然。三角函數權重融合算法在很大程度上已經消除了拼接痕跡，而且較好地處理了邊界突兀的問題，使圖像過度部分較為平滑，已經能滿足實驗要求。

3.4 評價指標

為了從數據上比較傳統加權平均算法、漸入漸出算法和三角函數權重拼接算法的優劣，而一個指標通常不能進行客觀而全面的評價，故現從信息量、統計特性和信噪比3個方面來評價圖像融合的效果[15-17]。選用基于信息量的指標：信息熵；基于統計特性的指標：均方根誤差（RMSE）；基于信噪比的指標：峰值信噪比（PSNR）。結果如表1所示。

由表1可知，無論有沒有曝光差異，利用本文算法進行圖像拼接后的信息熵更大，即圖像信息量更豐富；PSNR較高，即噪聲得到了有效抑制；RMSE較小，也證明圖像誤差較小。綜合各項客觀指標，與傳統加權平均融合算法和漸入漸出融合算法對比下，本文算法確實是有優勢的。后續如果能將這種算法進行優化用在多幅復雜圖像的拼接或者視頻圖像實時拼接中，累積優勢會更明顯。

表1 3種算法融合結果對比

4 結論

對于漸入漸出融合算法仍然存在細微的拼接縫隙問題，提出了一種基于三角函數權重的拼接算法，原理相對簡單，計算量較小，運行速度快，有效減少了拼接痕跡，改善了圖像融合的效果。后續的工作主要是針對重疊區域融合后出現的重影、“鬼影”問題進行研究和改進。

[1] 趙書睿. 全景圖像拼接關鍵技術研究[D]. 成都: 電子科技大學, 2013.

ZHAO Shurui. The key technology of panorama mosaic[D]. Chengdu: University of Electronic Science and Technology of China, 2013.

[2] 任超鋒. 航空視頻影像的正射影像制作關鍵技術研究[D]. 武漢: 武漢大學, 2014.

REN Chaofeng. Research on key technologies of DOM generation by aerial video[D]. Wuhan: Wuhan University, 2014.

[3] Gangapure V N, Banergee S, Chowdhury A S. Steerable local frequency based multispectral multifocus image fusion[J]., 2015, 23: 99-115.

[4] Li S T, Kang X D, Hu J W. Image fusion with guided filtering[J]., 2013, 22(7): 2864-2875.

[5] Li S T, Kang X D, Hu J D, et al. Image matting for fusion of multi-focus images in dynamic scenes[J]., 2011, 14: 147-162.

[6] Benes R, Dvorak P, Faundez-Zanuy M, et al. Multi-focus thermal image fusion[J]., 2012, 34: 536-544.

[7] Li S T, Yang B, Hu J D. Performance comparison of different multi-resolution transforms for image fusion[J]., 2010, 12: 74-84.

[8] 張欣. 全景拼接的關鍵技術研究[D]. 哈爾濱: 哈爾濱工程大學, 2009.

ZHANG Xin. Research on the key technology of panorama mosaic[D]. Harbin: Harbin Engineering University, 2009.

[9] 郭晶. 基于特征點的多幅圖像拼接技術研究[D]. 西安: 西安科技大學, 2012.

GUO Jing. Multiple image stitching technique research based on the feature points[D]. Xi’an: Xi’an University of Science and Technology, 2012.

[10] James Davis. Mosaics of scenes with moving objects[C]//,, 1998: 354-360.

[11] Lowe D G. Distinctive image features from scale-invariant key points[J]., 2004, 60(2): 91-110.

[12] Herbert Bay, Tinne Tuytelaars, Luc Van Gool. Speeded up robust features[J]., 2006, 110(3): 404-417.

[13] 陸園園, 張明. 基于SIFT算法的紅外圖像拼接方法改進[J]. 計算機系統應用, 2015, 24(8): 165-170.

LU Yuanyuan, ZHANG Ming. Improved algorithm based on SIFT infrared image stitching algorithm[J]., 2015, 24(8): 165-170.

[14] 馬杰. 360°全景圖像拼接技術研究[D]. 成都: 西南財經大學, 2012.

MA Jie. Research on 360 degree panoramic image stitching. Chengdu: Southwestern University of Finance and Economics, 2012.

[15] 田霞. 混合粒子群優化算法在圖像融合中的應用[D]. 西安: 陜西師范大學, 2009.

TIAN Xia. The application of hybrid particle swarm optimization in image panorama mosaic[D]. Xi’an: Shannxi Normal University, 2009.

[16] 袁金樓, 吳謹, 劉勁. 基于NSCT與DWT的壓縮感知圖像融合[J]. 紅外技術, 2015, 37(11): 957-961.

YUAN Jinlou, WU Jin, LIU Jin. Image fusion based on compressed sensing of NSCT and DWT[J]., 2015, 37(11): 957-961.

[17] 王宇慶, 王索建. 紅外與可見光融合圖像的質量評價[J]. 中國光學, 2014, 7(3): 396-401.

WANG Yuqing, WANG Suojian. Quality assessment method of IR and visible fusion image[J]., 2014, 7(3): 396-401.

An Image Fusion Algorithm Based on Trigonometric Functions

WANG Dan，LIU Hui，LI Ke，ZHOU Wei

(,,410000,)

Many images stitching algorithms such as the weighted average image fusion and the gradual image fusion, could not make the stitching gap disappear. A new image fusion method based on trigonometric functions was proposed. Firstly, the overlap area ratio was calculated for each column of pixels, and was represented with corresponding angles. Then, the square of the cosine value was calculated, as weighted information of reference map. The square of the sine value was calculated as weighted information of target image. Finally, the two images are fused by using those two nonlinear weights.The experimental results show that the improved image fusion algorithm has better effects, whether or not the camera is operating in large exposure differences.

weighted average image fusion，gradual image fusion，trigonometric functions，weight，images fusion，different exposure index

TP399

A

1001-8891(2017)01-0053-05

2016-05-08；

2016-06-23.

汪丹（1992-），女，湖南常德人，碩士研究生，研究方向：魚眼校正、圖像拼接融合、全景漫游。

劉輝（1964-），女，湖南漢壽人，碩士，副教授，研究方向：圖像處理、信號處理。E-mail：liuhui1366@126.com。