基于改進加權算法的實時圖像數據融合研究

方趙林，彭 潔，葛春霞，秦緒佳

(浙江工業大學 計算機科學與技術學院，浙江 杭州 310023)

基于改進加權算法的實時圖像數據融合研究

方趙林，彭 潔，葛春霞，秦緒佳

(浙江工業大學 計算機科學與技術學院，浙江 杭州 310023)

在三維重建、多維數據融合和信息可視化分析等領域中，針對實時視頻圖像數據拼接融合的過程中常出現的拼接縫隙問題，提出了一種改進的加權融合實時圖像拼接方法.該方法將視頻拼接問題轉化為視頻對應幀圖像的融合問題，通過利用SURF算法對特征數據點進行提取與匹配，對圖像使用RANSAC算法和LM算法求其幾何變換矩陣，再根據變換矩陣進行圖像插值拼接，對拼接線區域圖像內容進行加權處理完成視頻圖像融合.在進行圖像融合處理時，提出了基于拼接線一側加權融合和基于原圖內容的加權融合算法.實驗結果表明：該方法實現的拼接融合速度快、效果較好，適用于對速度和拼接效果均有要求的場景視頻拼接和實時數據呈現.

視頻拼接；加權融合；實時；無縫拼接

在對信息化系統產生的多維數據進行融合的過程中，常需要處理實時圖像數據的拼接融合問題.圖像拼接是指把具有重疊區域的兩幅或多幅小視域的圖像拼接成一幅無縫隙的大視域圖像[1]，其中待拼接圖像可以是同一場景在不同時間、角度、信息采集系統上獲得，這一技術被廣泛地用在數據分析、數字視頻、虛擬現實技術等領域.由于視頻是由大量靜態的圖像數據拼接而成，因此視頻拼接的核心是圖像拼接[2].縱觀現有的關于圖像拼接的研究，常規的圖像拼接方法為滿足觀測的需要，主要注重拼接質量，而忽視了拼接實時性[3].然而，與圖像拼接的相比，視頻拼接更看重實時性.由于視野范圍、光照變化和尺度縮放等因素會影響獲取的視頻質量，所以視頻拼接的研究重點是在確保視頻拼接有高效的實時性的同時還具有較好的拼接效果.針對動態視頻拼接技術，一般利用LM算法計算待配準圖像之間的幾何變換關系，然后利用變換關系進行視頻幀圖像的配準與拼接[4].2001年Hsu等[5]提出了一種將運動物體和場景分離技術統一起來的視頻圖像拼接算法，該算法通過Melin變換計算運動參數，利用幀差法檢測出運動物體，對視頻幀圖像拼接，并將分離出的運動物體合成到拼接視頻序列中.2009年Lin等[6]提出一種基于HashMap的特征匹配的快速視頻拼接算法，該算法先采用具有旋轉不變特性的SURF特征檢測算法檢測特征點，然后進行HashMap的特征匹配，提高了特征匹配的速度.針對虛擬漫游系統的實時視頻拼接，陳夏艷等[7]提出通過提取場景的距離特征，利用序貫相似性檢測算法來確定出圖像的重疊區域.同時為提高圖像拼接質量，可先進行消除鏡頭畸變，再對圖像拼接融合[8].針對視頻圖像的全景拼接，范菁等[9]提出基于顯著性區域來生成帶約束關鍵幀的全景圖，并利用CUDA進行優化.在拼接融合領域，一般的拼接方法均是對重疊區域進行加權融合，其融合效果較差.目前較好的融合方法是基于最佳縫合線方法[10]，但最佳縫合線方法往往計算量大，不適合視頻實時拼接融合.針對實時視頻拼接，通過深入研究，使用基于拼接線一側的加權融合算法和基于原圖內容的加權融合算法，較好地克服了傳統加權融合算法中出現拼接線的不足，實現對圖像的高質量、快速度的融合拼接.

1 視頻圖像實時拼接

大場景的視頻拼接應用中，常采用多系統進行數據采集，然后拼接成一個大場景的視頻.在同一環境中，數據采集位置通常固定不動，每對圖像拼接幀間的變換矩陣是相同的.因此，一般只需選擇一對拼接幀來計算拼接矩陣，其他幀對與此類似，直到達到實時拼接同步播放的效果.

1.1SURF算子

SURF算子在SIFT算子的基礎上進行了改進[11]，它對關鍵點周圍的局部領域信息進行統計，將其作為局部特征來描述，而這種特征跟尺度大小是沒關系的，是一種基于尺度不變特征的圖像局部描述算子.

1.1.1 尺度空間的生成

在生成金字塔尺度空間時，SURF需不斷增大盒子濾波器模板和積分圖像，計算Hessian矩陣響應來快速生成尺度空間.構建尺度空間需使用Hessian矩陣探測器檢測斑點，通過高斯LaplacianLog探測器的響應值進行判斷否存在斑點.當斑點的形狀和通過Laplacian函數生成的形狀趨勢基本一致時，并且利用圖像和高斯二階導數卷積得到的Laplacian響應值也達到最大，便可判定其為斑點.在斑點檢測過程中，關鍵點在于使用高斯二階微分計算得出Hessian矩陣，其定義為

(1)

這里，假設p(x,y)表示任一像素點位置，σ為高斯卷積尺度參數，那么圖像中的Hessian矩陣可表示為

(2)

1.1.2 定位極值點

為了在圖像及不同尺寸中找出極值點的精確位置，采用3×3×3鄰域的非極大值抑制.通過計算圖像像素點的Det(H)值可以初步確定圖像的局部極值點位置，將該點鄰域周圍26個點的Det(H)值與該點的Det(H)進行比較，發現均比該點大，則可初步確定該點為初始特征點.具體判定過程如圖1所示.

圖1 極值點判定Fig.1 Extremum point decision

1.1.3 確定特征點主方向

以特征點為中心，從其不同方向中選取一個作為主方向，即使發生旋轉，特征向量仍保持一定的穩定性.通過引入Harr小波[12]，計算出特征點在x和y方向上的梯度響應值，確定其主方向.假設特征點所在的尺度空間單位大小用s表示，以樣本的特征點為圓心畫一個半徑為6 s的圓形范圍，取所有Harr小波尺寸不大于4 s特征點的梯度響應值.此外，特征點權值應根據特征點到圓心的距離來判定，距離圓心越近其權值越大，反之越小.為保證整個圓形區域都包括在內，設置了6個60°的扇形窗口，分別計算各扇形窗口的Harr小波響應值的累加和(mw,θw)，計算公式為

(3)

(4)

通過累加6個扇形區域的矢量和得到mw，則mw最大的區域的方向就是最終主方向，其中，主方向θ可確定為

θ={θw|max(mw)}

(5)

1.1.4 生成SURF特征點描述符

確定了特征點的主方向后，需生成SURF特征點的具體描述符.首先把特征點作為中心，沿主方向在中心位置處選取20 s×20 s的正方形窗口區域，并在區域內計算Harr小波梯度響應值.計算響應值過程中，首先將20 s×20 s的大窗口區域劃分為4×4個子窗口，然后在各個子窗口內，分別計算在x和y方向的Harr小波梯度響應值dx和dy.最后計算各個窗口在x軸和y軸的Harr小波響應值dx和dy的累加值以及在x軸和y軸的圖像灰度值變化極性的信息|dx|和|dy|的累加值.最終各子窗口均得到一個四維特征矢量V，也稱為特征點描述符，具體表示為

V=(∑dx,∑|dx|,∑dy,∑|dy|)

(6)

由上，在20 s×20 s的正方形窗口區域內共生成的特征描述符有4×4×4=64位.而且當圖像發生旋轉、分辨率變化和受光照不均時生成的SURF特征描述符均具有穩定性.

1.2RANSAC配準

對于兩個特征點描述符間，使用SURF算法計算其歐氏距離，假設某個特征點描述符為qi，與qi的歐氏距離由近至遠的特征描述符分別記為qi1和qi2.當r0=qi/qi1與r1=qi/qi2的比值小于閾值，說明匹配正確，即將點(qi,qi1)看做輸入圖像的成功匹配點.雖然該方法方便快捷，但有一定的弊端，它會產生誤匹配，通過RANSAC算法得到圖像變換矩陣H將會有效減少誤匹配的點對，具體流程如下:

1)首先隨機選取4組匹配點作為一個隨機樣本并計算該樣本的幾何變換矩陣H，然后計算與H變化趨勢一致且距離不大于d的匹配點數，即內點數.在經過多次采樣之后，如果內點數不相等，則選擇內點數最多的變換矩陣H作為變換矩陣的初值，否則選擇內點標準差最小的變換矩陣H作為變換矩陣的初值.

2)通過將幾何變換矩陣H迭代，為全部內點重新估計H，利用LM算法使代價函數達到最小化.

3)使用上一步得到的變換矩陣H定義附近搜索的區域，進而達到使特征點精確匹配的效果.

4)重復迭代步驟2，3直到匹配點數目穩定為止.

2 改進的加權融合算法

進行圖像融合操作，關鍵要處理好多圖像間的重疊區域，使形成一幅完整平滑的大視域圖像.在實時視頻拼接的過程中，視頻融合不僅要求滿足最基本的畫面質量，還要求滿足一定的實時性.因此改進的加權融合算法的目標就是在不改變融合質量的同時，盡量縮短融合拼接的時間開銷.

2.1 融合插值思想

進行圖像融合操作的前提是圖像配準，圖像配準首先對配準圖像進行平移、縮放、旋轉等幾何空間變換的處理，同時計算從配準圖像空間投影到基準圖像空間的變換矩陣.由于經過空間變換后的配準圖像會丟失部分圖像信息，這會直接導致圖像失真或是模糊不清，為改善這一狀況，采取圖像插值技術對原圖進行處理.在一般的應用中，線性插值技術不但能夠滿足圖像高質量的基本需求，而且算法簡單，運行速度相對較快；而非線性插值技術雖然可以滿足圖像高質量的需求，但是算法復雜，運行速度相對慢，所以該算法并不適宜用在對時間要求比較嚴格的場景中.

傳統的圖像拼接算法一般在圖像配準后使用漸入漸出式加權平均融合算法[13]和雙線性插值算法來完成圖像拼接的基本融合過程.加權融合算法的公式為

(7)

式中：d1(x,y)，d2(x,y)分別為加權系數，兩者和等于1.上述組合算法僅適用某些拼接的場景，但當某些圖像的空間幾何變換較大時，仍舊會存在一條較明顯的拼接縫.

傳統的加權融合算法的優點是算法簡單、運行速度快，常適用在對時間要求嚴格的場景中，但該算法運行過程中偶爾會出現不穩定，圖像有鋸齒狀拼接線的現象.針對加權融合算法中出現的拼接線現象，提出了一種基于拼接線一側的加權融合和基于原圖內容的加權融合的改進算法.該算法證實了雙線性插值算法并沒有完全解決邊緣不平滑的問題，從而解釋了拼接線出現的原因，進而提出了利用拼接線一側的內容和原圖內容重新對拼接線進行插值的一種改進的算法.

2.2 基于拼接線一側的加權融合算法

基于拼接線一側的加權融合算法具體思路如下：計算拼接后圖像的拼接線的位置，然后在加權融合時，若遇到拼接線像素點，則將參考圖像的像素點的值直接賦值給對應的拼接線像素點上，否則就利用傳統的加權融合算法處理.之所以將參考圖像的像素點的內容直接賦值給拼接線像素點，是因為參考圖像的內容較真實且未做過任何的幾何變換，而經過圖像變換的配準圖像的邊緣處(即拼接線)存在不平滑的現象，因此在對拼接線處進行的加權平均融合時僅取參考圖像一側的像素點，舍棄誤差較大的配準圖像的邊緣.由于在進行視頻拼接時，圖像除了拼接線處，其他區域基本不受光照等因素的影響，因此在使用加權融合算法對拼接線處進行平滑性的過渡處理后，不會出現因二次插值引起再次出現拼接線的現象.該算法的具體步驟如下：

1) 計算拼接線.由于在視頻拼接過程中，經過幾何變換后圖像的邊緣線仍是直線，所以加權融合算法中出現的拼接線也一定是直線.本算法假設拼接線的方程式是y=kx+b，首先對原圖像的4個頂點進行圖像變換，然后對產生的新頂點坐標進行計算便可得到該拼接線的方程.

2) 選擇合適的閾值判定.確定了拼接線方程之后，接下來重點是尋找該拼接線內的像素點，假設某像素點的坐標為(i,j)，判定該像素點是否在拼接線內，其公式為

|j-(ki+b)|<θ

(8)

其中：θ代表要判定的像素點是否在拼接線內的閾值，其取值范圍為[1,2]，θ值不能太大也不能太小.若θ過小，拼接線不能完全覆蓋鋸齒區域；若θ過大，拼接線區域過大可能會導致產生新的拼接線.因此，選擇一個合適的閾值是尋找拼接線內像素點的關鍵.

3) 在拼接線區域選擇一側圖像內容.如果像素點在拼接線區域內，就把參考圖像的像素直接賦值給與拼接結果圖對應的拼接線像素點，如果不在拼接線區域內，則按照傳統的加權融合算法對圖像進行圖像融合操作.

2.3 基于原圖內容的加權融合算法

基于原圖內容的加權融合算法的具體思路，首先利用原圖像對配準后圖像的邊緣處進行插值處理，接著再對邊緣插值后的配準圖像和參考圖像進行傳統的加權平均融合處理.該算法在消除配準圖像邊緣的鋸齒誤差的基礎上進行加權融合，由于對原圖進行插值后可能會出現新的拼接縫，這種做法能對新拼接縫進行加權融合，大大降低了新拼接線出現的概率.該算法的具體步驟如下：

1) 計算拼接線.

2) 選擇合適的閾值判定.

3) 對拼接線處進行原圖內容插值.如果像素點在在拼接線區域內，即在配準圖像的邊緣處，則可以利用圖像變換矩陣的逆運算，把原圖位置的像素點值賦值給與之對應的配準圖像上的點.

4) 加權融合兩幅圖像.對配準圖像進行原圖內容插值操作后，再將其與參考圖像進行漸入漸出式加權平均融合處理，就得到由兩幅圖像融合拼接而成的無縫隙的整體圖像.

3 實驗結果及分析

通過使用Visualstudio2010軟件在PC機上對算法進行了實現.圖2為輸入視頻，圖3(a～c)為分別采用傳統加權融合算法、基于拼接線一側加權融合算法和基于原圖內容的加權融合算法對圖2的兩個輸入視頻進行拼接后的融合效果圖，其中劃線方框內出現的虛線是拼接產生的拼接縫隙.圖3中第2行是第1行圖中劃線方框部分的局部放大圖.

圖2 輸入視頻Fig.2 Input videos

圖3 不同加權融合算法的視頻拼接結果Fig.3 Videos stitching result with different weighted fusion algorithms

通過對比觀察圖3中的融合效果圖，尤其是各融合圖中的畫框區域，我們發現改進后加權融合算法不但具有融合效果較好、明顯消除拼接線和拼接區域的圖像亮度一致等優勢，而且沒有造成因二次插值導致的新拼接線現象的出現.此外，由于計算拼接線的時間是線性時間，而且在對圖像重疊區域加權融合時僅需增加判斷像素點是否在拼接線區域內這一步.表1數據說明基于拼接線一側的加權融合算法在提高了圖像融合效果的同時幾乎沒有增加額外時間.而基于原圖內容的加權融合算法由于采用了漸入漸出式加權平均融合處理，運行代價略有增加，但整合效果更好.

表1 不同加權融合算法性能分析

Table 1 Performance analysis of different weighted fusion algorithms

融合方法運行時間/s傳統加權融合算法0．029基于拼接線一側加權融合算法0．033基于原圖內容的加權融合算法0．040

可見，基于拼接線一側的加權融合算法和基于原圖內容的加權融合算法，改進了傳統的加權融合算法，融合效果好、速度快，非常適用在實時視頻拼接中.

4 結 論

基于SURF特征匹配算法提出并改進了傳統的加權融合視頻拼接方法，通過提取圖像的SURF特征點，進行特征匹配以及計算特征點的幾何變換矩陣來求得輸入圖像的重疊區域，最后利用提出的改進算法進行圖像融合.對于要求速度快且融合質量比傳統融合方法略高的應用，可采用基于拼接線一側的加權融合算法，對于要求融合質量高的場合，可采用基于原圖內容的加權融合算法.對于數據采集面固定的視頻，只要取一個視頻對應幀來計算變換矩陣，其他視頻幀的拼接變換采用同一變換矩陣，然后進行加權融合，可達到實時拼接和融合.實驗證明，改進加權融合算法在實時視頻拼接的圖像融合過程中耗時較少，并且可得到的拼接效果良好的實時視頻.

[1] ZOMET A, LEVIN A, PELEG S, et al. Seamless image stitching by minimizing false edges[J]. IEEE transactions on image processing,2006,15(4):969-977.

[2] LI Jing, XU Wei, ZHANG Jianguo, et al. Efficient video stitching based on fast structure deformation[J]. IEEE transactions on cybernetics,2015,45(12):2707-2719.

[3] 王小強,陳臨強,梁旭.實時全自動視頻拼接方法[J].計算機工程,2011,37(5):291-292.

[4] SZELISKI R. Video mosaics for virtual environments[J]. Computer graphics & applications,1996,16(2):22-30.

[5] HSU C T, TSAN Y C. Mosaics of video sequences with moving objects[J]. Signal processing-image communication,2004,19(1):81-98.

[6] LIN Wu, HONG Jingxin, ZHANG Hao, et al. A fast feature-based video mosaic[C]//6th International Symposium on Multispectral Image Processing and Pattern Recognition. YiChang: SPIE,2009:49-55.

[7] 陳夏艷,伍先達.基于距離特征的自適應閾值視頻拼接算法[J].模式識別與人工智能,2010,23(5):727-730.

[8] 劉暢,金立左,費樹岷，等.固定多攝像頭的視頻拼接技術[J].數據采集與處理,2014,29(1):126-133.

[9] 范菁,吳佳敏,葉陽，等.帶顯著性區域約束的高效視頻全景拼接方法[J].浙江工業大學學報,2015,43(5):479-486.

[10] 秦緒佳,王琪,王慧玲，等.序列遙感圖像拼接的最佳縫合線融合方法[J].計算機科學，2015,42(10):306-310.

[11] BAY H, ESS A, TUYTELAARS T, et al. Speeded-Up robust features (SURF)[J]. Computer vision & image understanding,2008,110(3):346-359.

[12] JIN G, YAN Y, WANG W, et al. Optical harr wavelet transform for image feature extraction[C]//International Conference on Mathematical Imaging: Wavelet Applications in Signal and Image Processing. San Diego: SPIE,1993:371-380.

[13] BERT P J, ADELSON E H. A multiresolution spline with application to image mosaics[J].ACM transactions on graphics，1997,2(4):217-236.

(責任編輯：劉 巖)

Improved weighted algorithm for real-time image fusion

FANG Zhaolin, PENG Jie, GE Chunxia, QIN Xujia

(College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China)

In various fields including 3D reconstruction, multidimensional data fusion and information visualization, in the stitching process of real-time video data, the splicing gap problem often appears. An improved weighted fusion algorithm for real-time video stitching is presented. In this algorithm, the problem of video stitching is transformed into the corresponding frame images stitching. The image stitching algorithm is based on SURF (Speed Up Robust Features). Firstly, SURF is used for extracting and matching feature points. Then, the geometric transform matrix of image based on RANSAC(Random Sample Consensus) algorithm and LM (Levenberg-Marquard) algorithm is calculated. Interpolation operation is performed for stitching the images with the transform matrix. Finally, the image content of the stitching region is weighted to complete the stitched image fusion. In the fusion process, the merging line side based weighted fusion and image content based weighted fusion methods are proposed. Experimental results show that the proposed fusion algorithm has the advantages of fast processing speed and good effect, and it is suitable for the scene video stitching and real-time data presentation with requirement of the stitching speed and the effect.

videos stitching; weighted fusion; real-time; seamless stitching

2016-12-28

國家自然科學基金資助項目(61672462)；浙江省科技計劃資助項目(2016C33165)；浙江省高校實驗室工作研究項目(ZD201608)；浙江省教育技術研究規劃課題(2016JB005)

方趙林(1972—)，男，浙江諸暨人，高級工程師，研究方向為圖像數據處理、網絡技術及應用，E-mail：fzl@zjut.edu.cn.

TP391

A

1006-4303(2017)03-0325-05