基于亮度統一的加權融合圖像拼接算法

王帥，孫偉，姜樹明，許文建，王蕾

(1.中國礦業大學信息與電氣工程學院，江蘇徐州221008;2.山東省科學院情報研究所，山東 濟南 250014;3.泰興市產品質量監督檢驗所，江蘇 泰興 225400;4.北京國電智深控制技術有限公司，北京 102200)

圖像拼接是圖像處理的重要領域之一，是將包含重疊區域的兩幅或多幅圖像相互連接，融合重疊區域，重構一幅大尺寸圖像，最大限度地保留所有圖像信息［1］，目前廣泛應用于圖像全景拼接［2］、3D空間建模［3］、機器視覺分析［4］和航空圖像處理［5］等領域。圖像拼接的關鍵步驟有兩個，即圖像間特征點提取及匹配和圖像重合區域融合。圖像特征點的提取是圖像拼接的基礎，而圖像融合的好壞直接決定圖像拼接的質量，好的圖像拼接應該是不存在拼接縫隙，且能完全顯示圖像包含的信息。近年來，國內外相關學者針對不同的應用領域提出了多種圖像拼接算法，楊小輝等［6］提出了一種基于ASIFT的無縫圖像拼接方法，對改進傳統的sift算法，使之適應于尺度、視差較大的圖像［6］間的拼接;Gao等［7］提出一種基于拼縫導向的圖像拼接算法，利用拼縫的視覺質量評估生成轉換矩陣，可有效地解決圖像拼接的鬼影現象;Rankov等［8］提出一種利用梯度的方法消除圖像尖銳變化的圖像拼接算法，從而實現醫學圖像的漸近融合;胡瑞賢等［9］提出一種基于慣導信息的多普勒波束銳化圖像拼接算法，利用慣導信息估計圖像多普勒偏移，較好地提高了雷達圖像的拼接性能。

SIFT(scale-invariant feature transform)算法是最常用的一種特征提取方法，是David于1999年在已有的基于不變量技術的特征檢測方法的基礎上，提出的一種基于尺度空間，對圖像亮度、旋轉、縮放保持不變性的特征檢測方法［10］。SIFT算法利用高斯差分金字塔在不同的尺度空間查找局部極值點，然后利用極值點的梯度確定極值點的方向，最后生成特征點描述子。特征點匹配一般通過描述子的對比實現，通常特征點的匹配都存在錯配點，消除錯配點最簡單的方法就是利用RANSAC方法，通過反復提取最小點集估計參數的初始值，將數據分為“內點”和“外點”，再利用“內點”重新計算目標函數。SIFT算法雖然在圖像的不變特征提取方面有很大優勢，但是耗時較多，對邊緣特征提取不準確，Bay等［11］于2006年提出SIFT的增強版——SURF(speeded up robust features)，速度比SIFT有了很大提升，且更具有魯棒性。

圖像重合區域的融合同樣是圖像拼接的一個重點，圖像融合就是將圖像按照配準后的位置、方向重新整合，常用的有圖像插值方法、平均加權法、最大最小值法和多分辨率融合法等，前3種方法實現簡單，速度快，拼接效果可能存在鬼影、拼縫等缺點，多分辨率融合法拼接質量好、效果清晰，但是計算量大、運行時間長，不易實現，不適合圖像快速拼接。

本文的算法應用于車輛智能安檢系統，待拼接圖像由智能車的攝像頭采集得到，圖像的特點是圖像連續、旋轉角度小、基本無縮放且亮度差別較大，由于安檢系統實時性的要求，圖像拼接需要快速準確。為此，提出了一種基于亮度統一的加權融合圖像拼接算法。

1 基于亮度統一的加權融合圖像拼接算法

為實現智能車安檢視頻圖像的快速拼接，本文采用SURF算法實現特征點的提取及配準，然后采用加權融合方法完成圖像融合操作。不同于傳統的加權融合算法，本文的算法加權系數不再是平均系數或線性漸變系數，而采用非線性變化系數，可以更好地避免鬼影現象。另外，由于圖像亮度差異可能導致融合誤差較大，在圖像拼接前，首先對圖像亮度統一，使待拼接圖像亮度一致。算法結構如圖1所示。

圖1 算法結構圖Fig.1 Illustration of algorithm structure

1.1 亮度統一

RGB顏色空間是一種通過圖像紅、綠、藍3種顏色通道描述圖像顏色分布的顏色空間，在RGB空間，圖像亮度是由圖像的紅、綠、藍3種分量共同決定，改變圖像亮度將會對圖像的3種顏色分量產生影響，因此，本文將在色彩空間實現圖像的亮度統一。lαβ空間是LMS色彩空間的一種變形，其通道互相獨立，其中l，α，β一個改變，不影響另外兩個通道，分別代表圖像亮度分量、黃－藍分量和紅－綠分量［12］。圖像由RGB空間轉換至lαβ空間的計算公式為

在lαβ空間對圖像b進行亮度線性變換，計算公式為

其中，(ˉla，σla)分別為圖像 a 的 l通道色彩均值、色彩方差，(lb，αb，βb)分別為圖像 b 的 lαβ 空間三通道色彩值，(ˉlb，σlb)分別為圖像b的l通道色彩均值、色彩方差。將變換后的圖像b的lαβ空間色彩值(l*，α*，β*)轉換至RGB空間，轉換公式為

(R*，G*，B*)即為亮度統一后圖像b的像素值。

圖2 漸近漸出權重變化示意圖Fig.2 Asymptotic illustration of weight variety

圖3 改進算法的權重變化示意圖Fig.3 Illustration of weight variety for improved algorithm

1.2 加權融合

常用的加權融合法有直接平均法和漸近漸出法，漸近漸出法是根據重疊部分到重疊區域邊界的距離計算權值，權重變化示意圖如圖2所示，x2為圖像α的長度，x3－x1為圖像b的長度，x2－x1為圖像的重合區域。如果重合區域x距離x2越近，則圖像a在融合中的權重wa越小，而圖像b在融合中的權重wb越大，其中wa+wb=1，反之，則wa越大而wb越小。漸進漸出法的權重變化是呈線性變化，與圖像到重疊區域邊界的距離成正比。直接平均法是漸近漸出法的一種特殊情況，即wa=wb=0.5。此兩種方法簡單直觀，融合速度快，但在實際應用中，容易產生鬼影現象，圖像拼接不清晰。為此，提出一種新的加權融合方法，權重變化示意圖如圖3所示。在靠近x2處，即臨近圖像a的邊界，又是圖像b的一部分，為保證與圖像b的連續性，降低圖像a由于視差、位置及方向差別可能造成的影響，對圖像b設置一個較大的權重，而對圖像a設置一個較小的權重，并且在靠近重合邊界處權重變化小，在重合區域中心處，權重變化大，權重變化曲線呈圓弧型。權重更新公式為

1.3 算法流程

輸入:待拼接圖像a，圖像b;

輸出:拼接結果圖像c;

步驟1.對圖像進行亮度統一操作。將圖像a，b轉換至lαβ空間，在lαβ空間對圖像b的l通道進行線性變換，然后將圖像b由lαβ空間轉換至RGB空間;

步驟2.使用SURF算法尋找圖像特征點，并匹配特征點;

步驟3.根據特征點求解變換矩陣H，對圖像b進行變換得到b′;

步驟4.計算圖像a的特有部分，圖像b的特有部分以及圖像a，b的重合部分;

步驟5.對圖像重合部分采用加權融合方法融合圖像;

步驟6.對結果圖像的融合邊界濾波，得到最終結果c。

2 實驗結果

本文分別從融合算法及圖像亮度統一兩個角度做了一系列仿真實驗，驗證所提算法的有效性。

首先驗證改進的圖像融合算法的有效性，實驗圖像采用兩幅從不同角度采集的不同亮度的圖像，如圖4a、4b所示，圖像大小均為 480 ×640，實驗平臺為 MATLAB2011b，AMD641處理器，2.8 GHz，2G 內存，windows8系統。

圖4 待拼接圖像Fig.4 The image to be merged

對圖4a、4b采用SURF算法提取特征點，并相互匹配，利用特征點求解變換矩陣，然后對圖4b變換，變換后圖像如圖5所示。圖7a是利用漸近漸出法拼接所得結果，從圖中可以看出，雖然通過加權融合機制，圖像拼縫不明顯，但是由于線性加權，權重變化一致，圖像之間過渡緩慢，圖像重合區域融合效果模糊不清晰，有重影，如圖中方框A、B、C中所示，鬼影現象明顯。

而改進的融合算法針對圖像有明顯鬼影的現象，對重合區域邊界部分的權重變化設置較小，而重合區域中心位置設置較大的權重變化，以達到快速過渡的目的。算法拼接結果如圖7b所示，圖中可以看出，圖像的拼縫同樣不明顯，并且使用非線性加權機制，圖像中的鬼影現象明顯減少，所得結果更為清晰。然而由于圖像之間的快速過渡，使得兩圖像的亮度差異較為明顯，亮度平滑性沒有漸近漸出法優秀。

下一組實驗針對圖像亮度差異對圖像進行亮度統一操作，以圖像4a的亮度為基準，將圖像4b的亮度進行變換，變換后的結果如圖6所示。

圖5 變換后的待拼接圖像Fig.5 The image to be merged after transform

圖6 亮度統一后的待拼接圖像Fig.6 Image to be merged after brightness unification

圖7 不同算法拼接結果Fig.7 Fusion results of different algorithms

圖8 不同算法的拼接結果Fig.8 Fusion results of different algorithms

使用不同算法對亮度統一后的圖像6與圖像4a拼接結果分別如圖8a、8b所示，其中，圖8a為漸近漸出法的拼接結果，圖8b為本文算法結果。由圖可看出，圖8a整體亮度較圖7a更為一致，然而圖像的清晰度沒有較大的變化，重合區域依舊較為模糊。而圖像8b不僅拼接效果清晰，消除了鬼影現象，圖像整體亮度差異也被消除，實現了圖像的無縫拼接。

按照運行時間對比，亮度統一前后兩種不同算法的運行時間分別如表1所示。

本文算法與漸近漸出法均使用SURF提取特征點，在特征點提取、匹配過程耗時相同，而在融合過程，漸近漸出法為線性變化權重，本文算法為非線性變化權重，此部分算法復雜度相同，因此，本文改進的融合算法與漸近漸出法運行時間相同。加入亮度統一步驟后，算法運行時間略有增加，但是圖像清晰度有了大幅的提升，總體性能更優。

表1 運行時間對比Table 1 Comparison of the operation time of different encryption algorithms

對于智能車采集的車底圖像，待拼接車底圖像分別見圖9a、9b，圖9c為亮度統一后的車底圖像2。圖10為亮度統一前后不同的算法的拼接結果。

圖9 待拼接圖像Fig.9 Image to be merged

圖10 不同拼接結果Fig.10 Different fusion results

從圖10可以看出，漸近漸出法拼接結果鬼影現象較為明顯，如圖10a中方框A部分，圖像模糊不清晰。由于圖像1和圖像2亮度差異較大，圖像融合易出現錯誤，如圖10a、10b方框B部分，融合結果失真嚴重。本文所提算法的結果不僅很好地消除了拼縫，減弱了鬼影現象，而且圖像亮度一致，最大限度地保留了圖像信息。

3 結論

本文提出了一種基于亮度統一的加權融合圖像拼接算法，利用空間三通道互相獨立的特點，對圖像的亮度通道線性變換，而不改變圖像黃－藍、紅－綠色彩值，另外針對漸近漸出法圖像拼接結果存在的鬼影現象，將原有線性加權機制改進成非線性加權機制，使圖像在重合區域中心部分快速過渡，拼接結果更為清晰。但是，由于引入了亮度統一過程，算法的運行時間略有增加。

［1］CHO J，CHA J H，TAI Y M，et al.Stereo panoramic image stitching with a single camera［C］//2013 IEEE International Conference on Consumer Electronics(ICCE).Piscataway:IEEE，2013:256 －257.

［2］王成良，楊鵬，蔡耀澤，等.孔壁全景圖獲取中的圖像拼接技術研究［J］.計算機應用，2010，30(2):344－347

［3］LEE D Y，LU Y F，KANG T K，et al.3D vision based local obstacle avoidance method for humanoid robot［C］//201212th International Conference on Control，Automation and Systems(ICCAS).Piscataway:IEEE，2012:473 －475.

［4］ZHANG Y，YANG L，WANG Z.Research on Video Image Stitching Technology Based on SURF［C］//2012 Fifth International Symposium on Computational Intelligence and Design(ISCID).Piscataway:IEEE，2012:335 －338.

［5］狄穎辰，陳云坪，陳瑩瑩，等.無人機圖像拼接算法綜述［J］.計算機應用，2011，31(1):170－174.

［6］楊小輝，王敏.基于ASIFT的無縫圖像拼接方法［J］.計算機工程，2013，39(2):241－249.

［7］GAO J H，LI Y，CHIN T J，et al.Seam-Driven Image Stitching［EB/OL］.［2013 －01 －10］.https://www.old.comp.nus.edu.sg/～ brown/pdf/eg13 － seamdriven.pdf.

［8］RANKOV V，LOCKE R J，EDENS R J，et al.An algorithm for image stitching and blending［C］//Proceedings of SPIE.2005，5701:190－199.

［9］胡瑞賢，王彤，保錚，等.一種基于慣導信息的多普勒波束銳化圖像拼接算法［J］.電子與信息學報，2012，34(6):1337－1343.

［10］LOWE D G.Object recognition from local scale － invariant features［C］//The Proceedings of the Seventh IEEE International Conference on Computervision，1999，1150 －1157.

［11］BAY H，TUYTELAARS T，van GOOL L.SURF:Speeded up robust features［C］//Computer Vision – ECCV 2006.Berlin Springer Berlin，2006:404 －417.

［12］REINHARD E，ADHIKHMIN M，GOOCH B，et al.Color transfer between images［J］.Computer Graphics and Applications，IEEE，2001，21(5):34－41.