基于改進最佳縫合線的圖像拼接方法

張 翔，王 偉，肖 迪+

(1.南京工業大學 電氣工程與控制科學學院，江蘇 南京 211800；2.海軍醫學研究所 航空醫學研究室，上海 200433)

0 引 言

圖像拼接技術[1-3]主要包括圖像預處理、圖像配準和圖像融合。在圖像配準中特征提取是關鍵的步驟，常用的特征提取算法有SIFT(scale invariant feature transform)、SURF(speed-up robust features)、ORB(oriented fast and rotated brief)[4-6]等。圖像融合中常用的方法有基于加權平均融合法、基于多分辨率融合法、基于最佳縫合線融合法等，其中最佳縫合線方法是Duplaquet提出的[7]，在圖像拼接中可以有效解決鬼影、錯位現象，有學者對此進行了相關研究，黨建武等改進了Duplaquet算法的搜索準則來擴大搜索范圍，將最佳縫合線和多分辨率樣條法相結合來融合圖像，有效降低了出現鬼影的概率，但魯棒性較差，對某些場景拼接效果不好[8]；孫培雙等將紋理結構引入能量函數來改進Duplaquet算法，但仍然沒有很好地解決縫合線與運動物體接近而造成的鬼影現象[9]；鄒麗暉等基于幾何縫合距離很好地解決了單個運動物體鬼影的問題，但不適合具有多運動物體的復雜圖像拼接[10]。

本文針對圖像融合中運動物體過于靠近縫合線而產生鬼影的問題，提出改進的最佳縫合線融合方法。首先用SURF和ORB算法對特征點提取描述，用PROSAC算法篩選匹配并求出兩張圖像的變換矩陣H，進行圖像空間變換。然后，對待拼接圖像進行曝光差異矯正，最后，對能量函數進行形態學操作并引入S顏色飽和度差異，從而隔離運動物體，在最佳縫合線搜索策略中加入局部信息權重提高搜索靈活度，結合縫合線融合帶和加權融合法融合圖像。實驗結果表明，該方法可以較好地消除拼接縫隙和運動物體產生的鬼影現象，提高了拼接質量。

1 圖像配準

ORB算法本質上是由FAST(features from accelerated segment test)特征檢測和BRIEF(binary robust indepen-dent elementary features)描述子組成，主要是將BRIEF描述子改進為具有旋轉不變性的BRIEF描述子，即rBRIEF，但是ORB算法不具備尺度不變性，原因是因為FAST特征檢測不具備尺度不變性，而且在角點密集的圖像用FAST算法檢測特征，往往會發現特征過于匯集于一塊區域，這對后面求取變換矩陣是不利的。SURF特征檢測不僅具有尺度不變性，而且繼承了SIFT多量性的特點，在圖像物體不豐富的情況下也可以檢測相當多的特征，將SURF和ORB結合起來同時可以滿足特征點檢測匹配速度與質量上的要求。

1.1 SURF特征檢測

在SURF算法中，使用Hessian矩陣行列式可以表示圖像任意一點處的斑點響應值，設圖像中的點(x,y)在點x處，尺度為σ的Hessian矩陣定義為

(1)

式中：Lxx(x,σ)，Lxy(x,σ)，Lyy(x,σ)是點x處高斯二階微分與圖像的卷積。

對高斯二階微分模板進行簡化，可以將高斯微分模板和圖像卷積轉化成盒子濾波，將上式的Lxx，Lxy，Lyy簡化為Dxx，Dxy，Dyy。則Hessian矩陣判別式簡化為

Det(H)=LxxLyy-LxyLxy=DxxDyy-(0.9Dxy)2

(2)

該判別式可以判定點(x,y)是否為極值點，若Det(H) 大于0，則該點為極值點。為了快速求取Dxx，Dxy，Dyy的值，SURF算法通過積分圖像的方法，對Dxx，Dxy，Dyy進行簡單的加減運算。取一幅灰度圖像G，任意一點(i,j)到圖像左上角所構成的方框內灰度值總和，即積分圖像為IΣ(x,y)， 則

(3)

按照上式，只需對圖像像素掃描一遍，便可得到所求窗口內灰度值的總和，如果模板尺寸是9×9，通過上式積分圖像的概念，Dxx和Dyy需12次加減計算和4次乘法計算，Dxy需16次加減計算和5次乘法計算，大大縮短計算時間。

SURF算法不斷增大盒子濾波模板尺寸，通過盒子濾波模板與積分圖像獲取不同尺寸的響應圖像，然后響應圖像的極值點中心3×3×3的區域里進行非極大值抑制，如果這點是周圍3×3×3區域內所有像素中最大或最小，將此點作為候選特征點，然后用線性插值法得到特征點的具體位置。

1.2 ORB描述子

ORB描述子是通過BRIEF描述子加上求取的特征點主方向形成的，是二進制形式的特征描述子，ORB描述子為了減少噪聲的干擾，在特征點周圍31×31窗口內按一定模式選擇5×5的子窗口，在子窗口內所有像素用積分加速計算灰度總和，比較圖像塊灰度值，則有二值測試準則τ定義為

(4)

式中：p(x)為x領域內的灰度值。

選擇n個測試點(x,y)，n一般選取64,128,256等，通過二進制測試準則生成二進制描述子，維度為n。準則如下式所示

(5)

但此時得到的二進制描述子是沒有方向的，接下來用特質點質心方向作為描述子的主方向，使描述子具備旋轉不變性。但是加入主方向后，描述子的判別性能下降，文獻[6]用貪婪學習算法選出相關性最低的描述子作為最終的ORB描述子。

1.3 特征匹配與精確配準

通過ORB生成的描述子是二進制碼串形式，用Hamming距離法進行快速特征點匹配，匹配結束后，常見的去除誤匹配的算法是RANSAC(random sample consensus)算法[11]，但是窮舉搜索得到的匹配在特征點接近時容易產生誤匹配，影響匹配精度，而且RANSAC算法是隨機取出特征匹配對進行篩選，當誤匹配數量過多時，會使匹配對篩選質量下降。為此，本文采用PROSAC算法進行提純。

PROSAC(progressive sample consensus)算法[12]是對RANSAC的改進，在RANSAC算法之前，先對無序的匹配對按匹配質量優劣進行排列，選取質量較好的匹配對作為初始匹配點集，在模型參數擬合時對初始匹配集反復迭代，得到最大內點數，即篩選后的正確匹配點。

通過正確的匹配點，可以計算獲得量圖像之間的映射關系即單應性矩陣H為

(6)

按照本節思路，記錄圖1提取特征點的時間，結果見表1。

圖1 原始圖像

尺寸算法特征匹配對數匹配時間/ms960×720SURF35655070SURF-ORB34051391680×480SURF18722245SURF-ORB1687661480×360SURF10101228SURF-ORB902358

SURF和SURF-ORB的特征提取算法是一樣的，所以重點關注經過PROSAC算法后的特征匹配對，從表1可以看出，SURF-ORB算法在特征點成功匹配對數略低于SURF算法，但在時間上要小于SURF所耗的時間，可以說明，該方法減少了特征點匹配時間同時保證了匹配質量。

2 圖像融合

圖像融合中，當待融合圖像存在運動物體時，直接用加權平均融合法會產生鬼影現象，最佳縫合線法直接拼接可以有效地避開運動物體，但如果在運動物體部分過于靠近最佳縫合線的情況下，融合圖像仍然會有鬼影現象，本文提出構建沿縫合線融合帶避開運動物體的策略進行拼接，融合帶拼接寬度窄，一方面減少了融合區域運動物體存在的幾率，另一方面在曝光差異過大的情況下，易造成拼接圖像不自然，故在融合之前，先對圖像進行曝光差異矯正，之后求取最佳縫合線。

2.1 曝光差異矯正

相機在拍攝時光照強度的變化會影響圖像的曝光程度，為了減少融合難度，提高質量，要先對圖像進行曝光矯正。本文采用對應像素之間關系來進行矯正。方法如下：

(1)設兩張待拼接圖像為I1,I2,取出上節PROSAC算法計算出的內點的像素值，記為p1i，p2i，其中i=1,2…m，m代表內點有m組。

(2)對I1,I2進行高斯模糊來去除噪點，分別取出P1i，P2i的RGB三通道的像素值，記為pr1i，pg1i，pb1i和pr2i，pg2i，pb2i。

(3)假設兩圖像之間曝光差異可以用線性模型來表示，為

pr1i=α1×pr2i+β1
pg1i=α2×pg2i+β2
pb1i=α3×pb2i+β3

(7)

對3個式子分別用最小二乘法求出α1，α2，α3和β1，β2，β3。

(4)得到兩張圖像像素值之間的線性關系，對其中一張圖像進行曝光矯正，使兩張圖像曝光接近于一致。

效果如圖2所示，圖2(a)和圖2(b)在重疊部分能看出明顯的曝光差異，經過曝光差異矯正后，圖2(c)的曝光更趨向與圖2(b)。

圖2 曝光矯正示例圖

2.2 改進最佳縫合線能量函數

最佳縫合線可以有效隔開運動物體部分，理想的最佳縫合線必須滿足顏色和結構強度差值最小[13]，為了得到更好的效果，本文引入HSV空間的顏色飽和度S作為新的強度。最佳縫合線的能量函數改進如下式所示

E(x,y)=
αEcolor(x,y)+βEgeometry(x,y)+γES(x,y)

(8)

式中：Ecolor(x,y)——顏色差異，Egeometry(x,y)——結構差異，ES(x,y)——顏色飽和度差異，α，β，γ表示各強度權重，α+β+γ=1。

圖3(a)是圖1經過形變后切割出來的相同大小的重疊圖像，切割方法是通過選取最優匹配點作為重疊區域邊界點。用灰度差圖像近似顏色差異強度，設IM1,IM2為I1，I2重疊區域的灰度圖像，則灰度差圖像δ計算公式為

δxy=abs(IM1xy-IM2xy)

(9)

對灰度差圖像δ像素值求取平均值mc，然后對δ進行閾值化操作得到灰度二值化圖Ic，設閾值為1.5×mc，則

(10)

對Ic圖像進行腐蝕操作一次，目的為了過濾一些因噪聲產生的點，再對Ic進行膨脹操作一次，如圖3(b)所示，目的是為了擴大運動物體部分的覆蓋面積，有利于后面最佳縫合線的求取。

記錄Ic中像素值為1的坐標，將δxy相應坐標中的點的值進行增強處理，設權重weight(本文weight=10)，則

(11)

結構強度差異可以用圖像間梯度差來表示，考慮像素點的相關性，x方向和y方向的梯度用SOBEL算子進行計算，模板為

(12)

設Lx，Rx為兩圖像在x方向的梯度圖，Ly，Ry為兩圖像在y方向的梯度圖，λ為近似梯度圖像，則

(13)

得到的梯度圖如圖3(c)所示，改進的方法與灰度差類似，求取Egeometry(x,y)值的平均值mg，令4×mg作為閾值，對Egeometry(x,y)進行閾值化處理，設Ig為梯度二值化圖像，得到

(14)

直接對Ig進行膨脹操作一次，標記Ig像素值為1的坐標，將λ相應坐標中的點的值進行增強處理，則

(15)

求取顏色飽和度差異首先把圖像從RGB空間轉換到HSV空間的S圖像，轉換公式如下

(16)

式中：max和min分別為R、G、B的最大值和最小值。

設IS1，IS2為I1，I2重疊區域的S圖像，則

ES(x,y)=abs(IS1xy-IS2xy)

(17)

權重α，β，γ的設定，要從綜合角度上選定，本文經過實驗，α=0.3，β=0.4，γ=0.3效果較好。

2.3 改進最佳縫合線搜索準則

得到能量函數之后，根據準則，用動態規劃的方式尋找一條最佳縫合線，傳統的最佳縫合線法在搜索時靈活度不夠，對局部信息反映較差，本文將局部信息按一定權重加入強度值，對最佳縫合線的搜索進行改進，主要步驟如下：

(1)每一列的第一個像素代表了一條縫合線的初始強度值，若有n列，則有n條縫合線。

(2)設第一個像素點為當前點，像素值為強度值，則有該點下行緊鄰的3個像素值，將每個像素點正下方3×3方框內求取像素平均值，稱為局部信息值。

(3)將當前點下3個像素值分別加上其局部信息值與權重(本文為0.5)的乘積，得到的3個值進行比較，最小值的像素點更新為當前點，該像素值為新的強度值。依次更新當前點直到最后一行，則所有當前點連成的線為縫合線。

(4)求出所有n條縫合線，最小強度值的縫合線為最佳縫合線，如圖3(d)所示。

圖3 最佳縫合線過程

2.4 融合帶加權平均融合

在兩幅圖像的重疊區域搜索出最佳縫合線后，在縫合線兩端各取一幅原圖部分直接進行拼接，這樣處理后消除了重影問題，可是明顯有拼接的痕跡，前面雖然經過了曝光差異矯正，但縫合線兩端的顏色差異無法達到完全一致，為了得到更加自然的拼接圖像，需對縫合線兩端進行處理，如圖所示，在縫合線兩端各劃出p個像素長度(按重疊區域長度來判斷，本文p=10)的區域為融合帶[14]。

在融合帶中，用加權平均融合法對x方向平滑過渡，融合如式所示

(18)

式中：f為融合后圖像，f1，f2為最佳縫合線在融合帶中左右原圖，w1和w2為融合帶中對應像素的權重，關系為w1+w2=1。 一般按照漸入漸出法，w1和w2的計算如下

(19)

式中：xi為當前像素橫坐標，xl和xr為重疊區域左右邊界橫坐標。本文中，因為是在融合帶中進行融合，w1和w2的計算略有改動

(20)

式中：p為融合帶邊界點到縫合線點的距離。

3 實驗結果與分析

為驗證本文提出方法的效果，將Duplaquet算法和本文方法進行比較。實驗對多組圖片進行仿真實驗，實驗圖片均為手機直接拍攝，尺寸為640×480，實驗硬件平臺為Intel Core(TM) i7-5700HQ，2.7 GHz CPU，內存為8 GB，軟件平臺為visual studio 2013+opencv2.4.13。實驗結果如圖4和圖5所示。

最佳縫合線通常可以較好地分離運動物體，但是也存在一種情況，就是運動物體過于靠近縫合線造成融合效果不佳的情況，圖4(a)和圖5(a)是實驗原圖，傳統最佳縫合線可以很好地分離運動物體，可以從圖4(b)和圖5(b) 看出，縫合線很好地繞過了運動物體，但與運動物體的距離非常近，建立融合帶時，圖4(c)和圖5(c)的融合帶都覆蓋了部分運動物體，拼接的效果如圖4(f)和圖5(f)所示，不僅可以明顯看出因曝光差異而造成的拼接縫，而且可以看出明顯的鬼影和重影。本文方法通過改進最佳縫合線的能量函數和搜索策略，重新搜索出新的最佳縫合線，如圖4(d)，圖4(e)，圖5(d)，圖5(e)所示，最佳縫合線離運動物體具有一定的距離，所以建立融合帶時，融合帶也不存在運動物體。拼接效果如圖4(g)和圖5(g)所示，由于融合之前先進行了曝光差異矯正，融合帶周圍的圖像過渡的也比較自然，整體的拼接效果要好于圖4(f)和圖5(f)，視覺效果也較好。細節方面，圖4(h) 左圖和右圖，圖5(h)左圖和右圖分別為圖4(f)，圖4(g)，圖5(f)，圖5(g)方框部分，圖4(h)左圖和圖5(h)左圖能看出較明顯的鬼影，圖4(h)右圖和圖5(h)右圖則較為清晰，并無鬼影現象，實驗結果表明，本文方法可以有效地解決最佳縫合線和運動物體過于接近造成的鬼影現象，提高了圖片拼接質量。

圖4 第一組拼接效果

圖5 第二組拼接效果

實驗沒有通過任何GPU和CPU加速，算法所耗時間見表2。在特征提取方面，SURF算法所耗時間遠大于SURF-ORB算法所耗時間，圖像融合方面，Duplaquet算法結合加權平均融合算法在時間上小于本文方法圖像融合時間，但本文算法在圖像拼接質量上有所提高，消耗時間也在允許范圍內，總體時間上，本文方法速度上還是略有優勢。

表2 消耗時間對比

4 結束語

針對圖像融合過程中易產生鬼影的現象，本文首先將SURF和ORB算法相結合，縮短特征點提取與匹配的時間，然后采用改進的最佳縫合線方法進行圖像拼接，實驗結果表明，本文方法不僅提高了圖像拼接效率，而且有效地消除了圖像拼接過程中產生的鬼影現象。同時，本文工作仍有許多不足，針對圖像拼接實時性不足的問題，下一步將考慮引入CUDA GPU加速和CPU加速的方法優化圖像拼接算法。