基于自適應(yīng)圖像增強的水下多幀目標圖像拼接融合方法

張文博, 劉衛(wèi)東, 李樂, 李吉玉, 李艷麗, 焦慧鋒

(1.西北工業(yè)大學 航海學院, 陜西 西安 710072;2.中國船舶科學研究中心 深海載人裝備國家重點實驗室, 江蘇 無錫 214082)

目前,視覺信息已經(jīng)被廣泛用于陸、空機器人的自主控制,如:自動駕駛、無人機目標跟蹤等[1-2]。然而,由于水下環(huán)境的復(fù)雜性以及光在水下的嚴重衰減和散射,影響了水下相機的有效作用距離,使得單幅水下圖像存在有效視場小、目標場景信息少的問題[3],限制了視覺圖像信息在無人水下潛水器(UUV)自主作業(yè)任務(wù)中的應(yīng)用。因此,研究有效的水下多幀目標圖像拼接融合方法,在不損失分辨率的同時增加視野寬度,對實現(xiàn)基于視覺信息驅(qū)動的UUV水下自主作業(yè)任務(wù)具有重要的意義。

圖像拼接融合是計算機視覺領(lǐng)域中研究的熱點內(nèi)容之一,將具有相同部分特征或區(qū)域的多幀圖像,在不損失圖像分辨率的前提下,拼接融合成一幅平滑的、匹配準確的大尺度場景圖像[4]。近年來,基于尺度不變特征變換的匹配算法(SIFT)、基于加速穩(wěn)健特征的匹配方法(SURF)及其相關(guān)改進方法[5]因具有旋轉(zhuǎn)不變性、縮放不變性等優(yōu)點被廣泛應(yīng)用于拼接圖像的特征點提取與匹配。雖然這些方法對空氣中的圖像能夠獲得很好的拼接融合效果,但由于水下圖像的大量特征被水體掩蓋[6-8],無法直接采用上述方法提取足夠多的有效特征點匹配對數(shù)來實現(xiàn)水下圖像的拼接融合。為了解決這一問題,大量的學者通過研究水下圖像增強方法來提高水下圖像質(zhì)量,增加有效的特征點匹配對數(shù),以獲得更好的圖像拼接效果,如:余俊[9]在傳統(tǒng)濾波增強水下圖像的基礎(chǔ)上,利用基于SIFT的特征點匹配方法實現(xiàn)了不錯的圖像拼接融合效果;王昕平等[10]采用多尺度融合的方法增強水下圖像,以提高水下圖像的特征點對數(shù),并在此基礎(chǔ)上通過一種改進的SIFT特征匹配方法進行水下圖像的拼接融合;Raut等[11]在SIFT算法的基礎(chǔ)上采用Gabor濾波器抑制水下圖像噪聲,并采用Hausdorff距離進行關(guān)鍵特征點對的匹配,實現(xiàn)了水下圖像的拼接融合;姚博文[12]在圖像預(yù)處理的基礎(chǔ)上,在特征點處加入紋理特征,并利用SURF算法和感知哈希算法實現(xiàn)對水下圖像序列的拼接融合。雖然這些方法能夠在一定程度上實現(xiàn)對水下圖像的拼接融合,但對于模糊和顏色畸變嚴重的水下圖像的拼接融合效果不理想,存在應(yīng)用場景單一、計算復(fù)雜度高、特征點匹配對數(shù)少的不足。

為了實現(xiàn)更高效的水下圖像拼接融合,本文提出了一種基于自適應(yīng)圖像增強的水下多幀目標圖像拼接融合方法,在基于圖像模糊的自適應(yīng)水下圖像增強方法的基礎(chǔ)上,利用改進的SURF方法和漸入漸出融合策略實現(xiàn)水下的拼接融合。試驗結(jié)果表明,相比于當前的幾種方法,本文所提的方法在有效增加特征點匹配對數(shù)的同時提升了圖像的拼接質(zhì)量。

1 本文算法

為了增加圖像拼接過程中特征點的有效匹配對數(shù),提高水下圖像拼接質(zhì)量,本文提出一種基于自適應(yīng)圖像增強的水下多幀目標圖像拼接融合方法。首先,結(jié)合圖像的模糊先驗估計透射率,并利用交替方向乘子法(ADMM)和自適應(yīng)直方圖方法抑制水下圖像的模糊與顏色畸變,實現(xiàn)了對水下圖像的增強;然后,提取增強后水下圖像的SURF特征點進行匹配,并利用RANSAC進一步提純后計算仿射變換矩陣;最后,采用漸入漸出融合策略抑制了拼接后的圖像存在縫隙明顯、亮度差異較大的現(xiàn)象。本文算法流程如圖1所示。

圖1 本文算法流程圖

1.1 基于圖像模糊的自適應(yīng)水下圖像增強方法

水下圖像的清晰度與相機至目標的距離呈負相關(guān),距離越大,相機捕獲的水下圖像越模糊,由此,可利用圖像的模糊先驗估計光在水下傳播的透射率來消除水下圖像的模糊。圖像的模糊分量B(x,c)可采用多尺度高斯環(huán)繞函數(shù)F(u,v,c)進行估計,即

(1)

式中：I(x,c)為輸入的初始水下圖像;x=(u,v)表示像素點坐標;c∈(R,G,B)表示圖像的某一顏色通道;N為選擇的尺度數(shù);σn為相應(yīng)尺度的權(quán)重系數(shù);*表示卷積操作；相關(guān)參數(shù)通?？稍O(shè)置為：N=3,w1=0.5,w2=0.4,w3=0.1,σ1=15,σ2=80,σ3=200。

結(jié)合基于模糊的透射率估計模型,可得

t(x,c)=(I(x,c)-A)/k(x,c)

(2)

式中：k(x,c)=(I(x,c)-A·B(x,c))/B(x,c)是與圖像模糊分量相關(guān)的系數(shù)矩陣;A為背景光值,采用基于暗通道先驗的方法進行估計。

當?shù)玫酵干渎屎?利用Jaff-McGlamery成像模型即可獲得去模糊后的水下圖像J(x,c),函數(shù)表達式為

J(x,c)=(I(x,c)-A)/max(t(x,c),δ)+A

(3)

式中,δ=0.01為t(x,0)的下邊界,防止當t(x,c)→0時J(x,c)→∞。

(4)

式中,β是系數(shù)(默認值取0.09),W=1/(S+γ)是權(quán)重矩陣,γ=0.001表示S的下邊界,防止當S→0時W→∞;S是S的一階導數(shù)。以S=Z作為約束,(4)式可以寫成增廣拉格朗日的形式

(5)

式中：k為增廣拉格朗日乘子；ρ為增廣拉格朗日參數(shù),且ρ>0;通過構(gòu)建迭代函數(shù),采用ADMM求解光照分量的優(yōu)化結(jié)果S,迭代函數(shù)如(6)式所示。

(6)

式中,ε為迭代終止條件的常系數(shù),一般取ε≤10-4。

通過對清晰圖像的統(tǒng)計分析發(fā)現(xiàn),Lab顏色空間中的a,b分量的直方圖大多分布在零值附近,即可采用自適應(yīng)直方圖方法重新調(diào)整a,b分量的直方圖分布,函數(shù)表達式如(7)式所示。

(7)

圖2 有/無顏色校正后的對比結(jié)果

然后,再將S,a*,b*轉(zhuǎn)換到RGB顏色空間即可獲得整體增強后的水下圖像。有/無顏色校正后的結(jié)果如圖2所示。由對比結(jié)果可知,顏色校正后的增強結(jié)果具有更好的效果。

1.2 基于SURF的水下圖像特征點匹配

SURF算法是一種基于SIFT的改進方法,在保留SIFT的旋轉(zhuǎn)不變性、尺度縮放不變性、亮度變化不變性等基礎(chǔ)上,改進了對特征的提取和描述方式,提高了算法的計算效率和魯棒性。SURF算法基本流程主要包括:生成Hessian矩陣為特征點的提取提供穩(wěn)定的邊緣特征點,利用盒式濾波器構(gòu)建多尺度空間金字塔,特征點定位,利用Harr小波變換為特征點方向分配,生成特征點描述子和特征點匹配。

在特征點匹配過程中,SURF算法通常采用歐氏距離計算2個特征點描述子之間的匹配度,距離越短,表示2個特征點的匹配度越高。然而,僅采用歐氏距離作為匹配度指標存在誤匹配率較高的問題。針對該問題,考慮到特征點描述子是一個高維向量的特點,本文采用兩特征點之間的余弦距離作為約束來降低匹配誤差,這是由于余弦距離可以很好地衡量2個特征點的描述子方向的差異。余弦距離的表達式如(8)式所示。

(8)

式中：x1k,x2k分別為2個特征點的特征描述子;n表示特征描述子的向量維數(shù),取n=64。余弦值越大表示兩特征描述子的方向差異越小。

然后,采用歐氏距離進行關(guān)鍵點的粗匹配,最后,在粗匹配的基礎(chǔ)上,利用RANSAC算法對匹配點進行提純以剔除誤匹配點。

1.3 漸入漸出融合策略

利用特征點匹配對計算出仿射變換矩陣后即可實現(xiàn)多幀圖像的拼接任務(wù),然而,此時的拼接結(jié)果存在縫隙明顯、亮度差異較大的問題。為了獲得一幅平滑的大尺度場景圖像,采用漸入漸出的融合策略來抑制拼接處縫隙明顯、亮度差異較大的現(xiàn)象。

漸入漸出融合是一種加權(quán)平均的融合策略,是對待融合圖像重疊區(qū)域的像素采用加權(quán)平均的方式來抑制曝光差異和拼接縫隙,函數(shù)表達式如(9)式所示。

I(u,v)=

(9)

式中：I1(u,v),I2(u,v)分別為2幅待融合的圖像；I(u,v)為融合后的圖像；w1和w2為權(quán)重系數(shù),w1,w2∈[0,1]且w1+w2=1。有/無漸入漸出融合策略的拼接結(jié)果如圖3所示。由對比結(jié)果可知,采用漸入漸出融合策略能夠很好地解決拼接后的圖像縫隙明顯、亮度差異較大的問題。

圖3 有/無漸入漸出的融合策略的拼接結(jié)果

2 試驗結(jié)果與對比分析

為了驗證本文所提方法的有效性,分別從3個方面進行了對比試驗:①增強前后圖像拼接融合結(jié)果對比;②與當前幾種水下圖像拼接融合方法的對比;③多幀目標圖像拼接融合的水池試驗。

2.1 增強前后圖像拼接融合結(jié)果對比

采用來自某研究所深水池的兩相關(guān)幀圖像進行對比試驗,對比分析利用本文所提方法增強前后水下圖像拼接融合的效果,對比結(jié)果如圖4所示。

從圖4可知,原始水下圖像雖然顏色畸變嚴重,但仍能檢測出4個特征點,說明SURF算法魯棒性較強。然而,成功匹配的特征點對數(shù)卻是0對,無法實現(xiàn)后續(xù)的拼接融合。利用本文所提方法增強后的水下圖像檢測到74個特征點,匹配成功14對,最終獲得較為平滑的拼接融合結(jié)果,這表明本文所提方法能夠有效增加特征點匹配對數(shù),并能實現(xiàn)較好的水下圖像拼接融合效果。

圖4 無/有圖像增強后水下圖像拼接融合結(jié)果

2.2 與當前幾種方法的對比試驗

為了驗證本文所提方法的先進性,將所提方法與方法1[10]、方法2[9]和方法3[11]進行比較,并采用圖像信息熵(γ)和峰值信噪比(β)作為評價指標對增強后的結(jié)果和拼接融合后的結(jié)果進行客觀分析。對比試驗采用2組不同水域的圖像,其中:第一組采用的圖像來自某競賽數(shù)據(jù)集(見圖5);第二組采用的圖像來自某研究所深水池(見圖6)。

由圖5可知,方法1和方法2能夠在一定程度上提高水下圖像質(zhì)量,但方法1仍存在模糊問題,方法2獲得的結(jié)果呈藍色調(diào),存在顏色畸變;方法3的整體增強效果比較差,雖然能微弱地抑制顏色畸變,但模糊問題更加突出;本文所提方法在抑制模糊和顏色畸變方面均表現(xiàn)出較好的效果,并且具有最好的評價指標值,這表明本文所提的基于圖像模糊的自適應(yīng)水下圖像增強方法具有比較理想的效果。另外,利用本文方法在實現(xiàn)拼接融合過程中,增加了提取的特征點個數(shù)及有效的特征點匹配對數(shù),最后獲得的拼接融合結(jié)果具有更高的圖像質(zhì)量。

圖5 第一組圖像增強及拼接融合對比結(jié)果(紅色標記數(shù)據(jù)代表了最優(yōu)的結(jié)果)

圖6 第二組圖像增強及拼接融合對比結(jié)果(紅色標記數(shù)據(jù)代表了最優(yōu)的結(jié)果,×表示無特征點提取/拼接融合結(jié)果)

由圖6可知,除本文方法外,另外3種對比方法均無法實現(xiàn)對該場景下目標圖像的拼接融合,這是由于相比于第一組試驗場景,該組試驗使用的圖像采集于更深的水域,圖像的模糊和顏色畸變問題更突出,對于圖像增強方法的性能、泛化能力提出了更高的要求。方法1雖然能一定程度上改善圖像質(zhì)量,但該算法對光照的不均勻性敏感,導致增強后的結(jié)果不理想,僅能獲得2對有效特征點匹配對,無法實現(xiàn)該場景下的拼接;相比于方法3,方法2能夠在一定程度上抑制水下圖像的模糊,但增強后的圖像仍無法獲得足夠的有效特征點匹配對數(shù)(僅1對),無法實現(xiàn)該場景下的拼接;本文方法能夠有效地提高圖像質(zhì)量,具有穩(wěn)定的圖像增強效果,同時從增強后的圖像中成功匹配了21對有效特征點,實現(xiàn)了該場景下高質(zhì)量的圖像拼接融合效果。

2.3 多幀目標圖像拼接融合的水池試驗

為了進一步驗證本文方法在多幀目標圖像拼接融合過程中的有效性,通過布置水池試驗環(huán)境,完成了對算法性能的驗證。

水下相機性能及設(shè)定參數(shù):高清水下網(wǎng)絡(luò)相機(型號:GDSK-FEHD-CAM),圖像分辨率:1 920×1 080,幀頻設(shè)置:10 frame/s,視頻采集時間:20 s。按照間隔為40 frame/s時提取1幅圖像作為關(guān)鍵幀,共提取5幀圖像作為關(guān)鍵幀用來進行圖像拼接融合。拼接融合結(jié)果如圖7所示。

圖7 多幀水下目標圖像拼接融合結(jié)果

從圖7可知,本文所提出的基于自適應(yīng)圖像增強的水下多幀目標圖像拼接融合方法,能實現(xiàn)對水下多幀目標圖像的特征點提取與匹配,拼接融合后的圖像能有效抑制亮度差異和拼接縫隙,可彌補單幅水下圖像存在有效視場小、目標場景信息少的缺點。

3 結(jié) 論

針對水下圖像拼接融合過程,有效特征點匹配對數(shù)不足和拼接融合圖像質(zhì)量低的問題,提出了一種基于自適應(yīng)圖像增強的水下多幀目標圖像拼接融合方法。該算法利用圖像模糊先驗獲得去模糊的水下圖像,然后將去模糊后的圖像轉(zhuǎn)換到Lab顏色空間,并分別利用ADMM和自適應(yīng)直方圖方法校正L分量和a,b分量來抑制水下圖像的顏色畸變,獲得最終增強后的清晰圖像;在此基礎(chǔ)上,將余弦距離作為約束條件引入SURF算法,降低了匹配誤差;最后采用漸入漸出融合策略實現(xiàn)了高質(zhì)量的水下圖像拼接融合效果。試驗結(jié)果表明,相較于其他幾種算法,本文提出的方法在有效地提高水下圖像的質(zhì)量的同時,增加了有效特征點匹配對數(shù),提升了拼接效果。