一種新的基于二尺度分解的圖像和諧融合方法

韓麗茹

(浙江水利水電專(zhuān)科學(xué)校 計(jì)算機(jī)與信息工程系,杭州310018)

1 引 言

在圖像和視頻編輯應(yīng)用中,圖像融合是一個(gè)很有用的操作,旨在產(chǎn)生逼真的融合結(jié)果。近幾年來(lái),在計(jì)算機(jī)圖形和圖像領(lǐng)域已經(jīng)提出了一些相關(guān)的圖像融合技術(shù),其中基于梯度域的圖像融合技術(shù)是簡(jiǎn)單并被廣泛應(yīng)用于圖像編輯的一種算法。梯度域技術(shù)通過(guò)在梯度域里求解泊松方程來(lái)得到無(wú)縫融合的結(jié)果,在梯度域中解決圖像融合問(wèn)題就是利用了人們?cè)谟^察圖像時(shí)往往更注重局部圖像的強(qiáng)度差而非強(qiáng)度本身的特點(diǎn)。基于梯度域的無(wú)縫融合技術(shù)最早由Pérez 等人[1]提出,Jia 等人[2]利用優(yōu)化混合邊界改良了混合的結(jié)果,Lalonde 等人[3]介紹了一種混合遮罩的方式來(lái)移除邊界污點(diǎn),Tao 等人[4]提出了一種容錯(cuò)的方式使得在不改變邊界位置的情況下預(yù)防變色,Chen 等人[5]提出了一種結(jié)合改良的泊松融合與alpha 混合的圖像合成方法。

近來(lái),二維重心坐標(biāo)——均值坐標(biāo)被用來(lái)解決圖像融合中的插值問(wèn)題。Farbman 等人[6]用均值坐標(biāo)法獲得極其相似的泊松圖像融合結(jié)果, Lee 等人[7]提出了一種改良的采樣方法來(lái)解決Farbman 等人[6]沒(méi)有解決的均值坐標(biāo)凹域問(wèn)題,還有一些結(jié)合了均值坐標(biāo)和摳圖技術(shù)的方法[8-9]也被提出。此外,Wang 等人[10]介紹了調(diào)和融合方法,該方法在圖像融合中用調(diào)和坐標(biāo)代替均值坐標(biāo)。

上述方法通常都可以獲得比較好的圖像融合結(jié)果。但是,如果源圖像和目標(biāo)圖像擁有不同的外觀(如在不同的條件下使用不同的相機(jī)拍攝),基于梯度域的技術(shù)和基于坐標(biāo)的方法將不能夠得到逼真的結(jié)果。顯然,理想的結(jié)果滿(mǎn)足如下目標(biāo):應(yīng)當(dāng)邊界無(wú)縫, 而且視覺(jué)效果上與目標(biāo)圖像匹配。近來(lái),Sunkavalli 等人[11]明確解決了在圖像融合中圖像協(xié)調(diào)的問(wèn)題。他們通過(guò)在一個(gè)大的濾波器輸出當(dāng)中重構(gòu)圖像并將和諧化整合到合成結(jié)果中擴(kuò)展梯度域技術(shù)。他們的方法使用多尺度技術(shù)來(lái)自動(dòng)更正圖像中不一致的地方。

圖像和諧融合需要合成區(qū)域的全局外觀跟背景圖像和諧。這涉及到3 個(gè)方面:首先,結(jié)果圖像的亮度應(yīng)當(dāng)與目標(biāo)圖像的亮度匹配,對(duì)于結(jié)構(gòu)相似的區(qū)域,結(jié)果圖像和目標(biāo)圖像應(yīng)該在這些區(qū)域上亮度相似;其次,合成后結(jié)果圖像的細(xì)節(jié)紋理應(yīng)當(dāng)是逼真的;最后,合成區(qū)域的顏色應(yīng)當(dāng)是和諧的。我們觀察到,多數(shù)情況下如果源圖像和目標(biāo)圖像在融合區(qū)域內(nèi)具有相似的結(jié)構(gòu),以及相似細(xì)節(jié)和顏色,融合后的圖像看起來(lái)也更加和諧;而如果融合區(qū)域里結(jié)構(gòu)不同,保持源圖像的顏色,其融合結(jié)果通常看起來(lái)更為和諧。

基于上述考慮,本文提出了一種新穎的圖像融合方法。該方法使用不同的方式來(lái)滿(mǎn)足前面的3 個(gè)方面,算法首先將圖像分解為基層、細(xì)節(jié)層和顏色層。為了能夠在合成圖像上得到和諧的亮度分布,算法將目標(biāo)圖像基層的亮度統(tǒng)計(jì)特性遷移到源圖像的基層上。融合后圖像逼真的細(xì)節(jié)是由區(qū)域修復(fù)技術(shù)和加權(quán)混合技術(shù)得到的。一旦和諧的亮度層被計(jì)算出來(lái),算法運(yùn)用均值融合技術(shù)在各層上生成最終的合成結(jié)果。由于每個(gè)像素的均值融合處理是完全獨(dú)立于融合區(qū)域內(nèi)部的其他像素點(diǎn),因此算法使用并行方式來(lái)實(shí)現(xiàn)均值融合從而加快整個(gè)處理過(guò)程。

2 算法概述

本文算法主要分為4 步。首先,分別將源圖像和目標(biāo)圖像分解為基層、細(xì)節(jié)層和顏色層3 層;其次,算法使用不同的方式來(lái)處理各層信息:通過(guò)將目標(biāo)圖像基層的亮度直方圖遷移到源圖像的基層從而能夠達(dá)到亮度平衡,使用孔修復(fù)方法來(lái)修改目標(biāo)圖像在融合區(qū)域的細(xì)節(jié)層,由此產(chǎn)生的細(xì)節(jié)將隨之獲得;第三,在每對(duì)相應(yīng)的層上使用均值融合;最后,通過(guò)合成這三層結(jié)果來(lái)獲得最終結(jié)果。亮度層上的工作流程如圖1 所示。

圖1 亮度層的工作流程圖Fig.1 Workflow of brightness layer

2.1 層分解

首先將源圖像和目標(biāo)圖像轉(zhuǎn)換到CIELAB 顏色空間,然后將亮度通道分解為基層和細(xì)節(jié)層。基層是包含了圖像結(jié)構(gòu)信息的結(jié)構(gòu)層。雙邊濾波[12]和加權(quán)最小二乘法(WLS)濾波[13]等邊緣平滑方法可以實(shí)現(xiàn)基層和細(xì)節(jié)層的分解問(wèn)題。本文算法使用加權(quán)最小二乘法,因?yàn)樗诮鉀Q靠近邊緣的模糊水平上具有出色的表現(xiàn)。

給定一個(gè)亮度通道L, L 中的基層B 可以通過(guò)解下面的最小值得到:

式中,p 代表融合區(qū)域中的各個(gè)像素點(diǎn),B 表示平滑后的基層,L 表示圖像亮度通道,Lx(p)、Bx(p)表示在x 方向上的梯度,Ly(p)、By(p)表示在y 方向上的梯度。第一項(xiàng)旨在使B 盡量與L 保持相似,第二項(xiàng)通過(guò)最大限度地減少B 的偏導(dǎo)數(shù)來(lái)使之平滑。系數(shù)λ是用來(lái)平衡這兩項(xiàng):λ的值越大,基層將越平滑。下標(biāo)x 和y 分別代表在橫坐標(biāo)和縱坐標(biāo)上求偏導(dǎo)數(shù)。系數(shù)α決定了L 梯度的敏感度。為了防止被0 整除將系數(shù)ε設(shè)置為0.000 1。在本文的試驗(yàn)中α=1.2,λ=1。

隨后,算法使用減法來(lái)分別獲得源圖像和目標(biāo)圖像的細(xì)節(jié)層。其中,D 表示圖像的細(xì)節(jié)層。

2.2 亮度匹配

基層包含了亮度空間的分布信息。算法嘗試將目標(biāo)圖中的亮度空間分布加載到源圖像中,這樣在匹配融合區(qū)域時(shí)能夠得到理想的結(jié)果。直方圖匹配是修改源圖像強(qiáng)度從而使源圖像的強(qiáng)度統(tǒng)計(jì)能夠與目標(biāo)圖像相似的一種主要解決方法。給定一個(gè)具有直方圖hbs的源圖像基層Bs 和目標(biāo)圖像基層的直方圖hbt,和諧的源圖像基層Bhs就可以由以下公式計(jì)算得到:

其中, Bs表示源圖像的基層,hbt表示圖標(biāo)圖像的基層的直方圖, Bhs表示和諧的源圖像基層。這里histmatch()表示將目標(biāo)圖像的基層直方圖hbt遷移到源圖像基層Bs上。

直方圖匹配是匹配圖像外觀的一種有力工具[11]。由于本文算法在具有少噪聲和細(xì)節(jié)的基層上運(yùn)用直方圖匹配,因此會(huì)最小化一些瑕疵,例如噪音的擴(kuò)大。

2.3 細(xì)節(jié)操作

如果直接將源圖像的細(xì)節(jié)層和目標(biāo)圖像的細(xì)節(jié)層融合在一起,融合區(qū)域當(dāng)中將包含很多目標(biāo)圖像的細(xì)節(jié)層結(jié)構(gòu)信息,從而產(chǎn)生瑕疵。協(xié)調(diào)的結(jié)果應(yīng)當(dāng)是在融合的結(jié)果里融合區(qū)域中不包含目標(biāo)圖像的原始結(jié)構(gòu)細(xì)節(jié)。一種直觀的方式是從目標(biāo)圖像的細(xì)節(jié)層中將結(jié)構(gòu)信息分離出來(lái)。但是,在單獨(dú)的一層當(dāng)中直接分離這些信息相對(duì)于前面的轉(zhuǎn)換來(lái)說(shuō)是很困難的。所以,算法假設(shè)融合的結(jié)果只需在視覺(jué)上逼真就可以了,這也就意味著只需將融合區(qū)域內(nèi)的像素同周?chē)袼攸c(diǎn)的細(xì)節(jié)在外觀上匹配好即可。基于這種假設(shè),算法用兩個(gè)步驟來(lái)處理細(xì)節(jié)協(xié)調(diào),首先,從目標(biāo)圖像的細(xì)節(jié)層移走融合區(qū)域的細(xì)節(jié)部分并填充這個(gè)孔洞;然后,用一種加權(quán)方式將源圖像細(xì)節(jié)層和目標(biāo)圖像細(xì)節(jié)層混合在一起,從而得到結(jié)果細(xì)節(jié)層。

修復(fù)目標(biāo)細(xì)節(jié)圖像中的孔洞就是填充那些丟失的像素點(diǎn),解決這個(gè)問(wèn)題有兩種方式:紋理合成和圖像修復(fù)方法。紋理合成在處理具有隨機(jī)性的二維圖案上效果很好;而圖像修復(fù)則致力于線(xiàn)性結(jié)構(gòu),這種結(jié)構(gòu)可以認(rèn)為是一維模式的。本文采用了基于Criminisi 等人[14]提出的方法,該方法綜合了紋理合成和圖像修復(fù)的優(yōu)點(diǎn)。為了產(chǎn)生合理的結(jié)果,算法使用孔洞邊緣周?chē)膱D像像素作為紋理片并在融合區(qū)域得到修改后的目標(biāo)細(xì)節(jié)D′t。

其中,Dr表示結(jié)果圖像的細(xì)節(jié)層,Ds表示源圖像的細(xì)節(jié)層, D′t 表示孔修復(fù)后的目標(biāo)圖像的細(xì)節(jié)層。γs, γt∈[0,1] ,這兩個(gè)系數(shù)控制著每個(gè)細(xì)節(jié)的比重,不同的γs 、γt 值能夠產(chǎn)生不同的融合效果。對(duì)于無(wú)縫融合,因?yàn)槠浣Y(jié)果只包括源圖像的細(xì)節(jié)并且目標(biāo)圖像的細(xì)節(jié)應(yīng)當(dāng)被隱藏。于是,可以取γt=0 來(lái)隱藏D′t,并且取γs=1 來(lái)將Ds 轉(zhuǎn)換到Dr。在本文的和諧融合應(yīng)用中,可以取γt>0 來(lái)保留一些目標(biāo)圖像的細(xì)節(jié)。注意兩者的權(quán)重之和不能太小,否則就會(huì)因?yàn)槿鄙偬嗟募?xì)節(jié)而使結(jié)果看起來(lái)不真實(shí)。

2.4 并行均值融合

一旦得到了源圖像的基層Bhs和混合后的細(xì)節(jié)層Dr,新的源圖像亮度通道L′s就可以由L′s=Bhs+Dr計(jì)算得到。隨后新的亮度通道用均值坐標(biāo)法融合到目標(biāo)圖像的亮度層上。

給定一個(gè)待融合的區(qū)域Ψ和它用逆時(shí)針順序給出的邊界像素點(diǎn)構(gòu)成的鏈 Ψ(t0, t1, …, tm=t0),每一個(gè)像素p ∈Ψ的均值坐標(biāo)(MVC)就是權(quán)重ki,ki用下面的公式計(jì)算出:

其中,βi是∠tipti+1,圖2 顯示了βi的定義。

圖2 關(guān)于均值坐標(biāo)角度的說(shuō)明Fig.2 Illustration of mean value coordinate angle

使用這些像素的均值坐標(biāo),均值插值r(p)可以定義如下:

結(jié)果的亮度層Lr就定義為

因?yàn)槿诤蠀^(qū)域內(nèi)每一個(gè)像素點(diǎn)的均值插值只和邊界坐標(biāo)有關(guān),因而每個(gè)像素點(diǎn)的插值可以各自處理。在CPU 上實(shí)現(xiàn)均值插值法很耗時(shí)間,為了解決這個(gè)性能瓶頸,本文使用CUDA 技術(shù)來(lái)實(shí)現(xiàn)插值加速。

前面通過(guò)公式Lr=L′s+r 得出的結(jié)果可能超出了亮度范圍[0,100] ,這可能導(dǎo)致圖像在視覺(jué)效果上內(nèi)容的損失,所以應(yīng)當(dāng)把這些值轉(zhuǎn)換到顯示范圍內(nèi)。算法將目標(biāo)亮度Ls的強(qiáng)度直方圖遷移到當(dāng)前亮度Lr中,成功保留了結(jié)果圖像的豐富細(xì)節(jié)。

2.5 顏色層融合

對(duì)于顏色通道的融合,算法直接把源圖像的as和bs用于均值融合處理。最后, 算法將圖像從CIELAB 顏色空間轉(zhuǎn)換為RGB 顏色空間并得到最終和諧的融合結(jié)果。

3 實(shí)驗(yàn)和結(jié)果

本文實(shí)現(xiàn)了一個(gè)新穎的圖像和諧融合方法。提出的方法是使用MATLAB 實(shí)現(xiàn)的,電腦配置為:CPU(Inter Core2Duo 2.66 GHz)、2G 主內(nèi)存、顯卡為1G 圖形內(nèi)存的NVIDIA GeForce GTS250。該方法需要兩個(gè)參數(shù):γs 和γt。不同的融合目標(biāo)可以通過(guò)不同的參數(shù)得到。

在算法實(shí)現(xiàn)過(guò)程中最耗時(shí)的步驟是區(qū)域修復(fù)和計(jì)算像素點(diǎn)的均值坐標(biāo)(Mean Value Coordinate,MVC)。因?yàn)槊總€(gè)像素點(diǎn)的均值插值是獨(dú)立于其他像素點(diǎn)計(jì)算的,所以這一步非常適合在圖形處理器(Graphic Processing Unit,GPU)中并行實(shí)現(xiàn)。算法在計(jì)算均值坐標(biāo)的性能如表1 所示,其中N-b 代表融合區(qū)域邊界點(diǎn)的數(shù)目,N-r 代表融合區(qū)域內(nèi)部像素點(diǎn)的數(shù)目。注意,表中GPU 的運(yùn)行時(shí)間是包括硬盤(pán)輸入輸出的。

表1 計(jì)算均值坐標(biāo)的性能Table 1 The mean value coordinate performance

本文和原始的均值融合方法進(jìn)行了比較。圖3中,源圖像的腳印被剪切出來(lái)融合到目標(biāo)圖像中,圖3(c)顯示了使用原始均值融合方法產(chǎn)生的結(jié)果。盡管結(jié)果是無(wú)縫的,但由于融合結(jié)果缺少與目標(biāo)圖像相似的細(xì)節(jié)致使在融合區(qū)域和其他像素點(diǎn)之間具有不和諧的外觀,因而圖像看起來(lái)不自然。在本文方法里,區(qū)域修復(fù)和細(xì)節(jié)的加權(quán)混合被適當(dāng)運(yùn)用到產(chǎn)生無(wú)縫邊界和獲得逼真的細(xì)節(jié)效果,這樣獲得的結(jié)果是和諧的,其結(jié)果如圖3(d)所示。

圖3 源圖像中的腳印Fig.3 Footprint in source image

盡管原始的均值融合在多數(shù)情況下工作得很好,但本文算法提供了在原始的均值融合中缺乏的特性,細(xì)節(jié)混合在獲得和諧結(jié)果中至關(guān)重要,算法允許細(xì)節(jié)層和基層獨(dú)立操作。圖4 顯示了另一個(gè)例子:源圖像面部被融合到目標(biāo)圖像中。原始的均值融合方法產(chǎn)生不夠逼真的結(jié)果如圖4(c)所示。本文結(jié)果如圖4(d)所示,在融合區(qū)域顯示了視覺(jué)上逼真的細(xì)節(jié)紋理。正如圖4 所示,本文提出的新方法同原始的均值融合方法相比能夠產(chǎn)生更為逼真的結(jié)果。

圖4 一個(gè)圖像和諧融合的例子Fig.4 An example of harmonious cloning

注意,MVC 算法結(jié)果臉部太過(guò)于光滑,而本文算法的結(jié)果在視覺(jué)上具有更合理的細(xì)節(jié)紋理。

4 結(jié) 論

本文提出了一種基于二尺度分解的圖像和諧融合的新穎算法,該方法使用區(qū)域填充和加權(quán)混合的方法產(chǎn)生視覺(jué)上逼真的融合圖像細(xì)節(jié),算法整合了高度并行的均值融合技術(shù)。實(shí)驗(yàn)結(jié)果顯示了本文提出的方法能夠在細(xì)節(jié)上與目標(biāo)圖像匹配完好。

盡管該算法具有上述優(yōu)勢(shì),它仍然有一些局限性,例如當(dāng)前的實(shí)現(xiàn)只是部分并行并且區(qū)域填充消耗了很多CPU 時(shí)間。因此,在未來(lái)的工作中,應(yīng)嘗試用GPU 來(lái)處理整個(gè)過(guò)程,從而提高算法的計(jì)算效率。

[ 1] Pé rez P, Gangnet M, Blake A.Poisson image editing[ J] .ACM Transactions on Graphics, 2003,22(3):313-318.

[ 2] Jia J, Sun J, Tang C-K,et al.Drag-and-drop pasting[ J] .ACM Transactions on Graphics,2006,25(3):631-637.

[3] Lalonde J-F, Hoiem D, Efros A A, et al.Photo clip art[ J] .ACM Transactions on Graphics, 2007, 26(3):1-10.

[4] Tao M W, Johnson M K, Paris S.Error-tolerant image compositing[C]//Proceeding of the 11th European Conference on Computer Vision.Heraklion,Crete,Greece:IEEE,2010:31-44.

[ 5] Chen T, Cheng M M,Tan P,et al.Sketch2photo:internet image montage[ J] .ACM Transactions on Graphics, 2009, 28(5):124-134.

[ 6] Farbman Z, Hoffer G, Lipman Y,et al.Coordinates for instant image cloning[ J] .ACM Transactions on Graphics,2009, 28(3):1-9.

[7] Lee S -Y, Lee I-K.Improved coordinate-based image and video cloning algorithm[ C]//Proceedings of ACM SIGGRAPH Asia.New York:ACM,2009:1-5.

[8] Xie Z-F, Shen Y, Ma L-Z,et al.Seam less video composition using optimized mean -value cloning[ J] .The Visual Computer,2010, 26(6-8):1123-1134.

[9] Ding M,Tong R-F.Content-aware copying and pasting in images[J] .The Visual Computer,2010, 26(6-8):721-729.

[10] Wang R, Chen W-F, Pan M-H,et al.Harmonic coordi nates for real-time image cloning[ J] .Journal of Zhejiang University Science, 2010(11):690-698.

[11] Sunkavalli K, Micah K J, Matusik W, et al.Multi-scale image harmonization[ J] .ACM Transactions on Graphics,2010, 29(4):125-134.

[12] Tomasi C, Manduchi R.Bilateral filtering for gray and color images[C]//Proceedings of the Sixth International Conference on Computer Vision.Bombay, India:IEEE,1998:1-5.

[13] Farbman Z, Fattal R,Lischinski D, et al.Edge-preserving decompositions for multi-scale tone and detail manipulation[ J] .ACM Transactions on Graphics, 2008, 27(3):1-10.

[14] Criminisi A, Pé rez P, Toyama K.Region filling and ob ject removal by exemp lar-based inpainting[ J] .IEEE Transactions on Image Processing, 2004,13(9):1200-1212.