基于結構-紋理分解的數(shù)字圖像分層修復算法

孫 宇,李 晗

(1. 新疆理工學院信息工程學院,新疆 阿克蘇 843000;2. 遼寧工業(yè)大學電子與信息工程學院,遼寧 錦州 121000)

1 引言

圖像修復是根據(jù)圖像的已知區(qū)域特征修補圖像受損區(qū)域或移除圖像多余的區(qū)域[1],使修復后圖像能夠滿足視覺要求的方法。隨著科技的不斷發(fā)展,數(shù)字圖像技術不斷提升[2],圖像修復技術受到更高的關注,已被廣泛地應用于電影電視修復,藝術作品修復、醫(yī)學影像修復、工業(yè)圖像修復等行業(yè)之中,因此對數(shù)字圖像修復技術進行更加深入的研究至關重要。

李雪瑾[3]等人將數(shù)據(jù)集解析的樣本作為概率分布的樣本點,通過GANs輸出偽造圖像,通過附近待修復圖像的編碼構建模型,運用該模型來預測受損內(nèi)容,從而完成圖像的修復。韓棟[4]等人通過曲率約束因子構建優(yōu)先級度量函數(shù),將調整后的樣本塊邊緣作為約束,結合SSD模型對受損圖像進行修復。裴晨[5]等人將圖像轉換到CIELab空間內(nèi)完成a,b分量的聚類運算并獲取K個聚類中心,根據(jù)迭代次數(shù)變化進行粗分割,通過細化分割結果,分離目標與環(huán)境,將色彩遷移后完成圖像修復。以上方法沒有對邊緣的銜接效果進行考慮,導致視覺效果差、SSIM與PSNR值低的問題。

為了解決上述方法中存在的問題,提出基于結構-紋理分解的數(shù)字圖像分層修復算法。

2 數(shù)字圖像結構-紋理分解

對于待處理圖像,可以將其表示為f(i,j)的形式,f(i,j)中包含紋理及噪聲等振蕩部分[6],將其表示為v(i,j),圖片處理就是從f(i,j)中提取出有用的部分,可以將其理解為逆問題[7],即對于給定的f(i,j),找到與其相似的u(i,j),使其無限接近f(i,j),u即為f(i,j)的結構部分,遵循f(i,j)=u(i,j)+v(i,j),圖像修復的目的是從f(i,j)提取u(i,j),v中紋理代表的模式為重復的小規(guī)模細節(jié),噪音代表的模式為隨機的小規(guī)模細節(jié)[8],兩者可通過振蕩函數(shù)加以區(qū)分。

設圖像的全區(qū)域用Ω表示,受損區(qū)域用D表示,拉格朗日乘子用λ表示[9],將TV模型和L1范數(shù)模型L1(Ω)和L2(Ω)相結合得到TV-L1模型和空間BV(Ω)的表達形式如下[10]

(1)

設梯度的模用|?u|表示,圖像局部梯度模函數(shù)用p(|?u|)和q(|?u|)表示,ξ為保證f≈u+v=u+divξ前提的參數(shù),λ和μ為結合實際情況取值的參數(shù),建立L1范數(shù)自適應模型如下所示

(2)

(3)

式(2)為一個能量泛函式[11],其中的第一項為規(guī)整項,第二項為L1的逼近項,第三項為圖像中v的能量,通過范數(shù)表示,u和v分別所處的空間為對偶空間,所以存在(1/p)+(1/q)=1,通過變分法求解式(2),得到滿足諾依曼條件的歐拉拉格朗日方程的如下所示[12]

(4)

式(4)中,ξ1和ξ2為拉格朗日中值定理參數(shù),σ為懲罰因子,根據(jù)圖像模值可以將式(4)分為以下兩種情況:

①圖像模值很大

當圖像的模值很大時,根據(jù)式(3)得到q≈1,p→1,該情況下的式(4)可表示為如下形式

(5)

②圖像模值趨近于零

當圖像的模值趨近于零時,q≈2,p≈2,該情況下的式(4)可表示為如下形式

(6)

在式(5)和式(6)中為了避免分母為零的情況,引入?yún)?shù)ε,使其滿足

(7)

通過以上計算,完成數(shù)字圖像結構與紋理的分解。

3 數(shù)字圖像分層修復方法

3.1 圖像預填充

因為在結構部分中只存在光滑區(qū)域和邊緣的特點,可以將結構部分看作近似于處處連續(xù)的函數(shù),將像素I(y)在點x處依據(jù)泰勒公式展開得到

I(y)=I(x)+?I(x)·(y-x)+o(|y-x|2)

(8)

其中,o(|y-x|2)為高階項,將其舍棄后得到

I(y)=I(x)+?I(x)·(y-x)

(9)

(10)

為了保障受損區(qū)域能夠按照由邊界向內(nèi)部的順序拓展,基于結構-紋理分解的數(shù)字圖像分層修復算法引入快速行進法進行計算[13],結合點q處參數(shù)T(q)的大小,得到權重W(p,q)的計算公式如下

(11)

結合實際情況對更新參數(shù)T進行修正,設點q的鄰近區(qū)域內(nèi)四個點用qw、qs、qe和qn表示,得到修正后公式如下

T(q)=min{T(q),min{solve(qw,qs),solve(qe,qs),solve(qe,qn),solve(qw,qn)}}

(12)

3.2 結構修復算法

在圖像修復的過程中,為了避免修補受損區(qū)域后造成的全局模糊,基于結構-紋理分解的數(shù)字圖像分層修復算法對上文運用的修復模型進行改進,設(x,y)是受損區(qū)域D內(nèi)的一點,t=f(x,y),得到改進后表達式如下所示:

(13)

(14)

與傳統(tǒng)TV模型相比,基于結構-紋理分解的數(shù)字圖像分層修復算法運用的修復模型具有以下幾個優(yōu)點:

①在對待修復先進行修復時選取鄰近區(qū)域的12個點的加權組合對其進行更新,獲取到的修復結果具有更好的銜接效果,避免了灰度跳變的問題。

②對修復模型進行改進后避免了對受損區(qū)域修復時全局模糊的情況。

③遵循視覺的連接性準則,對等照度線方向進行考慮,使信息傳播的效率更高。

3.3 紋理修復算法

通過統(tǒng)計法對BSDS300數(shù)據(jù)庫中圖像的局部相似性進行統(tǒng)計分析[15],首先選定塊的尺寸,記作(2pSize+1)×(2pSize+1),在全部圖像中任意選取中心點,記作(x0,y0),根據(jù)中心點確定尺寸為(2pSize+1)×(2pSize+1)的塊,然后在全部原圖像、結構圖像和紋理圖像中提取每個可能的尺寸為(2pSize+1)×(2pSize+1)的圖像塊,圖像塊的中心坐標為(x,y),再對塊和圖像塊之間的曼哈頓距離[16]以及兩者中心點的歐氏距離[17]進行計算,最后獲取兩者中心距離為Dis的塊和圖像塊的平均距離。

對計算結果進行統(tǒng)計分析可知,獲取到的圖像具有局部相似性特征,引入改進的Criminisi算法,在尋找最佳匹配塊過程中用運用局部搜索代替全局搜索,在受損區(qū)域邊界為B的范圍內(nèi)尋找最佳匹配塊以提高算法效率,在Criminisi算法中,全部已知點對相似度的貢獻值均一致,因此將其轉換為與距離相關的加權相似度貢獻方式,設中心點p到點xp的距離為dist(xp,p),以p為中心的區(qū)域用ψp表示,已知信息區(qū)域用Φ表示,q為Φ上一點,以q為中心的區(qū)域用ψq表示,得到相似度d(ψp,ψq)計算方式如下

(15)

通過以上計算,完成基于結構-紋理分解算法的數(shù)字圖像分層修復。

4 實驗與結果

為了驗證基于結構-紋理分解的數(shù)字圖像分層修復算法的整體有效性,需要對該算法進行測試。

實驗計算機設備選取Inter i7-4600,2.10GHz主板,8GB內(nèi)存,Windows10系統(tǒng)。為了驗證修復效果,選取四組不同的待修復圖像進行修復,將所提方法處理的圖像與文獻[3]和文獻[4]處理的圖像進行對比分析,處理結果如圖1所示。

圖1 人像移除修復結果

由圖1人像移除修復結果可以看出,在文獻[3]的處理結果中,邊緣部分存在部分殘留,影響視覺效果,文獻[4]的處理結果路沿部分及圍欄部分嚴重變形,出現(xiàn)視覺不連貫的情況,地面與路沿的顏色不均勻,陰影過渡不自然,所提方法的修復結果中路面與路沿連接處表現(xiàn)出橫向一致的效果,路面及圍欄均保持原形態(tài),符合視覺需求。

由圖2物體移除修復結果可以看出,在大面積簡單結構和局部細微紋理結構均有受損的情況下,文獻[3]處理結果表現(xiàn)不佳,受損區(qū)域在處理后出現(xiàn)明暗交疊的色塊重復情況,嚴重影響視覺效果,整體不流暢,而且整個圖像的清晰度下降,圖像質量出現(xiàn)模糊情況,文獻[4]處理結果中受損部位邊緣未完全消除,且修補處出現(xiàn)大面積色塊,嚴重偏離原圖效果,整體效果不好,所提方法處理結果對光亮與陰影情況均有考慮并加以合適的處理,使光影過渡更加自然,視覺效果更好。

圖2 物體移除修復結果

對圖3粗劃痕修復結果進行分析,在同時包含大面積均勻漸變(皮膚)和結構漸變(面部輪廓)受損的情況下,經(jīng)過文獻[3]方法處理的結果面部輪廓明顯有突出,邊界與背景混合造成大面積色塊,影響視覺感受,且全局像素降低出現(xiàn)模糊情況,文獻[4]處理結果面部向背景過渡處出現(xiàn)大面積模糊,效果不夠自然,出現(xiàn)明顯的明暗交界,沒有對光澤的明暗變化情況加以考慮,視覺效果差,所提方法對于面部過渡的處理優(yōu)于兩種方法,面部輪廓較為清晰。

圖3 粗劃痕修復結果

對圖4去文字修復結果進行分析,在大面積區(qū)域受損的情況下,文獻[3]處理結果仍有文字邊緣存在,修復效果不佳,影響原圖像效果,文獻[4]雖將文字去除,但云彩過渡明暗效果不自然,視覺效果不夠流暢,所提方法對于文字的消除處理效果更為順暢,更接近原圖效果。

圖4 去文字修復結果

通過結構相似性指數(shù)(SSIM)和峰值信噪比(PSNR)對三種方法的修復結果進行客觀對比,SSIM和PSNR均與圖像的修復效果成正比,得到檢測效果如圖5所示:

圖5 SSIM與PSNR檢測效果

對圖5分析可以看出,所提方法的SSIM與PSNR值均比文獻[3]方法和文獻[4]方法優(yōu)異,因為所提方法在對受損區(qū)域進行修復時,選取了待修復點鄰近區(qū)域的12個點的加權組合進行更新,獲取到更好的銜接效果,避免了灰度跳變的情況,從而使所提方法的修復效果更好。

5 結束語

圖像是人們獲取信息的主要途徑,這說明了圖像處理技術至關重要,而圖像修復是其中不可或缺的一部分,對圖像修復進行深入的研究與應用是圖像處理技術發(fā)展的關鍵。為了解決目前方法中存在的視覺效果差、SSIM與PSNR值低問題,提出基于結構-紋理分解的數(shù)字圖像分層修復算法,通過TV-L1模型將數(shù)字圖像拆分為結構部分和紋理部分,并分別進行修復,完成數(shù)字圖像的分層修復。該方法能夠有效地改善視覺效果,提高SSIM與PSNR值,為更好地進行數(shù)字圖像修復奠定基礎。