多尺度低秩圖像盲去模糊方法

周志豪,張玉龍,唐啟凡,閆金濤

(西安交通大學軟件學院,710049,西安)

近年來,作為圖像處理領域的基本問題之一,單幅圖像去模糊由于其廣泛的應用而受到了關注,并通過一些里程碑式的解決方案取得了巨大的成功[1]。根據成像原理不同,圖像模糊可分為散焦模糊與運動模糊,圖像的散焦模糊主要是由于成像設備對焦不準而形成,運動模糊形成的主要原因是成像設備在曝光時間內抖動或者被拍攝目標在運動。單幅圖像的運動模糊過程可以建模為一個清晰圖像和一個模糊核的卷積,表達式為

v=u?h+ε

(1)

式中:u表示潛在圖像;h表示運動模糊核;ε表示圖像噪聲;v表示已知的模糊圖像;?是卷積操作。

圖像去模糊方法可以大致分為非盲去模糊和盲去模糊兩類。若模糊核已知,則研究的圖像去模糊問題為非盲去模糊問題,其目標是根據給定的模糊圖像和已知的模糊核估計出潛在圖像。比較經典的非盲去模糊方法是基于維納濾波[2]的方法,但是該方法對加性噪聲特別敏感,恢復出的圖像效果往往不佳。Richardson-Lucy方法利用了EM方法和極大似然法[3],在一定的迭代次數內圖像紋理細節會隨著迭代次數增加而變得清晰,但是加性噪聲和振鈴效應會更加明顯,且迭代次數過多會導致恢復質量下降;Zhuang等提出了基于子空間數據保真度的非盲去模糊方法,以實現對不同圖像內容的差分處理,取得了不錯的效果[4]。

若模糊核未知則為非盲去模糊,需要從給定的模糊圖像中估計出未知的模糊核與潛在圖像。由于許多對不同的h與對應的u能夠生成同一個v,因此圖像盲去模糊問題是一個高度病態的問題。通常引入模糊圖像中的先驗信息作為正則項來約束方程的解空間,以此建立模型求解。Michaeli等發現不同尺度上的圖像其模糊程度會改變,于是使用圖像塊的自相似性作為圖像先驗來估計模糊核[5];Xu等提出L0約束下的圖像先驗,能有效去除圖像不必要的邊緣信息,且該方法在迭代過程中不需要額外的濾波操作,從而加快了收斂速度和總運行時間[6];Lai等使用歸一化的顏色線先驗,在不改變邊緣結構或增強噪聲的情況下恢復銳利邊緣,能夠更好地選擇圖像有效的邊緣[7]。

最近的一些研究工作在圖像盲去模糊方面帶來了很大的改進。Liu等發現具有不利結構的中間潛像的表面圖通常具有較大的表面積,由此提出了從表面幾何角度出發的表面感知先驗,減少中間潛像表面的面積以減少那些不利的結構,使得中間潛像具有更清晰的銳邊和更少的網格偽影,能更好地處理具有大飽和區域和脈沖噪聲的低照度模糊圖像[8];Pan等發現模糊圖像中大多數圖像塊的最小像素值不為0,并且模糊圖像的暗通道圖像要比清晰圖像亮,以此作為暗通道先驗[9]。然而,當圖像以較為明亮的像素為主時,使用暗通道先驗進行模糊核估計的效果并不好。為了解決這個問題,Yan等提出了亮通道先驗,并且證明了其有效性,然后將暗通道先驗與亮通道先驗結合為極先驗帶入到去模糊模型中,在處理較亮的圖像時尤為有效[10]。Wen等將暗通道先驗的逐像素最小化操作改為逐塊最小化操作,提出了逐塊局部最大梯度先驗,該方法在去模糊質量、計算代價方面均好于暗通道先驗方法[11]。近年來的相關工作發現,對圖像梯度施加低秩先驗約束,能夠保留強邊緣并消除潛在圖像中不重要的紋理和邊緣,同時還能抑制噪聲對去模糊過程的影響,從而增加去模糊方法的魯棒性[12-14]。

本文提出了一種多尺度低秩圖像盲去模糊方法PLMG-Sp。結合逐塊局部最大梯度先驗、低秩先驗為聯合先驗,并分別采用L0范數和加權Schatte-1/2范數進行約束,將其帶入到經典的最大后驗概率(MAP)框架中。在多尺度框架下,對圖像進行多次降采樣以消除噪聲的影響。在單尺度層面,對圖像施加圖像填充和圖像平滑方法,使用交替方向乘子法和半二次分裂法對改進的去模糊模型進行優化。在計算過程中,由于直接求解低秩正則化項的計算代價很大,將其轉化為獨立的r個非凸權重L1/2范數子問題,采用廣義軟閾值(GST)方法進行求解。最后,由估計出的模糊核與模糊圖像進行非盲反卷積恢復出清晰圖像。通過將本文方法與相關的最新方法在3個經典的合成數據集和兩個自然模糊的數據集上進行實驗,證明了本文方法的優越性。

1 相關工作

1.1 局部最大梯度先驗

1.2 低秩正則化先驗

近年來,基于圖像非局部自相似性的低秩先驗方法在圖像盲去模糊領域得到廣泛的應用,取得了不錯的效果。優化求解低秩先驗模型的一個經典方法是核范數最小化(NNM)。在此基礎上,Gu等提出了加權核范數最小化(WNNM)方法,設置了一個權重向量對不同大小的奇異值進行約束,從而使NNM方法更為魯棒[16]。相關研究表明,基于Schatte-p范數的模型比NNM更加逼近低秩模型。受WNNM啟發,Xie等提出加權Schatte-p范數最小化方法,能更有效地去除噪聲,從而獲得更精確的結果[17]。圖像u的加權Schatte-p范數定義為

(2)

式中:wi表示權重向量;σi(u)表示圖像矩陣u的第i大的特征值;r表示u的行數;0

2 基于逐塊局部最大梯度和低秩的圖像盲去模糊方法

2.1 聯合圖像先驗去模糊模型

本小節將介紹所提出的逐塊局部最大梯度(PLMG)先驗,并通過數學推導驗證其在去模糊過程中的有效性。之后,將PLMG先驗以及加權Schatte-1/2范數約束的圖像低秩先驗作為聯合圖像先驗帶入到MAP框架中。經典的MAP框架可表達為

(3)

式中:第1項為數據保真項;第2項φ(u)和第3項ψ(h)分別為圖像u和模糊核h的正則項;ξ和τ分別為φ(u)和ψ(h)的權重參數,且都大于0。

(4)

式中:i=1,2,…,k;x和y代表圖像中像素點的位置;Ωi代表圖像塊集合中以x像素點為中心的第i個圖像塊;uc表示圖像u的c顏色通道。本文觀察到,清晰圖像塊的逐塊局部最大梯度會隨著模糊過程而變小,如圖1所示。

圖1 模糊圖像和清晰圖像的逐塊局部最大梯度Fig.1 Patch-wise local maximum gradient image of blurred image and sharp image

為了驗證PLMG先驗在圖像去模糊過程中的有效性,進行推導

(5)

由于圖像先驗需要‖φ(u)‖p≤‖φ(v)‖p代入到傳統去模糊框架中才能有效,本文進一步轉化PLMG先驗。對圖像進行灰度化處理,并轉化為雙精度類型,于是圖像的像素值區間由[0,255]轉變為[0,1],圖像水平或垂直方向的梯度絕對值也在區間[0,1]內。采取直接相加的方式計算水平和垂直方向的圖像梯度絕對值,因此圖像梯度絕對值最大為2,PLMG先驗轉化為

2-fPLMG(u)≤2-fPLMG(v)

(6)

將2-fPLMG(u)作為正則項,并施加L0范數約束,即可作為一個有效的圖像先驗知識帶入到傳統MAP圖像盲去模糊框架中。

可

(7)

將所提出的聯合圖像先驗φ(u)融入到傳統的MAP框架中,得到目標函數

fPLMG(u)‖0+τ‖h‖2)

(8)

(9)

(10)

2.2 潛在圖像u估計

(11)

式中:α、β和γ是大于0的權重參數,當它們趨于無窮大時,式(11)的解接近于式(9)的解;Th是模糊核h的Toeplitz矩陣。式(11)可以用交替方向乘子法分別更新u、l、g和q的方式求解。當固定l、g和q時,u的求解方式為

(12)

由于矩陣P尺寸過大,引入輔助變量d,將式(12)轉換為

(13)

同樣地,對于式(13)也可以采用交替方向乘子法進行求解。潛在圖像u的最終解為

(14)

固定u,式(13)中d的求解方式為

(15)

式(15)通過二范數求導,令等式為0,得到

2αPT(2-Pd-l)+2ζ(u-d)=0

(16)

得到

(17)

當u固定時,式(11)中l、g和q的求解方式為

(18a)

(18b)

(18c)

式(18)中的前兩個式子都是element-wise的極小化問題,求得l和g的解為

(19)

(20)

對于q的求解,首先定義權重向量w為

(21)

(22)

式中δi為u的第i個奇異值。采用廣義軟閾值[19]方法求解式(22)

(23)

式中:U和V是u的SVD分解正交矩陣;u=UΣuVT;Σu是奇異值對角矩陣。算法1給出了求解式(9)的主要過程。

算法1估計潛在圖像u

輸入:模糊圖像v和初始模糊核h

1u←v,h←h0,α←2λ

2 repeat

3 計算逐塊局部最大梯度算子P;

4 利用式(19)求解l;

5β←2η;

6 repeat

7 利用式(20)求解g;

8 利用式(23)求解q;

9γ←2μ;

10 repeat

11 利用式(17)求解d;

12 利用式(14)求解u;

13 updateγ←2γ;

14 untilγ>γmax;

15 updateβ←2β;

16 untilβ>βmax;

17 updateα←2α;

18untilα>αmax;

輸出:中間潛在圖像u

2.3 模糊核h估計

固定了u之后,根據文獻[6]的方法,使用梯度信息而不是像素值能得到更精確的模糊核,并且在計算方面開銷更小。因此,利用圖像梯度來進行模糊核估計

(24)

2.4 本文方法

在代碼的執行過程中,為方便計算,若輸入的模糊圖像u為彩色圖像,則將圖像進行灰度化處理,之后直接進行逐塊局部最大操作。在估計出最終的模糊核之后,由于最后一次單尺度去模糊得到的潛在圖像缺少一定的細節,因此需要利用最后一次單尺度去模糊得到的模糊核與初始模糊圖像進行非盲去模糊得到最終的清晰圖像。本文使用了Zhang等的方法[20],將超拉普拉斯先驗與增廣拉格朗日總變差-L2方法結合起來,既能在恢復圖像的過程中保留大量紋理細節,又能去除振鈴偽影,使復原出的圖像效果更好。

本文采用的多尺度去模糊方法框架如圖2所示。首先要先初始化,若輸入圖像是彩色圖像,則將其進行灰度化和歸一化,便于后面的計算。之后進行降采樣操作,根據模糊核尺寸計算出降采樣次數,逐層構建圖像金字塔。圖像金字塔有7層,由灰度化的模糊圖像開始,降采樣6次分別生成{u1,u2,…,u7},其中u7是初始的灰度圖像。從u1也就是最小一級的降采樣圖像開始,與初始化的模糊核h1進行單尺度盲去模糊得到粗糙的模糊核,再對該模糊核進行歸一化與上采樣操作得出下一個單尺度盲去模糊中使用的模糊核h2。在執行第7次單尺度方法之后,得出的模糊核即為最終估計出的模糊核,然后與初始模糊圖像進行本文采用的非盲去模糊方法得到清晰圖像。

圖2 多尺度去模糊方法框架Fig.2 Framework of multi-scale deblurring method

3 實驗結果及分析

在K?hler等[21]、Levin等[22]、Lai等[23]的共3個合成數據集以及Lai等[7]、Pan等[9]的共2個自然模糊數據集上進行了實驗,并與7種近年效果優秀的圖像盲去模糊方法進行了比較。由于實驗數量較大,本文只給出部分實驗結果進行直觀比較。采用峰值信噪比rsn,p、結構相似性ssim以及累計錯誤率rce共3種指標來進行去模糊結果和模糊核估計的客觀質量評價。

3.1 參數設置

本文方法主要有5個參數λ、μ、γ、τ、αmax。其中,λ=μ=η=4×10-3,τ=2,αmax=106。圖像金字塔的層數,即降采樣的次數,根據預設的模糊核尺寸進行計算。在單尺度層面,由于需要兼顧方法的精度與速度,本文對單尺度中u和h的交替迭代次數設置為5。

為了選取計算逐塊局部最大梯度算子的圖像塊尺寸,在K?hler等數據集[21]上對5×5、15×15、25×25、35×35像素共4個圖像塊尺寸進行了實驗,結果表明,在該數據集上所有結果的rsn,p平均值分別為29.25、30.07、29.73、29.58。因此,最終選取圖像塊尺寸為15×15像素。

3.2 合成數據集實驗結果

Levin等數據集[22]包含4幅地真圖像與8個不同的模糊核,以及生成的32幅模糊圖像。該數據集通過鎖定三腳架的Z軸旋轉手柄,并同時松開X軸和Y軸手柄,捕獲均勻模糊的模糊圖像。本文將估計得到的模糊核去模糊誤差與真實模糊核去模糊誤差計算比值得到錯誤率。對于每幅清晰圖像,錯誤率越低代表恢復性能越好;對于每個錯誤率,成功率越高越好。在Levin等數據集[22]上進行實驗,并與Pan等[9]、Yan等[10]、Chen等[15]、Cho等[24]、Liu等[25]、Jin等[26]的共6個方法進行了比較,結果如圖3所示?？梢钥闯?本文方法在性能上優于以往最先進的幾種方法,在錯誤率較低的時候成功率已經在幾種方法中最高,且在錯誤率為3時已經有100%的成功率。

圖3 在Levin等數據集[22]上的錯誤率Fig.3 Error ratio on the dataset of Levin et al.[22]

K?hler等數據集[21]包含4幅地真圖像和12個模糊核,以及生成的48幅模糊圖像。與以往基準數據集對各個指標進行評估的方式不同,該數據集對于每一幅地真圖像,將其沿著不同的相機運動軌跡平移生成199幅不同位置的地真圖像,并將不同方法對48幅模糊圖像進行復原得到的清晰圖像與相對應的199幅圖像進行評估,選取其中的最優值作為這幅模糊圖像的最終定量指標。本文采取該方式對各個方法復原的圖像進行評估。在K?hler等數據集[21]上進行實驗,并與Xu等[6]、Pan等[9]、Chen等[15]、Cho等[24]、Liu等[25]、Jin等[26]的共6個方法進行比較,結果如圖4所示?？梢钥闯?本文方法相對于其他方法在rsn,p和ssim上有一定提升。

(a)平均rsn,p

(b)平均ssim圖4 在K?hler等數據集[21]上的平均rsn,p與ssim Fig.4 Average rsn,p and ssim values on the dataset of K?hler et al.[21]

K?hler等數據集[21]中的一幅模糊圖像實驗結果如圖5所示?？梢钥闯?本文方法性能更優,在細節紋理的恢復方面有較好的效果;本文方法估計出的模糊核與初始的模糊核更為貼近,且沒有多余的白色軌跡。模糊核中白色軌跡的本質是相機的抖動軌跡,一般是連續的并且沒有多余的白色瑕疵。

(a)原始模糊圖像, (b)Cho等[24]的結果, (c)Xu等[26]的結果, (d)Pan等[9]的結果, rsn,p=27.96 dB rsn,p=31.31 dB rsn,p=31.14 dB rsn,p=32.02 dB

(e)Jin等[6]的結果, (f)Liu等[9]的結果, (g)Chen等[15]的結果, (h)本文結果, rsn,p=31.79 dB rsn,p=31.95 dB rsn,p=32.17 dB rsn,p=32.35 dB圖5 在K?hler等數據集[21]上的實驗結果Fig.5 Experimental results on the dataset of K?hler et al.[21]

3.3 自然數據集實驗結果

在Lai等[7]、Pan等[9]的兩個自然數據集進行實驗,并與Pan等[9]、Chen等[15]、Liu等[25]的這3個最先進的方法進行比較。選取有代表性Woman和Fountain圖像進行去模糊效果展示,Woman和Fountain圖像分別選自Pan等[9]和Lai等數據集[7],結果如圖6所示?？梢钥闯?本文方法恢復出的清晰圖像效果較好,有較少的振鈴效應并保留了大多數細節,具有比較高的穩定性;本文方法估計出的模糊核更為精確,沒有多余的白色軌跡。

圖6 Woman和Fountain圖像的去模糊結果Fig.6 Deblurring results of Woman and Fountain images

3.4 方法分析

3.4.1 低秩優勢 Lai等數據集[23]通過隨機采樣的6D相機軌跡生成均勻模糊核,然后使用具有1%高斯噪聲的卷積模型來合成均勻模糊圖像。在該數據集上進行實驗,并與Pan等[9]、Chen等[15]、Liu等[25]、PLMG方法、本文PLMG-Sp方法進行比較,部分結果如圖7所示?？梢钥闯?PLMG-Sp方法對于潛在圖像的紋理恢復更好,得到的模糊核沒有出現斑駁的白色軌跡,說明本文方法估計出的模糊核更加精確。這是由于使用了低秩先驗可以保留圖像中的強邊緣信息并能夠減少噪聲信息對圖像去模糊過程中的不利影響[14],以達到更好的去模糊效果。表1是各方法處理圖7圖像得到的rsn,p與ssim,可以看出,本文方法擁有更出色的去模糊效果。

圖7 驗證低秩正則化項有效性的實驗結果Fig.7 Experimental results verifying effectiveness of low-rank regularization terms

表1 在Lai等數據集[23]上的rsn,p和ssim

3.4.2 運行時間 各方法在圖6兩幅圖像上的運行時間如表2所示?？梢钥闯?PLMG方法在時間上相比Pan等[9]、Chen等[15]、Liu等[25]的方法有明顯優勢,但是去模糊性能方面并未有提升;加入了低秩正則化項后的PLMG-Sp方法運行時間相比Pan等[9]、Yan等[10]、Liu等[25]的方法的有一定減少,同時仍能保持不錯的去模糊效果;Cho等[24]的方法所公布的代碼是用C語言編寫,而其他方法都是用MATLAB編寫,因此該方法時間較短,但去模糊效果不佳。

表2 各方法的運行時間對比

4 結 論

(1)本文提出了一種基于逐塊局部最大梯度先驗和低秩先驗的多尺度圖像盲去模糊方法。從直觀和理論兩個方面分析了PLMG先驗的正確性,并對其施加L0范數約束作為正則化項。將PLMG拆分為3個簡單的算子以替代復雜的直接求局部梯度塊最大值的過程。將PLMG先驗與低秩先驗作為聯合先驗融入到MAP去模糊框架中進行計算。

(2)本文利用了高效的交替方向乘子法以及半二次方分裂法,使得公式分裂出的子公式都能得到閉合解。由于對Schatte-1/2范數約束的低秩正則化項直接求解計算量很大,本文將其轉化為r個獨立的非凸權重子問題,然后使用廣義軟閾值方法進行求解。

(3)本文在3個合成數據集以及2個真實數據集上進行了實驗,實驗結果表明,本文方法在保證一定運算時間的情況下,可以更準確地估計模糊核,且能夠有效抑制潛在圖像的振鈴效應并保留大多細節,使得恢復的圖像具有更好的表現。