利用低秩先驗的噪聲模糊圖像盲去卷積

孫士潔 趙懷慈 李 波 郝明國 呂進鋒

?

利用低秩先驗的噪聲模糊圖像盲去卷積

孫士潔*①②③④趙懷慈①③④李 波①②③④⑤郝明國①③④呂進鋒①②③④

①(中國科學院沈陽自動化研究所光電信息技術研究室 沈陽 110016)②(中國科學院大學 北京 100049)③(中國科學院光電信息處理重點實驗室 沈陽 110016)④(遼寧省圖像理解與視覺計算重點實驗室 沈陽 110016)⑤(沈陽工程學院信息學院 沈陽 110136)

單幅圖像盲去卷積的目的是從一幅觀測的模糊圖像估計出模糊核和清晰圖像。該問題是嚴重病態的，尤其是觀測圖像中噪聲不可忽略時更具挑戰性。該文主要針對如何有效利用低秩先驗約束進行噪聲模糊圖像盲去卷積問題，提出一種在交替最大后驗(MAP)估計框架下利用低秩先驗約束的單幅噪聲模糊圖像盲去卷積方法。首先，在估計中間復原圖像時，利用低秩先驗約束對復原圖像中的噪聲進行抑制。然后，采用降噪后的中間復原圖像估計模糊核，得到更好質量的模糊核估計。迭代上述兩個操作獲得最終可靠的模糊核估計。最后，根據所估計的模糊核，通過非盲去卷積方法復原出清晰圖像。實驗結果表明：所提方法在定量和定性評價指標上優于已有的代表性方法。

盲去卷積；最大后驗估計；噪聲模糊圖像；低秩先驗

1 引言

圖像盲去卷積(也稱圖像盲去模糊)是圖像處理和計算機視覺研究領域的基礎研究問題之一，因其涉及問題表述、正則化和數值優化等諸多難點和挑戰而一直被廣泛關注。受成像設備與圖像獲取條件等因素影響，圖像模糊問題廣泛存在。對于多數領域中的應用而言，圖像獲取時的場景只是瞬間發生，無法再次重現。因此從實際拍攝的單幅數字模糊圖像中盡可能地恢復出感興趣信息或關鍵信息，具有重要的實際意義。目前，其應用已深入到天文觀測、遙感圖像、目標識別、醫學影像、案件偵破等諸多軍民用領域。

近年來，圖像盲去卷積方法主要針對單幅模糊圖像展開，且在無噪聲(或噪聲可忽略)模糊圖像上獲得了相當的成功。單幅圖像盲去卷積方法，通常根據模糊核是否具有空間移不變特性分為兩類：一類是針對一致性模糊(也稱空間位移不變模糊)圖像的方法。如Levin等人[1]探討一種邊際似然估計的圖像盲去卷積方法；Krishnan等人[2]提出一種歸一化稀疏先驗用于模糊核估計；Sun等人[3]采取基于圖像塊的先驗約束進行模糊核估計；Ren等人[5]深入分析了圖像塊灰度和梯度圖的低秩屬性，建立了融合圖像塊灰度及其梯度信息的圖像低秩先驗用于模糊核估計。以上幾種基于概率統計的方法，模糊核估計過程中往往引入一些無法嚴格闡釋的特別處理步驟。Cho等人[6]運用雙邊帶濾波配合沖擊濾波預測模糊圖像清晰邊緣，然后選擇其中顯著邊緣進行模糊核估計；Xu等人[7]分析了模糊圖像邊緣尺度對模糊核估計的影響，提出改善模糊核估計性能的圖像邊緣選擇方法；Pan等人[8]在文獻[7]的基礎上改進圖像邊緣選擇策略實現模糊核的魯棒估計，并進一步提出了基于0正則化的模糊核估計方法[9,10]。相比于概率統計方法，以上幾種基于圖像邊緣預測的方法在模糊核估計的計算速度上具有更大的優勢，但在提取圖像邊緣信息時往往采用啟發式濾波作為預處理，很難從理論上給出嚴謹的分析和闡釋。綜上所述方法在圖像噪聲可忽略情況下，獲得了較好的圖像復原性能，但隨著模糊圖像噪聲水平的提高，性能嚴重退化，甚至失效。針對這一問題，Tai等人[13]和Zhong等人[14]對模糊圖像盲去卷積中噪聲處理問題作了相關研究，與先前方法相比，可更好地處理單幅噪聲模糊圖像的模糊核估計問題，但對具有豐富圖像結構特征的單幅噪聲模糊圖像，仍很難獲得相對準確的模糊核估計。另一類是針對非一致模糊(空間位移變化模糊)圖像的方法。非一致模糊圖像復原的挑戰在于圖像不同區域的退化模式不同。目前處理該類問題往往通過建模或捕捉攝像機運動軌跡獲得不同位置的非一致模糊核，更多細節可見文獻[15]。

實際圖像獲取過程中，特別是在低光照條件下，成像需要較長的曝光時間和較高的感光度設置，不可避免導致模糊圖像中存在大量噪聲。為此，本文提出了一種MAP框架下利用低秩先驗約束的單幅噪聲模糊圖像盲去卷積方法。首先，在估計中間復原圖像過程中利用低秩先驗約束對復原圖像中的噪聲進行抑制。然后，采用降噪后的中間復原圖像估計模糊核，以獲得更準確的模糊核估計。迭代上述兩個操作得到最終準確、可靠的模糊核估計。最后，根據所估計的模糊核，通過非盲目解卷積方法估計出清晰圖像。實驗表明與已有代表性方法相比，所提出方法在定量和定性評價指標上具有更好的圖像復原性能。

2 預備知識

2.1 MAP框架下的圖像盲去卷積

對于一致性模糊而言，圖像模糊的形成通常表示為

(3)

2.2矩陣低秩逼近理論

矩陣低秩逼近(Low Rank Matrix-Appro- ximation, LRMA)主要考慮從部分元素被破壞的低秩矩陣中恢復出原矩陣。近些年，LRMA研究受到較多關注，許多重要模型和算法被相繼提出，應用于基于非局部自相似(Nonlocal Self-Similarity, NSS)的圖像降噪處理[16,17]，極大提升了圖像降噪性能。對于給定的矩陣, LRMA的目的是找到一個矩陣，使其在某種保真函數約束下盡可能逼近矩陣。為此，文獻[18]提出了一種基于加權核范數最小化的LRMA算法，即：

(6)

3 本文方法

3.1噪聲模糊圖像盲去卷積模型

(8)

為提高模糊核估計的準確性，數值求解式(7)采取從粗到精的多尺度優化策略。圖1概括了本文方法的主要步驟。首先，利用低秩先驗約束對中間清晰圖像進行降噪處理，得到降噪的中間清晰圖像。然后，通過對中間清晰圖像的非局部自相似約束，利用降噪圖像對中間清晰圖像的估計進行修正。最后，通過修正后的中間清晰圖像去估計模糊核。對于每層分解圖像，重復上述迭代優化過程對,和進行不斷修正。為獲得具有細致紋理的清晰圖像，最終的復原圖像通過非盲去卷積方法實現。

3.2優化算法

相比式(2)而言，式(7)中包含更多未知量，直接對其求解十分困難。為此，采取交替最小化策略分別對變量,和進行優化。接下來，詳細描述整個優化過程，其概述如圖1所示。

(10)

圖1 噪聲模糊圖像盲去卷積方法概述

(13)

可以看出，式(14)每個求和項都是在圖像所有像素上進行相應的求和運算。假設表示像素位置，令，則式(14)逐像素優化的目標函數可表示為。這里，表示向量2-范數。由于值在算法初始化時已選定，且變量的目標函數為1維最小化問題，故其近似解可離線預先計算形成查找表(LUT)，向量的各分量最優解可通過LUT方法獲得。而變量和可通過梯度下降策略進行更新計算。

它是一個標準的矩陣低秩逼近問題[18]。根據式(5)可知，對于每個，其封閉解為：,，其中，奇異值軟閾值算子的門限值為。

基于上述分析，中間復原圖像估計的交替優化具體如表1的算法1所示。

表1 中間復原圖像估計算法

(17)

(19)

為了更準確進行模糊核估計，本文算法采用從粗到精的多尺度優化框架實現。表3的算法3給出了在一個圖像層次上模糊核估計的主要步驟。

3.3 最終的清晰圖像估計

為獲得更好的圖像復原質量，前面中間復原圖像估計并不作為最終的復原圖像，而是利用前面得到的模糊核估計，采用非盲去卷積方法得到最終的復原圖像。本文采用文獻[14]的非盲去卷積方法估計最終清晰圖像，其目標函數定義為，其中，代表非局部均值濾波算子，為一正的常數(典型取)。

于是乎艸作教告[下闕]誓，寫彼鳥跡以紀時[下闕]蒼頡，天生德于大圣，四目靈光，為百王作書以傳萬嗣。(《倉頡廟碑》)

表2 模糊核估計算法

表3 一個圖像層次上完整的模糊核估計算法

4 實驗與結果分析

為了驗證本文算法的性能，分別選擇文獻[20]合成圖像測試集和文獻[13]低光照條件下真實數據進行實驗。實驗中，主要參數設置如下：模糊核估計時，彩色圖像需轉換成灰度圖像，算法在灰度圖像上執行。算法3中，參數的初始值取，每次和估計結束后將其乘以1.5進入下次迭代。式(12)中，取,；式(14)中，取,；式(17)中，取,；式(15)中參數按照文獻[17]設定。最終清晰圖像估計時，每個彩色圖像通道單獨處理。算法性能的定量分析中，采用平均峰值信噪比(mean PSNR)、平均圖像結構相似度(mean SSIM)[21]和模糊核相似度(Kernel Similarity)[22]3個度量。

4.1 合成圖像實驗與結果

合成圖像實驗中，選擇文獻[20]數據集進行算法驗證。該數據集包含32幅測試圖像，由4幅清晰灰度圖像和8個真實相機模糊核生成，如圖2所示(其中，第1行為清晰圖像，第2行為真實模糊核)。本文通過Photoshop軟件對該數據集的圖像分別加入2%和5%高斯白噪聲來模擬相機噪聲影響，生成2組不同噪聲水平測試圖像。在此基礎上，以模糊核估計值與真實值之間相似度為指標，定量比較本文方法、文獻[2]方法，文獻[7]方法，文獻[8]方法以及文獻[14]方法模糊核估計的準確性，實驗對比結果如圖3所示；以平均PSNR和SSIM為指標，定量評估了不同方法復原圖像的質量，具體結果見表4。可以看出，2種噪聲水平下，本文方法估計的模糊核與真實模糊核的相似度，整體上優于其他方法；且恢復的圖像也具有更高的PSNR和SSIM值。

圖2 文獻[20]數據集

圖3 不同噪聲水平下合成圖像數據集上模糊核相似度性能比較

4.2真實圖像實驗與結果

為進一步驗證本文方法的有效性，選擇文獻[13]公開的真實低光照場景噪聲模糊圖像進行測試，并將本文結果與文獻[2]，文獻[7]，文獻[8]以及文獻[14]等方法的結果進行比較。圖4給出了3幅模糊參數未知的真實圖像的測試結果，其中，左下方和右下方疊加圖像分別為模糊核和局部圖像特寫。可以看出，與其他方法相比，本文方法復原的圖像具有更少的偽影、包含更豐富的圖像紋理細節。

表4合成數據集上不同方法復原圖像的定量比較

名稱文獻[2]方法 alFAFAFAFA法文獻[7]方法文獻[8]方法文獻[14]方法本文方法 PSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIM 2%噪聲圖像118.90240.317718.8430.342921.99830.524722.48290.669724.83950.7498 圖像219.89450.305819.23740.373320.76090.446623.11480.641923.40870.6561 圖像319.70090.349118.88540.351321.37220.522121.15710.598424.25980.7254 圖像419.19250.305317.09980.243520.91630.421322.81730.665623.77390.6813 5%噪聲圖像116.88730.18249.74620.084812.95210.144921.95340.527923.98420.6481 圖像218.07310.18799.76630.080712.99280.123221.30140.427722.57270.5487 圖像317.82110.21559.93470.098112.39510.148520.92180.452623.18570.5943 圖像417.17930.16959.36860.044912.22930.090122.09870.533523.11400.5865

5 結論

針對單幅噪聲模糊圖像盲去卷積問題，本文提出了一種利用低秩先驗約束的單幅噪聲模糊圖像盲去卷積方法。該方法將低秩先驗約束引入基于MAP估計的盲去卷積框架。首先利用低秩先驗約束對估計的中間復原圖像進行噪聲抑制；然后采用降噪后的中間復原圖像進行模糊核估計，提高模糊核估計的準確性；通過交替迭代上述兩個操作獲得最終準確、可靠的模糊核估計；最后采用所估計的模糊核，通過非盲目解卷積方法復原出清晰圖像。實驗結果表明，本文方法具有較好的噪聲模糊圖像復原性能，其在合成和真實圖像上模糊核估計準確性及圖像復原質量優于代表性方法。

[1] LEVIN A, WEISS Y, DURAND F,. Efficient marginal likelihood optimization in blind deconvolution[C]. IEEE Conference on Computer Vision and Pattern Recognition, Providence, RI, USA, 2011: 2657-2664. doi: 10.1109/CVPR. 2011.5995308.

[2] KRISHNAN D, TAY T, and FERGUS R. Blind deconvolution using a normalized sparsity measure[C]. IEEE Conference on Computer Vision and Pattern Recognition, Providence, RI, USA, 2011: 233-240. doi: 10.1109/CVPR. 2011.5995308.

[3] SUN L, Cho S, Wang J,. Edge-based blur kernel estimation using patch priors[C]. IEEE Conference on Computational Photography, Cambridge, MA, USA, 2013: 1-8, 19-21. doi: 10.1109/ICCPhot.2013.6528301.

[4] LAI W S, DING J J, LIN Y Y,. Blur kernel estimation using normalized color-line priors[C]. IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 2015: 64-72. doi: 10.1109/CVPR.2015.7298601.

[5] REN W, CAO X, PAN J,. Image deblurring via enhanced low-rank prior[J]., 2016, 25(7): 3426-3437. doi: 10.1109/TIP.2016. 2571062.

[6] CHO S and LEE S. Fast motion deblurring[J]., 2009, 28(5): 89-97. doi: 10.1145/ 1618452.1618491.

[7] XU L and JIA J Y. Two-phase kernel estimation for robust motion deblurring[C]. European Conference on Computer Vision, Crete, Greece, 2010: 157-170. doi: 10.1007/978-3-642- 15549-9_12.

[8] PAN J, LIU R, SU Z,. Kernel estimation from salient structure for robust motion deblurring[J].:, 2013, 28(9): 1156-1170. doi: 10. 1016/j.image.2013.05.001.

[9] PAN J, HU Z, SU Z,.0-regularized intensity and gradient prior for text images deblurring and beyond[J]., 2016, 39(2): 342-355. doi: 10.1109/TPAMI.2016. 2551244.

[10] PAN J, SUN D, PFISTER H,. Blind image deblurring using dark channel prior[C]. IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, Nevada, USA, 2016: 1628-1636. doi: 10.1109/CVPR.2016.180.

[11] MAI L and LIU F. Kernel fusion for better image deblurring[C]. IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 2015: 371-380. doi: 10.1109/CVPR.2015.7298634.

[12] YAN R M and SHAO L. Blind image blur estimation via deep learning[J]., 2016, 25(4): 1910-1921. doi: 10.1109/TIP.2016.2535273.

[13] TAI Y and LIN S. Motion-aware noise filtering for deblurring of noisy and blurry images[C]. IEEE Conference on Computer Vision and Pattern Recognition, Rhode Island , USA, 2012: 17-24. doi: 10.1109/CVPR.2012.6247653.

[14] ZHONG L, CHO S, METAXAS D,. Handling noise in single image deblurring using directional filters[C]. IEEE Conference on Computer Vision and Pattern Recognition, Portland, Oregon, USA, 2013: 612-619. doi: 10.1109/CVPR. 2013.85.

[15] WHYTE O, SIVIC J, ZISSERMAN A,. Non-uniform deblurring for shaken images[C]. IEEE Conference on Computer Vision and Pattern Recognition, San Francisco, CA, USA, 2010: 491-498. doi: 10.1109/CVPR.2010.5540175.

[16] GU S, ZHANG L, ZUO W,. Weighted nuclear norm minimization with application to image denoising[C]. IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 2014: 2862-2869. doi: 10.1109/CVPR. 2014.366.

[17] DONG W S, SHI G M, and LI X. Nonlocal image restoration with bilateral variance estimation: A low-rank approach[J]., 2013, 22(2): 700-711. doi: 10.1109/TIP.2012.2221729.

[18] CAI J F, CANDèS E J, and SHEN Z. A singular value thresholding algorithm for matrix completion[J]., 2008, 20(4): 1956-1982. doi: 10. 1137/080738970.

[19] NOCEDAL J and WRIGHT S. Numerical Optimization[M]. NY, USA, Springer-Verlag New York, Inc., 2006: 497-506. doi: 10.1007/978-0-387-40065-5.

[20] LEVIN A, WEISS Y, DURAND F,. Understanding and evaluating blind deconvolution algorithms[C]. IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach, FL, USA, 2009: 1964-1971. doi: 10.1109/ CVPR.2009.5206815.

[21] WANG Z, BOVIK A C, SHEIKH H R,. Image quality assessment: From error visibility to structural similarity[J]., 2004, 13(4): 600-612. doi: 10.1109/TIP.2003.819861.

[22] XU L, ZHENG S, and JIA J Y. Unnatural0sparse representation for natural image deblurring[C]. IEEE Conference on Computer Vision and Pattern Recognition, Portland, Oregon, USA, 2013: 1107-1114. doi: 10.1109/ CVPR.2013.147.

Blind Deconvolution for Noisy and Blurry Images Using Low Rank Prior

SUN Shijie①②③④ZHAO Huaici①③④LI Bo①②③④⑤HAO Mingguo①③④Lü Jinfeng①②③④

①(,,,110016,)②(,100049,)③(-,,110016,)④(,110016,)⑤(,,110136,)

The purpose of single image blind deconvolution is to estimate the unknown blur kernel from a single observed blurred image and recover the original sharp image. Such a task is severely ill-posed and even more challenging especially in the condition that the noise in the input image can not be negligible. In this paper, the main problem this study focuses on is how to effectively apply low rank prior to blind deconvolution. A single noisy and blurry image blind deconvolution algorithm is proposed, using alternating Maximum(MAP) estimation combined with low rank prior. First, when estimating the intermediate latent image, low rank prior is used as the constraint that is used for noise suppression of the restored image. Then the denoised intermediate latent image in turn leads to higher quality blur kernel estimation. These two operations are iterated in this manner to arrive at reliable blur kernel estimation. Finally, the non-blind deconvolution method is chosen to be used with sparse prior knowledge to achieve the final latent image restoration. Extensive experiments manifest the superiority of the proposed method over state-of-the-art techniques, both qualitatively and quantitatively.

Blind deconvolution; Maximum(MAP) estimation; Noisy and blurry image; Low rank prior

TP391

A

1009-5896(2017)08-1919-08

10.11999/JEIT161206

2016-11-08；

改回日期：2017-04-01；

2017-05-11

孫士潔 sunshijie@sia.cn

遼寧省教育廳科研項目(L2015368)

The Scientific Research Project of the Education Department of Liaoning Province (L2015368)

孫士潔： 男，1980年生，博士生，研究方向為圖像復原.

趙懷慈： 男，1974年生，博士生導師、研究員，研究方向為圖像處理、復雜系統建模與仿真技術，指揮、控制、通信與信息處理技術.

李 波： 男，1980年生，博士生，研究方向為多光譜場景仿真.

郝明國： 男，1978年生，高級工程師，研究方向為復雜系統建模與仿真技術.

呂進鋒： 女，1990年生，博士生，研究方向為圖像處理，復雜系統建模與仿真技術.