基于深度圖像先驗的散焦圖像去模糊

摘? 要：在散焦模糊圖像中單個像素的模糊量由其景深確定，因此散焦模糊是空間變化的。傳統的去模糊方法在解決這種空間變化的反卷積問題的時候，會在不同散焦程度的邊界處產生明顯的振鈴效應。針對上述存在的問題，文章提出了基于深度圖像先驗的散焦圖像去模糊算法。實驗結果表明，與現有的散焦圖像去模糊算法對比，該算法具有更好的去散焦模糊的性能。

關鍵詞：散焦圖像;去模糊;振鈴效應;深度圖像先驗

中圖分類號：TP391? ? ? ?文獻標識碼：A 文章編號：2096-4706（2020）24-0084-05

Defocused Image Deblurring Based on Depth Image Prior

CHEN Tianming

（College of Electronic and Information Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing? 210016，China）

Abstract：In a defocused and blurred image，the blur amount of a single pixel is determined by its depth of field，so the defocus blur is spatially variable. When traditional deblurring methods are used to solve the deconvolution problem of this kind of spatial variation，obvious ringing effect will appear at the boundary of different defocus degrees. Aiming at the above problems，this paper proposes a defocused image deblurring algorithm based on depth image prior. Experimental results show，comparing with the existing defocused image deblurring algorithm，this algorithm has better defocusing and deblurring performance.

Keywords：defocused image;deblurring;ringing effect;depth image prior

0? 引? 言

在人們使用照相機等成像設備獲得目標圖像的過程中，由于光學成像系統的淺景深導致的散焦模糊，是影響圖像視覺質量的一個重要因素。為了從散焦模糊圖像中恢復出清晰圖像，通常有兩種途徑來實現，即光學方法和數學方法。其中光學方法會使得攝像系統復雜化，而且付出的成本與收益不成正比。相反，數學方法因其低廉的成本和便捷性逐漸成為主流，呈現出巨大的發展潛力。由于散焦模糊是空間變化的。這種空間變化反卷積問題的現有解決方案是，首先將輸入圖像分割成近似均勻模糊量的幾個區域，然后在每個區域上分別進行反卷積恢復出清晰圖像。

將深度卷積神經網絡應用于散焦圖像去模糊的一個困難是，網絡的訓練需要提供大量的原圖像，這很難實現。最近，Ulyanov等人[1]發現卷積神經網絡結構本身具有捕獲單個圖像低維信息的能力，由此提出了無需預先訓練就可用于圖像恢復的深度圖像先驗（Deep Image Prior，DIP）算法。受到DIP算法的啟發，本文提出了一種基于深度圖像先驗的散焦圖像去模糊算法。通過對估計出的散焦圖進行分割，得到具有多個不同參數的模糊核。通過不同散焦區域的掩膜運算，并且采用Structural Similarity（SSIM）損失函數，使得網絡訓練時能夠學習生成清晰圖像。

1? 算法實現原理

散焦圖像的去模糊主要分為三個步驟進行。首先對散焦模糊圖像進行模糊度的估計，得到散焦圖。然后通過對散焦圖區域分割，生成多個模糊核。最后在DIP網絡的框架下恢復出清晰圖像。本文對第一步散焦圖的生成，不做探討，而是運用Xu等人[2]提出的散焦模糊圖的估計算法。

1.1? 散焦模糊核的生成

在散焦圖像中，模糊量與景深有著密切的關系。由于場景深度在空間上是存在差異的，在圖像的不同位置，估計出的模糊量是不同的，也就是說模糊核在空間上是變化的。為了保證局部區域場景深度的均勻性，通過將散焦圖分割成多個區域，并將每一個區域內所有像素的模糊量平均值作為該區域的散焦模糊量，由式（1）表示：

（1）

其中，n為分割出的區域標簽，σn和mj分別為第n個區域的散焦模糊量大小和第j個像素的散焦模糊量大小，Mn為第n個區域的范圍，t為在Mn范圍內總共的像素個數，l為總共劃分出的區域個數。由此，第n個區域的模糊核定義為：

（2）

其中，x和y為坐標。這樣，我們將空間變化的盲去模糊問題轉化為一個局部區域空間不變的非盲去模糊問題。分別對每一塊區域進行恢復，并對結果進行拼接，最終得到清晰的圖像。如圖1所示，圖1（a）是模糊圖，圖1（b）是通過算法[2]估計出的散焦圖，根據一定的閾值分割，從而得到圖1（c）。計算每一塊分割區域內像素的平均值，把這個值作為模糊核的參數σn，從而得到每一塊區域的模糊核，如圖1（d）所示。

我們對于一張清晰Lena圖的四個不同區域卷積四個不同參數的高斯核，如圖2（a）為清晰圖，圖2（b）為四個不同大小的高斯核，從而得到具有不同模糊程度的散焦模糊圖像，如圖2（c）。再分別用對應的高斯核，采用超拉普拉斯先驗的快速圖像反卷積算法[3]和本文提出的去模糊算法，實驗結果如圖3（a）和圖3（b）所示。

通過觀察圖3的去模糊結果，傳統的算法在具有不同散焦量的圖像邊界上，存在很明顯的振鈴效應，而本文提出的散焦圖像去模糊算法則能恢復出良好的清晰圖像。

1.2? 基于深度圖像先驗的散焦圖像去模糊算法

本文考慮散焦圖像由多個深度層組成的情況，每一層都是由清晰圖像部分和散焦模糊核卷積的結果，也就是說，散焦模糊的圖像可以按照以下方式建模：

（3）

其中，⊙為元素對應乘積操作符，?為卷積操作符。L為區域個數，對于第i層來說，αi為二進制區域掩膜矩陣，位于該層的像素，其值為1，否則為0。ui為相應的清晰圖像部分，ki為與第i層關聯的模糊核，f為輸入的模糊圖像，n為圖像噪聲。最后的輸出則是一幅清晰圖像，用? 表示，形式為：

（4）

在本文中，αi是通過使用算法[2]估計出的散焦圖上進行分割后得到的。ki是上節散焦模糊核的生成中得到的。本文提出的基于深度圖像先驗的散焦圖像去模糊算法，網絡結構如圖4所示，圖像生成網絡x被用來捕捉清晰圖像的深層先驗信息，并且只使用輸入的噪聲進行訓練，其輸出層采用非線性Sigmoid來約束x中的像素在[0，1]之間。

圖4公式中，?為損失函數，z為輸入噪聲，x為清晰圖像，y為輸入的散焦圖像。

清晰圖像通常包含顯著的結構和豐富的紋理，這就要求生成網絡x具有足夠的建模能力。我們采用DIP網絡，即帶跳躍連接的編碼器-解碼器網絡作為x。如圖4所示，編碼器的前5層被跳躍連接到解碼器的后5層。圖5所示展示了某一單元的編碼器-解碼器結構。最后，利用卷積輸出層產生最終的清晰圖像。

利用上述生成網絡x，并且我們引入額外的TV正則化器和正則化參數來考慮模型中的噪聲水平，通過結合x和TV正則化來捕獲圖像的先驗信息，損失函數采用SSIM，由此我們可以將模型公式化為以下形式：

（5）

其中，αi為第i層的二進制掩膜矩陣，位于該層的像素，其值為1，不在該層的像素，值為0。⊙為元素對應乘積操作符，ki為第i層的模糊核，zx為輸入的噪聲，y為輸入的散焦模糊圖像，λ為正則化參數。

式（5）的優化過程可以解釋為一種“零次學習”的自我監督學習，其中生成網絡x僅使用模糊圖像y來進行訓練，而不是通過真實的清晰散焦圖像庫訓練。算法過程為：

算法1：基于深度圖像先驗的散焦圖像去模糊算法

輸入：模糊圖像y，散焦區域矩陣αi，散焦模糊核ki

輸出：清晰圖像x

從均勻分布中取樣噪聲zx

For t = 1 to T do

;

計算x的梯度

使用ADAM優化算法和式（5）更新

End

圖6所示是本文提出的基于深度圖像先驗的散焦圖像去模糊算法的工作流程。輸入一幅模糊圖，如圖6（a），首先使用散焦模糊圖估計算法[2]，得到圖6（b）稀疏散焦圖，進而通過插值獲得圖6（c）密度散焦圖。然后通過在散焦圖上進行閾值劃分，將密度散焦圖分割成多個區域，并將每一個區域內所有像素的模糊量平均值作為該區域的模糊量，由此生成多個模糊核{ki}。并且根據閾值分如圖6（e）和圖6（f），將輸入圖像分為i個不同的散焦層，得到區域矩陣{αi}，最后使用本文提出的散焦圖像去模糊算法，得到圖6（g）清晰圖像。

2? 實驗結果

在對比實驗中，我們使用了DAndrès等人[4]最近提出的具有已知散焦模糊值的數據集，該數據集具有22張自然散焦圖像。通過采用Zhuo[5]，Tang[6]，Zhang[7]，Karaali[8]提出的算法和本文提出的算法將得到的去模糊圖像與清晰圖像進行比較。我們通過比較去模糊圖像的質量Peak Signal to Noise Ratio（PSNR）和Structural Similarity（SSIM）指標來評判算法的性能。各個算法的去模糊效果指標如表1所示。

通過上表可以觀察到，只有本文的方法在平均PSNR和SSIM指標上，相較于原模糊圖像，指標呈正增益。另外我們還比較了Karaali的去模糊算法和我們的去模糊算法，在用真實散焦圖情況下的去模糊效果，我們的指標要明顯優于Karaali。由此驗證了本文提出的基于深度圖像先驗的去模糊算法是具有顯著優勢的。從中選取五張散焦模糊圖像及不同算法恢復出的清晰圖像進行展示，實驗結果如圖7所示。

3? 結? 論

本文提出了一種基于深度圖像先驗的散焦圖像去模糊算法。該算法解決了應用傳統反卷積方法到散焦圖像的去模糊中所存在的明顯的振鈴效應現象。并且通過對比其他散焦圖像去模糊算法，驗證該算法表現出更好的去模糊性能。由于該算法依賴于散焦圖的估計，從而得到多個模糊核，屬于非盲反卷積。后續工作中需要設計一種盲反卷積，通過迭代的方法同時估計出模糊核和清晰圖像。

參考文獻：

[1] LEMPITSKY V，VEDALDI A，ULYANOV D. Deep Image Prior [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：9446-9454.

[2] XU G D，QUAN Y H，JI H. Estimating Defocus Blur via Rank of Local Patches [C]//2017 IEEE International Conference on Computer Vision（ICCV）.Venice：IEEE，2017：5381-5389.

[3] KRISHNAN D，FERGUS R. Fast Image Deconvolution using Hyper-Laplacian Priors [C]//NIPS09：Proceedings of the 22nd International Conference on Neural Information Processing Systems.Vancouver：Curran Associates Inc，2009：1033-1041.

[4] DANDR?S L，SALVADOR J，KOCHALE A，et al. Non-parametric Blur Map Regression for Depth of Field Extension [J].IEEE Transactions on Image Processing，2016，25（4）：1660-1673.

[5] ZHUO S J，SIM T P. Defocus map estimation from a single image [J].Pattern Recognition，2011，44（9）：1852-1858.

[6] Tang C，HOU C P，Song Z J. Defocus map estimation from a single image via spectrum contrast [J].Optics Letters，2013，38（10）：1706-1708.

[7] ZHANG X X，WANG R G，JING X B，et al. Spatially variant defocus blur map estimation and deblurring from a single image [J].Journal of Visual Communication and Image Representation，2016，35（3）：257-264.

[8] KARAALI A，JUNG C R. Edge-Based Defocus Blur Estimation With Adaptive Scale Selection [J].IEEE Transactions on Image Processing，2018，27（3）：1126-1137.

作者簡介：陳天明（1995—），男，漢族，江蘇啟東人，碩士研究生，研究方向：數字圖像處理。