散焦圖像的深度恢復方法綜述

吳秋峰 王寬全

摘要：散焦圖像的深度恢復是根據兩幅散焦圖像模糊程度不同的特點，從兩幅散焦圖像恢復場景的深度信息，該方法已成功應用于工業檢測、醫學和軍事等領域。結合國內外相關進展，主要論述了被動式散焦圖像的深度恢復的確定性方法、統計方法、正則化方法和偏微分方程方法，并且分析了四種方法的優劣性。

關鍵詞：散焦圖像的深度恢復； 確定性方法； 正則化方法； 統計方法

中圖分類號：TP301 文獻標識碼：A文章編號：2095-2163（2013）06-0054-03

0引言

在眾多的深度恢復方法中，散焦圖像的深度恢復（Depth from Defocus， DFD）是根據兩幅散焦圖像模糊程度不同的特點，從兩幅散焦圖像恢復場景的深度信息，既避免了聚焦圖像的深度恢復（Depth from Focus， DFF）需要拍攝大量圖像的問題， 也避免了雙（多）目視覺（Depth from Stereo， DFS）的特征點匹配困難的問題， 因此，DFD問題得到了國內外很多學者的關注和重視，并研究獲得了此問題的多種解決方法。

1DFD基本理論

由真實孔徑成像系統的成像原理知，當聚焦時，物距D，焦距Fl和像距v滿足1D+1v=1Fl；當不對焦時，點光源變為半徑為rb的模糊圓盤，成像系統各參數滿足如下關系[1]：

rb=r0v01Fl-1v0-1D（1）

其中，rb表示圓盤半徑，r0表示透鏡的半徑，v0表示像距。

為了刻畫圖像的散焦程度，引入模糊參數，模糊度σ與物距D有如下關系：

σ=ρr0v01Fl-1v0-1D（2）

由模糊參數σ表示成像過程的點擴散函數（Point Spread Function， PSF），以高斯點擴散函數為例，如下式所示：

h（i，j）=12πσ2exp-（i2+j2）2σ2（3）

散焦圖像可以表示為聚焦圖像與PSF卷積過程，即：

g（i，j）=f（i，j）*h（i，j）=∑m∑nf（m，n）h（i，j；m，n）（4）

由（1）-（4）式知，DFD問題就是從兩幅散焦圖像恢復場景的深度信息的過程。

2國內外研究現狀

下面將從確定性方法、統計方法、正則化方法和偏微分方程方法四個方面加以論述與分析。

2.1確定性方法

在DFD問題的解決過程中，確定性方法由于具有簡單性和實時性的優點，并不需要恢復清晰圖像，得到了國內外學者的廣泛關注，但因受到噪聲和窗口化的影響，使得確定性方法的精度不高[2-12]。眾多學者建立不同的參數與深度關系，總結如表1所示。

2.2統計方法

統計方法精度高，能同時恢復深度和清晰圖像，但缺點是計算復雜、不具備實時性。自1989年Dubes和Jain將隨機場模型應用于圖像分析后[13]，馬爾可夫隨機場（Markov Random Field， MRF）在圖像處理、圖像分割和機器視覺等方面得到了廣泛應用。

2008年，曾祥進等人針對顯微視覺圖像深度信息估計問題，提出了一種基于MRF的散焦特征參數模型，該模型將散焦特征深度信息的估計轉化為能量函數的優化問題，應用迭代條件模式算法進行優化，在迭代條件模式算法中應用最小二乘估計算法對初始點參數進行估計，從而改進其性能，防止了其進入局部最優解，實驗表明該模型和算法的高度可行性和良好有效性[19-20]。

2.3正則化方法

DFD問題是從多幅散焦圖像恢復場景的深度信息過程，可以看作為病態的逆過程，因此，可以采用正則化方法來加以解決。

1995年，印度工業大學Rajagopalan 和Chaudhuri根據場景深度信息具有光滑性的特點，融入光滑約束，將DFD問題轉化為變分問題，采用正則化方法加以解決[21-22]。

2003年，Favaro等人根據所涉及變量均為非負的特點，提出了將I-divergence準則代替最小二乘準則，構建保真項，使用迭代模式減少能量函數收斂于Euler-Lagrange 方程的局部最優解，恢復場景深度信息[23]。2010年，Favaro提出了基于非局部均衡化濾波正則化方法的微型構件深度信息恢復算法。該方法假設具有相似顏色的像素屬于同一曲面。將問題轉換成變分問題，采用線性化Euler-Lagrange方程方法解決此變分問題。該方法能夠有效解決大分塊曲面的三維重建[24]。

2.4基于偏微分方程方法

由于圖像成像過程可以看作為熱擴散過程，將其看成熱擴散方程，引入偏微分方程方法。

2003年，Favaro等人在各向同性擴散框架下估計場景深度信息，通過設計一種迭代算法在推斷熱擴散方程擴散系數的基礎上，估計場景深度信息，實驗結果表明，與正則化相比該方法更優、且更具實時性，但該方法卻并未解決遮擋問題。另外，采用凸梯度下降法，結果導致深度估計是一個局部最優解[25]。2008年，Favaro等人擴展了2003年的工作，將各向同性擴散框架拓展為各向異性擴散框架，來推斷模糊參數，該方法有效避免了相對模糊的測量，同時推導了一種全局算法[26]。

與Favaro工作類似，2004年，Namboodiri和Chaudhuri仍采用熱擴散方程描述成像過程，以此恢復場景深度信息，該方法不單推斷深度信息，得到了聚焦圖像，而且有效解決遮擋問題。同時也證明了DFD和DFF的等價性[27-29]。

3結束語

與其他深度恢復方法相比，DFD方法具備了有效避免匹配問題等優點，得到了廣大學者的系統深入研究，但是，場景三維信息恢復不夠細致，深度重構速度有待提高。因此，應該在以下兩方面開展進一步地研究：

（1）根據場景幾何結構的多分辨率信息，構建正則化項；

（2）提高深度恢復算法的運算效率，設計有效的優化算法。

參考文獻：

[1]CHAUDHURI S， RAJAGOPALAN A N. Depth from defocus： a real aperture imaging approach. Springer Verlag， New York， 1999.

[2]LIU Y F. A unified approach to image focus and defocus analysis[D].State University of New York at Stony Brook， 1998.

[3]PENTLAND A P. A new sense for depth of field[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1987， 9（4）： 523-531.

[4]PENTLAND A P， DARRELL T， TURK M， et al. A simple real-time range camera[C]//IEEE Conference on Computer Vision and Pattern Recognition， 1989： 256-261.

[5]GROSSMAN P. Depth from focus[J]. Pattern Recognition Letters， 1987， 5（1）：63-69.

[6]SUBBARAO M， GURUMOORTHY N. Depth recovery from blurred edges[C]//IEEE Conference on Computer Vision and Pattern Recognition， 1988： 498-503.

[7]HWANG T， CLARK J J， YUE A L. A depth recovery algorithm using defocus information[C]//IEEE Conf. Computer Vision and Pattern Recognition， 1989： 476-481.

[8]田濤，潘俊民.基于矩保持法的散焦圖像深度估計[J].上海交通大學學報， 2000， 24（7）： 917-922.

[9]程鴻，章權兵，宮炎炎.一種新的基于散焦圖像的深度恢復算法[J]. 計算機應用與軟件，2010，27（2）：271-273.

[10]周燁鋒， 邱慧娟.基于遠心光學系統散焦圖像的距離估計[J].紅外與激光工程， 2006， 35：534-537.

[11]SURYA G， SUBBARAO M. Depth from defocus by changing camera aperture a spatial domain approach[C]//IEEE Conference on Computer Vision and Pattern Recognition，1993：61-67.

[12]LEROY J， SIMON T. An efficient method for monocular depth from defocus[C]//50th International Symposium ELMAR-2008，2008：133-136.

[13]DUBES R C， JAIN A K. Random field models in image analysis[J]. Journal of Applied Statistics. 1989， 16： 131-163.

[14]RAJAGOPALAN A N， CHAUDHURI S . Optimal selection of camera parameters for recovery of depth from defocused images[C]// IEEE Conference on Computer Vision and Pattern Recognition， 1997： 219-224.

[15]RAJAGOPALAN A N， CHAUDHURI S. Performance analysis of maximum likelihood estimator for recovery of depth from defocused images and optimal selection of camera parameters[J]. International Journal of Computer Vision，1998， 30：175-190.

[16]RAJAGOPALAN A N， CHAUDHURI S. Optimal recovery of depth from defocused images using an MRF model[C]//International Conference on Computer Vision，1998：1047-1052.

[17]RAJAGOPALAN A N， CHAUDHURI S. MRF model based identification of shift variant point spread function for a class of imaging systems[J]. Signal Processing， 1999， 76（3）：285-299.

[18]RAJAGOPALAN A N， CHAUDHURI S. An MRF model-based approach to simultaneous recovery of depth and restoration from defocused images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1999， 21（7）：577-589.

[19]曾祥進， 黃心漢，吳倩，等.馬爾科夫隨機場在顯微圖像散焦深度信息估計中的應用[J]. 機器人，2008， 30（5）：416-421.

[20]ZENG X， HUANG X， WANG M， et al. The depth information estimation of microscope defocus image based-on markov random field[C]//IEEE Conference on Robotics， Automation and Mechatronics，2008：999-1004.

[21]RAJAGOPALAN A N， CHAUDHURI S. A variational approach to depth from defocus[C]//Proc. Intl. Conf.， Intelligent Robotic Systems， 1995：45-48.

[22]RAJAGOPALAN A N， CHAUDHURI S . A variational approach to recovery of depth from defocused images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1997， 19（10）：1158-1164.

[23]FAVARO P， MENNUCCI A， SOATTO S. Observing shape from defocused images[J]. International Journal of Computer Vision，2003， 52（1）： 25-43.

[24]FAVARO P. Recovering thin structures via nonlocal-means regularization with application to depth from Defocus[C]//IEEE Conference on Computer Vision and Pattern Recognition， 2010：1110-1117.

[25]Favaro P， OSHER S， SOATTO S， et al. 3D shape from anisotropic diffusion[J]. International Journal of Computer Vision，2003：179-186.

[26]NAMBOODHURI V P， CHAUDHURI S. Use of linear diffusion in depth estimation based on defocus cue[C]//Proc.4th Indian Conf. on Computer Vision， Graphics and Image Processing， 2004：133-138.

[27]FAVARO P， SOATTO S， BURGER M， et al. Shape from defocus via diffusion[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008， 30（3）： 518-531.

[28]NAMBOODHURI V P， CHAUDHURI S. On defocus，diffusion and depth estimation. Pattern Recognition Letters， 2007，28：311-319.

[29]NAMBOODIRI V P. Novel diffusion based techniques for depth estimation and image restoration from defocused images[D].Department of Electrical Engineering， Indian Institute of Technology-Bombay， 2008.