基于成像一致性檢測的光場圖像快速深度估計方法

徐翎豐

摘要：光場相機可以通過單次成像同時記錄場景中光線的強度和角度信息，這使其在深度估計中具有獨特優(yōu)勢。但目前的深度估計方法普遍存在計算量大、耗時長的問題，使得深度估計方法的實時性較差，限制了深度估計的使用場景。針對這一問題，本文從成本量函數(shù)和優(yōu)化方法兩方面進行了改進。實驗結果表明，本文方法在提高了深度估計精度的同時減少了計算耗時，提高了算法的實時性。

關鍵詞：深度估計;成像一致性檢測;數(shù)字重聚焦;光場

中圖分類號：TP18? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2019）20-0233-02

開放科學（資源服務）標識碼（OSID）：

Abstract：The light field camera can simultaneously record the intensity and angle information of the light in the scene by one exposure， which makes it have a unique advantage in depth estimation. However， the current depth estimation method generally has a large computational complexity and a long time-consuming problem， which makes the depth estimation method have poor real-time performance and limits the usage scenarios of the depth estimation. In response to this problem， this paper improves by constructing a new cost function. Firstly， digital refocusing is performed by using the original image of the light field to obtain the light field images of different depth planes. Then， the image photo-consistency detection is performed on the light field image of each depth layer， and the cost function is constructed， and adaptively acquired by the principle of minimum cost. The optimal cost at each point is obtained from the initial depth map.Finally， the fast weighted median filter is used to optimize the final depth map. The experimental results show that the proposed method reduces the computation time while ensuring the accuracy of depth estimation and improves the real-time performance of the algorithm.

Key words： depth estimation; photo-consistency detection; digital refocus; light field

當前，快速、高精度三維重建和三維成像已經(jīng)成為市場的一大需求。三維技術的核心——深度估計也逐漸成為研究熱點。傳統(tǒng)的深度估計設備主要是傳統(tǒng)相機或是相機陣列，前者單次拍攝所獲取的圖像信息量低，后者便攜性較差。光場相機的出現(xiàn)解決了這一問題。光場相機是當今一種新興的相機種類，在傳統(tǒng)的相機透鏡后加入微透鏡陣列使得它可以通過單次成像同時記錄場景中光線的強度和角度信息。

目前，利用光場圖像進行深度估計的方法主要基于立體匹配的方法、基于極平面圖像（EPI）的方法以及基于重聚焦的方法。基于立體匹配的方法中比較有代表性的是Jeon等人[1]的方法。他們較好地解決了光場相機的窄基線問題，但算法依然會受場景中的陰影、紋理和弱紋理區(qū)域影響。基于重聚焦的深度估計方法中較有代表性的是Tao等人[2]的方法，他們用馬爾可夫隨機場將匹配和散焦兩種線索融合以進行深度估計，但其全局優(yōu)化方法不僅增加了計算時間，而且使得深度估計結果過于平滑。之后，Ying等人[3]對這一不足進行了進一步改進，提升了算法對復雜遮擋區(qū)域的計算效果，但遮擋處理也使得該算法計算復雜、計算耗時長。針對以上方法中計算復雜、耗時長的問題，本文提出了一種基于成像一致性檢測的快速深度估計方法。

1算法原理

1.1 數(shù)字重聚焦

本文參考文獻[4]中的方法進行數(shù)字重聚焦，重聚焦公式如下：

式中，[Lα]為重聚焦之后的光場圖像;[L]為重聚焦之前的光場圖像;[α]為重聚焦參數(shù)，是重聚焦后深度與重聚焦之前深度之比;[s，t]為空間坐標;[u，v]為角度坐標。計算點在每個深度圖像中的匹配代價值，則匹配代價值最小的重聚焦圖像所對應的深度值即為該點的深度值。

1.2 匹配代價構建

當聚焦到某點的正確深度時，圖像中一個宏像素中所有像素對應空間中的同一個點，即像素值一致性強。利用這一特性，本文構建如下匹配代價函數(shù)：

式中，[Cα（s，t）]為深度為[α]的重聚焦圖像中空間坐標為[s，t]的點的匹配代價值;[N]為宏像素[P]內(nèi)的點的數(shù)量;[Iu，v]為宏像素[P]內(nèi)角度坐標為[u，v]的點;[I]為宏像素[P]中像素的平均值。

1.3 初始深度估計

經(jīng)過計算，能夠得到圖像中每個點在各個深度面的匹配代價值，之后采用最小代價原則，自適應地選取最佳深度值：

1.4 初始深度優(yōu)化

由于局部算法運算時取的是局部的最優(yōu)解，但局部最優(yōu)解往往不是全局最優(yōu)解，這導致

初始深度圖中存在噪聲點，因此需要對其進行優(yōu)化，將局部結果進行擴散。目前較為常用的方法是用圖割算法進行全局優(yōu)化，但這種方法存在著計算耗時長和易受原圖像中邊緣信息干擾的缺點。因此，本文采用文獻[5]中的加權中值濾波來優(yōu)化初始深度圖。

2 實驗結果與分析

2.1 實驗平臺

本文實驗所使用設備為PC，主要配置如下：CPU為IntelCorei5-6500，主頻為3.20GHz，4核;RAM為8GB，操作系統(tǒng)為Windows10，64位;使用Matlab與C++混合編程，Matlab版本為R2014b。

2.2 實驗數(shù)據(jù)

為證明本文方法的有效性，本文選取HCI數(shù)據(jù)集中的光場圖像進行深度估計。HCI數(shù)據(jù)集是采用Blender軟件渲染得到的光場數(shù)據(jù)，空間分辨率為512×512像素，角度分辨率為9×9，提供子孔徑圖像、相機參數(shù)和深度真值（GroundTruth），可以對算法效果進行全方位評估。

2.3 實驗設計

算法選取方面，本文選取了文獻 [1] 、文獻 [2] 和文獻 [3] 的方法參與對比。其中，文獻[1]的方法能夠代表傳統(tǒng)的立體匹配方法;文獻[2]的方法能夠代表傳統(tǒng)的重聚焦方法;文獻[3]是在文獻[2]計算框架的基礎上增加了對復雜遮擋場景的處理，其適應性更佳。

參數(shù)設置方面，為了控制變量，本文中參與對比的所有算法的深度等級/最大視差都設置為101級。

2.4 結果對比

本文對比選取的指標為均方誤差（MSE×100），計算公式如下：

式中，[I]為光場圖像[L]中的一點，[D（I）]為點[I]處的深度值;[gt（I）]為點[I]處的深度真值;[|L|]為圖像[L]中的像素總數(shù)。

表1給出了各種方法深度結果的均方誤差值以及算法平均耗時，可以看出，本文方法在多數(shù)場景中可以得到最優(yōu)結果，在計算效率和計算精度兩方面均明顯優(yōu)于其他方法。

3 結論

針對目前光場影像深度估計方法計算復雜、耗時長的問題，本文提出了一種快速的光場影像深度估計方法。首先利用光場原始圖像進行數(shù)字重聚焦，得到不同深度面的光場圖像;之后對每一深度層的光場圖像進行成像一致性檢測，構建成本量函數(shù)，并利用最小成本原則自適應地獲取每個點處的最佳成本量，得到初始深度圖;最后通過快速加權中值濾波進行優(yōu)化，得到最終深度圖。經(jīng)實驗結果證明，本文算法能夠同時提高算法的計算效率和計算精度。下一步工作中，我們將著力于進一步提升算法對復雜場景的深度估計精度。

參考文獻：

[1] Jeon H G， Park J， Choe G， et al. Accurate Depth Map Estimation from a Lenslet Light Field Camera [C]. Proceedings of the 2015 IEEE Conferenceon Computer Vision and Pattern Recognition. Boston， USA： [IEEE]， 2015.

[2] Tao M W， Hadap S， Malik J， et al. Depth from combining defocus and correspondence using light-field cameras[C]. Proceedings of the IEEE International Conference on Computer Vision （ICCV）. Sydney， Austrilia： [IEEE]， 2013.

【通聯(lián)編輯：唐一東】