基于SPO 和立體匹配的深度估計(jì)算法

陳思宇

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

光場(chǎng)成像與傳統(tǒng)成像相比，其主要優(yōu)勢(shì)體現(xiàn)在：①任意深度的圖像都可以通過(guò)對(duì)光場(chǎng)數(shù)據(jù)進(jìn)行計(jì)算來(lái)獲取，同樣的消除了孔徑大小對(duì)于景深的限制；②在積分成像之前對(duì)光福射的相位誤差進(jìn)行校正，能夠解除幾何像差對(duì)于成像結(jié)果的影響；③由于光場(chǎng)圖像在收集過(guò)程中采集了光線的角度信息，所以蘊(yùn)含了能夠計(jì)算成像物體的光譜圖像數(shù)據(jù)和三維形態(tài)信息。光場(chǎng)成像相比傳統(tǒng)成像是一種計(jì)算成像技術(shù)，其利用目前先進(jìn)的數(shù)據(jù)分析和處理能力的優(yōu)勢(shì)，不光降低了成像對(duì)于硬件性能的需求，而且還克服了許多傳統(tǒng)成像技術(shù)的局限性。

隨著商用光場(chǎng)相機(jī)的出現(xiàn)，光場(chǎng)圖像處理漸漸成為計(jì)算機(jī)視覺(jué)方向非常流行的研究主題。原始光場(chǎng)相機(jī)圖像可以解碼為子孔徑圖像的規(guī)則陣列，即從稍微不同的視點(diǎn)來(lái)看同一場(chǎng)景的多視角圖像。光場(chǎng)圖像也可以用于合成生成密集的焦點(diǎn)堆棧。在后期處理中，光場(chǎng)圖像可用于克服許多挑戰(zhàn)，例如場(chǎng)景結(jié)構(gòu)推斷、圖像重聚焦和新的視圖合成，這些是傳統(tǒng)2D 或立體圖像難以解決的問(wèn)題。深度估計(jì)作為光場(chǎng)處理的基本問(wèn)題，成為了光場(chǎng)處理的研究熱點(diǎn)。

1 相關(guān)工作

深度估計(jì)可以應(yīng)用于三維重建、圖像超分辨、抗遮擋和重聚焦等方面。光場(chǎng)圖像深度估計(jì)算法主要分為EPI、立體匹配、散焦及融合和機(jī)器學(xué)習(xí)等方法。目前，國(guó)內(nèi)外對(duì)于光場(chǎng)圖像深度估計(jì)有了一些進(jìn)展。

Jeon 等人的方法首先使用相移理論在頻域上進(jìn)行位移，然后構(gòu)建一個(gè)匹配代價(jià)函數(shù)，隨后對(duì)于該代價(jià)函數(shù)利用邊緣保持濾波器進(jìn)行損失聚合，得到優(yōu)化后的代價(jià)量。緊接著建立了一個(gè)多標(biāo)簽優(yōu)化模型以及迭代優(yōu)化模型對(duì)深度圖進(jìn)行優(yōu)化。

Zhang 等人提出了一種旋轉(zhuǎn)平行四邊形算子（SPO），該算子主要提取EPI 直線并計(jì)算其斜率從而進(jìn)行局部深度估計(jì)。旋轉(zhuǎn)平行四邊形算子最大化了平行四邊形窗口內(nèi)兩個(gè)部分之間的分布距離，以提取深度信息。此方法對(duì)遮擋、噪聲、空間混疊和有限的角分辨率不敏感。

EPI 深度估計(jì)利用場(chǎng)景深度和EPI 圖極線斜率之間的比例關(guān)系從而獲取深度信息，能夠一定程度上消除深度不連續(xù)區(qū)域及鏡面反射光的負(fù)面影響，并且在被遮擋區(qū)域效果較為良好。但是這類方法計(jì)算量過(guò)于龐大，并且對(duì)于噪聲反應(yīng)敏感。立體匹配深度估計(jì)方法利用多視角間的關(guān)系推出深度圖，能夠有效消除光場(chǎng)混疊效應(yīng)以及視角串?dāng)_的影響，并且對(duì)于復(fù)雜的遮擋場(chǎng)景具有一定魯棒性。

2 深度估計(jì)算法

本算法主要分為三個(gè)步驟：①使用SPO 算法計(jì)算出深度估計(jì)結(jié)果。②使用基于相移理論的立體匹配算法計(jì)算出深度估計(jì)結(jié)果。③分別提取SPO 深度圖中的高頻信息和基于相移理論的立體匹配深度圖的低頻信息最后融合為新的深度圖。

2.1 SSPPOO算法

SPO 中文名為“旋轉(zhuǎn)平行四邊形算子”，通過(guò)SPO來(lái)計(jì)算深度圖的步驟：

（1）分別通過(guò)旋轉(zhuǎn)平行四邊形算子計(jì)算出EPI 水平和垂直圖像的直方圖距離。

（2）通過(guò)一個(gè)基于置信度的方法來(lái)融合兩個(gè)方向的直方圖距離x2。

（3）最后進(jìn)行深度圖優(yōu)化。

對(duì)于SPO 算子首先使用加權(quán)函數(shù)來(lái)定義平行四邊形算子的大小，窗口中的權(quán)重用于衡量每個(gè)像素對(duì)于距離的貢獻(xiàn)，并使用了高斯導(dǎo)數(shù)來(lái)創(chuàng)建加權(quán)函數(shù)。定義窗口中的相應(yīng)像素的權(quán)重為：

然后選擇顏色直方圖的卡方檢驗(yàn)來(lái)測(cè)量像素顏色分布之間的差異：

2.2 基于相移理論的立體匹配算法

基于相移理論的立體匹配方法來(lái)計(jì)算深度圖的步驟如下：

（1）根據(jù)相移的思想來(lái)實(shí)現(xiàn)亞像素的匹配。

（2）構(gòu)建一個(gè)匹配代價(jià)函數(shù)進(jìn)行子視圖之間的匹配。

（3）最后對(duì)深度圖進(jìn)行優(yōu)化和增強(qiáng)。

相移理論主要是空域的一個(gè)小的位移在頻域?yàn)樵夹盘?hào)的頻域表達(dá)與位移的指數(shù)的冪乘積，公式如下：

然后構(gòu)建代價(jià)函數(shù)：

在公式（4）中的α?[0,1]用來(lái)調(diào)整 SAD 代價(jià)CA和GRAD 代價(jià)CG之間的權(quán)重。其中CA的定義為：

其中Rx是一個(gè)以x 為中心的小矩形區(qū)域；τ1是為了增加代價(jià)函數(shù)魯棒性的截?cái)嘀担籚 表示除了中心視角sc之外的其余視角。公式（5）通過(guò)比較中心子孔徑圖像與其他子孔徑圖像的差異來(lái)構(gòu)建損失量，具體而言就是通過(guò)不斷地在某個(gè)視角上x點(diǎn)的周圍移動(dòng)一個(gè)小的距離并于中心視角做差；重復(fù)這個(gè)過(guò)程直到比較完所有的視角（i=1…視角數(shù)目N）為止。此時(shí)會(huì)用到上面提及的相移理論以得到移動(dòng)后的像素強(qiáng)度，注意上面提到的小的距離實(shí)際上就是公式中的Δx，它被定義為如下形式：

其中k 表示深度/視差層的單位（像素），Δx 會(huì)隨著任意視角與中心視角之間距離的增大而線性增加。同理，可以構(gòu)造出第二個(gè)匹配代價(jià)量GRAD，其基本形式如下所示：

至此，代價(jià)函數(shù)構(gòu)建完畢。隨后對(duì)于該代價(jià)函數(shù)利用邊緣保持濾波器進(jìn)行損失聚合，得到優(yōu)化后的代價(jià)量。

2.3 濾波處理

兩種深度估計(jì)方法對(duì)于深度的推斷都具有一定的局限性。EPI 方法對(duì)于噪聲過(guò)于敏感，因此這種深度始終不夠準(zhǔn)確。立體匹配方法無(wú)法為復(fù)雜的薄結(jié)構(gòu)或非常大的無(wú)紋理區(qū)域恢復(fù)準(zhǔn)確的深度。故本方法結(jié)合兩種深度估計(jì)方法的優(yōu)點(diǎn)從而達(dá)到更好的效果。首先，采用高斯高頻濾波器在頻域上對(duì)SPO 算法的深度圖進(jìn)行濾波，同時(shí)采用高斯低頻濾波器對(duì)立體匹配方法的深度圖進(jìn)行濾波。然后將高頻部分和低頻部分結(jié)合到SPO 深度圖上。經(jīng)實(shí)驗(yàn)驗(yàn)證，發(fā)現(xiàn)取得了較好的結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文改進(jìn)算法的可行性和有效性，對(duì)多組HCI 數(shù)據(jù)集圖像進(jìn)行實(shí)驗(yàn)，得出結(jié)果采用HCI 的評(píng)價(jià)與SPO 方法和立體匹配方法進(jìn)行比較。算法實(shí)現(xiàn)使用MATLAB 2014，運(yùn)行環(huán)境為Window 10，計(jì)算機(jī)配置為Intel Core i5 3.2GHz 和 8GB RAM。

圖1 為HCI 數(shù)據(jù)集中sideboard 光場(chǎng)圖像分別采用SPO 算法、立體匹配算法和本文算法而獲取的深度估計(jì)結(jié)果。

圖1 sideboard光場(chǎng)圖像的深度估計(jì)結(jié)果

圖2 為HCI 數(shù)據(jù)集中boxes 光場(chǎng)圖像分別采用SPO 算法、立體匹配算法和本文算法而獲取的深度估計(jì)結(jié)果。

圖2 boxes光場(chǎng)圖像的深度估計(jì)結(jié)果

在HCI 數(shù)據(jù)集的一般采用MSE 來(lái)評(píng)價(jià)結(jié)果，通過(guò)計(jì)算得出的視差圖為d，地面真實(shí)視差圖gt 和評(píng)估掩膜M，則MSE定義為：

表1 為采用HCI 數(shù)據(jù)集評(píng)價(jià)標(biāo)準(zhǔn)MSE 來(lái)對(duì)三種算法評(píng)價(jià)的結(jié)果。

表1

由表1 可以看出本文算法在深度估計(jì)結(jié)果的精確度方面有了較好的提升，在紋理更復(fù)雜的boxes 光場(chǎng)圖像中的提升更加明顯。高頻濾波將SPO 算法中處理更好的紋理部分提取，低頻濾波將立體匹配算法中處理更好的非紋理區(qū)域進(jìn)行提取，在紋理和非紋理部分都進(jìn)行了加強(qiáng)，因此精確度才有了提高。

4 結(jié)語(yǔ)

本文針對(duì)光場(chǎng)圖像中深度估計(jì)結(jié)果的精確度問(wèn)題展開研究，在現(xiàn)有深度估計(jì)方法上提出改了進(jìn)。首先分別采用SPO 算法和立體匹配算法獲得深度估計(jì)結(jié)果，然后進(jìn)行濾波處理，從而獲得更精確的深度估計(jì)結(jié)果。實(shí)驗(yàn)表明，本文算法在精確度上有了良好的改進(jìn)。但是，算法在時(shí)間效率上還是有些欠缺，在之后的研究中會(huì)努力改進(jìn)。