基于彩色圖像輪廓的深度圖像修復方法

蘇 東， 張 艷， 曲承志， 張 鑫

(中山大學 航空航天學院，廣東 深圳 518060)

1 引 言

深度圖像被廣泛應用于計算機視覺、圖形學、虛擬現實等領域。根據獲取深度信息的方式不同，可分為被動光方法和主動光方法。被動光方法[1]是利用計算機視覺技術，通過計算二維圖像特征與三維空間的幾何對應關系來獲取深度圖像，但存在高代價的時間復雜度和深度圖像分辨率較低的問題。基于飛行時間(Time-of-Fly，ToF)原理的主動光方法[2]是通過測量光線發射時間和經物體表面后反射回來的時間差值計算物體的距離信息,具有可實時采集物體表面的三維幾何信息、受環境和光照條件影響小的優點，是對傳統三維信息獲取方法的一種突破，勢必會促進相關領域的發展。但由于受到傳感器硬件條件的限制，它得到的深度圖像分辨率低，并且含有大量的無效點，限制了ToF相機的市場推廣與應用。

根據ToF相機的成像機制，對同一場景的彩色圖像和深度圖像進行分析，一般存在3種無法獲得物體深度信息的情況[3]:特殊材料(透明玻璃、鏡子、黑色的物體),導致回波的光子強度太強或者太弱，接收系統無法接收到回波光子；遮擋(目標物體的邊緣)，使得回波光子無法返回接收系統；超出ToF傳感器的范圍。

針對上述問題，已有大量的學者做了相關研究。李詩銳等人[4]選擇簡單的直通濾波對深度圖像進行修復處理,該方法可以對特定視場內物體進行重建，避免不必要物體的干擾，但是對于在閾值范圍內的像素點無法進行修復處理。Newcombe等人[5]提出的KinectFusion方法在深度圖預處理階段使用雙邊濾波，雖然該方法在一定程度上可以對范圍較小的無效點進行修復，但沒有利用高質量的彩色圖像信息，且存在過度平滑的現象。王亞強等[6]提出了各向異性擴散算法，這種平滑在顏色均勻區域不受限制，只有在跨越邊緣時受到抑制，從而有選擇性地降低噪聲，但該算法在去除無效點的過程中都只用到像素點的四鄰域，可靠性較差。Le Av等人[7]提出了指向性聯合雙邊濾波方法，由于對高分辨率的彩色圖像加以利用，使得該方法與前文提到的方法相比保邊和修復效果更好，但對于含有大面積無效點的深度圖像無法進行有效填充。為此，Li Chen等人[8]對聯合濾波方法進行了研究，并且預先對無效點進行填充，在填充時利用無效點對應的彩色圖像來確定填充區域，當需要填充的無效面積大于之前確定的填充區域時，這些區域中的某些無效點就不會被填充。Wang Zhongyuan等人[9]采用位置引導矩陣完成深度圖像中無效點的填充，可以更好地提高深度圖像的質量，但對于一些大面積的孔，它仍然有一定的局限性。Diebel等人[10]提出了一個基于兩層的馬爾科夫隨機場方法對低分辨率的深度圖像和與之對應的高分辨率彩色圖像進行建模，通過求解馬爾科夫隨機場最優化問題對深度圖像進行上采樣，進而得到修復后的高分辨率深度圖像。Yang等人[11]則首先找出深度圖像中的所有缺失區域，然后對每個缺失區域選擇其鄰近區域，繪制該鄰近區域中所有的有效像素值的分布圖，利用分布圖中像素值最大的幾個像素點的均值來代替所要修復區域中的深度值，但是該方法將整個無效區域作為一個整體，沒有考慮到無效區域中不同像素點之間的差異性，故該方法具有盲目性、修復精度不高的缺點。Criminisi等人[12]先找到待修復區域，確定待修復區域的填充次序，然后從待修復區域邊界上尋找最先需要被修復的像素點，在其附近搜尋最佳的匹配區域，將該區域相應位置的有效像素值填充到待修復像素點上，通過不斷迭代完成無效點的填充。Xiong Xinli等人[13]在確定待修復區域的填充次序時將方差考慮進去，優化了填充順序函數，但在計算方差時沒有考慮到不同距離的有效點的權值應該有所不同。

本文考慮到深度圖像與彩色圖像是對同一三維場景的不同觀察結果，兩者具有很強的結構相關性，并且彩色圖像比深度圖像擁有更加清晰的紋理細節。因此，為解決無效點的填充問題，本文提出一種基于彩色圖像輪廓的深度圖像修復方法。該方法考慮到不同位置的像素重要程度不同，將高斯權值函數引入到方差計算過程中，對填充次序函數進行優化；為了解決邊緣模糊，提高填充質量，該方法結合投影過來的高質量彩色圖像輪廓進行填充點的優化，在對無效點進行填充時，目標物體內的點只在目標物體內采用最小歐式距離的方式尋找最佳填充點。

2 基本原理

2.1 確定無效點和填充窗口

根據ToF相機的距離測量機制，傳輸和反射的紅外光波在某些情況下可能無法測量到場景中某些點的距離信息，本文稱這些未被觀測到的點為無效點。由于場景的距離信息以深度圖像的形式存儲，所以這些無效點就會在深度圖像中被表示成值為零的像素，通過遍歷圖像，可以對無效點進行標記和跟蹤。如圖1所示，本文將整個圖像區域定義為I，需要填充的無效點區域定義為Ω，有效點所在區域定義為Φ(Φ=I-Ω)，目標物體所在區域定義為O，待填充的無效區域邊界上的無效點定義為p，表達式為

{p|I(p)=O∩p∈?Ω}

(1)

式中，I(p)是點p處的像素值。

圖1 各符號說明圖Fig.1 Illustration of each symbol

接下來，如同exemplar-based[14]紋理合成，必須指定點p的鄰域Ψp，本文提供的默認鄰域Ψp的大小為點p的8鄰域(點p周圍距離其最近的8個像素)，但在實際運用過程中可根據需要填充的目標區域的大小靈活確定。一旦確定了這些參數，無效點的填充就會自動進行。

2.2 無效點的填充優先級計算

通過選擇最佳填充策略來實現無效點的填充，該策略完全取決于每個待填充的無效點的優先級。填充優先級將會偏向于以下無效點：(i)無效點被高置信度像素包圍，即處在目標區域Ω邊緣上的無效點；(ii)鄰域Ψ內的像素方差較低的點。

如圖1所示，給定一個待填充的點p的鄰域Ψp，p∈?Ω，點p的優先級的表達式為:

(2)

式中,C(p)是置信度函數，即點p鄰域Ψ內有效點的像素個數，D(p)是點p鄰域Ψp中有效點像素值的方差，可表示為:

C(p)=∑q∈Ψp∩(I-Ω)C(q),
D(p)=∑q∈Ψp(I(q)-E(p))2ω(q)

(3)

式中，I(q)是點q的像素值，E(p)是鄰域Ψp內像素值的期望，ω(q)是權值函數，表達式為:

(4)

式中，|Ψp|是鄰域Ψp內的非零值像素個數，σ為標準差，(p-q)2是兩個點之間距離的平方。

置信度C(p)可以被認為是一種度量無效點周圍有效點個數的函數，意圖是首先填補那些周圍有更多有效點的無效點。粗略地說，式(2)中的C(p)項近似地實現了理想的向內填充順序，使得目標區域邊界上的像素往往具有更大的置信值，因此會被優先填充；反之，無效點在目標區域的中心則會有較小的置信度，后被填充。

通過分析深度圖像產生無效點的原因，可以得知無效點的出現造成了深度數據的突變，使得該區域深度值不再連續，方差變大，因此方差項D(p)可以被認為是一種度量無效點周圍有效點可靠程度的函數。

2.3 彩色圖像的輪廓提取與投影

本文方法在對無效點的填充過程中，需要對彩色圖像的輪廓加以利用,但深度圖像和彩色圖像之間存在視差，所以需要事先將深度圖像與彩色圖像進行配準，如圖2所示。首先為了能夠在圖2(a)中提取出目標物體的最外層輪廓，需要先利用彩色圖像像素值的差異對目標物體進行前背景分離，分離后可以看到背景顏色被設置成了黑色,如圖2(b)所示；然后將分離出來的目標物體的顏色設置成白色，并對圖片進行二值化處理(二值化處理是將三通道彩色圖像轉換成單通道的二值圖像)，如圖2(c)所示；其次采用Canny算子[15]對目標物體的最外層輪廓進行提取，得到的輪廓還包含少許噪聲，這時我們選取面積最大的輪廓就得到了不含噪聲的目標物體的最外層輪廓。最后采用張正友標定法[16]，得到相機的內外參矩陣，再利用同一時刻的彩色相機和深度相機的外參矩陣，求得它們之間的旋轉矩陣Rd2rgb和平移矩陣Td2rgb，具體計算過程如式(5)所示：

Rd2rgb=Rrgb*Rd-1
Td2rgb=Trgb-Rd2rgb*Td

(5)

式中，Rd,Td和Rrgb,Trgb分別是深度圖像和彩色圖像的旋轉和平移矩陣。配準后的彩色圖像輪廓，如圖2(d)所示，與圖2(e)深度圖像中的目標物體的輪廓相比，可以看到彩色圖像的輪廓更加清晰，且沒有最外層的偽輪廓。

圖2 預處理過程。(a)彩色圖像；(b)彩色圖像前景分離；(c)彩色圖像二值化；(d)配準后的彩色圖像輪廓；(e)原始深度圖像。Fig.2 Pretreatment process. (a) Color images; (b) Separation of perspectives; (c) Binary images; (d) Image contour after alignment(e)Original depth image.

2.4 最優填充值確定

(6)

2.5 填充優先級的更新

假設待填充區域的像素值如圖3(a)所示，如利用按行或者列的方式對待填充區域進行填充，當填充到點p(3,4)時，由于其鄰域Ψp的像素值都為零，則無法對該點進行填充。而本文方法通過優先級函數來確定無效點的填充順序(為了便于說明，將有效點的填充優先級設置為*)，則可以彌補按行或者列的填充方法的不足。

通過圖3(b)可以看出，根據優先級函數計算結果，首先被填充的點是p(3,4)，使用式(6)對其進行填充，圖3(c)表示點p(3,4)填充后的像素值，圖3(d)表示填充后的優先級函數計算結果，由圖可見，每次填充結束后，只會改變被填充的點p及其鄰域Ψp中無效點的填充優先級，因此迭代更新計算可以簡化，不需要更新所有點的填充優先級，僅需更新點p及其鄰域Ψp的填充優先級即可，可節省大量計算時間。

圖3 填充優先級更新。(a)點p填充前的像素值；(b)點p填充前的填充優先級；(c)點p填充后的像素值；(d)點p填充后的填充優先級。Fig.3 Fill priority update. (a) Pixel value before filling point p; (b) Filling priority before point p filling; (c) Pixel value after point p filling; (d) Filling priority after point p filling.

3 分析與討論

基于彩色圖像輪廓的深度圖像修復方法的實現流程如圖4所示，首先通過制定規則，確定無效點的填充順序；再對彩色圖像的輪廓進行提取和投影，確定填充邊界；最后利用歐式距離選取最佳填充點。通過迭代上述3個步驟，直到所有無效點得到填充。

圖4 方法流程圖Fig.4 Chart of method flow

為了評估上述方法對于深度圖像的修復性能，實驗采用了兩類測試圖像。一類測試圖像是由標準深度圖像合成的模擬深度圖，另一類測試圖像是由kinect v2深度相機對實驗場景拍攝的原始深度圖像。其中，模擬深度圖像是以middleburry[17-18]數據集中的標準視差圖為基礎，通過疊加環境光噪聲合成得到，包括“art”、“books”、“dolls”、“moebius”和“Reindeer”5組數據。因為標準視差圖像是人工矯正過的，故可直接將合成的模擬圖像當作對應的“真實值”。另外，本文從現有的深度圖像修復方法中選取中值濾波、聯合雙邊濾波方法和基于填充優先級函數的深度圖像修復方法[13]與本文提出的方法進行實驗對比。

第一組實驗選取的是由“art”數據集中的標準視差圖生成的模擬深度圖像，如圖5所示。這幅測試圖的特點是強調了遠景和近景組合的噪聲特性，其背景組成較為復雜，人物邊緣的信息很豐富。圖5(a)展示了原始的模擬深度圖像，即測試圖像對應的場景真實深度，圖5(b)是對模擬深度圖像施加了環境光噪聲后生成的測試圖像，圖5(c)～圖5(f)分別展示了中值濾波、聯合雙邊濾波、基于填充優先級函數的深度圖像修復方法和本文方法對測試圖像進行無效點填充后的結果。為了直觀比較不同算法的濾波性能，圖5(g)～圖5(l)分別展示了圖5(a)～圖5(f)中標注框對應的局部細節放大圖。對比實驗結果可以發現，中值濾波在人頭像的下巴處出現過度平滑現象,聯合雙邊濾波對于面積稍微大一點的無效點填充效果很不理想，填充優先級的修復方法由于沒有對匹配點的區域進行限制，導致在細節圖中存在很多錯誤的匹配點，本文方法則能在有效填充大面積無效點的同時更好地保持其邊緣信息。

圖5 各方法修復效果對比。(a)標準視差圖像；(b)加噪聲圖像；(c)中值濾波；(d)聯合雙邊濾波；(e)填充優先級的修復方法；(f)本文方法；(g)標準視差局部細節圖像；(h)加噪聲圖像局部細節圖像；(i)中值濾波局部細節圖像；(j)聯合雙邊濾波局部細節圖像；(k)填充優先級的修復方法局部細節圖像;(l)本文方法局部細節圖像。Fig.5 Comparison of denoising effects of each method. (a) Standard parallax image; (b) Noise image (c) Median filter image; (d) Joint bilateral filtered images; (e) Filling priority repair method; (f) Image filtering method in this paper; (g) Standard parallax image local detail image; (h) Plus noise image local detail image; (i) Median filter local detail image; (j) Joint bilateral filtering of local detailed images;(k) Filling priority repair method partial detail image; (l) The method in this paper is used to filter local detail image.

圖6顯示的是中值濾波、聯合雙邊濾波方法、填充優先級的修復方法和本文方法對模擬的深度圖像修復后的邊緣細節對比。其中，圖6(a)是原始的模擬深度圖像(真值)，圖6(b)～圖6(e)分別是經中值濾波、聯合雙邊濾波、填充優先級的修復方法和本文方法處理后的結果。為了在邊緣信息上進行確切的數值分析，圖6(f)展示了圖6(a)～圖6(e)中橫線部分的數值，可以看出，中值濾波在填充過程中，會使像素變化的區域出現過度平滑，而聯合雙邊濾波為了保持目標物體的邊緣信息，則對大面積無效點無法進行修復(像素值大幅度階躍至零值，即無效點沒有得到填充)，填充優先級的修復方法雖然能對大面積的無效點進行填充，但存在許多錯誤的匹配點。由此可見，與其他方法相比，本文方法可以兼顧兩方面的需求，既能實現對大面積無效點的有效修復，也可以保持物體的邊緣信息。

圖6 濾波效果與標準深度圖像對比。(a)標準視差圖像局部細節圖像；(b)中值濾波局部細節圖像；(c)聯合雙邊濾波局部細節圖像；(d)填充優先級的修復方法局部細節圖像；(e)本文方法濾波局部細節圖像；(f)濾波結果與標準深度圖像細節對比圖。

除了從圖像上主觀感受各濾波算法的修復性能，本文還以信噪比(SNR)作為定量評價指標，對各濾波算法在模擬的深度測試圖像上的修復能力進行客觀比較。深度圖像的SNR值的計算方法如式(7)所示，它表示深度圖像中信號與噪聲的方差之比。對于同一真實深度圖，濾波后深度圖的SNR值越大，說明算法的修復效果越好，反之說明對深度圖像的修復效果越差。

(7)

式中，I(p)表示原始的標準視察圖在點p處的像素值，I′(p)則表示經過濾波處理后的深度圖像在點p處的像素值。另外，M和N分別是深度圖像在x和y方向上的分辨率。

各種濾波算法對5組測試圖像的修復結果如表1所示。模擬加噪聲圖像后的深度圖像的SNR值是30～36dB。其中，各濾波算法的參數設置如下：中值濾波的內核設定為7～9；聯合雙邊濾波的圖像空間域的標準差σs=5～7，顏色域的標準差σr=5～7。值得注意的一點是，其他濾波方法的參數需要根據測試圖像中的場景信息而定，目的是為了盡量避免濾波后的深度圖像的邊緣過度平滑。

表1 模擬深度測試圖像中各中濾波算法的修復性能對比(dB)Tab.1 Comparison of denoising performances of various filtering algorithms in simulated depth test images (dB)

從表1的實驗結果可以看出，本文所提方法在無效點填充和噪聲濾上明顯優于其他常用方法，針對不同目標物體在SNR指標上提高了2～14 dB。

第二組實驗則利用kinect v2深度相機，開展對實際拍攝深度圖像的濾波效果驗證。其中，圖7(a)顯示的是由kinect v2相機拍攝的原始深度圖像，圖7(b)～圖7(e)是經中值濾波、聯合雙邊濾波、填充優先級的修復方法和本文方法處理后的結果。為了便于分析比較，圖7(f)～圖7(j)分別對應了圖7(a)～圖7(e)中方框標注區域的局部放大圖。從圖7(f)～圖7(j)可以看出，中值濾波會出現過度平滑的現象，聯合雙邊濾波的保邊效果不錯，但對于大面積的無效點填充能力有限，填充優先級的修復方法會出現一些錯誤的匹配點，而本文提出方法不僅實現了無效區域的有效填充，還能保持物體邊緣區域的信息，如場景中人物的右耳部分。為了對算法性能進行直觀比較，圖8中顯示了圖7(f)～圖7(j)中橫線部分的深度數值。由圖8可知，中值濾波會出現過度平滑的現象(階躍的像素值變化經過平滑后變成了緩慢變化)，聯合雙邊濾波為了保持物體的邊緣信息，導致了大面積的無效點(像素值為0)的填充效果不明顯，填充優先級的修復方法出現了錯誤匹配的點，而本文方法在保持目標物體邊緣信息的同時還可以對無效點進行有效的填充。

圖7 各個算法對真實ToF深度圖像的修復效果對比。(a)原始深度圖像；(b)中值濾波；(c)聯合雙邊濾波；(d)填充優先級的修復方法；(e)本文方法；(f)原始細節圖像；(g)中值濾波局部細節圖像；(h)聯合雙邊濾波細節圖像；(i)填充優先級的修復方法局部細節圖像；(j)本文方法局部細節圖像。Fig.7 Comparison of denoising effects of various algorithms on real ToF depth images. (a) Ori-ginal depth image; (b) Median filtering; (c) Joint bilateral filtering; (d) Filling priority restoration method; (e) Method of this paper; (f) Original detail image; (g) Median filteringlocal detail image; (h) Joint bilateral filtering detail image; (i) Filling priority repair method local detail image; (j) This method local detail image.

圖8 濾波結果與標準深度圖像細節對比圖Fig.8 Comparison of filtering results with standard depth image details

實驗結果表明，與中值濾波相比，本文方法可以很好地保持目標的邊緣信息；與聯合濾波相比，本文對于大面積無效點的填充效果更好；與填充優先級的修復方法相比，本文方法可以有效地減少錯誤點的匹配數量。總之，與其他修復算法相比，本文算法在保護目標物體邊緣的前提下，可以將信噪比提高2～14 dB，實現對無效點的有效填充。

5 結 論

由于場景的遮擋、材料對紅外線的吸收和物體超出成像范圍的原因，使得深度圖像中存在不同類型的無效點，因此本文提出了一種基于優先級函數計算的深度圖像無效點填充算法。該算法不同于以往按照行或列掃描來對深度圖像的無效點的填充方法，而是根據貪心算法和彩色圖像設計一種評價函數來確定深度圖像中無效點的填充優先級，再按照填充優先級對無效點依次填充。本文方法在填充的過程中可動態地評估待填充無效點的優先級，因此在對深度圖像中大面積無效點進行有效填充的同時，還可以提高目標物體邊緣信息的可靠性。