基于FMM算法的深度圖像修復研究

張汝峰 項 璟 陳 鵬 張亞娟 張喜英 薛 瑞

(北京交通大學海濱學院，河北 滄州 061199)

0 引言

利用結構光原理獲取深度圖像(如奧比中光、微軟Kinect等)，會出現空洞現象(即該區域采集不到深度值)，限制有用信息的利用。主要原因有：紅外線發射器和紅外線攝像機前有其他目標物體的遮擋、吸收紅外線的材料、不能反射激光散斑的結構和成像范圍之外等，導致不能形成或接收反射散斑，造成深度信息的缺失現象[1]。受FMM算法在彩色圖像中有良好的修復效果啟發，提出改進的FMM深度圖像修復算法。

1 FMM算法

FMM算法是由Telea在2004年提出的[2]，主要思想是先處理待修復區域邊緣的像素，然后逐步向內推進，直到所有空洞點修復完畢。設Λ為待修復區域，?Λ為區域Λ的邊界，p為區域Λ的任意一點，在點p周圍已知圖像內選擇一鄰域U(p)。為了填充更加精確，增加已知像素點q對待填充空洞點p的影響，添加一個權重函數w(p,q)，在鄰域U(p)尺度較小時，對點p一階估計：

(1)

其中I位像素值，I(q)為q點的梯度，w(p,q)=dir(p,q)dst(p,q)lev(p,q)，dit(p,q)為距離因子，反映了已知像素q對待填充空洞點p的距離影響；lev(p,q)為水平集因子，反映了到達時間的影響；dir(p,q)為方向因子，反映了已知像素q對待填充空洞點p的紋理相關性的影響。對邊界填充完后，需要不斷迭代上述步驟，逐漸收縮邊界直至空洞區域修復完畢。

2 改進的FMM算法

在較小的鄰域內顏色具有一定的連續性，利用顏色相近的非空洞點去填充空洞點，使空洞填充更具有準確性，在權值函數上增加顏色相似度因子：col(p,q)=I0/1‖prgb-qrgb‖，prgb、qrgb分別為p、q在RGB空間中所對應的點，I0取1。已知像素和填充后像素的置信度不同，非空洞像素點的置信度高于空洞點的置信度，令原始圖像已知像素位置的置信度為1，待填充圖像位置的置信度為0，設正在填充區域的鄰域為Λ′，則置信度con(x,y)=∑con(x,y)/∑1，改進后填充像素值為置信度系數con(x,y)與式(1)相乘，其他步驟和原始算法相同。

3 深度圖像修復的實驗結果

選擇文獻[3]數據庫中的Art圖像作為標準圖像對算法進行測試，在其中添加條狀空洞，對修復算法性能做出評價。采用均方誤差(MSE)和峰值信噪比(PSNR)作為圖像客觀評價指標，MSE是利用去噪前后圖像均方值大小來表示去噪的大小，誤差越小，去噪后圖像與原始圖像越接近，PSNR為最大像素值與噪聲強度的比值，數值越大表示失真越小。

從視覺效果(如圖1)來看，改進前后修復效果相似，都有一定的修復效果。FMM算法分別添加顏色因子和置信度系數后，MSE和PSNR比傳統FMM算法性能好，但圖像對于改進FMM算法綜合效果，沒有只添加顏色因子的效果好，主要由于預測具有一定的不可靠性(如表1)。在信息缺失過多時，上述算法也很難有較好的修復效果。

圖1 圖像修復效果

表1 圖像修復性能比較

4 結束語

本文提出一種基于FMM算法融入顏色因子和置信度因子的深度圖像修復算法，修復性能優于傳統的FMM算法，但達不到實時處理，在未來提高實時性是研究的主要方向。