遙現中基于顯著特征的深度圖像濾波算法

馮策，戴樹嶺

（北京航空航天大學自動化與電氣工程學院，北京100191）

遙現中基于顯著特征的深度圖像濾波算法

馮策，戴樹嶺

（北京航空航天大學自動化與電氣工程學院，北京100191）

針對遙現系統中，由于相機精度、材質等原因導致深度信息質量不高，存在缺失以及噪聲等問題，提出了基于顯著特征的濾波算法。結合頻率域的顯著圖分析算法和基于圖的分割算法提取出人類感興趣的顯著區域，針對這部分區域利用聯合雙邊濾波法進行重點處理。實驗結果表明，該算法在有效抑制了平坦區域的噪聲的同時，增強了顯著區域深度圖像的細節，并填補了邊緣部分的缺失，實現了實時條件下深度圖像的有效濾波。

深度圖；聯合雙邊濾波法；顯著圖；遙現；圖像分割；濾波算法

遙現是一種致力于為本地用戶呈現遙遠現場體驗感的技術。通過傳感器獲取遠程的深度信息和彩色信息，實時傳輸到本地，為本地用戶構建起遠程的三維場景，使用戶能夠身臨其境。近年來，這一技術在航天領域、3D視頻通信［1］以及遠程手術中都得到了廣泛的應用，但是由于相機的自身精度以及對象材質等原因，導致獲取的深度信息質量欠佳，若直接用于遠程顯示，效果較差，所以，如何改善深度圖像的質量，提升遠程的重構效果，是遙現系統中應當首要解決的問題。

近幾年，隨著深度傳感器發展，研究人員在深度圖像處理方面做出了許多的卓越工作［2-6］。傳統保持邊緣的濾波算法能有效改善深度圖像的質量，但是存在修復質量和計算速度上相互制約的問題，無法滿足遙現系統的需求，其中利用高斯核的保邊濾波法［3-5］處理圖像時需要較大尺寸的濾波窗口，導致計算速度低下，無法滿足實時性的需求；而傳統的中值濾波［6］雖然可以快速修復深度圖，但是沒有考慮圖像邊緣毛糙的問題。因此本文的研究目的是尋找一種方法來實現計算速度和修復質量的平衡。

通過對一組深度圖像的觀察和分析，總結出影響深度圖像質量的2個主要因素：1）由于攝像頭精度問題所固有的誤差和光噪聲；2）深度缺失。由于在物體邊緣處存在深度不連續性，導致在對象的邊界處會出現許多缺失。

針對以上2方面的問題，同時考慮到遙現系統對于實時性的要求，本文提出了一種基于顯著特征的雙邊濾波法來改善深度圖像的質量，只針對深度圖像的顯著區域進行重點優化，一方面可以節省計算資源，提升效率，另一方面可以利用顯著圖來修復深度圖像的缺失，為遠程顯示創建更為真實的3D場景，提升用戶的臨場感。

1 算法框架

針對深度圖像優化的需求，濾波算法需要具備4個性質，即平滑噪聲、修復缺失、保持細節、高效性。

對于抑制噪聲同時保持細節的要求，雙邊濾波法是最常用的算法，經典雙邊濾波法可以修復深度圖像中較小的缺失，但對于較大的缺失則無能為力，而且對于質量較差圖片需要較大半徑的濾波器來處理，實時性也無法滿足要求。

由于人類視覺主要集中在圖像的某些關鍵區域，因此只針對這些區域進行雙邊濾波，可以優先的分配計算資源，實現濾波的高效性，同時可以利用相應的彩色紋理圖對深度圖像進行修復，基于以上考慮，本文研究算法的主要步驟如下：

1）計算彩色圖的顯著特征；

2）利用圖像分割方法提取顯著區域；

3）將顯著圖作為雙邊濾波的引導圖，對深度圖的顯著區域進行濾波；

4）對深度圖的非顯著區域進行高斯濾波。

2 聯合顯著特征的濾波算法

在圖像中，顯著區域是人類的注意力最為集中的某些區域，也是圖像中最能表現圖像內容的區域。顯著區域是由視覺特殊性以及圖像中的顏色、亮度、邊緣等特征所決定的。計算機視覺領域利用數學模型模擬了人類視覺的注意力機制，提出了自底向上和自頂向下的顯著特征估計算法，顯著特征估計目前是自適應壓縮，興趣區域提取任務中重要的步驟。

2.1 基于頻率域的顯著特征計算

根據本系統對于實時性的需求，本文采用的基于頻率域的顯著性分析算法［7］，該方法優點是顯著性區域細節突出，比傳統的顯著圖算法保存了更多的高頻信息，尤其是邊緣部分，如圖2所示，這樣可以更好的提取圖像邊界信息來修復圖像邊緣部分的缺失和噪聲。本算法具體算式如下：

式中：Iu是圖像I的算術平均灰度值，Iwhc是該圖像經過高斯模糊后的圖像，S（x，y）為圖像I的顯著值。

2.2 顯著區域提取

本文的顯著區域提取方法首先是利用圖像分割算法對顯著特征圖進行分割，然后再根據自適應閾值提取出顯著區域。

2.2.1 基于圖的圖像分割算法

文獻［7］中顯著區域的提取采用mean-shift算法來進行圖像分割，雖然分割效果較好，但是很難滿足實時性的需求，所以這里采用基于圖的圖像分割方法［8］，此方法是一種基于貪心選擇的分割方法，該圖像分割算法的運行時間接近于線性，滿足系統對于實時性的要求。該算法更重要的特性在于，重視紋理特征變化較小的部分，這樣更有助于深度圖細節部分的修復。

基于圖的圖像分割方法［8］是通過2個特征來判斷2個區域是否應該合并：區域間間距和區域內間距。如果2個區域的區域間間距明顯大于其中任意一個區域的區域內間距，則認為這2個區域不可以合并。分割后提取出的顯著區域如圖3所示。

圖2 基于頻率域的顯著特征計算Fig.2 Frequency-tuned salient characteristics computation

圖3 顯著區域的提取結果Fig.3 The result of salient region extraction

2.2.2 自適應閾值的定義

用基于圖的圖像分割方法提取出顯著區域，將輸入的顯著圖像分割成若干部分，通過設定自適應閾值來判定哪些部分為顯著區域，一個部分顯著均值如果大于閾值，則判定此部分為顯著區域，不滿足條件則為非顯著區域，如圖3（b）所示，非黑色區域為提取的顯著區域，黑色區域則為非顯著區域。其中自適應閾值定義如下：

2.3 改進的濾波算法

針對顯著區域，本文利用聯合顯著區域的雙邊濾波法進行處理。針對非顯著區域，利用高斯濾波進行處理。

圖4 本文算法流程圖Fig.4 Algorithm flowchart

本文算法的流程圖如圖4所示，算法針對圖像進行逐像素的處理，當遍歷到顯著區域的像素時應用聯合雙邊濾波，此處濾波只利用顯著區域的鄰域像素進行加權平均；當遍歷到非顯著區域的像素時則應用高斯濾波，此處濾波只利用非顯著區域的鄰域像素進行加權平均。

經典的高斯濾波器是利用局部加權平均的思想，但缺點是平滑了圖像的同時，也模糊了圖像的邊緣。為了保持圖像邊緣，Tomasi等提出了雙邊濾波算法［9］，不僅考慮了距離權重，也考慮到了像素灰度相似性，Petschnig等［10］在雙邊濾波法的基礎上提出了聯合雙邊濾波的概念。它與雙邊濾波不同的是，聯合雙邊濾波法的灰度相似性權重不是基于輸入圖像而是基于引導圖像進行計算的，具體如下：

式中：Ip為輸出圖像，Iq為輸入圖像，g為引導圖的灰度相似度權重因子，d為幾何相似度的權重因子。

針對傳統雙邊濾波法無法修復較大缺失的缺點，本文對雙邊濾波法進行了改進，一方面可以抑制噪聲，保持細節；另一方面可以修復深度圖像的較大缺失。

傳感器在采集深度圖像的同時可以獲取相應的彩色圖像，因此可以利用彩色圖像中的有效信息來對深度圖像進行修復，有效信息包括彩色圖像的梯度、顏色、邊緣、邊界信息等。本文具體思想是利用顯著圖作為濾波算法的引導圖，同時利用顯著圖的有效信息來對深度圖像進行修復。

空間濾波算法是利用鄰域像素的加權平均對中心像素進行填充，但是深度圖像中存在2種無效鄰域像素（第1種是缺失像素；第2種是與中心像素不處于同一背景的鄰域像素），即無法對中心像素的填充做出貢獻，這2種像素通常存在于邊緣部分。因此，首先需要判斷濾波窗口內的像素是否為有效像素，只有有效像素才可以對中心像素具有貢獻。如圖5所示，判斷鄰域像素是否有效需要同時滿足3個方面條件：

1）鄰域像素與待處理的中心像素處于同一區域內（同時在顯著區域內，或同時在非顯著區域內）；

2）鄰域像素深度值大于設定的深度閾值（不是缺失像素）；

3）鄰域像素與中心像素處于同一背景，即在顯著圖中對應位置的顯著值近似。

圖5 濾波窗口Fig.5 Filtering window

圖5 是平滑圖像的窗口，圖5（b）中的右上方框的像素不滿足深度閾值的條件，為無效像素，左上方框內的同時滿足以上條件，為有效像素。針對顯著區域的濾波如下：

其中：

而對于非顯著區域，同理改進高斯濾波算法，使其去噪同時，也可以修復圖像。針對非顯著區域的濾波如下：

其中：

式中：Dpb為非顯著區域的深度圖加權求和的像素。

3 實驗結果與分析

在實驗中對一組真實圖像采用本文所提出的方法進行了濾波。其中，玩具熊和人物2幅圖像來源于深度相機拍攝的真實數據，深度圖像分辨率為640×480，另一幅圖像來源于公開測試集［11］。本文算法在PC機上（AMD2.6 Hz四核CPU，2 G內存），針對深度相機采集到的640×480分辨率的人物視頻上進行了平均耗時的測試，本文采用14×14大小的窗口濾波器，同等窗口大小的雙邊濾波法平均耗時為1.36 s，而本文算法平均耗時為0.467 s（其中顯著特征計算、顯著區域提取、高斯濾波和雙邊濾波的平均耗時分別為為0.034，0.04，0.393 s），滿足實時性的要求。

由圖6所示，隨著顯著區域面積增加，雙邊濾波處理的圖像面積也隨之增大，因此耗時也逐漸呈上升趨勢。

圖6 耗時分析Fig.6 Time comsumption analysis

圖7 為顯著區域提取的過程，圖8為本文算法濾波結果圖，實驗中與雙邊濾波法進行比較，圖8（d）是細節放大圖，圓框內是本文算法針對邊緣毛糙的平滑效果，方框內是針對較大缺失的修復結果，橢圓框內是對于細節部分的保持，可以從對比中看出本文算法對于玩具熊的領結等細節部分給予了很好保持。圖9是公開測試集的測試結果，與經典雙邊濾波結果進行了比較，本文算法邊緣的優化效果比較理想。

圖7 顯著區域提取Fig.7 Extraction of salient region

圖8 濾波結果圖Fig.8 Filtering results

4 結論

本文提出了結合顯著特征的濾波算法來修復深度圖像。采用頻率域的方法和基于圖的圖像分割方法計算其顯著區域，針對深度圖的顯著區域使用聯合雙邊濾波法進行重點優化。

1）該方法一方面利用顯著區域的特點來修復深度圖像的邊緣毛糙和缺失，另一方面對于人類視覺敏感區域進行重點濾波，滿足了遙現系統對于實時性的要求。在3幅真實的圖像數據上測試了本文的方法，細節保持效果優于傳統雙邊濾波法，缺失修復效果也較好。

2）本文算法適用于前景部分主要是人物的遙現系統，對于復雜背景的情況不是很適用，需要進一步的改進。在未來的工作中，將結合時間和空間的特性來改善深度圖像的質量。

［1］張兆楊，安平，張之江，等.二維和三維視頻處理及立體顯示技術［M］.北京：科學出版社，2010：131-133.

［2］KIM S Y，LEEE K，HO Y S.Generation of ROI enhanced depth maps using stereoscopic cameras and a depth camera［J］.IEEE Transactions on Broadcasting，2008，54：732-740.

［3］KIM S Y，CHO W，KOSCHAN A，et al.Depth map enhancement using adaptive steering kernel regression based on distance transform［J］／／Lecture Notes in Computer Science，2011，6938：291-300.

［4］CAMPLANI M，SALGADO L.Efficient spatio-temporal hole filling strategy for kinect depth maps［C］／／3D Image Processing and Applications.Burlingame：SPIE，2012：8920.［5］MATSUO T，FUKUSHIMA N，ISHIBASHI Y.Weighted joint bilateral filter with slope depth compensation filter for depth map refinement［C］／／VISAPP.Barcelona：Springer，2013：300-309.

［6］MAIMONE A，FUCHS H.Encumbrance-free telepresence system with real-time 3d capture and display using commodity depth cameras［C］／／10th IEEE International Symposium in Mixed and Augmented Reality（ISMAR）.Basel：IEEE，2011：137-146.

［7］ACHANTA R，HEMAMI S，ESTRADA F，et al.Frequency-tuned salient region detection［C］／／Computer Vision and Pattern Recognition.Miami：IEEE，2009：1597-1604.

［8］FELZENSZWALB P F，HUTTENLOCHER D P.Efficient graph-based image segmentation［J］.International Journal of Computer Vision，2004，59（2）：167-181.

［9］TOMASI C，MANDUCHI R.Bilateral filtering for gray and color images［C］／／International Conference on Computer Vision（ICCV）.Bombay：IEEE，1998：839.

［10］PETSCHNIGG G，SZELISKI R，AGRAWALA M.Digital photography with flash and no-flash image pairs［J］.ACM Transactions on Graphics，2004，23（3）：664-672.

［11］SCHARSTEIN D，SZELISKI R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms［J］.International Journal of Computer Vision，2002，47（1／2／3）：7-42.

The depth map filter algorithm based on salient features in telepresence

FENG Ce，DAI Shuling
（School of Automation Science and Electrical Engineering，Beijing University of Aeronautics and Astronautics，Beijing 100191，China）

In telepresence there are many critical problems，such as low quality depth data，absence of depth information，and noise，which are caused by the precision and material of camera.For solving these problems，a salient features based filter algorithm is proposed.The algorithm first extracts a salient region by the frequency-tuned method and graph-based image segmentation method.Next，the algorithm uses joint bilateral filter to process this region on purpose.Experimental results show that the proposed method can effectively reduce noise，recover the lost region and enhance details at the same time.This allows for achieving filtering depth map effectively in real time.

depth map；joint bilateral filter；salient map；telepresence；image segmentation；filter algorithm

10.3969／j.issn.1006-7043.201307011

http：／／www.cnki.net／kcms／doi／10.3969／j.issn.1006-7043.201307011.html

TN911.73

A

1006-7043（2014）11-1364-05

2013-07-04.網絡出版時間：2014-09-25.

國家自然科學基金資助項目（50975010）；北京市科委基金資助項目（Z111100074811001）.

馮策（1984-），男，博士研究生；戴樹嶺（1966-），男，教授，博士生導師.

馮策，E-mail：fengce1984＠163.com.