基于窗口濾波與均值濾波的深度圖像實時修復算法

李騰飛 劉嘉敏 段勇

摘 要：使用Kinect作為視頻圖像的輸入設備，獲取的連續幀的深度圖像會在邊緣出現空洞像素點和像素點隨機抖動的問題。本文針對Kinect獲取的連續幀深度圖像提出了加權窗口-除零均值濾波算法。先使用提出的加權窗口濾波算法對空洞像素填補，然后采用改進后的除零均值濾波算法對圖像進行平滑與去噪聲處理。實驗結果表明，相比雙邊濾波、中值濾波、均值濾波和高斯濾波算法，本文提出的算法能夠有效的減少圖像中的抖動像素，去除深度圖像中的噪聲信息，使圖像邊緣信息平滑，并且保證視頻輸入有較高的幀率。

關鍵詞：深度圖像；視頻；Kinect；抖動；空洞

中圖分類號：TP391 文獻標識碼：A

文章編號：2096-1472（2018）-11-17-04

1 引言（Introduction）

Kinect是微軟公司推出的一款體感設備，它強大功能，價格低廉且開發方便，它已被應用到計算機視覺的各個應用中，Nagori[1]等人使用Kinect實現聾啞人手語翻譯，Fankhauser[2]等人利用Kinect實現了機器人導航系統，以及Chen[3]等人以Kinect為平臺實現增強現實的游戲統。

由于Kinect發射的紅外信號被目標物體吸收，以及其他物體遮擋返回的紅外信號等原因，會造成圖像空洞及抖動[4]。為此需要對具有像素空洞和抖動深度進行修復，Du[5]等人采用了改進雙邊濾波算法和聚類算法，較好地修復了圖像中空洞；彭誠[6]等人利用形態學濾波算法，結合雙邊濾波算法應用到深度圖像處理當中；Hu[7]等人提出了利用彩色圖像引導局部正則化表示的方法來改進雙邊濾波算法。上述工作雖然修復的效果良好，但沒考慮連續幀深度圖像所產生的像素抖動，而且效率低，無法保證對連續幀深度圖像的實時處理。

本文提出了一種平衡了效率與處理效果的濾波算法，即加權窗口濾波-除零均值濾波算法。首先使用加權窗口濾波算法來填補空洞和抖動的像素部分，然后使用除零均值濾波算法對圖像行平滑處理。實驗通過與主要濾波算法進行比較，本文提出的算法在效率與圖像結果均達到理想程度。

2 加權窗口-除零均值濾波算法（Weighted window filter and non-zero mean filter algorithm）

2.1 加權窗口濾波算法

Kinect獲取的每幀圖像存在著空洞像素及抖動像素，這影響后續的圖像分割處理，為此有必要消除每幀圖像中的空洞像素及抖動像素。

首先通過Kinect獲取每幀原始深度圖像信息，將原始深度圖像信息由16位灰度圖像轉換為8位灰度圖像，以便后續處理。

設轉換后的8位灰度圖像為在深度圖中處像素點的灰度值。如果有，則該點為空洞點。在圖像中，以該像素點為中心，建立一個大小為5×5的正方形窗口，遍歷窗口中的所有非0灰度值的像素，并將每個灰度值出現的次數使用哈希表記錄下來，如式（1）所示。

由于設定以某灰度值為0的像素點為中心，遍歷其周圍5×5大小的正方形區域的像素，所以每個像素的灰度值最多會出現24次。深度圖像為8位灰度圖像，每個像素的灰度值范圍即為0到255，由于灰度值為0的像素不在計算范圍之內，所以范圍限定為1到255。

在該算法中設定兩個閾值，分別為threshold1與threshold2，判斷如果在窗口中在邊界上的非0像素個數是否大于threshold1且非邊界上的非0像素值是否大于threshold2，那么計算在窗口中像素的加權平均值，如式（2）所示。

表示更新后的像素值，為像素值i出現的頻率。

如果不滿足閾值的條件，則。

例如，在圖1的5×5窗口中，邊界上的非0像素個數為12個，非邊界上的非0像素為6。

2.2 除零均值濾波算法

對深度圖像的空洞像素及抖動像素修復后，需要對圖像非空洞部分進行平滑處理，以保證去除深度圖像中出現的非空洞部分噪音。

除零均值濾波算法是在均值濾波[8]算法基礎上進行了改進，傳統的均值濾波算法是計算窗口中所有像素值的均值，本文提出的改進算法不考慮灰度0值的空洞像素，在計算時直接將它們剔除，其值計算采用式（3）。

式（3）中表示在圖像中第處像素經過除零均值濾波算法處理后的值，k表示5×5窗口中非零像素的個數。

為了提高算法的效率，在計算窗口中的像素均值時，使用了積分圖像的方法[9]。建立一個與圖像尺寸大小相同的二維數組，記錄圖像從第點的像素值到第點像素值的累加和，如式（4）所示。

的值根據式（5）來計算。

根據式（5）可知，在時間復雜度O（R×C）之內計算出來，即對圖像進行預處理即可得到，其中R和C分別為圖像的行數和列數。

由于在濾波的窗口中非0的像素個數事先并不確定，按照式（5）可計算從點的像素值到第點所包含的零值像素的個數，并保存到零值積分表中，表示從點的像素值到第點之間的0的個數，采用式（6）計算其值。

計算均值需要枚舉圖像中每一個非0像素點，以及以該像素點為中心的窗口W中像素，則計算時間復雜度為O（R×C×WL×WL），R、C、WL分別為圖像的長、寬、窗口邊長，如圖2所示。使用積分圖像和零值積分表后，計算窗口W中像素和，以及0值的個數，其時間復雜度降為O（1）。

積分圖像窗口W中的像素和用表示，其計算方法如式（7）所示。

零值積分表窗口W中的零值個數用表示，計算方法如式（8）所示。

窗口W中的均值用表示，計算公式如式（9）。

3 實驗結果（Experimental result）

本算法在VS 2013平臺用C++實現，PC機的性能參數為Intel（R） Xeon（R） CPU E5-1620 v3 3.50GHz處理器，16G內存下實現，視頻輸入設備使用Kinect v2。

本文算法通過兩次濾波，得到高質量的圖像，如圖3和圖4所示。圖3（a）為只使用加權窗口濾波方法的效果圖，圖3（b）為兩次濾波的效果圖，即先使用加權窗口濾波，然后使用除零均值濾波算法。圖4展示了僅使用加權窗口濾波算法和兩次濾波算法的細節部分。由圖3和4可以看出，經過除零均值濾波處理后深度圖像中，圖像更加平滑，有效的去除了圖像中的噪聲。

為驗證本文提出的算法的性能，在計算效果和計算時間兩方面與雙邊濾波算法、中值濾波算法、高斯濾波算法、均值濾波算法進行比較。

在測試中，中值濾波參數窗口尺寸ksize=5；雙邊濾波參數像素鄰域直徑d=7，顏色空間參數sigmaC=131，坐標空間參數sigmaS=100；均值濾波參數窗口尺寸ksize=（9，9）；高斯濾波參數高斯內核大小ksize=（5，5），x方向標準差simgaX=9，y方向標準差sigmaY=9。本文的加權窗口—除零均值濾波參數threshold1=2、threshold2=4。5種算法濾波的效果如圖5所示。

從圖5可以看出，相比其他四種濾波算法和原始深度圖像，圖5（f）中的物體邊緣空洞明和圖像上部分物體的抖動像素明顯減少，且物體輪廓清晰。

原始圖像與五種算法處理后灰度分布圖如圖6所示。圖6中橫軸為像素值，范圍在[0，255]；縱軸為每個像素出現頻率，范圍在[0，20000]。

由于在原始圖像中存在大量抖動像素和空洞像素，它們主要集中在像素值為0附近部分，如圖6（a）所示。各種濾波算法處理后的圖像與原圖像在像素分布中的峰值越接近，表示圖像的細節信息越完整。由圖6（f）看出，本算法不僅保留了圖像當中灰度分布信息，而且有效的去處了空洞和抖動部分。由此可知，相比其他四種濾波方法，本文算法處理后得到的圖像效果最佳。

對比濾波后效果，圖7（a）與圖7（b）經過二值化和膨脹[10]處理后的幀差圖。

圖7（a）中靜止場景相鄰兩幀的之間的抖動像素十分明顯，在經過本文算法處理后，靜止場景相鄰兩幀有零星的像素抖動，效果明顯好于原始圖像。

為了驗證算法的效率，五種算法分別對連續70幀的同一幅深度圖像進行濾波，其平均濾波時間如表1所示。

由表1看出，雙邊濾波算法運行時間最長，中值濾波運行時間最少，本文提出的加權窗口濾波算法運行時間略小于雙邊濾波。盡管本文算法平均運行時間較高于中值、均值和高斯濾波算法，但濾波效果好于它們，而且滿足了視頻圖像實時處理的要求。

4 結論（Conclusion）

本文通過對實時Kinect深度圖像特點進行分析，提出了加權窗口-除零均值濾波算法，對深度圖像中的空洞像素進行修復；對均值濾波算法進行改進后，得到除零均值濾波對深度圖像進行平滑處理。通過定性分析和定量實驗結果表明，本算法在處理連續幀的深度視頻圖像上時間復雜度低，處理效率高，對深度圖像的空洞像素及抖動像素有良好的處理效果，為下一步圖像語義分割、圖像標注、三維重建及三維物體識別等處理提供良好的基礎和平臺。

本文算法僅使用了深度圖像本身來進行實時性的圖像修復工作，如何利用好Kinect中提供的其他數據信息來優化和提高深度圖像質量是未來的研究方向。

參考文獻（References）

[1] Nagori N P，Malode V.Communication Interface for Deaf-Mute People using Microsoft Kinect[C].International Conference on Automatic Control and Dynamic Optimization Techniques.IEEE，2017：640-644.

[2] Fankhauser P，Bloesch M，Rodriguez D，et al.Kinect v2 for mobile robot navigation：Evaluation and modeling[C].International Conference on Advanced Robotics. IEEE，2015：388-394.

[3] Chen J Y，Liu C H，Hsieh C H，et al.Kinect augmented reality gear game design[C].International Conference on Applied System Innovation.IEEE，2017：373-375.

[4] 趙旭.Kinect深度圖像修復技術研究[D].大連理工大學，2013：11.

[5] Du H，Miao Z.Kinect depth maps preprocessing based on RGB-D data clustering and bilateral filtering[C].Chinese Automation Congress.IEEE，2016：732-736.

[6] 彭誠，孫新柱.一種改進的深度圖像修復算法研究[J].重慶工商大學學報（自然科學版），2016，33（1）：65-69.

[7] Hu J，Hu R，Wang Z，et al.Color image guided locality regularized representation for Kinect depth holes filling[C].Visual Communications and Image Processing.IEEE，2014：1-6.

[8] 宋清昆，馬麗，曹建坤，等.基于小波變換和均值濾波的圖像去噪[J].黑龍江大學自然科學學報，2016，33（4）：555-560.

[9] 范帆.基于積分圖像和Camshift的運動目標跟蹤研究[D].浙江工業大學，2017：33-34.

[10] 安靜.基于數學形態學的圖像增強算法及其應用[D].西北師范大學，2016：7-8.

作者簡介：

李騰飛（1993-），男，碩士生.研究領域：計算機圖形學與虛擬現實.

劉嘉敏（1964-），女，博士，教授.研究領域：計算機圖形學與虛擬現實、布局優化.

段 勇（1978-），男，博士，教授.研究領域：多智能系統、機器學習.