基于導向濾波的深度圖優化方法

萬 眾，熊 智，許建新，李一博

（南京航空航天大學，南京211106）

0 引言

深度圖像反映了場景中各點到相機的距離信息，為視覺導航、目標跟蹤、障礙物規避等計算機視覺任務的實現提供了重要環境信息，其圖像質量直接影響后續分析與研究。現有的廉價深度圖像采集設備，如微軟公司的體感動捕設備Kinect和大疆公司的無人機機載導航系統Guidance，由于周圍環境影響以及設備自身成本限制，采集的深度圖常常含有較多的噪聲，導致邊緣不匹配，甚至在物體的中心會產生孔洞［1］。圖1和圖2分別是Guidance采集的灰度圖像和深度圖像，圖2中實線描繪的是與灰度圖對應的物體邊緣，可以清晰地發現深度圖像難以反映事物的真實形態，不僅如此，人物中心的孔洞表明此處深度數據缺失。如果不經處理和優化，這些異常的深度信息將直接影響物體的正常識別，為后續高級視覺任務的完成造成障礙，因此需要對采集的原始深度圖像進行處理優化。

現有的深度圖像優化補全方法大都采用引導補全的思想。深度圖像采集設備在提供深度圖像時會采集與之配準的灰度圖像（或彩色圖像），這些灰度圖像通常包含了較好的物體輪廓信息，它們為深度圖像的引導補全提供先驗信息。引導補全就是在結構一致性假設的基礎上，以灰度圖像中的物體結構為參照，在深度圖中維持物體邊緣結構，同時補全缺失景深信息。文獻［2］提出基于聯合雙邊濾波的深度圖像增強算法，利用前景分割和聯合雙邊濾波插值的方法進行邊緣細節保持，取得了一定的效果；但提出的插值增強算法計算效率低，不能滿足實時計算需要，此外文章僅對分割出來的前景物體進行了增強，對整個深度圖的修復作用不大。文獻［3］通過將整幅深度圖像進行區域分割，在每個區域內使用深度圖本身作為引導圖像，進行導向濾波時只實現了各區域內部的視差階梯平滑；但該方法除了依賴于較為理想的分割結果外，使用深度圖本身作為引導，質量差的引導圖難以保證濾波質量。文獻［4］采用了聯合雙邊濾波方法對孔洞深度圖進行修補，并通過選擇4個方向濾波結果的融合，克服濾波器方向性的問題，保持銳利的物體邊緣；但缺點是聯合雙邊濾波內部存在雙Gauss內核卷積運算，濾波器本身效率就不高，進行4個方向濾波的時間開銷更大，難以滿足實時性的需求。

本文認為在進行視差圖的優化時并不是毫無先驗信息的僅憑借深度圖邊緣進行改進，利用視差圖與雙目相機左視圖的關系可以將邊緣信息豐富的灰度圖作為邊緣信息基準，將深度圖加以引導，即通過改進的導向濾波處理步驟實現深度圖的優化。導向濾波作為一種高效的邊緣保持濾波器，近年來被廣泛用于圖像去霧處理和摳圖技術中［7-8］，本文將其引入到深度圖的優化中來，使用處理后的灰度圖對深度圖進行導向濾波，獲得了較好的結果。除了主觀的良好視覺效果外，本文通過具體指標量化優化結果，對圖像質量的提升效果進行了數字化客觀評價。

1 基于導向濾波的深度圖優化方法

1.1 基于單尺度Retinex算法的引導圖像增強處理

導向濾波的效果很大程度上取決于引導圖像的質量，而原始的灰度圖像往往質量有待提高——自然光照條件不均導致的陰影會產生虛假邊緣，局部亮度過高會破壞真實的物體邊緣。良好的邊緣信息是正確引導視差圖優化的關鍵，原始灰度圖將會干擾后續的導向濾波結果。快速的Retinex算法圖像處理能夠給在不影響系統實時性的前提下，較好的消除陰影強化邊緣。因此，本文在對深度圖像進行導向濾波之前，采用單尺度Retinex算法對原始灰度圖像進行增強處理，消除光照不均陰影的影響，同時增強物體邊緣，為后續步驟提供引導圖像基礎。

Retinex算法的基礎是模擬人類視網膜的工作原理，將獲取的原始灰度圖像S分解為兩部分：入射光分量產生的圖像L和物體反射性質分量產生的圖像R［9］， 如式（1）所示：

式（1）中，S（x，y）為眼睛或相機感光時在視網膜或者成像平面上形成的圖像，等式右邊兩項分別為物體反射性質分量圖像R（x，y）和入射光分量圖像L（x，y）。這一算法的基本思想就是在原始圖像中S（x，y），通過數學方法消除光照影響分量L（x，y）， 從而盡量保留物體本質屬性圖像R（x，y）。在單尺度Retinex算法中，R（x，y）表征物體材質紋理等屬性，對應的是圖像的高頻部分，而L（x，y）則對應圖像的低頻部分。 因此，L（x，y）可用S（x，y）的Gauss濾波結果近似表示，即：

其中，?為卷積符號，F（x，y）為Gauss函數，具體數學表達形式如下（σ為標準差）：

對式（1）兩邊取對數，再將式（2）帶入可得反射屬性分量圖像R（x，y）的對數函數域表達式：

最后，從式（4）中將反射屬性分量圖像R（x，y）解出，即可獲得消除陰影增強邊緣的圖像，進而作為后續深度圖導向濾波的引導圖像。

1.2 基于導向濾波的深度圖優化

導向濾波作為一種具有邊緣保持能力的濾波器，近年來被廣泛用于圖像去霧技術和摳圖技術中。相比于聯合雙邊濾波器，導向濾波不僅可以在邊緣保留和細節平滑上獲得相當濾波效果，其優勢更多地表現在計算速度和濾波效率方面，因為其核心流程可以在積分圖像已知的情況下通過窗口內的求和運算快速實現，因此算法效率高，復雜度低。其邊緣保持能力恰好滿足深度圖優化時的需求，同時高效的運算實時性也使其在實踐中更具競爭力。

1.1節中已獲得邊緣信息增強的引導圖像R，本小節假設待優化的深度圖像為P。導向濾波的作用就是獲得與輸入深度圖像P相似，但在邊緣、紋理部分與引導圖像R相似的優化輸出深度圖像Q。導向濾波的基本假設為：在以像素k為中心的窗口ωk內，引導圖Ri和濾波輸出圖像Qi之間是一個局部線性模型，滿足如下［10］：

對式（5）兩邊同時求導， 則有 ▽Qi＝ak▽Ri。這就表明在引導圖R與輸出圖像Q之間具有相同的梯度信息，即引導圖像中的邊緣信息可以盡可能地保留下來，這對于深度圖的優化具有重要作用，大大增強了深度圖像中物體基本形態的辨識度。為了保證輸出圖像Q盡可能保留原始深度圖P中的正確深度信息，一般通過最小化代價函數實現。代價函數具體形式如下：

式中，ε為正則化參數，用來防止過擬合。當ak過大時將發生過擬合，此時εa2k作為一項較大的懲罰項，導致較大的整體代價函數E（ak，bk），這樣在求取最小化代價函數的ak和bk時就可以防止過擬合的發生。

對式（6）求偏導， 得到式（7）， 從而解出ak和bk， 如式（8）所示：

2 實驗與結果分析

本文選用的深度圖像采集設備為無人機機載導航系統Guidance，其深度圖產生方式采用雙目立體視覺原理［12］——利用兩個攝像機拍攝同一場景灰度圖，依據左右圖像之間的水平視差產生深度信息，進而形成深度圖像。其輸出的原始深度圖像存在大量噪點，物體邊緣難以辨識，甚至存在深度信息缺失的孔洞（如圖2中人物腹部區域）。這些深度信息異常的誘因主要包括：拍攝光照條件制約和消費級相機光圈較小導致的圖像采集質量不佳，以及場景中紋理信息較少導致的深度信息獲取困難等。需要說明的是圖2最左側有大約1／6的黑色部分沒有深度信息是由于左右相機視野無法完全重疊，導致無法通過匹配計算景深的區域，這種深度信息缺失是立體視覺成像原理決定的，不是深度圖質量問題，因此也不是深度圖優化需要考慮的。本文將通過上一小節所述處理方法對采集的深度圖進行優化處理，從主觀視覺效果和客觀標準量化兩方面說明所述深度圖優化算法的具體性能。

2.1 基于Retinex圖像增強的引導圖處理結果

圖3（a）與圖 3（b）對比， 可以明顯發現經過單尺度Retinex方法處理后不僅圖像亮度增強，而且消除了大量陰影，視覺效果有了明顯提高。進一步對這兩幅圖像進行canny邊緣檢測，檢測結果分別如圖 3（c）與圖 3（d）所示。 在圖 3（c）中， 背景白墻上的光影被錯誤地當作物體邊緣檢出，而且圖像上方墻壁水平邊緣也不完整。經過處理后，在圖3（d）中白墻上的光影不再被當作邊緣，陰影造成的虛假邊緣被消除，邊緣信息也得到了更完備的描述。引導圖質量的提高為后續導向濾波的順利進行奠定了基礎。

2.2 基于導向濾波的視差圖優化結果

將2.1節增強處理后的灰度圖像作為引導圖，通過具有邊緣保持能力的導向濾波器對深度信息采集設備輸出的原始深度圖像進行處理，得到的結果如圖4所示。

對比圖4（a）和圖 4（b）， 大量的噪聲斑塊得到平滑，深度圖像的視覺效果有了明顯的提升。具體結合圖3（a）原始灰度圖分析可知，灰度圖中的邊緣信息被正確地保留下來，有效防止原始輸出中因邊緣部分匹配差而導致的擴散現象，最直觀地體現為人物輪廓清晰可辨。此外，深度信息缺失部分也得到了一定程度的插值補充，例如人物中心的的孔洞得到了有效的填補。

2.3 在消費級深度獲取設備中應用的實際效果具體分析

為了進一步說明本文方法的優化性能，本文通過大疆的Guidance采集真實不同場景下的多組深度圖像進行優化，驗證結果如圖5所示。

所處理的3幅圖像從上到下深度信息缺失的情況依次增加，第一行圖像中沒有深度缺失產生的孔洞，第二行人物中心有一個較小的孔洞，第三行圖片中由于景物顏色相近、缺乏紋理產生了大量的景深信息缺失。在經過聯合雙邊濾波方法和本文提出的優化流程后，從視覺效果上可以直觀地看出斑塊部分都得到了一定程度的平滑。此外，人物的輪廓都有所改善，物體的邊緣信息都得到了保留。而且在細節上，本文方法在人物的輪廓上恢復效果更佳，例如前兩行圖像的人物邊緣更加清晰，第三行中空調管道邊界分明。說明經過處理后的深度圖像能夠較好地反應景物的輪廓和邊界，可以為后續視覺任務提供更好的圖像信息。值得指出的是盡管對于閉合的孔洞填補效果較好，但在一些景深信息缺失嚴重的地方（如最后一幅圖中的空調上半部分）不能獲取完全的深度圖補全效果。

2.4 基于Middlebury標準圖像集的深度圖優化結果定量評價

峰值信噪比（PSNR）作為一種可量化的客觀標準廣泛用于圖像質量評價中，其計算方法如式（9）和式（10）所示。

深度圖優化后的PSNR時需要真實場景的深度圖作為基準，而這一基準深度圖在實際實驗中難以獲得，一般通過結構光等其他手段獲取。因此，本文采用國際上公認的標準Middlebury數據集來進行實驗。具體實驗步驟為：首先將數據集提供的配準圖像對作為雙目相機的輸出圖像，基于雙目立體視覺的深度圖產生原理［12］，模擬輸出的深度圖像；然后通過本文所述方法對這一深度圖像進行優化處理；最后結合標準數據集中場景的真實深度圖，計算相應的PSNR指標［16］。為了更好地說明本文優化方法的效果，將多數文獻中提到優化效果較好的聯合雙邊濾波算法一同進行對比實驗，實驗結果如圖6和表1所示。

表1 優化效果PSNR指標對比結果Table 1 Comparison of the results of PSNR index using different optimization methods

圖6中，第一行中使用的標準圖像名稱為Cones，第二行的名稱為Teddy。分別對比第三列和四、五兩列，可以看出兩種算法都能夠在有效地保持邊緣的同時對景深相似處進行平滑處理，并填補部分深度信息缺失的孔洞。例如：Cones中面具部分和Teddy中書的封皮都得到了有效填充，且沒有破壞面具和書的邊緣。從表1中的PSNR指標來看，兩種方法都能夠提升深度圖質量，并且本文方法處理效果略優。

除了在優化效果上略優于聯合雙邊濾波算法結果，本文所述方法在計算效率上的優勢更為明顯。在實驗環境為Windos7操作系統 （CPU型號i3-4130，主頻3.40GHz，內存4G），軟件 VS2013中運行，聯合雙邊濾波時間1274ms，本文方法185ms，速度提升超過5倍，計算效率優勢顯著。

3 結論

采用單尺度Retinex方法對灰度圖預處理可以有效消除陰影造成的虛假邊緣，提高引導圖質量。再通過導向濾波對深度圖像進行優化后，可以較好地在深度圖像中還原物體的真實邊緣信息，并在一定程度上填補深度信息缺失的孔洞，提高了深度圖質量。此外，該方法在計算效率上優勢顯著，適合作為一種實時深度圖優化算法應用于實踐。

［1］李知菲，陳源.基于聯合雙邊濾波器的Kinect深度圖像濾波算法［J］. 計算機應用， 2014， 34（8）： 2231-2234.LI Zhi-fei，CHEN Yuan.Kinect depth image filtering algorithm based on joint bilateral filter ［J］.Journal of Computer Applications， 2014， 34（8）： 2231-2234.

［2］劉金榮，李淳芃，歐陽建權，等.基于聯合雙邊濾波的深度圖像增強算法［J］. 計算機工程， 2014， 40（3）：249-252.LIU Jin-rong， LI Chun-peng， OUYANG Jian-quan， et al.Depth image enhancementalgorithm based on joint bilateral filtering ［J］.Computer Engineering， 2014， 40（3）： 249-252.

［3］時華，朱虹，余順園.基于分割導向濾波的亞像素精度立體匹配視差優化算法［J］.模式識別與人工智能，2016， 29（10）： 865-875.SHI Hua， ZHU Hong， YU Shun-yuan.Disparity optimization algorithm on sub-pixel accuracy for stereo matching using segmentation guided filtering ［J］.Pattern Recognition and Artificial Intelligence， 2016， 29（10）： 865-875.

［4］呂浩，陳世峰.基于多方向濾波的強邊緣深度圖像補全方法［J］. 集成技術， 2016， 5（6）： 36-44.LV Hao，CHEN Shi-feng.Strong edge-aware depth image completion with multi-direction filtering ［J］.Journal of Integration Technology， 2016， 5（6）： 36-44.

［5］Chen L， Lin H， Li S T.Depth image enhancement for Kinect using region growing and bilateral filter［C］.21stInternational Conference on Pattern Recognition， 2012：3070-3073.

［6］Jung S W.Enhancement of image and depth map using adaptive joint trilateral filter［J］.IEEE Transactions on Circuits ＆ Systems for Video Technology， 2013， 23（2）：258-269.

［7］韓正汀，路文，楊舒羽，等.基于導向濾波優化的自然圖像去霧新方法［J］.計算機科學與探索，2015，9（10）： 1256-1262.HAN Zheng-ting， LU Wen， YANG Shu-yu， et al.Improved natural image dehazing algorithm based on guided filtering ［J］.Journal of Frontiers of Computer Science and Technology， 2015， 9（10）： 1256-1262.

［8］雷凱茹，趙海，朱宏博，等.基于導向半徑參數自適應的數字摳圖算法［C］.沈陽科學學術年會，2015.LEI Kai-ru， ZHAO Hai， ZHU Hong-bo， et al.Digital cutout algorithm based on guided filter with adaptive radius parameter［C］.Shenyang Science Conference， 2015.

［9］王天濤，趙永國，常發亮.基于視覺傳感器的障礙物檢測［J］. 計算機工程與應用， 2015， 51（4）： 180-183.WANG Tian-tao， ZHAO Yong-guo， CHANG Fa-liang.Obstacle detection based on vision sensor ［J］.Computer Engineering and Applications， 2015， 51（4）： 180-183.

［10］徐杰.基于導向濾波的高精度目標分割算法［D］.蘭州大學，2015.XU Jie.A high accuracy segmentation algorithm based on guided image filter［D］.Lanzhou University， 2015.

［11］He K M， Sun J. Fastguided filter ［J］. Computer Science，2015.

［12］ 劉佰鑫， 蘇琦.Guidance—機器人視覺傳感平臺［J］.預應力技術， 2016（3）： 16-21.LIU Bai-xin，SU Qi.Guidance robot vision sensor platform ［J］.Prestress Technology， 2016（3）： 16-21.

［13］Pang J H， Au O C， Guo Z.Improved single image dehazing using guided filter ［C］.Asia-Pacific Signal and Information Processing Association Annual Summit and Conference 2011， 2011： 522-525.

［14］Zhu S P， Gao R D， Li Z.Stereo matching algorithm with guided filter and modified dynamic programming［J］.Multimedia Tools and Applications， 2017， 76（1）：199-216.

［15］Liu J Y， Gong X J， Liu J L.Guided inpainting and filtering for Kinect depth maps ［C］. International Conference on Pattern Recognition， 2012： 2055-2058.

［16］楊嘉琛，侯春萍，沈麗麗，等.基于PSNR立體圖像質量客觀評價方法［J］.天津大學學報（自然科學與工程技術版）， 2008， 41（12）： 1448-1452.YANG Jia-chen， HOU Chun-ping， SHEN Li-li， et al.Objective evaluation method for stereo image quality based on PSNR ［J］.Journal of Tianjin University（Science and Technology）， 2008， 41（12）： 1448-1452.