基于各向異性擴散算法的深度圖像不匹配邊緣增強方法

劉興瑞， 徐文鵬

（1. 新鄉(xiāng)學院 計算機與信息工程學院， 河南 新鄉(xiāng) 453003； 2. 河南理工大學 計算機學院， 河南 焦作 454003）

深度圖像在目標檢測、故障檢測、軌跡規(guī)劃、災害預防、地質(zhì)勘測、人體姿態(tài)估計等眾多研究領(lǐng)域中具有重要作用.通過激光雷達、TOF相機以及Kinect等采集深度圖像，利用計算機等工具從中獲取有用信息，從而為決策指標提供數(shù)據(jù)支撐[1].但現(xiàn)有的深度圖像采集設(shè)備受測距原理所限，往往存在分辨率低、有無效像素以及噪聲等問題，導致圖像邊緣不匹配，影響了深度圖像的質(zhì)量，造成區(qū)域信息缺失.因此，如何解決深度圖像不匹配，增強邊緣信息，得到一幅高質(zhì)量、高分辨率的深度圖像成為了計算機視覺領(lǐng)域研究亟待解決的重點問題[2].

國內(nèi)外相關(guān)專家經(jīng)過多年的研究，從多個角度提出了解決方法.劉金榮等[3]提出了基于聯(lián)合雙邊濾波的深度圖像邊緣增強方法，通過尋找彩色圖像與深度圖像邊緣像素之間的差異，利用聯(lián)合雙邊濾波的插值算法進行去噪，引入空洞填充原理進行圖像增強.該方法雖然可以避免噪聲對邊緣的影響，但無法完好地保留細節(jié)特征，而且一旦邊緣兩側(cè)的強度相近，邊緣就會變得模糊，造成圖像邊緣信息失效.孟恬等[4]提出了基于快速行進算法的深度圖像邊緣增強方法.通過計算各像素與鄰域像素之間的多尺度結(jié)構(gòu)相似性，估算深度圖像空洞區(qū)域像素信息，并進行邊緣修復和增強.該方法雖然保留了深度圖像邊緣的細節(jié)特征，但無法填補大面積的圖像空洞.李少敏等[5]提出了基于高斯混合模型的Kinect深度圖像增強算法.利用高斯混合模型將深度圖像分為前景與背景兩個部分，分別進行空洞填補與去除噪聲處理.該方法雖然速度快，但沒有考慮連通區(qū)域內(nèi)部像素與像素之間的差異性，容易造成圖像邊緣模糊.

針對上述問題，本文提出了基于各向異性擴散算法的深度圖像不匹配邊緣增強方法，并采用仿真實驗，對所提方法的有效性進行了充分驗證.

1 深度圖像的獲取與插值計算

1.1 基于被動測距的深度圖像獲取

深度圖像，又稱距離圖像，是指將從圖像采集器到場景中各點的距離（深度）作為像素值的圖像，它直接反映了景物可見表面的幾何形狀[6].獲取深度圖像的方法主要分為主動測距和被動測距兩種，根據(jù)測距方法的不同，獲取到深度圖像的清晰度不同.

目前研究的深度圖像獲取方法通常采用主動測距，通過測量工具系統(tǒng)發(fā)射光源（電磁波、聲波等），然后利用接收反射光獲取深度圖像，而被動測距通過接收目標物體發(fā)射或反射信息，形成深度圖像.被動測距技術(shù)主要分為單目成像測距與雙目立體視覺測距兩種，其中雙目立體視覺測距技術(shù)[7]通過多個攝像機獲得同一目標物體的不同角度圖像，采用立體匹配算法找到兩幅圖像中對應的像素點，再依據(jù)三角原理計算出各像素點深度值，以獲取物體的深度圖像.被動測距打破了主動測距中對測量場景的限制，可以在任意場合進行測距，其精度較高，應用范圍較小.本文采用被動測距中的雙目立體數(shù)據(jù)測距技術(shù)獲取深度圖像，并對獲取后的深度圖像不匹配邊緣進行增強方法研究.

1.2 深度圖像插值計算

由于獲取的深度圖像與原圖像之間存在視覺誤差，因此在對深度圖像不匹配邊緣增強之前，需先對深度圖像進行插值計算[8].

深度圖像由稀疏像素點組成，這些像素點在排列時，無法避免會出現(xiàn)無效像素，導致圖像出現(xiàn)黑色孔洞，而孔洞會在一定程度上使得圖像邊緣模糊，因此需要計算深度圖像孔洞處的像素點灰度值，并進行插值，以此提高深度圖像的質(zhì)量.目前，圖像插值算法主要有最近鄰插值、雙線性插值以及雙三次插值三種[9]，且后一種均為前一種的優(yōu)化改進，如表1所示.

表1 圖像插值算法Tab.1 Image interpolation algorithms

本文采用雙三次插值法對獲取后的深度圖像進行插值計算，利用鄰點間灰度值的變化率求導出深度圖像孔洞處的像素點灰度值，實現(xiàn)深度圖像質(zhì)量的增強，以確保后續(xù)圖像不匹配邊緣的增強精度.

1.3 基于加權(quán)中值濾波的深度圖像濾波

插補后的深度圖像邊緣像素點的灰度值會存在突變以及不連續(xù)的現(xiàn)象，因此還需要對其進行濾波處理，增強深度圖像不匹配邊緣的對比度.本文采用加權(quán)中值濾波法對深度圖像進行濾波.

先取得任意一像素點周圍所有像素灰度值的中值來代替該點灰度值，從而消除被孤立的噪聲點[10].假設(shè)h（k，l）為初始圖像內(nèi)任意一像素點的灰度值；?為h（k，l）的權(quán)重系數(shù)，Nf（i，j）為f（i，j）的一階實心，得到中值灰度值的同時保留深度圖像中不匹配邊緣的細節(jié)信息，表達式為

v（i，j）=median{h（k，l）|f（i，j）∈Nf（i，j）}

（1）

該方法排除了深度圖像的空洞、噪聲等干擾，能夠提高后續(xù)不匹配邊緣增強的準確度和精度.

2 深度圖像不匹配邊緣增強

2.1 深度圖像不匹配邊緣檢測

不匹配邊緣檢測是深度圖像邊緣增強的關(guān)鍵步驟.以往深度圖像不匹配邊緣檢測都是基于局部圖像信息實現(xiàn)的，檢測效果并不好，因此為尋找深度圖像中不匹配邊緣輪廓的組成點，在梯度算子基礎(chǔ)上[11]，采用深度優(yōu)先遍歷[12]的方式進行不匹配邊緣檢測，具體過程如下：

1） 對待檢測不匹配邊緣像素點數(shù)據(jù)結(jié)構(gòu)進行重新構(gòu)造.

2） 隨機選擇圖像不匹配邊緣中任意一點像素點作為出發(fā)點.

3） 計算該像素點的灰度值.

4） 在此基礎(chǔ)上，估算該像素點周圍8個鄰域方向上的像素點梯度值.

5） 以此調(diào)整該點的灰度值.

6） 判斷該像素點是否滿足不匹配邊緣點特征，若滿足，則將該點入棧；否則重新進行計算該像素點周圍梯度值，直到滿足特征條件為止.

7） 以該像素點為出發(fā)點，深度遍歷尋找垂直于梯度方向上的邊緣點，并標記該點為已訪問過的點.遍歷過程如下：①判斷垂直于梯度方向上的邊緣點是否滿足圖像邊緣點特征，若滿足，則不斷把邊緣點入棧，并修改該點相關(guān)數(shù)據(jù)結(jié)構(gòu)；若不滿足，則需要原路返回，將該路線中的邊緣點出棧處理，直到能從某個小于最大梯度值的方向繼續(xù)遍歷時結(jié)束.②當回退到原始出發(fā)像素點后，需要按照從上到下、從左到右的順序搜索判斷是否存在沒有被訪問過的像素點.若存在，則需要重新遍歷；若沒有，則說明全圖遍歷結(jié)束.

8） 按照遍歷順序，將各像素點連接在一起，形成圖像不匹配邊緣.

不匹配邊緣檢測結(jié)束后，計算檢測到的不匹配邊緣像素點到邊緣空洞的距離，可得

（2）

式中：S（t）為該像素點位于深度圖像不匹配邊緣的位置；R（t）為該像素點與不匹配邊緣空洞之間的距離；t為像素點.

2.2 基于各向異性擴散算法的不匹配邊緣增強

檢測到的不匹配邊緣中存在空洞，因此，對不匹配邊緣空洞進行填補是深度圖像不匹配邊緣增強方法的中心環(huán)節(jié)，通過該環(huán)節(jié)可以使深度圖像的不匹配邊緣變得平滑，從而達到增強不匹配邊緣清晰度的目的.采用各向異性擴散算法進行圖像邊緣增強[13]，其基本原理如下：各向異性擴散算法可通過偏微分方程來表示，即

（3）

式中：f0為初始條件；Δfi為梯度算子；p為散度算子；w（x）為擴散系數(shù)，取w（x）=g（Δfi）；g（x）為梯度強度；x為各向異性擴散因子.

將式（3）改寫為

（4）

該方程可以表示為原深度圖像在定義域內(nèi)的媒介，并以非恒定的速度在圖像上擴散，而擴散所經(jīng)過的區(qū)域不匹配邊緣會變得平滑[14].

當Δfi取0時，滿足g（0）=1，g（∞）=0，保證了圖像在不匹配邊緣區(qū)域停止擴散時，不匹配邊緣像素點的完整性，此時擴散系數(shù)為

（5）

基于上述各向異性擴散算法，構(gòu)建一種深度圖像不匹配邊緣增強模型.該模型以完整的深度圖像為引導，根據(jù)得到的像素點與空洞之間的距離值Y（t），填補空洞像素的缺失，具體過程如下：假定深度圖像中某空洞點為m=（i，j），其到深度圖像不匹配邊緣的最大距離和最小距離分別為C和D；深度圖像中目標邊緣有效像素點集為Z，以此作為熱源，則深度圖像不匹配邊緣增強可以轉(zhuǎn)換為有效像素點集的熱量傳導問題[15]，用偏微分方程可表示為

（6）

式中：λ為時間步長；Δd（t）為單位時間步長的像素點t到空洞點m=（i，j）熱量傳導深度值；d（t）為深度圖像不匹配邊緣像素點t到空洞點m=（i，j）的熱量傳導深度值.

為了增強圖像邊緣，把各向異性擴散因子x放棄，可得

pw（x）Δd（t）=0

（7）

由此構(gòu)建深度圖像不匹配邊緣增強模型，則其增強權(quán)重系數(shù)為

（8）

式中，U為深度圖像不匹配邊緣中相鄰像素點集.

根據(jù)式（7）和（8）得出最終深度圖像不匹配邊緣增強模型為

（9）

上述方法完成了深度圖像不匹配邊緣的平滑處理，且得到了不匹配邊緣增強模型，根據(jù)模型可實現(xiàn)不匹配邊緣的增強.整合上述基于各向異性擴散算法的深度圖像不匹配邊緣增強方法的流程，如圖1所示.

圖1 深度圖像不匹配邊緣增強方法Fig.1 Mismatched edge enhancement method for depth images

3 仿真實驗與結(jié)果分析

為驗證本文方法的有效性，設(shè)計了一組仿真對比實驗，將基于聯(lián)合雙邊濾波、基于快速行進算法和基于高斯混合模型三種傳統(tǒng)深度圖像不匹配邊緣增強方法作為對比方法，與基于各向異性擴散算法的深度圖像不匹配邊緣增強方法進行對比測試.

3.1 測試平臺

圖2為測試平臺.具體的實驗參數(shù)設(shè)置為：Δfi=0，g（0）=1，g（∞）=0，步長為2，擴散系數(shù)為0.13.利用測試平臺中的Xition PRO LIVE和攝像機采集人體姿態(tài)原始場景圖像和深度圖像，其原始場景圖像的像素為640×480，如圖3所示.

圖2 測試平臺Fig.2 Test platform

圖3 深度圖像獲取Fig.3 Acquisition of depth images

3.2 深度圖像不匹配邊緣增強效果對比

利用所提方法與三種傳統(tǒng)方法對圖3b的深度圖像不匹配邊緣進行增強，得到的增強效果對比結(jié)果如圖4所示.由圖4可以看出，基于高基混合模型的增強方法，增強后圖像邊緣依然模糊，增強效果最差.基于快速行進算法的增強方法，其增強效果優(yōu)于前者，基于聯(lián)合雙邊濾波的增強方法優(yōu)于基于快速行進算法的增強方法，而本文所提的增強方法，其圖像邊緣最為清晰，增強效果最佳.

3.3 深度圖像不匹配邊緣增強匹配度與清晰度對比

圖像邊緣增強匹配度與清晰度是測試不同算法性能的重要指標.圖像邊緣匹配度是增強后深度圖像邊緣與原始圖像邊緣之間的契合程度.契合程度越高，增強效果越好，其計算公式為

（10）

圖4 不同算法的不匹配邊緣增強效果對比Fig.4 Comparison of mismatched edge enhancement effects among different algorithms

式中：q為契合的邊緣像素點數(shù)量；qz為總體邊緣像素點數(shù)量.

圖像邊緣清晰度可以通過圖像邊緣的峰值信噪比值來表示，峰值信噪比值越大，圖像越清晰，增強效果越好.利用MATLAB分別采用4種不同的方法對圖3b的深度圖像不匹配邊緣進行增強，將增強結(jié)果分別與圖3a的原始圖像進行對比，并對4種不同方法的增強結(jié)果進行對比分析，得到4種不同方法的增強匹配度和清晰度對比結(jié)果，如表2所示.

表2 不同算法的不匹配邊緣增強匹配度與清晰度Tab.2 Matching degree and clarity of mismatched edge enhancement by different algorithms

由表2可以看出，利用所提方法對深度圖像不匹配邊緣進行增強，增強后深度圖像邊緣匹配度為98.47%，峰值信噪比為9.542 dB.而利用基于聯(lián)合雙邊濾波、基于快速行進算法、基于高斯混合模型3種方法對深度圖像不匹配邊緣進行增強，其增強后深度圖像邊緣匹配度分別為90.35%、91.45%、88.12%，峰值信噪比分別為8.472、8.547、7.473 dB.上述結(jié)果對比可知，所提方法的匹配度最高，峰值信噪比最大，充分說明所提方法的邊緣契合程度最高，去噪效果最好，能更有效地增強圖像邊緣清晰度，使得深度圖像中的細節(jié)信息更完整.

3.4 深度圖像不匹配邊緣增強的穩(wěn)定性

從圖像數(shù)據(jù)庫中提取1 200幅圖像，測試不同算法處理圖像的穩(wěn)定性，以驗證本文算法的實用性能，得到的實驗結(jié)果如圖5所示.

圖5 不同算法的不匹配邊緣增強的穩(wěn)定性對比Fig.5 Stability comparison of mismatched edge enhancement among different algorithms

分析圖5可知，依據(jù)快速行進算法、聯(lián)合雙邊濾波、高斯混合模型處理圖像的匹配度均值分別為91.68%、90.51%、88.63%，其處理圖像的匹配度變化趨勢均較大，穩(wěn)定性不好，而依據(jù)本文所提各向異性擴散算法處理圖像的匹配度均值為98.81%，其處理圖像的匹配度最高，變化趨勢較小，穩(wěn)定性好.

4 結(jié) 論

深度圖像是計算機視覺研究中的重點課題之一，深度圖像不匹配邊緣增強是其中的難點和重點.本文針對三種傳統(tǒng)圖像邊緣增強方法存在的問題，提出一種基于各向異性擴散算法的深度圖像不匹配邊緣增強方法.該方法利用各向異性擴散實現(xiàn)深度圖像不匹配邊緣的增強，填補深度圖像不匹配邊緣的空洞是整個方法的核心步驟.經(jīng)仿真實驗驗證，采用該方法時，圖像邊緣匹配度和峰值信噪比均有了極大改善，由此說明所提方法增強效果更好，提高了圖像邊緣的清晰度，彌補了邊緣信息缺失.