基于邊緣約束的自適應(yīng)引導(dǎo)濾波立體匹配算法

哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001

立體匹配是通過(guò)尋找同一場(chǎng)景在不同視角下的2 幅或多副圖像的像素點(diǎn)，逐像素點(diǎn)獲取像素點(diǎn)間的二維視差，從而恢復(fù)場(chǎng)景深度。匹配的過(guò)程，是攝影測(cè)量和計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究課題，在機(jī)器人導(dǎo)航、無(wú)人駕駛、虛擬現(xiàn)實(shí)和三維重建等領(lǐng)域有著廣泛的應(yīng)用[1]。Scharstein 等[2]對(duì)典型的立體匹配算法進(jìn)行了研究和總結(jié)，形成了立體匹配算法的理論框架，根據(jù)優(yōu)化方法的不同，將現(xiàn)有的立體匹配算法分為全局算法和局部算法這2 類。全局立體匹配算法通過(guò)構(gòu)建全局能量函數(shù)，進(jìn)行最小化來(lái)求取視差值，該算法精度高但是計(jì)算復(fù)雜，常見(jiàn)的全局算法有置信度傳播匹配算法(belief propagation,BP)[3]、圖割算法(graph cut,GC)[4]和動(dòng)態(tài)規(guī)劃算法(dynamic programming,DP)[5]等。局部算法計(jì)算局部窗口像素的最優(yōu)值，通過(guò)聚合代價(jià)進(jìn)行誤差值計(jì)算，具有復(fù)雜度低、效率高的特點(diǎn)，在實(shí)際過(guò)程中易于實(shí)現(xiàn)。

常見(jiàn)的局部立體匹配方法，主要包括自適應(yīng)支持窗口法(variable support window，VSW)和自適應(yīng)支持權(quán)重法(adaptive support weight，ASW)。基于VSW 的方法通過(guò)圖像特征來(lái)尋找最佳的支持窗口。Zhang 等[6]提出了一種局域十字交叉的自適應(yīng)窗口，利用相鄰像素的顏色差異和空間距離的關(guān)系，在水平和垂直方向上進(jìn)行像素?cái)U(kuò)展，形成一個(gè)十字交叉區(qū)域。Mei 等[7]在此基礎(chǔ)上提出了雙距離閾值和雙色彩閾值準(zhǔn)則的方法來(lái)構(gòu)建聚合區(qū)域，提高了匹配精度。基于ASW 的方法是通過(guò)利用對(duì)固定窗口內(nèi)的像素分配不同的權(quán)重來(lái)進(jìn)行代價(jià)聚合。He[8]提出引導(dǎo)濾波的概念，Hosni等[9]將其作為代價(jià)聚合方法，引導(dǎo)濾波器具有計(jì)算復(fù)雜度和窗口大小無(wú)關(guān)的優(yōu)點(diǎn)，因此在實(shí)時(shí)系統(tǒng)中得到廣泛應(yīng)用。

在實(shí)際應(yīng)用過(guò)程中，邊界區(qū)域部分屬于容易出現(xiàn)深度值不連續(xù)的特殊區(qū)域，此時(shí)，所構(gòu)建的區(qū)域延伸方向容易在不同深度值區(qū)域進(jìn)行延伸，導(dǎo)致視差值不連續(xù)現(xiàn)象。對(duì)此，本文提出了一種基于邊緣約束的自適應(yīng)引導(dǎo)濾波的立體匹配算法解決該問(wèn)題。在代價(jià)聚合過(guò)程中，將自適應(yīng)區(qū)域和引導(dǎo)濾波算法相結(jié)合，但此時(shí)的引導(dǎo)濾波窗口不是固定大小的窗口，會(huì)導(dǎo)致邊界點(diǎn)的交叉區(qū)域過(guò)度延伸，對(duì)此，引入邊緣約束條件，使得邊界點(diǎn)的交叉區(qū)域包含更多的有效像素點(diǎn)，從而提高邊界區(qū)域的匹配精度，使得視差圖能夠更好地保持邊界特征。

1 局部立體匹配算法框架

局部匹配代價(jià)計(jì)算可以分為4 步：1)匹配代價(jià)計(jì)算；2)代價(jià)聚合；3)視差計(jì)算；4)視差精細(xì)化。圖1 為基于邊緣約束的自適應(yīng)引導(dǎo)濾波立體匹配算法流程。

圖1 基于邊緣約束的自適應(yīng)引導(dǎo)濾波立體匹配算法流程

常見(jiàn)的局部代價(jià)計(jì)算方法有絕對(duì)誤差和（sum of absolute differences,SAD）、誤差平法和算法（sum of squared differences,SSD）、歸一化積相關(guān)算法（normalization cross-correlation,NCC）和自適應(yīng)窗口等。代價(jià)聚合是局部立體匹配算法過(guò)程中最重要的一步，利用支持窗口內(nèi)的初始匹配代價(jià)進(jìn)行求和或者取平均值來(lái)提高匹配可靠性，最終，采用勝者為王策略取代價(jià)最低值作為該點(diǎn)視差值。但左右視圖會(huì)由于成像視角和光照等因素影響，左右圖像中均會(huì)出現(xiàn)無(wú)法匹配區(qū)域，在左右視差圖中也會(huì)存在同一位置其視差值較大的位置，這就需要對(duì)視差圖進(jìn)行精細(xì)化后處理，判斷尋找錯(cuò)誤視差點(diǎn)，然后進(jìn)行重新計(jì)算，視差圖中也存在空白區(qū)域，需要進(jìn)行填充操作。

2 本文立體匹配算法

2.1 匹配代價(jià)計(jì)算

匹配代價(jià)是衡量左右2 幅圖像視差相似性的指標(biāo)，通過(guò)構(gòu)建一個(gè)大小為H×W×D的三維矩陣，其中H、W和D分別表示圖像的高、寬和視差搜索范圍[10]。基于梯度變化的代價(jià)函數(shù)可以更好地表達(dá)視差特異性信息，本文采用常用的顏色強(qiáng)度和梯度信息相結(jié)合的代價(jià)計(jì)算方法，視差為d時(shí)點(diǎn)i的代價(jià)表示為

式中：Il(i)和Ir(id)分別表示左圖像素i的值和視差為d時(shí)該像素在右圖對(duì)應(yīng)像素的值；?xIl(p)和?xIr(p?d)分別表示沿x軸方向的左圖像素i的梯度值和視差為d時(shí)該像素在右圖對(duì)應(yīng)像素的梯度值；為了減少外在點(diǎn)對(duì)圖像匹配的影響，采用截?cái)嘀档挠?jì)算方式，將灰度值和梯度值差異較大的值進(jìn)行剔除。T1和T2分別表示顏色灰度和梯度值的截?cái)嘀担沪帘硎竞饬炕叶戎岛吞荻戎档挠绊懸蜃印?/p>

2.2 代價(jià)聚合

2.2.1 自適應(yīng)區(qū)域構(gòu)建

聚合窗口算法的前提條件是假設(shè)支持窗口內(nèi)部的像素點(diǎn)具有同時(shí)視差值。基于像素點(diǎn)建立十字交叉的窗口進(jìn)行窗口內(nèi)像素聚合。核心思想是利用待匹配點(diǎn)的顏色信息和空間信息進(jìn)行擴(kuò)散約束，以此來(lái)構(gòu)建符合每個(gè)像素點(diǎn)周圍的交叉區(qū)域[11]。該算法的關(guān)鍵步驟是構(gòu)建參考圖像與目標(biāo)圖像中待匹配點(diǎn)的十字交叉結(jié)構(gòu)，通過(guò)一定的判斷準(zhǔn)則分別計(jì)算得到每個(gè)待匹配像素點(diǎn)在水平和垂直方向上的臂長(zhǎng)。

圖2 十字交叉區(qū)域構(gòu)建

式中：τ表示像素點(diǎn)顏色差值閾值；Ii表示圖像像素點(diǎn)的顏色值；L表示在該點(diǎn)的臂長(zhǎng)；r?為最后在該點(diǎn)在某一方向上的臂長(zhǎng)。

2.2.2 自適應(yīng)引導(dǎo)圖濾波

引導(dǎo)圖濾波是常用的代價(jià)聚合計(jì)算方法，引導(dǎo)圖濾波由于是基于盒濾波的方式實(shí)現(xiàn)的，整個(gè)算法的實(shí)現(xiàn)原理基于線性的方式，運(yùn)算時(shí)間復(fù)雜度跟濾波器的大小無(wú)關(guān)，只與圖像中的像素?cái)?shù)目有關(guān)，其代價(jià)聚合為

式中：q為 像素點(diǎn)p的支持窗口中的某一像素點(diǎn)；Wp,q表示q對(duì)p的支持權(quán)重，其計(jì)算結(jié)果受引導(dǎo)圖像的影響。引導(dǎo)濾波器的核心思想是濾波器運(yùn)算后的輸出結(jié)果Qi和輸入的引導(dǎo)圖像Ii滿足局部線性模型，其模型結(jié)構(gòu)為[13]

Qi=akIi+bk,?i∈wk

式中bk是一個(gè)值。

通過(guò)構(gòu)建損失函數(shù)來(lái)計(jì)算ak、bk，利用嶺回歸的計(jì)算方法進(jìn)行求解：

以灰度圖像的計(jì)算為例，q對(duì)p的支持權(quán)重為

式中：μk與σk表示以像素點(diǎn)k為中心的窗口內(nèi)的均值和均方差；|w|表示固定大小為r×r的支持窗口w內(nèi)的像素個(gè)數(shù)；ε是一個(gè)正則化參數(shù)。

由于傳統(tǒng)的引導(dǎo)圖濾波算法是基于固定窗口進(jìn)行代價(jià)聚合的，匹配窗口的大小會(huì)對(duì)最終的匹配精度造成直接影響。若選用窗口過(guò)小，則會(huì)在弱紋理區(qū)域有較大的誤差；若選用窗口較大，則在深度不連續(xù)區(qū)域誤差較大，整個(gè)過(guò)程中沒(méi)有充分考慮到窗口內(nèi)部像素的差異性[14]。可以將自適應(yīng)區(qū)域算法和引導(dǎo)濾波相結(jié)合，構(gòu)建可變窗口的自適應(yīng)引導(dǎo)濾波，充分利用各像素點(diǎn)的位置差異性。通過(guò)更改內(nèi)核大小來(lái)對(duì)權(quán)重內(nèi)核進(jìn)行計(jì)算，核窗口將根據(jù)像素點(diǎn)的自適應(yīng)區(qū)域進(jìn)行調(diào)整，則式(3)的支持權(quán)重的計(jì)算方式可以變換為

2.2.3 基于邊緣約束的自適應(yīng)引導(dǎo)濾波

基于自適應(yīng)區(qū)域的代價(jià)聚合方法依賴像素點(diǎn)之間的差異構(gòu)建支持窗口，然而，在圖像中，邊界區(qū)域部分屬于容易出現(xiàn)深度值不連續(xù)的特殊區(qū)域[15]。當(dāng)引入了自適應(yīng)區(qū)域引導(dǎo)濾波時(shí)，在邊界上的邊界點(diǎn)依據(jù)顏色閾值延伸臂長(zhǎng)進(jìn)行擴(kuò)展，此時(shí)邊界區(qū)域會(huì)沿著4 個(gè)方向進(jìn)行延伸，會(huì)導(dǎo)致部分區(qū)域的邊界在進(jìn)行濾波過(guò)程中分布不均衡，對(duì)于邊緣區(qū)域的濾波操作會(huì)造成不同程度的影響，會(huì)產(chǎn)生邊界不平滑現(xiàn)象，導(dǎo)致后續(xù)代價(jià)計(jì)算的匹配精度下降。因此，考慮在邊緣點(diǎn)處添加約束條件，使得邊緣處的窗口保持較小的范圍，減少過(guò)多無(wú)關(guān)像素點(diǎn)的干擾。利用Canny[16]算法對(duì)圖像處理獲得其邊緣圖像，I表示為原圖像的邊緣圖像，I(p)=1表示該點(diǎn)為邊緣點(diǎn)，其計(jì)算判決為

式中：τ(lpq)表示2 點(diǎn)之間的顏色閾值；Ds(p,q)表示2 點(diǎn)間的空間距離；Lmax為最大臂長(zhǎng)；Dc(p,q)為2 點(diǎn)之間的顏色差值。

通過(guò)線性閾值進(jìn)行操作，離像素點(diǎn)越近的位置，閾值越大；當(dāng)距離像素點(diǎn)越遠(yuǎn)的時(shí)候，閾值變得越小。同時(shí)，在邊緣點(diǎn)處，將該點(diǎn)的延伸臂長(zhǎng)限制到一定的范圍內(nèi)，保證自適應(yīng)區(qū)域不會(huì)包含太多的無(wú)關(guān)區(qū)域。

圖3 中是采用不同判斷依據(jù)處理后得到的自適應(yīng)區(qū)域，從圖3(a)中看出，經(jīng)過(guò)線性閾值的操作，該閾值變化受空間距離的影響，但交叉區(qū)域依然會(huì)包含過(guò)多無(wú)關(guān)像素。如圖3(b)所示，經(jīng)過(guò)邊緣抑制，其構(gòu)建的支持窗口區(qū)域明顯縮小，原有的臂長(zhǎng)延伸方向不變，但是會(huì)減小無(wú)關(guān)區(qū)域的大小，使得該區(qū)域包含了更多的有效像素，并且再也不會(huì)影響非邊界區(qū)域的臂長(zhǎng)延伸。

圖3 不同判決條件所構(gòu)成的交叉區(qū)域

圖4 是進(jìn)行自適應(yīng)引導(dǎo)濾波代價(jià)聚合視差圖，在圖4(a)中可以看出，只考慮將顏色閾值作為判斷依據(jù)，由于其在邊界區(qū)域的自適應(yīng)區(qū)域范圍過(guò)大，導(dǎo)致在代價(jià)聚合計(jì)算后的視差圖中存在邊緣過(guò)于平滑的現(xiàn)象。如圖4(b)中的橢圓區(qū)域，將邊緣約束引入之后，避免了邊緣點(diǎn)處自適應(yīng)區(qū)域的過(guò)度延伸，使得自適應(yīng)區(qū)域能夠包含更多的有效像素，在代價(jià)聚合過(guò)程中視差圖中圖像的邊界區(qū)域能夠更好地保持著原圖的細(xì)節(jié)特征。

圖4 兩種引導(dǎo)濾波算法處理后的視差

2.3 視差計(jì)算與精細(xì)化后處理

式中D表示視差搜索范圍，即經(jīng)過(guò)代價(jià)聚合的代價(jià)計(jì)算圖選取代價(jià)最小的值作為最終的視差圖。常用的后處理方法有：左右一致性檢測(cè)，即經(jīng)過(guò)代價(jià)聚合后可以分別獲得參考圖像和目標(biāo)圖像的視差圖，通過(guò)判斷左圖某一點(diǎn)的視差值和右圖某一點(diǎn)的視差值的差值進(jìn)行判斷，其判斷標(biāo)準(zhǔn)為

|dL(i)?dR[i?dL(i)]|＜δ0

式中：dL(i)表示i點(diǎn)在左視差圖的視差值；dR[i?dL(i)]代表點(diǎn)i右視差圖中與之對(duì)應(yīng)的點(diǎn)；δ0表示2 點(diǎn)的閾值，一般設(shè)置為1。若不滿足該條件，則認(rèn)為該點(diǎn)為異常點(diǎn)，對(duì)該點(diǎn)利用加權(quán)中值濾波進(jìn)行后處理計(jì)算填補(bǔ)。

3 實(shí)驗(yàn)驗(yàn)證

本文實(shí)驗(yàn)在Matlab2016a 平臺(tái)下進(jìn)行編程實(shí)現(xiàn)。為驗(yàn)證代價(jià)計(jì)算和代價(jià)聚合的算法有效性，采用Middlebury[17]立體匹配評(píng)估測(cè)試平臺(tái)提供的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。按照統(tǒng)一評(píng)價(jià)標(biāo)準(zhǔn)，設(shè)誤差閾值參數(shù)為1。實(shí)驗(yàn)中所涉及的參數(shù)如表1 所示。

表1 實(shí)驗(yàn)參數(shù)設(shè)置

3.1 代價(jià)聚合算法驗(yàn)證

為驗(yàn)證邊緣約束的自適應(yīng)代價(jià)聚合算法的有效性，將固定窗口大小的引導(dǎo)濾波器立體匹配算法和改進(jìn)后的代價(jià)聚合對(duì)Middlebury 測(cè)試平臺(tái)的標(biāo)準(zhǔn)圖像進(jìn)行實(shí)驗(yàn)。圖5 為Middleburry2006 數(shù)據(jù)集的5 組圖像Baby1、Baby2、Baby3、Flowerpots和Bowling2 的實(shí)驗(yàn)結(jié)果。

圖5 引導(dǎo)濾波算法與本文算法對(duì)比

從圖5 中可以看出，相較于固定尺度支持窗口的引導(dǎo)濾波器代價(jià)聚合算法，改進(jìn)算法在圖像邊界紋理區(qū)域的誤匹配現(xiàn)象明顯得到改善，匹配精度有所提升。這是由于在自適應(yīng)引導(dǎo)濾波的過(guò)程中，考慮到邊界像素點(diǎn)的特殊性，添加了閾值因子，使得原邊界點(diǎn)按照原有的延伸方向進(jìn)行伸展的過(guò)程中，包含更多的有效區(qū)域，減小了無(wú)關(guān)區(qū)域的干擾，有效減少了邊界的不連續(xù)區(qū)域的產(chǎn)生，提高了算法的匹配精度。表2 為2 種聚合算法的誤匹配率。

表2 不同代價(jià)聚合算法誤匹配率 %

3.2 算法有效性驗(yàn)證

為驗(yàn)證本文的算法有效性能，將本文算法在Middlebury 提供的4 組標(biāo)準(zhǔn)測(cè)試圖上進(jìn)行實(shí)驗(yàn)，并與其它局部立體算法進(jìn)行對(duì)比。其中Tsukuba、Venus、Teddy 和Cones 的視差搜索范圍分別為[0,15]、[0,19]、[0,59]、[0,59]，縮放倍數(shù)為[16,8,4,4]。本文算法分別與多種經(jīng)典立體匹配算法進(jìn)行對(duì)比分析，所采用的算法分別為L(zhǎng)CVB-DEM[18]、Cost-Filter[9]、SMPF[19]和AdaptAggrDP[20]，其中CostFilter和AdaptAggrDP 均為局部立體匹配算法，比較各個(gè)算法在不同區(qū)域的誤匹配率，其中誤匹配視差結(jié)果如圖6～11 所示，紅色部分表示誤匹配的視差值。

圖6 Middlebury 數(shù)據(jù)集圖像

圖7 CostFilter 算法誤匹配視差

圖8 SMPF 算法誤匹配視差

圖9 LCVB-DEM 算法誤匹配視差

圖10 AdaptAggrDP 算法誤匹配視差

圖11 本文算法誤匹配視差

在以上算法處理的結(jié)果圖6～11 中，紅色部分均表示誤匹配區(qū)域。由結(jié)果可以明顯看出相較于AdaptAggrDP、SMPF 算法，本文算法在各個(gè)圖像中的紅色區(qū)域明顯減小，并且本文算法產(chǎn)生的深度圖在邊緣細(xì)節(jié)方面表現(xiàn)較好。在Tsukuba 圖像中，本文算法在臺(tái)燈和人物雕塑部位有較少的誤匹配點(diǎn)出現(xiàn)，而其他算法在該區(qū)域部分的誤匹配點(diǎn)較為連續(xù)和稠密。在Vensus 圖像中，LCVBDEM 算法處理后的圖像，在邊緣處的紅色誤匹配點(diǎn)明顯較多，而本文所提出的算法，在深度不連續(xù)的邊緣處的誤匹配點(diǎn)明顯較少，這是由于充分利用自適應(yīng)引導(dǎo)濾波的優(yōu)勢(shì)，充分利用各個(gè)像素點(diǎn)的交叉區(qū)域的特異性，并限制了邊緣處的過(guò)度延伸，使得邊緣處的細(xì)節(jié)得到更好的還原。在Cones 圖像中，本文算法在圖像中的左區(qū)域誤匹配點(diǎn)相較于其他算法有明顯減少，其中，在深度不連續(xù)區(qū)域依然保持良好。進(jìn)一步對(duì)比各算法在不同區(qū)域的誤匹配率，來(lái)比較各個(gè)算法之間的差異性。表3 為各個(gè)立體匹配算法的誤匹配率。

表3 立體匹配算法誤匹配率比較 %

表中：N-occ 表示非遮擋區(qū)域的誤匹配率；Disc表示不連續(xù)區(qū)域的誤匹配率；All表示整張圖像的誤匹配率。與局部立體匹配AdaptAggrDP 算法相比，本文算法誤匹配率有大幅度降低，尤其是在Cones 圖像上誤匹配率大幅度降低。本文算法與局部立體匹配CostFilter 算法均采用引導(dǎo)圖濾波的代價(jià)聚合方式，可以看出在引入邊緣自適應(yīng)引導(dǎo)濾波后，在以上數(shù)據(jù)集圖像上的非連續(xù)區(qū)域，本文算法誤匹配率均低于CostFilter 算法，表明自適應(yīng)區(qū)域可以有效避免代價(jià)聚合過(guò)程中的無(wú)關(guān)區(qū)域?yàn)V波，減小誤匹配率，邊界保護(hù)性能有所提高。本文所提出的算法，在該數(shù)據(jù)集上的平均誤匹配率降低到5.22%。

4 結(jié)論

本文以局部立體匹配算法為基礎(chǔ)，通過(guò)將自適應(yīng)支持窗口算法和自適應(yīng)權(quán)重算法相結(jié)合，并引入了邊緣約束思想，提出了一種基于自適應(yīng)邊緣約束的自適應(yīng)引導(dǎo)濾波的局部立體匹配算法。

1)與固定窗口大小的引導(dǎo)濾波算法相比，本文的自適應(yīng)引導(dǎo)濾波算法可以根據(jù)各個(gè)像素點(diǎn)所構(gòu)建的交叉區(qū)域進(jìn)行濾波操作，充分利用各個(gè)像素點(diǎn)的差異性，并且考慮邊緣點(diǎn)的特殊部分，使得本文算法在最終視差圖中能夠較好地保留邊界結(jié)果。

2)自適應(yīng)引導(dǎo)濾波由于在代價(jià)聚合過(guò)程中需要計(jì)算每個(gè)像素點(diǎn)的交叉區(qū)域，所以在算法的整體運(yùn)算時(shí)間上會(huì)有所增加，要使立體匹配算法能夠真正滿足實(shí)時(shí)性的要求，可以考慮使用并行運(yùn)算實(shí)現(xiàn)加速。