多測度融合的樹形濾波立體匹配算法

楊 科，劉 凱

(四川大學 電氣工程學院，四川 成都 610065)

0 引 言

立體匹配的過程可以概括為匹配代價計算、代價聚合、初始視差計算和視差求精4個步驟，并根據代價聚合方式將匹配算法劃分為全局算法和局部算法兩大類[1]。全局算法[2,3]主要采用全局優化理論方法估計視差，建立并最小化全局能量函數得到最優視差值，計算精度較高，但是運算效率低，實時性差。局部算法[4,5]給定圖像中一點并在其鄰域內的一個窗口中，根據某種相似性度量，尋找與子窗口圖像最相似的子圖，其運行效率高且易于實現，但容易陷入局部最優解。近年來，隨著深度學習的不斷發展，一些深度學習方法[6,7]被應用在立體匹配領域來同時達到高精度和實時性，但這類算法對硬件性能和數據集依賴較強，成本較高。Yang[8]提出基于樹形結構的非局部匹配算法，解決了全局算法計算效率低，局部算法容易陷入局部最優的問題，但是代價計算階段只考慮單一的圖像信息，圖像邊緣的匹配精度不高。針對以上方法的不足，本文提出了一種融合顏色、邊緣和Census信息的立體匹配代價計算方法，通過自適應窗口獲得更優的匹配代價策略，同時提出一種基于圖像分割的最小生成樹權重策略，計算代價聚合，進一步提高視差精度。該算法能夠在對硬件性能和數據集沒有明顯依賴的條件下，實現高精度立體匹配。

1 匹配代價計算

立體匹配算法的輸入為兩張存在視差關系(一般為水平視差)的圖像，其中一張被稱為參考圖像(reference image)，另一張為目標圖像(target image)。匹配代價計算作為立體匹配的第一步，它被用來衡量參考圖像和目標圖像像素之間的相似程度。由于圖像的復雜性，當前的匹配算法在光照變化區域、像素邊緣區域的匹配精度較低。針對以上問題，本章提出了一種自適應窗口的融合匹配代價計算方法，其融合了圖像顏色信息、Census信息和邊緣信息。顏色信息計算簡單，對圖像細節辨識能力強，但容易受噪聲和光照變換的影響；Census信息對光照變化不敏感，魯棒性高；像素邊緣信息復雜，圖像特征顯著，常處于視差不連續區域，融合邊緣信息能減少在邊緣上的錯誤匹配。

1.1 自適應窗口的Census變換

Census變換[9]是一種局部非參數變換，計算存儲點在窗口中的灰度順序和局部鄰域的空間結構信息。傳統的Census變換流程為：使用一個固定大小的矩形窗口遍歷圖像，比較像素鄰域內的局部灰度差異并將比較后的差異大小轉換成比特串，最后根據比特串計算左右圖像像素對的Hamming距離，作為匹配代價，衡量圖像之間的相似度。Census變換公式為

(1)

式中：I(p)、I(q)為像素點p,q的灰度值，?為位串聯符，W′(p)是W(p)內除中心像素點p外的鄰域點集。ζ表示按位比較，滿足

(2)

將Census變換得到的比特串，計算Hamming距離作為匹配代價，Hamming距離越小，則代表兩個像素點間的相似度越高，也就是匹配代價越低。Hamming公式為

CCensus(p,d)=TCensus(p)⊕TCensus(p+d)

(3)

式中：TCensus(p)和TCensus(p+d)分別表示參考圖像和目標圖像中視差值為d的Census變換值。

由于傳統的Census變換依賴于固定矩形窗大小的選擇，但針對圖像不同區域，需要選擇不同的窗口策略。在邊緣區域，通常需要較小的窗口來進行代價計算，否則會造成圖像的模糊；而在非邊緣區域選用較大的窗口進行代價計算，能較好反映圖像紋理信息。為了提高圖像匹配精度，適應不同的圖像區域，提出一種基于Sobel邊緣檢測算子的自適應窗口Census變換算法。

Sobel算子使用兩個3×3矩陣作為卷積模版，分別代表橫向和縱向。令A為被處理后的圖像像素矩陣，Gx和Gy各自為每一個像素橫向和縱向的灰度梯度，G為該像素點的灰度梯度，則公式為

(4)

通過Sobel算子檢測出像素點的梯度值后，根據計算出的像素邊緣大小在不同區域采用不同的窗口尺寸進行Census變換，自適應選用窗口的具體規則如下

(5)

式中：W代表選定的窗口大小，W1,W2分別代表大小不同的窗口。

當像素邊緣值G小于等于閾值T時，表明該區域紋理平緩像素信息變化較小應采用大窗口，而在其它邊緣深度不連續區域采用小窗口用以保護邊緣。圖1表示傳統Census變換和改進的自適應窗口Census變換得到的視差，如圖像中部矩形框所示，在房頂煙囪附近，改進后的Census變換算法圖像更加平滑，在右上角弱紋理區域，玩具手部和背景更好的區分開來。因此，改進后的算法具有更好的邊緣保持特性，從而匹配精度提高。

圖1 傳統的Census變換和改進Census變換得到的視差

1.2 多測度融合代價計算

首先對顏色信息進行代價計算。一般情況，左右圖中像素顏色越相似，越可能有相近的視差，構造像素p以d為視差值的顏色信息匹配代價CTAD(p,d)，公式為

(6)

對邊緣信息進行代價計算。為了減小計算復雜度，避免重復計算，結合1.1節中的Sobel邊緣算子計算得到的邊緣值，構造邊緣匹配代價CE(p,d)，公式為

CE(p,d)=min(|edge(p)-edge(p+d)|,τ3)

(7)

式中：edge(p)函數為像素點p的Sobel值，τ3為截斷值。

對Census信息進行代價計算。同式(3)。

先將相同一尺度下的顏色和邊緣信息代價融合CR(p,d)，公式為

(8)

再將顏色、邊緣和Census信息代價融合C(p,d)，公式為

C(p,d)=ρ(CR(p,d),λR)+ρ(CCensus(p,d),λCensus)

(9)

式中：ρ(C,λ)是關于變量C的歸一化函數，定義為

(10)

2 代價聚合

由于圖像中的單個像素點極易受噪聲影響，且沒有考慮到像素之間的視差值存在一定相互關系，通過初始代價計算后得到的像素視差往往不準確且不連續，所以需要對參考圖像中每個像素點進行代價聚合。文獻[8]構造了基于最小生成樹的代價聚合，但尺度單一，權重僅依賴顏色信息，匹配精度有待提高。針對此問題，本章提出一種基于圖像分割的樹形濾波代價聚合算法。

2.1 最小生成樹的構造

基于圖論的樹形濾波器，將參考圖像視作為一張連通無向圖G=(V,E)，頂點V為圖像的像素點集合，E為邊的集合，可以連接圖中任意兩點。假設圖像中兩個像素點p,q，連接兩點的邊的權重表示為w(p,q)，其值大小可以衡量相鄰像素的相似度，如果?K∈V且為無圈圖，使w(K)最小，則K就稱之為G的最小生成樹。本節把無向圖G看作四連通圖，即像素的上、下、左、右是其鄰近區域。若僅考慮顏色信息，則權重值w為鄰近像素p,q間顏色(R,>G,>B)的最大絕對差

(11)

式中：Ii(p)為像素p在i通道的下的像素值。

在構造無向圖時，參照代價計算步驟，將像素的顏色和邊緣信息融合計算邊權重，有利于提高邊緣區域的匹配精度。為了獲取圖像邊緣信息，需要對圖像進行分割。本節采用均值漂移(mean-shift)算法進行圖像分割，它作為一種聚類算法，收斂快、分割效果好。圖2中顏色相同表明分割后位于同一區域。

圖2 圖像分割前后

以分割圖像結果為根據，構造新的權重函數

(12)

式中：edge函數為求像素點的Sobel值，α為調節參數，V1,2,3,…,n表示分割后不同顏色區域。

由此可知，在生成最小樹的過程中，若兩點間差異越大，則連接兩點的邊上的權重值就會越大，這些邊會在求解最小生成樹的過程中被刪除，最后就會得到一棵由所有像素點構成的最小生成樹，這類問題一般用貪心算法求解。

采用有限元軟件ABAQUS建立類方形蜂窩夾層結構精細有限元模型，分別對四邊簡支條件下雙壁厚和等壁厚類方形蜂窩夾層結構進行模態分析。模型尺寸如表2所示，夾層結構上、下面板及夾芯材料均采用Al6061，在夾層結構的4個邊界處分別施加平行邊界方向及z向位移約束，模擬簡支邊界條件；表3為雙壁厚和等壁厚類方形蜂窩夾芯的等效彈性參數。

2.2 最小生成樹的代價聚合

圖3 最小生成樹上的代價聚合

(13)

(14)

根據式(14)，就可以求得最小生成樹中任何一個節點的代價聚合。在代價聚合時，像素節點都直接或間接對其它像素節點的代價聚合產生影響，計算過程中只用進行少量加、減、乘運算，因此能高效地進行代價聚合。

3 視差計算及求精

經過代價聚合步驟后，真實匹配點在眾多候選點之中的匹配代價最小，于是采用贏者通吃(winner-takes-all，WTA)策略，選取匹配代價最小對應的視差值作為初始視差，得到初始視差圖

(15)

(16)

把不穩定點的匹配代價值設為0。最后重復第三步代價聚合算法，使視差值從穩定點擴散到不穩定點，令圖像平滑，再次利用WTA策略得到精確視差圖。

綜上，本文算法流程如圖4所示。

圖4 本文算法流程

4 實驗結果與分析

為驗證本文算法的有效性，在本節中，將本文算法與它4種算法作比較：圖割算法[10](graph cut，GC)、半全局匹配算法[11](semi-global matching，SGM)、同樣基于樹形結構非局部代價聚合算法[8](non-local cost aggregation，NLCA)及其改進的分割樹算法[12](segment-tree，ST)，其參數按照相應論文設置。并選取Middlebury網站平臺[13]中的圖像作為測試集，其中標準數據集Tsukuba、Venus、Teddy和Cones，4組圖像的視差搜索范圍依次分別為[0,15]、[0,>19]、[0,>59]和[0,>59]。實驗使用的電腦配置為Windows 10 64位系統，8 GB內存2 GHz AMD處理器，使用C++語言在Visual Studio 2013和OpenCV 2.4.9平臺上實現算法。

對于定量評價指標的計算，將算法所得視差圖與真實視差圖作比較，計算視差值大于給定視差閾值的像素點占整體視差圖像素點的比例，即誤匹配率PBM(percentage of bad matching)，公式為

(17)

式中，dc(p)為計算所得的視差值，dt(p)為圖像真實視差值，N為圖像像素點總數，δd為視差閾值，一般情況下取1。

為了測試算法在Middlebury測試集中的圖像不同區域的具體表現，將測試圖像劃分為視差不連續區域和非遮擋區域，統計結果Disc、All、Nonocc分別代表視差不連續區域、全部區域和非遮擋區域的誤匹配率。

實驗中使用的參數值見表1。其中，參數α調節式(12)代價聚合時最小生成樹邊的權重w，α越大表示邊緣信息的貢獻越大，反之，顏色信息的貢獻越大。為了找到一個通用且合理的α值，使圖像的匹配精度最高，對α在[0,1]的范圍內，計算4個標準的Middlebury數據集在全部區域上的誤匹配率。實驗結果如圖5所示，當α取0.1時，匹配效果最優，平均誤匹配率最小。

表1 參數列表

圖5 不同α取值下的誤匹配率

在Middlebury 4個標準測試集上的實驗結果如圖6所示。圖6(d)誤差圖中黑色部分為誤差區域，黑色部分越少表示匹配精度越高，可以看出算法比較接近于真實視差圖。同時將本文算法與其余4種算法在Middlebury標準測試集上定性分析，得到的視差圖對比情況如圖7所示。因為本文算法對邊緣信息上的關注，在低紋理區域、視差不連續區域都要表現出更優的匹配效果。在標準圖Tsukuba中，用白色矩形框框出臺燈區域，其屬于視差不連續區域，可以看出，本文算法比NLCA和ST算法在臺燈邊緣輪廓上顯示更加清晰；還有Teddy圖中，矩形框內為弱紋理區域，本文算法與NLCA算法效果相當，很好地將玩具的手部與背景區分，手部輪廓顯示清晰；對于Cones圖中矩形框內的重復紋理區域，為本文算法能較好得將重復區域區分開來，與真實視差圖更為接近。

圖6 本文算法結果與真實視差對比

圖7 算法視差結果

除了視覺上的定性分析，也需要從數據上來定量分析。表2為各算法在4組不同風格的標準集上定量評價結果，視差閾值為1， 使用視差不連續區域，全部區域和非遮擋區域的誤匹配率來評估該算法的性能。如表2所示，本文算法在各區域的誤匹配率都低于其它算法，在平均誤匹配率上，本文算法比NLCA和ST算法提高了2個百分點，是SGM算法的3.37倍。

表2 算法誤差率對比/%

為了獲得更可靠的算法評價，在Middlebury 2005和2006測試集中選取16組數據集來測試算法的性能，這里使用非遮擋區域的誤匹配率來進行比較，表3為定量評價的結果。本文算法以最低的平均誤匹配率和最高的平均排名優于其它算法。從本文算法的定量結果可以看出，非局部的樹形濾波算法從邊緣和分割信息中獲益匪淺。同時，為了更直觀的比較，這里將Cloth3和Dolls的視差圖結果展示在圖8中。與ST和NLCA算法相比，本文算法在弱紋理區域和像素邊緣區域有較好表現。

圖8 算法在Cloth3和Dolls數據集上的視差結果

表3 算法在非遮擋區域誤差率對比/%

算法的運算時間見表4，由于本文算法在計算匹配代價時，邊緣信息由自適應選擇Census變換窗口，計算比較耗時，相較于只考慮顏色信息的NLCA和ST算法，速度稍慢。但是在代價聚合時，算法時間相當。后期可以考慮使用并行計算，以降低代價計算所耗時間，進一步提高匹配速度，達到實時性。

表4 算法運行時間對比/s

5 結束語

針對立體匹配算法中的代價計算和代價聚合步驟，本文提出一種高精度的立體匹配算法。在代價計算階段，本文算法自適應選擇Census變換窗口，將邊緣信息融合進代價計算中來，使代價函數中包含了更加完整的圖像信息，減少誤匹配率。在代價聚合階段，基于樹形結構構造以邊緣信息和顏色信息為權重值的最小生成樹，通過樹形濾波器進行初始代價聚合。采用WTA策略進行視差后處理，生成視差圖。實驗結果表明，與同類算法相比，本文算法在低紋理區域、遮擋區域和視差不連續區域匹配精度均高于其它算法，同時有較好的邊緣保持特性。