閾值自適應的極線距離變換算法及其在立體匹配中的應用

王瑞,楊朝旭,榮海軍,張濤,劉馨媛

(1.西安交通大學機械結構強度與振動國家重點實驗室,710049,西安;2.西安交通大學陜西省先進飛行器服役環境與控制重點實驗室,710049,西安;3.西安交通大學航天航空學院,710049,西安)

基于雙目立體視覺的三維重建技術是計算機視覺領域的重要研究課題,目前已廣泛應用于醫學、目標姿態測量等領域[1-4]。雙目立體視覺利用雙目相機模擬人類視覺獲取圖像對,根據圖像對的位置關系可將其分為左視圖和右視圖。在雙目立體視覺中,通過計算空間點在左右視圖中的視差得到目標對應的三維信息。求取視差的過程被稱為立體匹配。目前,立體匹配算法大致分為全局立體匹配和局部立體匹配2類[5-9]。全局立體匹配算法構建全局能量函數,通過全局最優搜索策略優化求取最小能量函數,最小能量函數對應的視差為最優視差。全局立體匹配算法求取的視差圖精度高,但存在效率低、耗時長等缺點。局部立體匹配算法根據匹配基元可分為基于特征、基于相位和基于區域3類。局部立體匹配算法有計算簡單、效率高的優點。基于區域的局部立體匹配算法將圖像對中的灰度信息作為匹配基元。若左右視圖中有豐富的灰度信息,則利用基于區域的匹配算法可得到較為稠密的視差圖。由于視差精度直接反映了實際目標三維信息的準確性,所以稠密視差圖可重建出更精準的三維點云。然而,在實際應用中,受到目標表面特性的影響和雙目相機成像原理的限制,左右視圖會缺失部分灰度信息。其中,不重疊區域會產生左右視圖灰度不對應的現象,弱紋理區域則由于顏色單一造成灰度信息缺失。在不重疊區域和弱紋理區域中,利用基于區域的局部立體匹配算法會導致誤匹配。

針對弱紋理區域會造成的誤匹配現象,許多學者對立體匹配算法進行改進。一部分學者提出圖像處理和立體匹配算法融合的算法。張一飛等提出一種融合圖像分割的立體匹配算法。該算法對原始圖像進行高斯濾波和sobel平滑處理,得到圖像邊緣特征圖;將圖像的RGB這3個通道進行二分類,通過融合得到分割模板圖;對灰度圖、邊緣特征圖和分割模板圖進行立體匹配得到初始視差圖,進而利用視差優化得到最終視差圖[10]。Hamzah等提出基于RGB絕對色差和梯度匹配的立體匹配算法。在此算法中,將基于RGB顏色的SAD算法與梯度信息結合得到原始視差,再利用雙邊濾波去除噪聲以得到最終視差圖[11]。Shi等提出基于分段自適應窗口和多特征融合的立體匹配算法。該算法首先對圖像進行分割并根據區域面積選取相對應的窗口,然后基于顏色和梯度信息進行立體匹配得到初始視差圖,最后通過視差優化得到可靠視差圖[12]。這些算法能在特定場景下得到精度較高的視差圖,但依賴初始視差圖、圖像分割結果和后期的視差優化算法。此外,有學者從提升圖像質量的角度提出改進算法。Yang等提出極線距離變換(EDT)算法。該算法使用分割系數代替圖像灰度信息作為新的匹配基元進行立體匹配。此算法可提升弱紋理區域的像素可分性,但存在最優參數選擇及較大弱紋理區域表現乏力的問題[13]。因此,岳頎和符立梅等對EDT算法進行改進,實現了參數的自適應選擇,但仍面臨著圖像不重疊區域變換錯誤導致最終誤匹配的問題[14-15]。曹曉倩等對EDT算法進行改進,提出了基于弱紋理區域檢測及視差圖融合的立體匹配(LTD-DMF)算法。該算法首先將圖像分割為弱紋理區域和豐富紋理區域,然后根據自適應支撐域的思想對弱紋理區域進行距離變換,最終通過視差圖融合得到完整視差圖。該算法在一定程度上降低了不同尺度弱紋理區域對匹配精度的影響,但仍存在參數選擇和不重疊區域變換錯誤的問題[16-17]。

為解決圖像對中存在的不重疊區域會導致誤匹配現象的問題,郭川提出重疊區域分割算法,借助左右視圖間的變換矩陣T得到重疊區域,但是此算法沒有考慮到每條極線對應的目標深度各不相同,所以會得到錯誤的分割結果[18]。張芬等借助雙目相機模型獲取重疊區域,但此算法只適用于相同深度目標所對應區域的分割[19]。

為解決基于區域信息的局部立體匹配算法在圖像不重疊區域和弱紋理區域中會產生誤匹配的問題,本文提出閾值自適應的極線距離變換(AT-EDT)算法。AT-EDT算法主要包括圖像重疊區域分割、局部區域信息表示和閾值自適應距離變換共3個步驟,對應的邏輯框圖如圖1所示。

圖1 AT-EDT算法邏輯框圖

1 極線距離變換

針對弱紋理區域容易發生誤匹配現象的問題,Yang等提出EDT算法。在此算法中,使用圖像分割系數代替圖像灰度信息作為新的匹配基元。其理論依據為:將斜線通過仿射變換投影到雙目相機上時,斜線上一點對斜線兩端的分割系數保持不變。極線距離變換如圖2所示,pq為空間中一條斜線,o為斜線上一點,pl、ol、ql和pr、or、qr為p、o、q在左、右視圖上的對應點。o對pq的分割系數具有不變性,因此可將分割系數作為匹配基元,其表達式為

圖2 極線距離變換

(1)

因為立體校正后的圖像對是嚴格行對準的,所以可將plql和prqr看作左右視圖中的對應極線。為了消除分割精度的影響,該算法通過統計特定窗口內的像素灰度來計算分割系數,其表達式為

(2)

EDT算法有很強的魯棒性,可有效提升一定弱紋理區域的像素可分性。但是,在該算法中,預設的弱紋理區域窗口尺寸小于2σsω+1,不適用于較大的弱紋理區域。此外,該算法還面臨標準公差和尺度因子的參數選擇的問題。針對這些問題,曹曉倩等提出LTD-DMF算法。該算法分為弱紋理區域檢測、自適應距離變換及視差圖融合3步。弱紋理區域主要通過計算像素灰度梯度和特定窗口中的方差來進行檢測,若滿足一定的條件,則屬于弱紋理區域。具體的表達式為

(3)

式中

|I(u,v)-I(u,v+1)|)

(4)

(5)

檢測出弱紋理區域后,對該區域進行自適應距離變換。自適應距離變換采用自適應支撐域的思想。p為弱紋理區域中的任一像素,沿著極線向左側搜索,若某像素pl與p的灰度差異大于一定閾值,就將pl設為左端點。同理,向極線右側進行搜索得到右端點pr。以左右兩側像素數表示分割系數,完成距離變換,公式為

(6)

最后,分別對紋理豐富區域和距離變換后的弱紋理區域進行立體匹配,得到兩組視差圖。將兩部分視差圖進行融合得到完整視差圖。該算法有效降低了不同尺度弱紋理區域對匹配精度的影響,但仍面臨以下3個問題:①左右視圖中的不重疊區域容易導致距離變換錯誤;②在距離變換中,選取固定閾值容易導致圖像喪失細節或產生重復紋理現象;③距離變換過程中選取固定閾值會產生過大或過小的支撐域,導致誤匹配現象。

2 閾值自適應的極線距離變換算法及其在立體匹配中的應用

2.1 圖像重疊區域分割

重疊區域是指左右視圖中的重疊部分,也就是同一空間點在左右視圖中均存在對應點。圖3是雙目成像原理。從圖3a可以看出,雙目相機的光心分別為ol和or,空間中一點p在雙目相機成像平面中的對應點分別為pl和pr。從圖3b可以看出,左視圖的左側有一部分像素點對應的空間點在右視圖內無對應點。同理,從圖3c可以看出,右視圖的右側部分像素對應的空間點在左視圖中無對應點。為了獲取三維空間中某一點的視差,需要獲取該點在左右視圖中的對應點。由于左右視圖中的不重疊區域會導致誤匹配現象的發生,所以在進行距離變換之前,需要去除圖像的不重疊區域。

(a)圖像重疊區域

空間中的一點映射到左右視圖上時,投影的對應點灰度具有較高的相似性。因此,在相同極線上選取左右視圖中對應視差范圍內的像素點,并計算兩像素點鄰域內的灰度信息。將灰度信息作為參考,實現圖像重疊區域的分割。以左視圖為例,根據成像原理可知,右視圖中的左端點像素在左圖中存在對應點,且對應點坐標之差在視差范圍內。根據視差范圍在左視圖中選取出與右視圖中左端點相對應的像素點。選取對應點右側一定距離內的像素作為鄰域,并通過歐氏距離來計算兩組鄰域間的灰度相似性,公式為

(7)

式中:Sl(d)表示視差為d時對應鄰域的相似性;M為右鄰域的長度,本文中取值為100;Il(x,y)和Ir(x,y)為左右視圖中點(x,y)處的灰度,左右的y取值一致代表左右點取自對應極線。求解出每個視差對應的歐氏距離后,取出最小歐氏距離min(Sl(d))對應的視差。將左視圖中該視差處的像素點與右視圖左端點看作對應點,并將左視圖中該視差處的點對應的左側像素灰度均設置為0,以去除左視圖中的不對應區域。右視圖同理,取左視圖右端點與對應視差范圍內的右視圖像素點,并確定出對應鄰域。根據鄰域內的灰度信息,得到每個視差對應的歐氏距離。得到最小歐氏距離min(Sr(d))后,取出對應視差,并去除右視圖中的不對應區域。右視圖使用的歐氏距離公式為

Sr(d)=

(8)

式中w為圖像寬度。

去除不對應區域后,可得到左右視圖的重疊區域。重疊區域分割可避免灰度不對應產生的誤匹配現象。為了得到圖像不同尺度弱紋理區域對應的距離變換閾值,對圖像局部紋理進行表示。

2.2 局部區域信息表示

針對使用固定閾值對不同尺度弱紋理區域進行距離變換會產生變換錯誤的問題,并且考慮到在后續立體匹配過程中需要將局部區域信息作為匹配信息,本文將左右視圖的局部信息作為參考,來獲取距離變換閾值。圖像對中像素點(x,y)的紋理信息G(x,y)表達式為

G(x,y)=H(x,y)+V(x,y)

(9)

式中:G(x,y)為點(x,y)處的紋理信息;H(x,y)為點(x,y)處的灰度梯度;V(x,y)為點(x,y)處的圖像局部灰度方差。

灰度梯度可表示圖像中的邊緣信息,表達式為

(10)

式中gx和gy分別為圖像的垂直梯度和水平梯度,采用sobel模板獲得,公式為

(11)

圖像方差表示圖中每個像素點灰度與灰度均值之差的平方和的平均數,可用來表示灰度與灰度均值的離散程度,表達式為

(12)

為了得到圖像各區域紋理信息的豐富程度,需要計算圖像的局部方差。局部方差V(x,y)的表達式為

(13)

為了解決某些邊緣像素對應的鄰域超出圖像范圍的問題,以邊緣為中心線對圖像中的像素進行鏡像反射,通過圖像擴張來獲取邊緣像素對應的鄰域。

得到左右視圖對應的區域信息后,因為邊緣區域與非邊緣區域的紋理信息差值較大,所以利用gamma變換對紋理信息圖像的對比度進行調整。gamma變換主要分為歸一化、預補償和反歸一化,主要變換過程為

(14)

式中:G(x,y)和G′(x,y)分別為gamma變換前后的圖像紋理值;γ為gamma變換中的指數;GT和GD分別為所有圖像紋理中的最大值和最小值,其中最小紋理值為0。為了縮小全圖紋理比例,γ應小于1,通過多次實驗,最終將γ確定為0.3。代入這些數值后,式(14)變為

(15)

進行gamma變換后再對紋理信息圖像歸一化,進而得到局部區域紋理相對于紋理最大值的比例(G(x,y)/GT)0.3,將左右視圖對應的最大視差S作為基準,定義每像素的距離變換閾值

a(x,y)=S(G(x,y)/GT)0.3

(16)

對圖像的局部區域信息進行表示后,提取到圖像局部紋理特征,并得到圖像中每個像素對應的距離變換閾值。為了提升圖像的紋理信息,利用AT-EDT對圖像進行變換。

2.3 閾值自適應的距離變換

LTD-DMF算法是根據灰度相似性確定支撐域,給定灰度閾值過大會導致極線搜索域過大。為了避免極線搜索域過大造成的誤匹配現象,先對圖像進行預處理。對每條極線上的所有像素點進行統計:x為極線上灰度值非零的像素點的序號;c(x)和I(x)為第x個像素點對應的坐標和灰度;T1和T2為坐標閾值和灰度閾值,用來調整原始支撐域。T1取為原始圖像的寬度的1/10,T2取為圖像中非零像素點對應的灰度的標準差。

若滿足

c(x)-c(x-1)>T1或I(x)-I(x-1)>T2

(17)

則將第x個像素點對應的坐標值定義為零點。相鄰零點之間的區域稱為原始支撐域。若存在長度小于T1的原始支撐域,則將其去除,以避免支撐域過短而在距離變換后出現重復紋理。

得到原始支撐域后,利用AT-EDT算法對圖像進行距離變換。原始支撐域中的每個像素點p沿極線向左右兩側尋找,表達式為

(18)

式中a(x,y)為每點的距離變換閾值。若出現一點(xl,y)與給定點(x,y)的灰度差大于參數a(x,y),則將該點設置為左端點。右端也是如此。若未在原始支撐域中尋找到對應點,則將原始支撐域對應的兩端點分別定義為距離變換中的左右端點。從而得到像素點p對應的分割系數

(19)

根據分割系數對極線上的點進行賦值,完成距離變換。

2.4 AT-EDT算法在立體匹配中的應用

對圖像進行距離變換后,通過立體匹配得到視差圖。本文選用像素差平方和(SSD)立體匹配算法。該算法選用左右視圖中對應點鄰域內的灰度,并將灰度差值的平方和作為參考信息,實現最佳匹配像素塊的尋找,其表達式為

Il(x+i+d,y+j))2

(20)

式中:C(x,y,d)為像素(x,y)的視差取d時的匹配代價;Il(x,y)和Ir(x,y)是像素點(x,y)在左右視圖中對應的灰度;W為以(x,y)為中心的匹配窗口。

AT-EDT算法的偽代碼描述如下。

1.For 右視圖中的每一個左端點 do

2. For左視圖對應極線上視差范圍內的每一個點do

3.通過式(7)計算左視圖視差對應的歐氏距離Sl(d)

4.End for

5.End for

6.For 左視圖中的每一個右端點 do

7. For 右視圖對應極線上視差范圍內的每一個點 do

8.通過式(8)計算右視圖視差對應的歐氏距離

Sr(d)

9.End for

10.End for

11.For 每個視差 do

12.WhileSl(d)=min(Sl(d)) do

13.去除左視圖對應極線上像素點d的左側區域

14.End while

15.WhileSr(d)=min(Sr(d)) do

16.去除右視圖對應極線上像素點w-d的右側區域

17.End while

18.End for

19.For 左右視圖中的每個像素點 do

20.通過式(16)計算對應距離變換閾值a(x,y)

21.通過式(17)構建原始支撐域

22.通過式(19)構建每點對應的分割系數,完成距離變換

23.End for

24.利用SSD算法對距離變換后的圖像進行立體匹配得到視差圖

3 仿真結果分析

因為本文AT-EDT算法主要是針對Yang等提出的EDT算法和曹曉倩等提出的LTD-DMF算法進行改進,所以同時與這兩種算法進行對比分析。本文實驗均在MATLAB2018a平臺中進行。

3.1 基于標準庫圖像的實驗結果對比分析

標準庫為Middlebury數據庫,本文采用其中的保齡球、燈和塑料圖像進行實驗。

本文提出的AT-EDT算法主要包括圖像重疊區域分割、局部區域信息表示和閾值自適應距離變換共3個過程。

首先對圖像對的重疊區域進行分割,結果如圖4所示。可以看出,該過程可剔除圖像的不重疊區域,并有效避免不重疊區域產生的變換錯誤。

(a)原始左視圖 (b)原始右視圖

本文AT-EDT算法得到的變換結果如圖5f所示。可以看出,本文算法有效增加了弱紋理區域的可分性。同時,在紋理豐富區域,有效保留了細節并避免了易產生的重復紋理現象。

(a)原始輸入圖像 (b)EDT結果1 (c)EDT結果2

(a)原始輸入圖像

從圖6可以看出:EDT算法對應的視差圖與原始圖像直接立體匹配得到的視差圖相比,精度有所提升,但仍面臨著較大弱紋理區域誤匹配的問題;LTD-DMF算法對應的視差圖在不重疊區域會出現誤匹配,且存在視差不連續現象;本文提出的AT-EDT算法很好地保證了重疊區域的匹配精度,同時避免了對紋理區域和弱紋理區域需進行二次立體匹配的問題。

誤匹配率是各算法得到的視差圖與標準視差圖進行對比得到的,表達式為

(21)

式中:NE為得到的視差圖中的誤匹配點總數;NT為存在視差值的像素總數。將本文視差與標準視差作差,其中差值的絕對值大于3的點判定為誤匹配點。

各視差圖對應的誤匹配結果及不同算法用到的參數量如表1所示。

表1 標準庫圖像誤匹配率結果及參數量對比

分析表1可知:本文AT-EDT算法比EDT算法在保齡球、燈、塑料圖像上的誤匹配率分別提升了35.77%、25.26%、48.26%,且采用了更少的參數。

3.2 基于實拍圖像的實驗結果對比分析

實拍圖像選用雙目相機拍攝的浮空器、儲物箱及墻壁,3幅實拍圖像中均存在大范圍的弱紋理區域。圖7為采用不同算法對實拍圖處理后再進行立體匹配得到的視差圖。

(a)原始輸入圖像

由于無實物圖準確視差,利用各算法在特征點處對應的視差與真實視差進行對比,結果如表2所示,表中平均誤差為各特征點視差誤差的平均值。

表2 實拍圖像誤匹配率結果對比

實驗結果表明:使用EDT算法和LTD-DMF算法得到的視差圖仍存在較大誤差,并且存在較多噪聲;本文提出的AT-EDT算法在一定程度上提升了匹配精度,解決了應對豐富紋理和弱紋理區域需二次求解視差的問題,同時避免了EDT算法造成的二次弱紋理現象。

4 結 論

在基于區域信息的局部立體匹配算法中,豐富的灰度信息是保證立體匹配結果真實準確的關鍵因素。本文提出閾值自適應的極線距離變換算法,通過圖像局部區域的紋理信息來得到各像素對應的距離變換閾值,提升圖像的像素可分性和立體匹配精度。本文得到的主要結論如下。

(1)找到極線上視差范圍內的對應點,比較對應極線鄰域中的灰度信息,能夠去除左右視圖中的不重疊區域,并保證左右視圖灰度信息對應。

(2)閾值是影響極線距離變換結果的關鍵因素。通過圖像各區域紋理信息的豐富程度,可以得到各像素對應的距離變換閾值。

(3)通過像素間的灰度和位置關系,可構建距離變換中的原始支撐域。

(4)本文算法有效解決了立體匹配過程中左右視圖區域不對應的問題,同時避免了固定閾值在極線距離變換中造成的二次弱紋理和重復紋理現象的發生,在增加了圖像像素可分性的同時保證了立體匹配的精度。

本文研究僅針對圖像不重疊區域及弱紋理區域,還有許多潛在方向需要研究,例如:

(1)受到雙目相機硬件限制及實驗環境影響,左右視圖中會存在灰度差異;

(2)不同深度目標之間會存在遮擋效應。