基于注意力機(jī)制的立體匹配算法

黃怡潔 朱江平 楊善敏

(四川大學(xué) 四川 成都 610065)

0 引 言

給定一對極線矯正后的雙目立體圖像，通過立體匹配可預(yù)測出視差，進(jìn)一步可根據(jù)視差得到深度信息。立體匹配是計(jì)算機(jī)視覺領(lǐng)域中一個(gè)非常重要的課題，廣泛應(yīng)用于自動(dòng)駕駛[1]、三維重建[2]、機(jī)器智能[3]等領(lǐng)域。

傳統(tǒng)的立體匹配算法包含四個(gè)步驟，分別為代價(jià)聚合、視差計(jì)算、視差優(yōu)化和后處理[4]。依據(jù)優(yōu)化理論的不同，主要分為全局立體匹配算法、局部立體匹配算法[5]和半全局立體匹配算法。局部立體匹配算法采用局部優(yōu)化的理論進(jìn)行視差估計(jì)，包括SSD(Sum of Squared Differences)、SAD(Sum of Absolute Differences)等算法。全局匹配以全局優(yōu)化理論估計(jì)視差，建立全局能量函數(shù)，進(jìn)一步地，通過最小化全局能量函數(shù)得到最優(yōu)視差值，包括GC(Group Cut)[6-7]、BP(Belief Propagation)[8-9]和DP(Dynamic Programming)[10]等算法。半全局立體匹配算法是將局部與全局的方法結(jié)合起來，如SGM[11]算法，先計(jì)算每個(gè)像素點(diǎn)的視差求得視差圖，再設(shè)置一個(gè)與視差圖相關(guān)聯(lián)的全局能量函數(shù)，將能量函數(shù)最小化來求解每個(gè)像素的最優(yōu)視差解。

近年來，國內(nèi)外許多研究利用CNN[12]搭建神經(jīng)網(wǎng)絡(luò)來研究立體匹配問題。將極線矯正后的雙目立體圖像對輸入到神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)輸出預(yù)測的視差圖。Mayer等[13]提出了端到端的網(wǎng)絡(luò)DispNet進(jìn)行視差估計(jì)，并創(chuàng)建了大型的合成數(shù)據(jù)集SceneFlow；Pang等[14]對DispNet[13]進(jìn)一步擴(kuò)展，提出了一個(gè)兩階段的網(wǎng)絡(luò)CRL，網(wǎng)絡(luò)的第一階段產(chǎn)生一個(gè)初始的視差圖，第二階段在不同的尺度上進(jìn)一步對初始視差圖進(jìn)行優(yōu)化；Kendall等[15]提出了GC-Net，串聯(lián)左圖和右圖的特征構(gòu)建匹配代價(jià)集，并使用3D卷積聚合匹配代價(jià)集；Chang等[16]提出的PSMNet利用pyramid pooling模塊計(jì)算匹配代價(jià)，再用stacked hourglass塊聚合匹配代價(jià)集，進(jìn)行視差預(yù)測；曾軍英等[17]提出自適應(yīng)的立體匹配算法，在網(wǎng)絡(luò)中嵌入無監(jiān)督損失模塊與殘差細(xì)化模塊，提高了立體匹配的實(shí)時(shí)性；王玉鋒等[18]的研究將稀疏損失體用于視差維度上進(jìn)行立體匹配；肖進(jìn)勝等[19]提出縮小型網(wǎng)絡(luò)的立體匹配方法，利用左右圖像塊的相似度計(jì)算出立體匹配的匹配代價(jià)，提高了匹配的精度。盡管這些方法都取得了不錯(cuò)的精度，但是在遮擋區(qū)域以及反射表面仍然存在誤匹配問題。

因此，本文提出基于注意力機(jī)制的立體匹配網(wǎng)絡(luò)(AMSN)。該網(wǎng)絡(luò)主要包含兩大模塊：注意力機(jī)制模塊[20-21]以及代價(jià)聚合模塊。注意力機(jī)制模塊由通道注意力模塊和空間注意力模塊并行而成，用于獲取大范圍的語境信息，不僅使得提取的特征包含豐富的語境信息，還使特征更具有表示力以更準(zhǔn)確地進(jìn)行視差估計(jì)。代價(jià)聚合網(wǎng)絡(luò)，在PSMNet[16]中的stacked hourglass網(wǎng)絡(luò)基礎(chǔ)上的兩點(diǎn)改進(jìn)：(1) 在hourglass塊的內(nèi)部結(jié)構(gòu)增加了一個(gè)卷積層，并做了進(jìn)一步的特征融合；(2) 去掉hourglass塊之間的連接，以此提高匹配的精確度并減少內(nèi)存消耗。

1 基于注意力機(jī)制的立體匹配網(wǎng)絡(luò)(AMSN)

1.1 注意力機(jī)制與網(wǎng)絡(luò)結(jié)構(gòu)

近年來，注意力機(jī)制模塊被廣泛應(yīng)用于各個(gè)領(lǐng)域。文獻(xiàn)[22]將注意力機(jī)制應(yīng)用于機(jī)器翻譯領(lǐng)域；SENet[23]利用通道注意力機(jī)制模塊提高特征的表示力；CDANet[20]將注意力機(jī)制應(yīng)用于語義分割；還有學(xué)者將注意力機(jī)制模塊融入到GAN[24]網(wǎng)絡(luò)中，使之成為一個(gè)更好的圖像生成器，

本文將注意力機(jī)制引入立體匹配網(wǎng)絡(luò)，用通道注意力模塊和空間注意力模塊捕獲全局信息，使網(wǎng)絡(luò)學(xué)習(xí)到的特征含有豐富語境信息，有助于在視差估計(jì)時(shí)進(jìn)一步確定像素點(diǎn)間的相關(guān)性，提高匹配的準(zhǔn)確度。尤其在弱紋理區(qū)域等，這些區(qū)域含有較少的信息，網(wǎng)絡(luò)提取的語境信息可以更加準(zhǔn)確地預(yù)測出視差，減少誤匹配的問題。

提出的基于注意力機(jī)制的立體匹配網(wǎng)絡(luò)如圖1所示。該網(wǎng)絡(luò)由特征提取模塊、匹配代價(jià)集構(gòu)建模塊和3D代價(jià)聚合模塊三部分構(gòu)成。

圖1 基于注意力機(jī)制的立體匹配網(wǎng)絡(luò)

特征提取模塊：首先將圖像輸入殘差網(wǎng)絡(luò)提取圖像特征，然后將其結(jié)果分別輸入到通道注意力模塊和空間注意力模塊中，最后將注意力圖與殘差網(wǎng)絡(luò)輸出的特征進(jìn)行融合。

匹配代價(jià)集的構(gòu)建：將極線校正后的圖像對輸入到特征提取網(wǎng)絡(luò)中，分別得到左圖和右圖的特征圖，將左右特征圖沿著視差的維度串聯(lián)起來，得到D×C×H×W的四維向量，即為匹配代價(jià)集。

代價(jià)聚合模塊：代價(jià)聚合網(wǎng)絡(luò)主要由3D卷積層構(gòu)成。首先經(jīng)過四個(gè)3D卷積層，再通過3個(gè)hourglass塊，每個(gè)hourglass模塊預(yù)測出一個(gè)視差圖。hourglass塊使用編碼解碼結(jié)構(gòu)很好地解決了遮擋區(qū)域等問題區(qū)域的誤匹配問題。基于PSMNet[16]中提出的代價(jià)聚合網(wǎng)絡(luò)，本文做了一些改進(jìn)，以提高算法的性能以及推理速度。

1.2 特征提取模塊

現(xiàn)有的立體匹配算法在遮擋區(qū)域以及反射表面易發(fā)生誤匹配。因此，從圖像提取的特征包含豐富的語境信息和大范圍的全局信息對于后期的視差精確預(yù)測非常重要。本文通過兩個(gè)注意力模塊來聚合大范圍的語境信息，進(jìn)一步確定像素間的關(guān)系，從而提高特征的表示能力。整個(gè)特征提取網(wǎng)絡(luò)如圖2所示，由三部分構(gòu)成：下采樣模塊、局部特征提取模塊和注意力機(jī)制模塊。

圖2 特征提取網(wǎng)絡(luò)結(jié)構(gòu)

下采樣模塊：使用3個(gè)3×3的卷積層，把圖像的分辨率變?yōu)檩斎雸D像的1/4，減小特征圖的尺寸以降低網(wǎng)絡(luò)負(fù)擔(dān)。

局部特征提取模塊：由四個(gè)殘差層layer1、layer2、layer3和layer4構(gòu)成，四個(gè)殘差層中殘差塊的數(shù)量分別為8、9、8、3。為了使淺層特征中融入更多的信息，在淺層分配更多的塊數(shù)，實(shí)現(xiàn)更好的性能，且有利于網(wǎng)絡(luò)生成更加精確的注意力機(jī)制映射。

注意力機(jī)制模塊：受到CDANet[20]中雙注意力機(jī)制模塊的啟發(fā)，本文將通道注意力機(jī)制模塊與空間注意力機(jī)制模塊并行。將經(jīng)過殘差模塊產(chǎn)生的特征向量分別輸入到通道注意力模塊和空間注意力模塊中，得到兩個(gè)1/4H×1/4W的特征向量Fs和Fc，將Fs和Fc相加得到向量Fa，進(jìn)一步地，再將layer2、layer4與Fa進(jìn)行特征融合，得到特征提取網(wǎng)絡(luò)的輸出。

1.2.1通道注意力模塊

在深層特征中，通道圖之間是彼此相關(guān)聯(lián)的,網(wǎng)絡(luò)學(xué)習(xí)到通道圖之間的相關(guān)性十分重要。學(xué)習(xí)通道圖之間的依賴關(guān)系，不僅可以增強(qiáng)特征圖內(nèi)部之間的依賴，獲取豐富的語境信息，還可以提高特征的表示能力。因此，本文使用注意力模塊來學(xué)習(xí)通道圖之間的相關(guān)性，將通道圖之間的相關(guān)性作為權(quán)重，把通道圖與權(quán)重相乘再求和作為新的通道圖，實(shí)現(xiàn)通道層面更好的特征融合。如圖3所示，是通道注意力機(jī)制模塊的具體實(shí)現(xiàn)。

圖3 通道注意力模塊結(jié)構(gòu)

局部特征提取網(wǎng)絡(luò)輸出的特征F作為注意力模塊的輸入，該特征分別經(jīng)過兩個(gè)全局平均池化層，得到特征Favg1和Favg2。使用1×1的池化層代替全連接層不僅減小了計(jì)算量，且有助于網(wǎng)絡(luò)推理出更加準(zhǔn)確的注意力映射。

Favg1=Avgpool(F)

(1)

Favg2=Avgpool(F)

(2)

再將Favg1和Favg2相乘并經(jīng)過Softmax層，將權(quán)重值歸一化，得到注意力映射AMchannel。

AMchannel=softmax(Favg1×Favg2)

(3)

同時(shí)，F(xiàn)經(jīng)過1×1的卷積層得到F1×1，再將F1×1與注意力機(jī)制映射AMchannel相乘，最后與輸入特征F相加，即得到最終的輸出Fc。

Fc=AMchannel×F1×1+F

(4)

1.2.2空間注意力模塊

在網(wǎng)絡(luò)深層提取的特征對細(xì)節(jié)信息的感知力較差，含有較少的空間位置信息，而捕獲大范圍的語境信息是提高匹配精度的關(guān)鍵,本文使用空間注意力模塊來解決這一問題。計(jì)算空間中某一像素點(diǎn)與其他位置像素點(diǎn)的特征相似度作為權(quán)重，將權(quán)重與位置信息加權(quán)得到該像素點(diǎn)新的特征。因此，空間中任意位置都聚合了其他位置的信息，特征中包含有豐富的位置信息。空間注意力模塊的具體實(shí)現(xiàn)如圖4所示。

圖4 空間注意力模塊結(jié)構(gòu)

空間注意力模塊的實(shí)現(xiàn)與通道注意力模塊是類似的。輸入特征為F，F(xiàn)先經(jīng)過一個(gè)全局平均池化層再通過1×1的卷積層得到F1與F2，將F1與F2相乘后的特征圖經(jīng)過Softmax層得到注意力機(jī)制映射AMspatial，C表示1×1的卷積操作。

AMspatial=softmax(C(F1)×C(F2))

(5)

此外，F(xiàn)經(jīng)過1×1的卷積得到特征F3，將特征F3與注意力映射AMspatial相乘后再與輸入特征F相加，即為最終通道注意力機(jī)制模塊的輸出Fs。

Fs=AMspatial×F3+F

(6)

在網(wǎng)絡(luò)中加入空間注意力模塊，不僅使特征中融入了豐富的語境信息，還提高了特征內(nèi)部的關(guān)聯(lián)。

1.2.3特征融合

空間注意力模塊的輸出特征Fs和通道注意力模塊輸出特征Fc相加融合后的特征，即為注意力模塊的輸出特征。輸出的特征再與殘差模塊layer2、layer4的特征進(jìn)行特征融合，得到特征提取網(wǎng)絡(luò)提取的特征。該特征中包含豐富的語境信息，有助于推測出準(zhǔn)確的視差圖。

1.3 匹配代價(jià)集構(gòu)建

在MC-CNN[25]和GC-Net[15]中，匹配代價(jià)集的構(gòu)建是直接把特征提取網(wǎng)絡(luò)得到的左圖和右圖特征圖串聯(lián)，再利用深度網(wǎng)絡(luò)構(gòu)建匹配代價(jià)集，得到的匹配代價(jià)集是一個(gè)三維向量。本文采用的方法是沿著視差的維度，把左右特征圖串聯(lián)起來，形成一個(gè)4維的向量作為匹配代價(jià)集。

1.4 3D代價(jià)聚合模塊

在PSMNet[16]網(wǎng)絡(luò)中，hourglass利用編碼解碼結(jié)構(gòu)使得特征中包含豐富的信息，并將三個(gè)hourglass塊串聯(lián)。同時(shí)，在三個(gè)hourglass塊之間用跳層連接。本文在PSMNet[16]工作的基礎(chǔ)上，提出了如圖5所示的代價(jià)聚合網(wǎng)絡(luò)。

圖5 代價(jià)聚合模塊網(wǎng)絡(luò)結(jié)構(gòu)

與PSMNet相比，本文方法對代價(jià)聚合模塊做了以下幾點(diǎn)改進(jìn)：1) 在hourglass的第四個(gè)卷積層后，增加一個(gè)3×3的卷積層Conv5，并把Conv5與Conv3用卷積層連接起來(具體如圖6所示)；2) 在尺寸1/4H×1/4W、1/8H×1/8W、1/16H×1/16W的特征層分別進(jìn)行特征融合，以使學(xué)習(xí)到的特征包含更豐富的語境信息；3) 取消三個(gè)hourglass塊與3DConv2之間的連接，以減少計(jì)算代價(jià)。

圖6 hourglass網(wǎng)絡(luò)結(jié)構(gòu)

1.5 損失函數(shù)

本文采用的損失函數(shù)為SmoothL1。

(7)

式中：λi表示的是第i個(gè)視差預(yù)測的權(quán)重；di表示的是預(yù)測的第i個(gè)視差圖；d*表示視差值的真值。

(8)

式中：x表示預(yù)測視差值與視差真值之間的差值。

2 實(shí)驗(yàn)過程與結(jié)果分析

在SceneFlow[13]數(shù)據(jù)集以及KITTI[26-27]數(shù)據(jù)集上，對本文提出的立體匹配算法進(jìn)行評估。

2.1 數(shù)據(jù)集簡介

Scene Flow[13]數(shù)據(jù)集：用于網(wǎng)絡(luò)的預(yù)訓(xùn)練，是一個(gè)大規(guī)模的合成數(shù)據(jù)集，由Flyingthings 3D、Driving和Monkaa三個(gè)數(shù)據(jù)集構(gòu)成。數(shù)據(jù)集中包含雙目立體圖像對以及視差圖的真值數(shù)據(jù)，共有35 454組訓(xùn)練數(shù)據(jù)和4 370組測試數(shù)據(jù)。圖像的分辨率為960×540。

KITTI 2012[26]：包含從車上拍攝的街景真實(shí)場景數(shù)據(jù)，包含194組訓(xùn)練數(shù)據(jù)以及195組測試數(shù)據(jù)。訓(xùn)練集中包含雙目立體圖像以及視差圖真值數(shù)據(jù)，真值數(shù)據(jù)由Lidar生成，測試集中無視差圖的標(biāo)簽數(shù)據(jù)。

KITTI 2015[27]：KITTI 2015是KITTI 2012數(shù)據(jù)集的擴(kuò)充，包含200組訓(xùn)練數(shù)據(jù)和200組測試數(shù)據(jù)，訓(xùn)練數(shù)據(jù)中包含雙目立體圖像對和視差圖的真值數(shù)據(jù)，視差的真值數(shù)據(jù)是由Lidar產(chǎn)生，測試集中僅包含雙目立體圖像對。圖像的分辨率為1 242×375。

對于SceneFlow[13]數(shù)據(jù)集，使用EPE(預(yù)測視差值與該像素點(diǎn)視差真值之差的絕對值的平均值)作為評估指標(biāo)。KITTI[26-27]數(shù)據(jù)集評估指標(biāo)為3-px-error(誤差大于三個(gè)像素點(diǎn)的像素占所有像素的比例)。

2.2 實(shí)驗(yàn)細(xì)節(jié)介紹

本文提出的立體匹配網(wǎng)絡(luò)使用PyTorch搭建，在預(yù)訓(xùn)練和微調(diào)的過程中，均使用Adam[28]優(yōu)化器，具體參數(shù)設(shè)置為β1=0.9，β2=0.999。訓(xùn)練整個(gè)網(wǎng)絡(luò)用一張Nvidia 1080 Ti，batchsize設(shè)置為2。

預(yù)訓(xùn)練使用SceneFlow數(shù)據(jù)集，一共訓(xùn)練17個(gè)epoch，學(xué)習(xí)率固定為0.001。網(wǎng)絡(luò)輸入圖像的分辨率為960×540，經(jīng)過網(wǎng)絡(luò)處理后得到大小為960×540的視差圖，視差最大值設(shè)置為192。使用KITTI數(shù)據(jù)集在預(yù)訓(xùn)練模型的基礎(chǔ)之上進(jìn)行微調(diào)，共訓(xùn)練1 000個(gè)epoch，前600個(gè)epoch的學(xué)習(xí)率設(shè)置為0.001，后400個(gè)epoch的學(xué)習(xí)率設(shè)置為0.000 1。KITTI 2015共有200組數(shù)據(jù)，其中160組作為訓(xùn)練集，余下的40組數(shù)據(jù)作為測試集。KITTI 2012 共有194組數(shù)據(jù)，160組數(shù)據(jù)作為訓(xùn)練集，另外34組數(shù)據(jù)作為測試集。

2.3 定量分析

本文提出的方法分別在SceneFlow[13]數(shù)據(jù)集和KITTI數(shù)據(jù)集上進(jìn)行評估，與已有的一些匹配效果較好的方法如DispNet[13]、CRL[14]、GC-Net[15]、PSMNet[16]等方法進(jìn)行對比。在SceneFlow[13]數(shù)據(jù)集上，使用EPE作為評估指標(biāo)，幾種方法的評估結(jié)果如表1所示。可以看出，在SceneFlow[13]合成數(shù)據(jù)集上，本文提出的算法誤差更小，與PSMNet[16]相比，誤差減小了0.2，結(jié)果證明了本文算法的有效性。

表1 不同算法在SceneFlow數(shù)據(jù)集上的誤差

使用KITTI[26-27]測試集對本文算法進(jìn)行測試，把生成的視差圖提交到KITTI[26-27]網(wǎng)站上進(jìn)行評估，結(jié)果如表2所示，將測試集在整個(gè)圖像區(qū)域和非遮擋區(qū)域分別進(jìn)行評估。其中：All表示圖像的整個(gè)區(qū)域；Noc表示圖像中非遮擋區(qū)域；D1-all表示所有區(qū)域；D1-fg表示圖像的前景區(qū)域；D1-bg表示圖像后景區(qū)域。表格的最后一行是生成一幅視差圖算法所耗的時(shí)間。

表2 各種方法在KITTI 2015上的評估

可以看出，本文方法在一些指標(biāo)上有一定的優(yōu)勢，如在D1-all和D1-bg視差圖誤差更小。本文方法與PSMNet[16]相比，在圖像整個(gè)區(qū)域(All)上，背景區(qū)域的誤差(D1-bg)減少了0.13百分點(diǎn)，整個(gè)區(qū)域(D1-all)的誤差減少0.08百分點(diǎn)；在非遮擋區(qū)域(Noc)，背景區(qū)域(D1-bg)誤差減少了0.12百分點(diǎn)，整個(gè)區(qū)域(D1-all)的誤差減少了0.11百分點(diǎn)。但本文算法在前景區(qū)域(D1-fg)誤差較大，主要由于前景區(qū)域中含有車輛、樹木等物體，在物體細(xì)節(jié)處(如樹葉處)立體匹配誤差較大。此外，本文實(shí)驗(yàn)中代價(jià)聚合模塊使用hourglass編碼解碼結(jié)構(gòu)，與未使用類似編碼解碼結(jié)構(gòu)的網(wǎng)絡(luò)如CRL[14]相比，在整個(gè)區(qū)域和非遮擋區(qū)域中，D1-all誤差明顯減小，平均誤差減少了0.165，由此證明了hourglass結(jié)構(gòu)有助于解決遮擋區(qū)域等問題區(qū)域的誤匹配問題。因此，本文算法在背景區(qū)域上的匹配有一定的優(yōu)勢，且在含遮擋像素的區(qū)域匹配精度更高，視差圖更精確。

圖7是本文算法與PSMNet[16]實(shí)驗(yàn)結(jié)果對比圖。從矩形框標(biāo)出的區(qū)域可以看出，本文算法匹配與PSMNet[16]相比，結(jié)果更具健壯性。由于本文算法中加入注意力模塊提取含有豐富語境信息的特征，視差預(yù)測更加精確，且整個(gè)視差圖的平均誤差更小。

圖7 KITTI 2015實(shí)驗(yàn)效果圖

在KITTI 2012[26]數(shù)據(jù)集上，將本文算法AMSN與一些目前性能較好的算法如GC-Net[15]、PSMNet[16]、iResNet-i2[29]進(jìn)行對比。實(shí)驗(yàn)結(jié)果如表3所示。其中：All表示圖像的整個(gè)區(qū)域；Noc表示圖像的非遮擋區(qū)域。

表3 各種方法在KITTI 2012上的評估(%)

可以看出，本文方法在匹配精度上有一定的優(yōu)勢。在圖像整個(gè)區(qū)域(All)，誤差大于3像素的點(diǎn)占所總像素?cái)?shù)比例為1.78%，與PSMNet[16]相比，精度提升了5.8%；在圖像的非遮擋區(qū)域(Noc),三像素誤差(3-px-error)為1.38%，比PSMNet[16]降低了7.3%的誤差。此外，與iResNet-i2[29]相比，本文算法在代價(jià)聚合網(wǎng)絡(luò)加入hourglass塊，在整個(gè)區(qū)域和非遮擋區(qū)域三像素誤差(3-px-error)分別減少0.33和0.38。由此看出hourglass塊的編碼解碼結(jié)構(gòu)對于解決遮擋區(qū)域誤匹配問題的有效性。因此，本文算法在遮擋區(qū)域的匹配有一定的優(yōu)勢。

圖8是本文算法與PSMNet[16]在KITTI 2012數(shù)據(jù)集上的視差圖與誤差圖的對比。可以看出，本文方法在匹配精確度上具有優(yōu)勢，整個(gè)結(jié)果更具健壯性，在整個(gè)圖像區(qū)域上，本文算法進(jìn)行匹配的平均誤差更小，匹配更加精準(zhǔn)。

圖8 KITTI 2012實(shí)驗(yàn)效果圖

2.4 消融學(xué)習(xí)

本文在PSMNet[16]的基礎(chǔ)上做了一些改進(jìn)，如殘差塊結(jié)構(gòu)的調(diào)整(Layers Rearrange)、增加了注意力模塊(Attention Module)、hourglass塊結(jié)構(gòu)進(jìn)行了調(diào)整(Modified Hourglass1)，以及去掉hourglass塊之間的連接(Modified Hourglass2)。實(shí)驗(yàn)分別在KITTI[26-27]和SceneFlow[13]數(shù)據(jù)集上評估基于注意力機(jī)制的立體匹配算法(AMSN)的性能。對比實(shí)驗(yàn)結(jié)果如表4所示。

表4 不同設(shè)置對AMSN的評估

可以看出，使用注意力機(jī)制模塊的網(wǎng)絡(luò)在KITTI[26-27]和SceneFlow[13]數(shù)據(jù)集上的誤差更小。在對hourglass塊結(jié)構(gòu)進(jìn)行調(diào)整之后，3-px-error有所減小，去掉hourglass塊之間的連接后3-px-error進(jìn)一步減小。為了使特征中融入更多的淺層信息，在局部特征提取網(wǎng)絡(luò)給淺層的殘差網(wǎng)絡(luò)分配更多的塊數(shù)，并在特征提取網(wǎng)絡(luò)中加上注意力機(jī)制模塊捕獲全局信息，使得特征中包含豐富的語境信息。代價(jià)聚合模塊中做了進(jìn)一步的特征融合，有助于更加準(zhǔn)確的視差預(yù)測。因此，在立體匹配網(wǎng)絡(luò)中對殘差塊進(jìn)行調(diào)整，融入注意力機(jī)制模塊并對代價(jià)聚合網(wǎng)絡(luò)進(jìn)行改進(jìn)，取得了較好的實(shí)驗(yàn)效果，在KITTI 2015[27]上的誤差為1.80%，超越了已有一些性能較好的算法(如PSMNet[16])。

3 結(jié) 語

本文提出基于注意力機(jī)制的立體匹配算法，在特征提取網(wǎng)絡(luò)用注意力模塊探索全局語境信息，為代價(jià)聚合網(wǎng)絡(luò)提供具有含有豐富語境信息的特征。在SceneFlow[13]以及KITTI[26-27]數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn)，與傳統(tǒng)的匹配算法和部分基于學(xué)習(xí)的性能較好的算法相比，本文提出的基于注意力機(jī)制的立體匹配網(wǎng)絡(luò)有以下幾點(diǎn)優(yōu)勢：1) 將通道和空間注意力模塊融入立體匹配網(wǎng)絡(luò)捕獲全局信息，提取包含豐富語境信息的特征；2) 對hourglass塊進(jìn)行改進(jìn)，提高匹配精度且減少內(nèi)存消耗；3) 在SceneFlow[13]和KITTI[26-27]數(shù)據(jù)集上獲得了較好的效果，提高視差匹配精度，并減少了在遮擋區(qū)域等的誤匹配問題。但其也有不足之處：如在圖像前景區(qū)域，物體細(xì)節(jié)處預(yù)測出視差的誤差相對較大。未來，研究重點(diǎn)將放在減小前景區(qū)域誤差以及對網(wǎng)絡(luò)的進(jìn)一步優(yōu)化。