基于類(lèi)特征注意力機(jī)制融合的語(yǔ)義分割算法

陳 娜， 張榮芬， 劉宇紅， 李 麗， 張?chǎng)?/p>

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院， 貴州 貴陽(yáng) 550025）

1 引 言

隨著科學(xué)基礎(chǔ)和技術(shù)實(shí)現(xiàn)的進(jìn)步，通過(guò)數(shù)據(jù)學(xué)習(xí)來(lái)解決問(wèn)題的深度學(xué)習(xí)已經(jīng)成為無(wú)人駕駛、醫(yī)療影像處理［1］、遙感分割和光學(xué)領(lǐng)域［2-3］中解決問(wèn)題的通用支柱。圖像語(yǔ)義分割是眾領(lǐng)域中一個(gè)經(jīng)典而基礎(chǔ)的課題。2015年，Long等人提出全卷積網(wǎng)絡(luò)（FCN）［4］來(lái)獲取任意大小的輸入并產(chǎn)生相應(yīng)的分割圖，在自然圖像處理中取得了良好的效果。然而，基于FCN的算法對(duì)于分割小而復(fù)雜的對(duì)象能力有限。

為了解決這些問(wèn)題，出現(xiàn)了兩種基于全卷積神經(jīng)網(wǎng)絡(luò)的圖像語(yǔ)義分割算法。一種是采用對(duì)稱(chēng)編解碼結(jié)構(gòu)的語(yǔ)義分割模型，主要通過(guò)下采樣操作將目標(biāo)信息分布到不同特征圖中，然后通過(guò)跳躍連接與解碼器中逐層上采樣恢復(fù)的同層次圖像進(jìn)行拼接，如 U-Net［5］、SegNet［6］。另一種通過(guò)加強(qiáng)抽象語(yǔ)義結(jié)合骨干網(wǎng)絡(luò)的思路保留淺層高分辨率的空間細(xì)節(jié)和高層低分辨率的全局語(yǔ)義，如PSPNet［7］中用于提取目標(biāo)圖像全局信息的金字塔池化模塊（Pyramid Pooling Module，PPM）。谷歌 Chen等人引入空洞卷積［8］，提出 DeepLab［9-12］架構(gòu)的幾種變體，采用ASPP （Atrous spatial pyramid pooling）結(jié)構(gòu)，對(duì)輸入特征圖進(jìn)行并行采樣，多尺度捕捉特征圖上的圖像上下文信息。Pan等人［13］提出一種用于語(yǔ)義分割的稠密金字塔網(wǎng)絡(luò)（DPN），通過(guò)提取每個(gè)通道的特征圖并進(jìn)行通道切換操作以增強(qiáng)網(wǎng)絡(luò)的表示能力。2018年，Shen等人［14］提出一種簡(jiǎn)單有效的前向卷積神經(jīng)網(wǎng)絡(luò)注意模塊，隨后胡潔等人提出了SeNet，Woo等人提出了CBAM［15］，主要思想都是利用注意力機(jī)制來(lái)推斷特征像素的重要特征。2020年，Li等人［16］提出的SFNet利用注意力機(jī)制學(xué)習(xí)不同感受野之間的語(yǔ)義流來(lái)獲取信息。2020年，Zeng等人［17］在Deeplabv3+中增加了特征交叉注意模塊，該模塊通過(guò)兩個(gè)分支提取低層空間信息和高層上下文特征來(lái)細(xì)化分割結(jié)果。2021年，Liu等人［18］提出了自適應(yīng)多尺度模塊和自適應(yīng)融合模塊，能夠根據(jù)圖像尺度自適應(yīng)地為每幅圖像生成不同的融合權(quán)重比，融合不同尺度圖像的多尺度特征，有效地提高了分割效果。孟俊熙［19］等人設(shè)計(jì)了異感受野拼接的空洞空間金字塔池化結(jié)構(gòu)，增強(qiáng)了各層級(jí)信息間相關(guān)性。然而，上述方法忽略了類(lèi)別之間的上下文信息，不能很好地整合全局像素，并且圖像特征提取過(guò)程細(xì)節(jié)信息有所丟失［20］，造成目標(biāo)邊緣分割精度低等問(wèn)題。

針對(duì)這些問(wèn)題，相較于第一類(lèi)缺乏語(yǔ)義信息的模型，目前第二類(lèi)中專(zhuān)門(mén)用于處理語(yǔ)義分割的Deeplabv3+網(wǎng)絡(luò)模型更為優(yōu)越。本文以Deeplabv3+網(wǎng)絡(luò)為基礎(chǔ)，提出基于類(lèi)特征注意力機(jī)制融合的語(yǔ)義分割算法CFANet（Class Feature Attention Mechanism Network）。本文主要的貢獻(xiàn)如下：（1）針對(duì)DeepLabv3+模型對(duì)圖像目標(biāo)特征提取困難，注意力信息不能有效利用等問(wèn)題，提出了CFANet。它采用端到端的深度CNN結(jié)構(gòu)，結(jié)合了空間細(xì)節(jié)信息、全局上下文信息和類(lèi)上下文信息來(lái)增強(qiáng)特征表征能力，最后通過(guò)一個(gè)通道注意力模塊對(duì)前期多層融合的特征進(jìn)行重新校準(zhǔn)，抑制冗余信息加強(qiáng)顯著特征來(lái)提高模型語(yǔ)義分割精度。（2）為了更好地提取高級(jí)語(yǔ)義信息。首先構(gòu)建了類(lèi)特征注意力機(jī)制模塊(Class Feature Attention Mechanism，CFAM)[21]來(lái)捕捉對(duì)象的類(lèi)別上下文信息,然后改進(jìn)了ASPP模塊(Multi-parallel Atrous Spatial Pyramid Pooling，M-ASPP)來(lái)合并全局上下文信息，優(yōu)化卷積運(yùn)算帶來(lái)局部信息丟失問(wèn)題。(3)最后利用通道注意力模塊 FCA（Feature Channel Attention）的特性對(duì)大量的融合特征重新校準(zhǔn)，抑制冗余信息加強(qiáng)顯著特征來(lái)提高網(wǎng)絡(luò)的表征能力。

2 本文算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出了一種改進(jìn)的Deeplabv3+網(wǎng)絡(luò)，命名為CFANet，如圖1所示。它以更有效的方式從空間、通道和類(lèi)別的角度自適應(yīng)地捕捉全局相關(guān)性。它的編碼器采用ResNet50［22］作為骨干網(wǎng)絡(luò)，其結(jié)構(gòu)如圖2所示。ResNet50首先通過(guò)7×7卷積將特征圖大小縮小2倍，然后通過(guò)最大池化層將其縮小2倍，之后經(jīng)過(guò)4個(gè)殘差塊，其中前兩個(gè)殘差塊都將特征圖大小縮小2倍，后兩個(gè)殘差塊通過(guò)空洞卷積保持特征圖大小不變。每個(gè)殘差塊由多個(gè)殘差結(jié)構(gòu)組成，結(jié)構(gòu)如圖3所示，包含兩個(gè)不同通道的1×1卷積和一個(gè)3×3卷積，每個(gè)殘差結(jié)構(gòu)都有一條跳躍連接線，引入跳躍連接線是為了解決大量網(wǎng)絡(luò)層造成的梯度爆炸。

圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Overall network structure

圖2 ResNet50的結(jié)構(gòu)Fig.2 Structure of ResNet50

圖3 殘差塊的結(jié)構(gòu)Fig.3 Structure of the residual block

編碼器使用ResNet50進(jìn)行特征提取，將4個(gè)階段的輸出作為多尺度特征融合過(guò)程的輸入，在塊3和塊4之后分別連接CFAM和M-ASPP模塊，豐富關(guān)于類(lèi)別和全局上下文的信息。編碼端通過(guò)將前期大量融合的拼接特征輸入到通道注意力［15，17］（Feature channel attention，F(xiàn)CA）模 塊 ，鑒于通道注意力機(jī)制對(duì)重要信息的選擇性注意，能更有效提取到關(guān)注的正確特征，弱化不重要的冗余信息，保留關(guān)鍵特征，提高自我注意力機(jī)制的效率。注意力機(jī)制是一個(gè)簡(jiǎn)單有效的輕量級(jí)模塊，添加這個(gè)模塊幾乎不會(huì)增加額外的計(jì)算。最后將輸出的重要特征經(jīng)過(guò)卷積和上采樣操作恢復(fù)到原始圖像大小，以更有效和更高效的方式從空間、通道和類(lèi)別的角度自適應(yīng)地捕捉全局相關(guān)性。

2.2 類(lèi)特征注意力模塊

注意力機(jī)制本質(zhì)上是一種矩陣乘法的運(yùn)算，可以確定圖像中每個(gè)像素的依賴關(guān)系，增加依賴關(guān)系強(qiáng)的像素的權(quán)重，從而減少不必要噪聲的干擾。為了更準(zhǔn)確地捕捉類(lèi)之間的依賴關(guān)系，增強(qiáng)網(wǎng)絡(luò)理解各類(lèi)信息的能力，本文提出了類(lèi)特征注意力機(jī)制模塊（CFAM）［21]，如圖4所示。

圖4 類(lèi)特征注意力結(jié)構(gòu)Fig.4 Structure of the class feature attention module

類(lèi)特征注意力模塊可以從類(lèi)別信息的角度捕捉遠(yuǎn)程上下文信息，即圖像中每個(gè)類(lèi)別與輸入特征每個(gè)通道之間的關(guān)系被顯式建模，來(lái)增強(qiáng)每個(gè)類(lèi)別之間的上下文信息依賴性。首先，將主干網(wǎng)絡(luò) Block3的輸出特征定義為A∈RC×H×W，將其分別通過(guò)兩個(gè)1×1卷積生成特征圖B∈RC'×H×W和類(lèi)別關(guān)注度特征圖D∈RN×H×W，其中C'是B縮減后的通道數(shù)，N代表圖像分類(lèi)中的類(lèi)別數(shù)。接下來(lái)將B轉(zhuǎn)換變?yōu)锽∈RC'×HW，同時(shí)將D經(jīng)過(guò)softmax函數(shù)后變換得到D∈RN×HW，將B∈RC'×HW和D∈RN×HW的轉(zhuǎn)置相乘通過(guò)softmax函數(shù)生成聚集所有類(lèi)的相似性映射圖X∈RC'×N，具體運(yùn)算如式（1）所示：

其中：Bu，i表示特征圖B第u個(gè)通道的第i個(gè)像素值，Dk，i表示特征圖D第k個(gè)通道的第i個(gè)像素值，au，k表示Bu和Dk之間的類(lèi)特征關(guān)聯(lián)矩陣，xu，k∈X表示類(lèi)之間的影響因子，u∈[1，2，...C']，k∈[1，2，...N]。

將X∈RC'×N和D∈RN×H×W相乘得到Y(jié)∈RC'×H×W，將其通過(guò)1×1卷積和A相加，最終輸出的類(lèi)增強(qiáng)特征圖如式（2）所示：

其中，F(xiàn)u表示表示輸出特征F∈RC×H×W第u個(gè)通道，f(·)表示1×1卷積-BN-ReLU系列運(yùn)算。式（2）顯示每個(gè)通道的最終輸出是類(lèi)別特征注意圖中所有通道基于類(lèi)別的加權(quán)和，表示特征圖之間基于類(lèi)別的語(yǔ)義依賴，也就是提出的CFAM直接提高了類(lèi)別級(jí)信息的感知和辨別能力。

2.3 改進(jìn)的ASPP模塊

在DeepLabv3+結(jié)構(gòu)編碼最后階段，通過(guò)并行不同膨脹率的空洞卷積來(lái)增大卷積核的感受野，抵消一部分池化層帶來(lái)的信息丟失，進(jìn)而有效實(shí)現(xiàn)多尺度特征提取。雖然使用ASPP結(jié)構(gòu)在一定程度上通過(guò)增大感受野提高了分割性能，但是空洞卷積存在卷積核不連續(xù)的缺陷。為了解決上述問(wèn)題，本文結(jié)合混合擴(kuò)張卷積［23-24］（HDC）的思想將ASPP重構(gòu)為MASPP。HDC的思想就是當(dāng)使用多個(gè)空洞卷積時(shí)，需要設(shè)計(jì)各卷積核的膨脹率使其剛好能覆蓋底層特征層。改進(jìn)的ASPP模塊如圖5所示?；贏SPP模塊，M-ASPP模塊將不同采樣率的空洞卷積串聯(lián)起來(lái)，這樣空洞卷積的空洞可以被覆蓋，防止信息丟失。然后，對(duì)每個(gè)分支中不同采樣率提取的特征進(jìn)行融合，得到最終的特征圖。

圖5 M-ASPP結(jié)構(gòu)Fig.5 Structure of the multi-parallel ASPP

2.4 通道注意力模塊

CFANet在編碼端集成了MASPP和CFAM模塊。分別利用MASPP模塊提取多尺度信息，CFAM模塊提取類(lèi)特征信息，能更好地提取底層細(xì)節(jié)。編碼端不同尺度特征圖之間重復(fù)的通道融合操作，會(huì)使最終的輸出存在特征冗余現(xiàn)象，故利用FCA模塊（圖6）將拼接的特征圖通過(guò)全局池化和最大池化沿空間維度壓縮上下文特征，得到兩個(gè)向量，然后將兩個(gè)向量共享給全連通層和Sigmoid算子生成一個(gè)權(quán)重系數(shù)，將根據(jù)信息的重要性分配好的加權(quán)系數(shù)乘以原始特征，得到縮放后更有效的新特征，提高分割圖重要特征的精度。運(yùn)算過(guò)程可用式（3）表示：

圖6 FCA結(jié)構(gòu)Fig.6 Structure of FCA

其中：MLP是多感知層，σ是sigmoid激活函數(shù)，F(xiàn)是通道拼接后新的特征圖。先分別進(jìn)行一個(gè)全局平均池化和最大池化，得到兩個(gè)1×1×C通道描述。

3 實(shí)驗(yàn)研究與結(jié)果分析

3.1 數(shù)據(jù)集和訓(xùn)練策略

本文網(wǎng)絡(luò)的有效性和泛化性用Pascal Voc2012和Cityscapes數(shù)據(jù)集進(jìn)行驗(yàn)證。Voc2012分割數(shù)據(jù)集包含21個(gè)類(lèi)別，1 464張訓(xùn)練圖片、1 449張驗(yàn)證圖片和1 456張測(cè)試圖片。我們通過(guò)對(duì)圖像進(jìn)行亮度增強(qiáng)、對(duì)比度增強(qiáng)、水平翻轉(zhuǎn)和隨機(jī)方向翻轉(zhuǎn)擴(kuò)展數(shù)據(jù)集得到增強(qiáng)版Pascal Voc2012數(shù)據(jù)集，共10 582張訓(xùn)練圖像。Cityscapes是城市街景相關(guān)的語(yǔ)義數(shù)據(jù)集，包含50個(gè)城市和21個(gè)類(lèi)別的5 000張圖像，其中有2 975張訓(xùn)練集、500張驗(yàn)證集和1 525張測(cè)試集。這兩個(gè)數(shù)據(jù)集都是圖像語(yǔ)義分割任務(wù)中的重要數(shù)據(jù)庫(kù)。

在對(duì)本文提出的算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練和預(yù)測(cè)時(shí)，采用Pytorch框架，在Ubuntu16.04系統(tǒng)和Nvidia GeForce GTX1080Ti設(shè)備的實(shí)驗(yàn)條件下。網(wǎng)絡(luò)輸入圖像的尺寸分別是512 pixel×512 pixel和768 pixel×768 pixel，批量大小設(shè)置分別為8和4，初始學(xué)習(xí)率設(shè)置為0.000 1，動(dòng)量是0.9。

3.2 評(píng)價(jià)指標(biāo)

針對(duì)本文提出的算法模型，使用語(yǔ)義分割中的標(biāo)準(zhǔn)度量MIoU（平均交并比）作為評(píng)價(jià)標(biāo)準(zhǔn)來(lái)驗(yàn)證網(wǎng)絡(luò)的有效性，它反映了模型對(duì)每一類(lèi)預(yù)測(cè)的結(jié)果和真實(shí)值的交集與并集的比值求和再平均的結(jié)果，IoU值越高，測(cè)量值與真實(shí)值的重疊越大，網(wǎng)絡(luò)預(yù)測(cè)越準(zhǔn)確，如式（4）所示：

其中，物體標(biāo)簽類(lèi)別數(shù)量用k表示，k+1為加上背景以后的總標(biāo)簽類(lèi)別，pij是指預(yù)測(cè)結(jié)果中將i預(yù)測(cè)為j的概率。在本文網(wǎng)絡(luò)與其他不同網(wǎng)絡(luò)性能對(duì)比的實(shí)驗(yàn)中，還使用了類(lèi)別平均像素準(zhǔn)確率（MPA）。

3.3 特征提取網(wǎng)絡(luò)選取實(shí)驗(yàn)

為了探索不同特征提取網(wǎng)絡(luò)對(duì)CFANet的影響并找到最佳特征提取網(wǎng)絡(luò)，連續(xù)使用Mobilenetv2、Xception、ResNet34、ResNet50和 ResNet101等不同的骨干網(wǎng)絡(luò)做了對(duì)比實(shí)驗(yàn)。獲得的結(jié)果如表1所示。

從表1可以看出，Mobilenetv2達(dá)到了參數(shù)數(shù)量的最優(yōu)值，但精確度最低，MIoU比最優(yōu)值低7.21%。Xception的預(yù)測(cè)時(shí)間較長(zhǎng)，參數(shù)量大，MIoU值也不優(yōu)。ResNet34達(dá)到了預(yù)測(cè)時(shí)間的最優(yōu)值，但其MIoU低于ResNet50，兩者之間的差距較大。ResNet50的MIoU達(dá)到最優(yōu)值80.34%，參數(shù)量雖大于Mobilenetv2，但各項(xiàng)對(duì)比綜合來(lái)說(shuō)最佳。ResNet101的參數(shù)數(shù)量和預(yù)測(cè)時(shí)間都比較大，其MIoU也低于ResNet50。因此，從綜合的角度來(lái)看，使用ResNet50進(jìn)行特征提取可以提供最佳的總體結(jié)果。

表1 不同基礎(chǔ)網(wǎng)絡(luò)的性能Tab.1 Performance of different base networks

3.4 消融實(shí)驗(yàn)

為了驗(yàn)證各模塊對(duì)網(wǎng)絡(luò)CFANet的影響及性能效果，在Voc2012增強(qiáng)版數(shù)據(jù)集上設(shè)計(jì)該實(shí)驗(yàn)。采用ResNet50作為主干模型，分別將本文提出的CFAM、M-ASPP和FCA模塊添加到網(wǎng)絡(luò)中進(jìn)行實(shí)驗(yàn)并記錄MIoU值，結(jié)果如表2所示。

表2 模塊消融實(shí)驗(yàn)Tab.2 Module ablation experiment

從表2可以看出，MASPP模塊比ASPP模塊表現(xiàn)更好，MIoU結(jié)果比ASPP模塊高了0.54%。類(lèi)特征注意力模塊的MIoU值高達(dá)78.83%，比不加該模塊增加了1.24%，表明原網(wǎng)絡(luò)中被忽略的類(lèi)別特征信息得到了利用，有助于獲得對(duì)對(duì)象類(lèi)別信息更敏感的細(xì)粒度特征表示，增強(qiáng)網(wǎng)絡(luò)的判別能力?？偟膶?shí)驗(yàn)結(jié)果表明，本文綜合注意力機(jī)制提出的融合多尺度特征的模塊能提升網(wǎng)絡(luò)表征能力，對(duì)不同特征的語(yǔ)義信息進(jìn)行更好的提取融合。

3.5 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文設(shè)計(jì)算法的有效性，設(shè)計(jì)了兩個(gè)對(duì)比實(shí)驗(yàn)，其一將本文算法與復(fù)現(xiàn)的經(jīng)典網(wǎng)絡(luò)對(duì)比；其二將本文算法與近年相關(guān)研究對(duì)比。表3記錄了復(fù)現(xiàn)網(wǎng)絡(luò)和本文網(wǎng)絡(luò)改進(jìn)前后的MPA值、MIoU值、預(yù)測(cè)時(shí)間值等網(wǎng)絡(luò)性能的比較。由于SegNet忽略了圖像的上下文信息，分類(lèi)精度不理想。DenseASPP比其他方法具有更輕的網(wǎng)絡(luò)結(jié)構(gòu)，MIoU值比最優(yōu)值低4.7%。雖然Deeplabv3+結(jié)合了多尺度信息，但預(yù)測(cè)時(shí)間最高且MIoU 值不是最優(yōu)。ACFNet［25］結(jié)合了類(lèi)注意模塊，MIoU值達(dá)到了78.98%。本文所提出的CFANet取得了81.34%的最優(yōu)MIoU值，比原來(lái)的Deeplabv3+提高了4.75%，MPA值也提高了2.95%，其參數(shù)數(shù)量和預(yù)測(cè)效率與其他方法相比處于中等水平。盡管它比其他模型稍大且效率較低，但分割結(jié)果更優(yōu)。

表3 經(jīng)典網(wǎng)絡(luò)性能對(duì)比Tab.3 Classic network performance comparison

表4顯示了近兩年相關(guān)研究和本文算法的比較，可以看出，不管是在復(fù)現(xiàn)的經(jīng)典網(wǎng)絡(luò)還是近年研究中，本文算法在準(zhǔn)確性方面達(dá)到了更優(yōu)值。在實(shí)際應(yīng)用中，不僅要考慮模型大小，還要考慮模型效率。因此CFANet在整體性能方面可以被認(rèn)為是最好的。

表4 不同網(wǎng)絡(luò)性能對(duì)比Tab.4 Performance of different networks

圖7顯示了本文提出算法模型的可視化劃分結(jié)果?？梢钥闯觯珻FANet在整體圖像、邊緣和細(xì)節(jié)上均優(yōu)于原模型算法。本文網(wǎng)絡(luò)利用不同注意力之間的特性探索不同像素之間的位置對(duì)應(yīng)關(guān)系，空間細(xì)節(jié)特征增強(qiáng)和類(lèi)別上下文信息的聯(lián)合研究提高了平均交并比和平均像素精度，有效增強(qiáng)了圖像邊緣相同的目標(biāo)特征，從而準(zhǔn)確分割邊緣目標(biāo)。

圖7 Voc2012數(shù)據(jù)集上每個(gè)模型的可視化結(jié)果Fig.7 Visualization results of each model on the Voc2012 dataset

3.6 泛化實(shí)驗(yàn)

為了進(jìn)一步證明該算法的泛化性，在Cityscapes數(shù)據(jù)集上測(cè)試了改進(jìn)前后網(wǎng)絡(luò)對(duì)圖像的分割效果，記錄的MIoU值如表5所示。

從表5可以看出，絕大部分物體都得到了更好的分割精度，總的平均交并比相比于原模型提高了2.14%，進(jìn)一步表明了該算法的普適和有用。從圖7的可視化圖片中可以更直觀地發(fā)現(xiàn)，圖中所有目標(biāo)物均有了更精細(xì)的分割結(jié)果，并減少了意外的錯(cuò)誤分類(lèi)。如圖8的第三行中黃色虛線圓圈內(nèi)的物體被原模型錯(cuò)誤分類(lèi)為汽車(chē)，在本文模型中被正確分類(lèi)。相較于原始網(wǎng)絡(luò)，本文算法對(duì)圖片的邊緣和類(lèi)別有了更準(zhǔn)確的分割效果。

圖8 在Cityscapes數(shù)據(jù)集上可視化結(jié)果Fig.8 Visualize the results on the Cityscapes dataset

表5 在Cityscapes數(shù)據(jù)集上的性能檢測(cè)Tab.5 Performance testing on the Cityscapes dataset

以上實(shí)驗(yàn)表明，本文提出的實(shí)現(xiàn)類(lèi)別語(yǔ)義信息補(bǔ)充的CFAM和多并行的ASPP模塊以及保留重要特征FCA模塊的效用均得到了驗(yàn)證，各個(gè)模塊之間的聯(lián)合學(xué)習(xí)可以更高效地使用目標(biāo)區(qū)域中的信息并從中聚合特征，在一定程度上解決因局部特征提取不連貫所造成的大規(guī)模目標(biāo)類(lèi)內(nèi)不一致和目標(biāo)分割不完整、不清晰等問(wèn)題。整個(gè)網(wǎng)絡(luò)的特征細(xì)化過(guò)程最終將引導(dǎo)網(wǎng)絡(luò)合理使用給定的特征，可以看出，我們的模型在整體、邊緣和細(xì)節(jié)方面都優(yōu)于原始模型。

4 結(jié) 論

為了使DeepLabv3+模型中圖像邊緣像素得到更清晰的呈現(xiàn)以及注意力信息得到高效利用，本文提出的基于類(lèi)特征注意力機(jī)制融合的語(yǔ)義分割算法CFANet，通過(guò)增強(qiáng)特征的多樣性和關(guān)鍵信息的捕捉來(lái)細(xì)化目標(biāo)邊緣像素和類(lèi)別的高精度分割。在兩個(gè)常用的數(shù)據(jù)集Pascal Voc2012和Cityscapes上對(duì)改進(jìn)模型的有效性和泛化性進(jìn)行了測(cè)試，平均交并比分別達(dá)到了81.34%和76.27%。實(shí)驗(yàn)數(shù)據(jù)和可視化結(jié)果均表明，本文設(shè)計(jì)的CFANet可以提供更多的語(yǔ)義信息來(lái)細(xì)化分割結(jié)果。雖然本文所提出的方法可以使圖像達(dá)到很好的分割效果，但仍有改進(jìn)的空間，本文沒(méi)有考慮小對(duì)象分割的相關(guān)網(wǎng)絡(luò)設(shè)計(jì)，因此，今后的工作將致力于對(duì)小目標(biāo)分割進(jìn)行相關(guān)研究。