復雜場景下顯著性目標檢測注意力金字塔網絡

方金生，陶余昊，朱古沛，陳彥佑

1.閩南師范大學 計算機學院，福建 漳州363000

2.數據科學與智能應用福建省高校重點實驗室（閩南師范大學），福建 漳州363000

顯著性目標檢測旨在準確地分割和識別圖像場景中的重要目標，是計算機視覺領域中一項具有挑戰性的任務。自1998 年Itti 等[1]的研究發表以來，顯著性目標檢測的研究引起了廣泛關注[2]。顯著性目標檢測的發展經歷了從傳統檢測方法階段到深度學習檢測階段。傳統方法使用顏色、紋理等先驗信息，依賴于手工制作特征，泛化能力差[3]。隨著深度卷積神經網絡（deep convolutional neural networks，DCNN）的出現，顯著性目標檢測取得了巨大的進步，國內外研究團隊提出了諸多先進算法[4]。

Lin 等[5]提出了特征金字塔網絡（feature pyramid network，FPN），將具有精確目標位置的淺層特征和包含豐富語義信息的深層特征進行多尺度融合，最后對不同層的輸出特征進行獨立預測，改變以往僅使用頂層特征進行預測的狀況，提升了目標物的檢測性能。但隨著深層特征自頂向下傳遞，位置信息可能逐漸淡化，并且顯著性特征通常具有全局性，導致FPN網絡性能下降。由此，Liu等[6]提出PoolNet，利用全局特征引導模塊和特征聚合模塊來捕獲更高級別的語義信息，并可減少因上采樣而造成的混疊效應。Qin等[7]采用新的混合損失函數提出BASNet，來檢測顯著性對象的邊界，提高網絡性能。然而，在面對復雜背景中的顯著性目標檢測時，上述這些方法可能由于特征融合得不完整而導致性能下降。Vaswani等[8]提出了基于Transformer的新網絡架構，利用特征全局信息提高檢測效果。隨后，Carion 等[9]基于Transformer提出改進算法DETR，這些網絡都大大提高了目標檢測的性能。然而，Transformer類型網絡的訓練往往需要大量的時間和計算資源。

本文提出了一種基于邊界感知和注意力機制的新型金字塔池化網絡，用以有效抑制背景信息并提取顯著性目標。本文工作的主要貢獻如下：

（1）提出了一種新穎有效的基于邊界感知和注意力機制的網絡，用于解決復雜場景下的顯著性目標檢測任務；

（2）提出了級聯雙注意模塊和改進特征聚合模塊來捕獲多級信息，該模塊結構簡單、運算量少且能有效提高網絡性能；

（3）在5 個公共數據集上與16 種先進方法進行比較，實驗結果表明ABAPNet（attention-based boundaryaware pyramid pooling network）具有最佳性能。

1 相關工作

1.1 基于深度學習的顯著性目標檢測

近年來，國內外研究人員提出了諸多基于卷積神經網絡（convolutional neural networks，CNN）的顯著目標檢測方法，得益于深度CNN強大的特征提取能力，這類方法均優于傳統方法[10-11]。Wang 等[12]提出了一種包括局部估計階段和全局估計階段的兩步策略算法，以融合低級顯著性特征和高級顯著性特征來提升網絡性能。Liu等[13]提出的DHSNet首先進行了粗略檢測，然后采用分層網絡架構對檢測結果進行細化。上述方法主要依賴于分類網絡和原始圖像的區域信息，來獲取目標區域的重要性，但這種策略對顯著性目標邊界模糊問題的預測仍存在不足。Hou 等[14]提出了一種簡單且有效的強監督的短接結構DSSNet，以獲取各層的多尺度特征，從而能夠準確定位顯著性目標的邊界，獲得細化預測。Wang等[15]提出了一種帶有金字塔池化模塊的階段細化網絡，以彌補重復卷積和下采樣操作后分辨率的下降問題。Deng等[16]提出了R3Net，并采用一系列殘余細化模塊，擬合真值和先前顯著性特征之間的殘余信息。Zhang等[17]提出了Amulet，將深度遞歸的監督學習體系集成到低分辨率特征圖像的共同邊緣信息中，更好地聚合多級功能，以提高定位精度。如上述研究所證明的，多尺度特征對于顯著性檢測非常重要，并且這些方法可能會面臨空間尺度特征學習問題。Liu等[18]提出的PiCANet將像素級上下文注意機制與U形網絡結構相結合，同時關注局部和全局信息，獲得豐富的上下文特征。He等[19]提出了AGNet，聯合通道注意力和空間注意力對不同特征信息加權，有選擇地聚合深層和淺層特征信息。Wang等[20]提出了一種增大感受野模塊以獲得更加豐富的空間上下文信息，通過高效的特征聚合來獲得更精細的預測結果。

1.2 金字塔池化網絡

金字塔池化網絡PoolNet[6]提出了一個新的全局引導模塊（global guidance module，GGM），包含金字塔池化模塊（pyramid pooling module，PPM）和一系列全局引導流模塊（global guiding flows，GGF）。PPM由多個分支組成，這些分支以不同的比例捕獲輸入圖像信息，然后通過GGF 中包含的一系列全局引導流，可以將金字塔底層的全局信息從上到下添加到網絡的每一層中，從而確保構建的金字塔結構具有高層次的語義特征。隨后，PoolNet 通過特征聚合模塊（feature aggregation module，FAM）融合高層次和低層次語義特征。FAM 包括四個平均池化層，每個層都有一個獨立的結構，通過下采樣和上采樣操作，將GGM 獲得的高級語義特征輸入到FAM中，然后將得到的特征映射串聯起來，再通過一個3×3 的卷積層。FAM 能夠減少上采樣引起的混疊效應，避免特征圖像出現失真的問題，從不同的角度和尺度觀察顯著性對象的空間位置，從而擴大了整個網絡的感受域。

1.3 邊界感知

由于網絡中上采樣、池化和多級特征提取等操作均可能會模糊輸出特征，使用邊界反饋的策略對于改進顯著性檢測非常重要[7]。BASNet 利用邊緣檢測的方向信息，分別通過預測網絡和精細網絡兩部分獲得粗略的顯著性區域和精細特征圖。BASNet 融合BCE、SSIM 和IoU的混合函數用于指導網絡訓練，關注顯著性目標的邊緣細節，更好地恢復顯著對象的輪廓。

2 本文方法

本章主要介紹ABAPNet 網絡架構及具體實現細節，包括級聯的雙注意力模塊（DAM）、全局引導模塊（GGF）、特征聚合模塊（FAM）和邊界感知函數（BA）。

2.1 ABAPNet總體框架

本文提出的ABAPNet 以ResNet 為主干網絡，以FPN 為特征融合網絡構架[5]，如圖1 所示，為方便比較，FPN 示于圖中右下角處。ABAPNet 采用自頂向下的方法進行多層特征融合，用以增強各維度之間的特征關聯，獲得強語義特征。首先，經過主干網絡ResNet50得到5 層特征（記為Feature-0、Feature-1、Feature-2、Feature-3、Feature-4）的輸出；其次，對5層特征分別進行3×3 卷積后完成初始特征的融合，得到特征Feature-1、Feature-2、Feature-3、Feature-4，作為金字塔結構網絡FPN 的輸入；然后，將Feature-1、Feature-2、Feature-3 分別進行級聯式雙注意力機制DAM 處理；將Feature-4 分別經過特征融合模塊FAM及金字塔池化模塊（PPM）處理。在PPM處理方面，首先經過平均池化層輸出{2/4/8}3 個不同尺寸的特征，在通過1×1 卷積但不改變通道數的情況下采用ReLU 激活函數，再上采樣將這3 個特征進行拼接，最后經過3×3 卷積和ReLU 激活函數輸出。ABAPNet的后續卷積運算與PoolNet[6]一致，在原始FPN架構增加一個多尺度的上采樣分支，將特征Feature-1、Feature-2、Feature-3、Feature-4 分別經DAM、FAM 和PPM 處理后的結果進行特征融合并輸出最終的結果。最后，利用邊界感知模塊BA計算網絡的損失函數。通過多層損失之和的梯度下降，重點關注多個層次的邊緣信息。圖2顯示了ABAPNet的過程輸出結果，從第一個FAM模塊輸出到網絡的最終輸出，背景逐漸被抑制，顯著性對象的預測變得越來越精確。

圖1 ABAPNet模型架構圖Fig.1 Schematic illustration of ABAPNet

圖2 ABAPNet邊路輸出結果Fig.2 Output of ABAPNet side path

在ABAPNet 網絡中，前三個金字塔層的特征分別輸入到新設計的級聯式DAM 中，而最后一個金字塔層的輸出分別通過兩條路徑進行處理。由于最后一個金字塔層的輸出具有最強的特征信息[5]，并且對于保持檢測性能非常重要，因此第一條路徑連接到金字塔池化模塊中，而另一條路徑連接至特征聚合模塊。

2.2 級聯式雙注意模塊

本文采用級聯式通道注意力模塊（CAM）和空間注意力模塊（SAM），如圖3 所示。CAM 的輸入分別經過最大池化和平均池化操作，再依次用1×1卷積層、ReLU層和1×1 卷積層進行處理，并使用Sigmoid 函數作為激活函數，最后將兩個Sigmoid 函數輸出之和與輸入特征相乘的結果作為SAM的輸入。首先將輸入特征分別通過最大池化和平均池化的操作；然后將輸出結果相加并通過7×7 卷積層，激活函數為Sigmoid；最后將SAM 的輸入與Sigmoid 函數的輸出相乘得到最終結果。因此，級聯式雙注意力模型可以表示為：

圖3 級聯式雙注意力機制結構Fig.3 Cascading dual attention mechanism

其中，Ac(F)表示CAM的輸出，As(F)是SAM的輸出，σ、C0、C1、C2分別表示Sigmoid 函數、第一個1×1 卷積層、第二個1×1卷積層和7×7卷積層；和分別表示CAM和SAM中的最大池和平均池結果。

在CAM和SAM都加入池化層，可以進一步壓縮特征，避免數據在訓練過程中產生過擬合的現象。最大池化層可以減小因為卷積層參數誤差造成的估計均值偏移問題，進而有效地保留圖像的紋理信息，減少無用信息對于顯著性信息的影響，進一步提高所提取特征的魯棒性。而平均池化層能減少因為領域受限而造成的估值方差增大誤差，并且能夠保留圖像中的背景信息，獲取更多的全局上下文信息。

2.3 全局引導模塊

原始的FPN架構廣泛用于提取語義特征，但其U形網絡架構在重復的子采樣操作后將不可避免地模糊高層語義信息。此外，FPN 的感受野十分有限，無法捕捉全局信息，導致顯著性對象可能會受到背景的干擾。因此，PoolNet[6]引入了由金字塔池化和全局引導流組成的全局引導模塊，以抑制由于缺乏高級語義特征而造成的負面影響，如圖1中綠色路徑所示。將從FPN中提取的第四層特征輸入到具有上采樣尺度{2，4，8}的金字塔池化模塊中，并用全局引導流進行處理，以生成不同大小的特征圖。全局引導模塊準確地幫助網絡在自頂向下的路徑下增加每個分支的全局信息權重，并確保在構建FPN時不會丟失網絡的位置信息。

2.4 特征聚合模塊

原始的特征聚合模塊包含三個池化尺度分別為{2，4，8}的通道，用于特征下采樣和上采樣[6]。在本文中，增加最大池化，如圖4所示，最后將5個通道的結果特征求和并進行3×3的卷積處理。通過多分支特征聚合，FAM能夠抑制上采樣引起的混疊效應，并可以從多個尺度全景查看顯著性對象的空間位置，以擴大感受野。此外，本文額外添加的最大池化分支從均衡的角度考慮每層特征的估計均值偏移問題，確保網絡對特征提取的魯棒性。最大池化和平均池化的協同操作有助于網絡保留更全面的背景信息和紋理信息。

圖4 特征聚合模塊Fig.4 Feature aggregation module

2.5 邊界感知模塊

邊界感知模塊融合了二進制交叉熵（BCE）、結構相似性（SSIM）和聯合交集（IoU）作為損失函數以改善網絡性能。三者聯合從像素級、圖像塊級和圖像級進行優化網絡。BCE 損失函數會逐個檢查預測結果中的每個像素，并對所有像素求取平均值。這一操作使得每個像素都被平均地對待，極大程度上減少了像素不均衡和像素偏離真值的問題，使得較小的目標也能被學習到特征，從而增加了網絡的有效性。SSIM 損失函數從每個像素點產生的損失來進行分析，考慮像素點周圍的N×N像素塊，增強邊緣部分的損失，抑制非邊緣部分的損失，幫助網絡關注到更多顯著性目標的邊緣細節信息。IoU 損失函數能準確地反映出預測結果和真值的重合程度，將預測結果和真值的交集比上預測結果和真值的并集，并以此作為衡量標準，進而優化預測結果逐漸逼近真值。IoU 對于顯著性目標的位置偏差十分敏感，有利于網絡從目標的整體范圍優化預測結果。

下面分別對三種損失函數的定義進行介紹。

BCE定義如下：

其中，yi∈{0,1} 是像素i的真值標簽，fi(xi)是被預測為顯著對象的概率。

SSIM 通常用于評估圖像的結構相似性，分別從圖像的亮度、對比度和結構相似度聯合度量，其定義如下：

其中，μx、μy和σx、σy分別是x和y的平均值和標準偏差，σxy是協方差，C1和C2是常數。IoU不僅用于確認正面和負面樣本，還用于評估預測框和地面真相之間的差距，定義如下：

其中，G(r,c)∈(0,1) 是像素(r,c)的真值標簽，S(r,c)是顯著對象的預測概率。

由此可見，BCE、SSIM 及IoU 分別從像素級、圖像塊級和圖像級計算損失函數，從這3個層級上提高了網絡性能，加速了像素之間的收斂，有效地抑制了非邊緣信息，并更加關注圖像的前景信息。

3 實驗設置與結果分析

3.1 訓練細節

本文中的所有實驗是基于PyTorch1.9的框架，使用GeForce GTX3090 GPU 進行訓練。以Adam 優化器進行優化，初始學習率設置為5E-5，并每經過15 個epoch將學習率設置為原來的1/10。實驗分別以VGG16[21]和ResNet-50[22]作為骨干網絡，其參數由在ImageNet 數據集上預先訓練的模型[23]進行初始化。

3.2 數據集和評測指標

為了評估本文提出的ABAPNet的性能，在5個公共數據集DUTS[24]、ECSSD[25]、PASCAL-S[26]、DUT-OMRON[27]和HKU-IS[11]上進行實驗，以精度召回（PR）曲線、平均絕對誤差（MAE）[28]和F-measure（MaxF）[29]作為評測指標。PR 曲線是評估顯著性檢測網絡性能的標準方法，將二值化顯著性圖與真值進行比較，其定義如下：

其中，P表示精度，R為召回率，TP表示正例，FN表示負正例，FP為負例。

F-measure是精準率（Precision）和召回率（Recall）的加權調和平均數，是一種綜合考慮P和R的評估方法，其定義如下：

其中，β是參數，P為精準率，R為召回率。

MAE是一種表示預測值與真值之間絕對誤差的一種平均值，可以真實地反映出預測值與真值的偏差程度，其定義如下：

其中，W和H分別表示預測的顯著性圖S的寬度和高度，G是真值。

3.3 消融實驗

3.3.1 網絡主體構架消融實驗

本小節進行了一系列將級聯DAM 和BA 納入ABAPNet 的實驗，并展示了每個模塊的有效性以及聯合訓練對網絡模型性能的影響，消融實驗的可視化對比由圖5 可見。所有實驗均以ResNet-50 為主干網，在MSRA-B和HKU-IS上進行訓練（共4 996張圖片），并在ECSSD 和PASCAL-S 聯合數據集上進行測試。本文采用的基準網絡為PoolNet，具體結果如表1所示。

表1 消融實驗Table 1 Ablation experiment

圖5 消融實驗效果圖Fig.5 Results of ablation experiment

（1）僅使用級聯DAM。如表1 的第二行數據所示，較基準網絡，F-measure 和MAE 的值都有所提高。如圖5（d）所示，添加注意力機制可以幫助網絡更有效地提取顯著目標輪廓，優化預測結果。

（2）僅使用BA。如表1 的第三行數據所示，使用BA 可提高MaxF 和MAE 值，如圖5（e）所示，顯著性目標的邊緣信息更為完善。

（3）同時使用級聯DAM和BA。如表2的最后一行數據所示，同時引入級聯DAM 和BA 的MaxF 和MAE值最高。如圖5（f）所示，同時使用級聯DAM 和BA 的結果更好地保留了顯著性目標的細節，在很大程度上抑制了復雜背景的影響，預測結果更接近真值情況。

表2 特征聚合模塊對比實驗Table 2 Contrast experiment of feature aggregation module

圖6顯示了增加各模塊后的熱力圖，從圖6（b）中可以看出僅通過Baseline（基線網絡）輸出的特征存在定位不準確、關注點十分分散且局部化的問題；在加入DAM模塊后加深了網絡的感受野，使網絡更加完整地聚焦于顯著性目標，如圖6（c）所示；在加入BA模塊后，網絡更加關注顯著性目標的邊緣信息，抑制了復雜背景對于顯著性目標輪廓的影響，如圖6（d）所示；在同時加入DAM和BA模塊后，網絡達到了最優效果，同時關注到顯著性目標的位置和還原顯著性目標輪廓，如圖6（e）所示。

圖6 消融實驗熱力效果圖Fig.6 Heatmap of ablation experiment

3.3.2 特征聚合模塊對比實驗

本小節在ECSSD 和PASCAL-S 數據集上驗證特征聚合模塊中增加最大池化分支對網絡的作用。表2 展示了使用單均值池化分支的FAM結構和由均值池化分支、最大池化分支組成的FAM 結構的網絡性能。在數據集ECSSD上，含有最大池化分支網絡的MaxF值略低于單均值池化分支的網絡，而MAE值則優于后者；在數據集PASCAL-S 上，含有最大池化分支網絡的MaxF 和MAE 值則均優于單均值池化分支網絡。因此，從整體趨勢上講，增加最大池化層對MaxF和MAE指標有一定的提升作用。

3.4 與當前先進算法比較

本節給出了ABAPNet 與PoolNet[6]、BASNet[7]、DHSNet[13]、DSS[14]、R3Net[16]、Amulet[17]、PiCANet[18]、AGNet[19]、SGFANet[20]、SRM[24]、PAGR[30]、DGRL[31]、U2Net[32]、CPD[33]16種顯著性目標檢測方法的比較。為了進行公平的比較，本文比較算法引用了已發布的結果，這些方法的預測結果來自作者發布的源代碼，然后使用相同的評估代碼評估所有方法。本節以VGG-16和ResNet-50作為主干網絡在5 個公共數據集進行實驗，定量比較結果如表3所示。表3中的結果表明，在數據集ECSSD和HKU-IS中，ABAPNet的MaxF值略低于SGFANet，在PASCAL-S數據中，ABAPNet的MAE值略高于DGRL、U2Net、AGNet和SGFANet；除此之外，在全部數據集上，ABAPNet 的MaxF、MAE 值均優于當前的先進方法。綜合而言，與現有的先進方法相比，本文提出的ABAPNet 具有更為優越的顯著性目標檢測性能。

表3 與當前先進算法的定量比較Table 3 Quantitative comparison with current advanced algorithms

如圖7所示，以ResNet-50為主干網絡構架的ABAPNet，繪制了3 個不同數據集下的PR 曲線和F-measure 曲線。在這3 個數據集上，本文ABAPNet 的PR 曲線均優于其他模型。從圖7的第二行可以看出，在所有數據集上，ABAPNet的F-measure曲線的得分都高于現有算法。

圖7 7種算法在3個公共數據集下的PR曲線和F-measure曲線Fig.7 PR curves and F-measure curves of 7 algorithms on 3 public datasets

為了更直觀地顯示本文ABAPNet 的分割結果，在圖8中顯示了BASNet、PoolNet、U2Net、PiCANet及PAGR等方法的視覺比較。從上到下，圖像中所對應的場景依次是透明物體、小物體、大物體、具有復雜細節的物體和前景與背景對比度很低的物體。可以清楚地看到，在各種具有挑戰性的場景中，本文的模型可以分割出更接近地面真實地圖的顯著對象。無論背景和顯著性對象多么相似，或者顯著對象的細節多么復雜，本文方法都可以突出顯著性對象并保持其清晰的邊界。

圖8 7種算法在5個公共數據集下的檢測結果Fig.8 Detection results of 7 algorithms on 5 public datasets

4 結束語

本文提出了一種基于邊界感知和注意力機制的顯著性目標檢測網絡ABAPNet，它能有效地從復雜背景中分割出顯著性目標。ABAPNet以FPN網絡為基礎架構，融合了新設計的級聯雙注意力模塊、特征聚合模塊和邊界感知模塊。級聯雙注意力模塊保證了各層特征根據特征的重要性進行融合，減少了特征融合過程中的信息損失；邊界感知模塊通過對多個損失函數的監督，幫助模型在像素級、圖像級和特征圖級上獲得更多的顯著性信息；特征聚合模塊幫助網絡保留更全面的背景信息和紋理信息。這三個模塊的結合，從整體上改善了網絡性能，促使網絡能夠獲得更準確的顯著性結果。同時，級聯式雙注意機制模塊的結構簡單，運算量小，可將該模塊應用于其他網絡并降低運算復雜度。通過對5 個公共基準數據集的測試，驗證了ABAPNet 在復雜背景下對顯著性目標的檢測能力優于其他先進的方法。當然，ABAPNet 仍存在網絡架構較為復雜且訓練時間的問題，優化網絡架構和訓練時間是接下來的研究工作。