高效通道注意力和特征融合的協同顯著性檢測算法

張德華，李俊豪，張靜凱，肖啟陽

(1.河南大學 人工智能學院，鄭州 450046；2.河南大學 邁阿密學院，河南 開封 475004)

顯著性檢測是通過計算機模擬人類視覺系統易被顯著物體刺激的特性來檢測圖像當中的顯著物體，被廣泛應用于眾多領域，成為當前圖像檢測領域的關鍵研究之一[1]。因傳統的顯著性檢測被認為是一種偏向計算資源的分配，而且對單一圖片中標注顯著區域，無法解決復雜背景下一張圖片甚至一組圖片包含多個顯著目標區域的問題。因此，為突破傳統顯著性檢測的束縛，近年來提出了協同顯著性檢測(co-saliency detection，CD)[2]概念，并成為當前一個熱門的研究領域，目前已廣泛應用于如圖像裁剪[2]、協同分割[3]、圖像檢索[4]和視頻前景檢測[5]等許多更復雜的計算機視覺任務當中。

早期研究[5-6]主要集中在無監督學習方法，直接將單幅圖的顯著特征圖作為對應圖的特征，然后通過特征匹配和聚類的方法直接將其與其他圖的顯著特征圖進行組合得到最終結果，但其組合的權重是固定不變的，這很明顯制約了學習的效果和精度。而文獻[7]對此進行了改進，提出了一種秩約束的方法得到自適應組合權重，取得了較好的效果，但由于無監督學習方法依賴人工設計的特征，這些特征常常不包含語義信息[8]。因此這些算法在亮度或拍攝角度的改變下等復雜場景中預測結果和真實值差距較大[9]。故近年來，在該領域無監督學習的方法研究主要集中于圖學習和圖優化[10-12]。隨著計算機算力的提升以及神經網絡強大的學習泛化能力，基于深度學習的方法取得了很多不錯的效果[13-16]，它們很多采用了機器學習領域的先進技術設計各個模塊分別用于提取圖片本身的特征和圖片組共有的特征，比如文獻[16]提出了使用卷積神經網絡可能會導致邊緣細節信息的缺失，并通過設計聯合注意力模塊改進這一問題，取得了較好的實驗結果。這表明在協同顯著性檢測當中引入注意力機制是有效的，能夠將注意力區域調整至圖像中物體所處的區域，進而弱化背景區域。而文獻[17]通過整合局部邊緣信息和全局位置信息來獲得顯著邊緣特征，文獻[18]則從二值分割與邊緣映射之間的邏輯關系的角度來克服過往一些研究者只利用邊緣特征來改進分割特征的弊端。但像素級特征以及圖像級特征的對應關系對顯著性檢測的精度也起著重要的作用。為此文獻[19]考慮了表征圖像內部和圖像之間的對應關系，并提出了一種具有注意圖聚類的自適應圖卷積網絡。

從上面可以看出，在協同顯著性檢測中，邊緣信息的豐富程度、像素級特征以及圖像級特征對多顯著目標復雜場景下的預測精度起著非常重要的影響。因此，針對現有協同顯著性檢測算法在多顯著目標復雜場景下表現不佳的問題，本文提出了一種基于高效通道注意力和特征融合的協同顯著性檢測算法(efficient channel attention and feature fusion-CD, ECAF-CD)。

1 相關工作及評價標準

1.1 相關工作

在早期的非深度學習的方法當中，研究者們往往使用基于聚類的超像素分割方法來提取圖像的特征[5,8,20]，這樣做的好處是將圖像進行了區域分割，降低了維度，并且可以在運算過程中去除異常點。通過對圖中超像素的聚類，可以獲得圖中所含物體的信息，用于后續尋找協同顯著性特征。而這種方法的弊端在于必須指定超像素的個數，并且其所含的特征往往是有關顏色、材質等細節信息，不能提取到高層次的語義信息。

基于深度學習算法的卷積神經網絡的特征提取方法因其表現出的優越性能，被廣泛用于圖像的特征提取。比如廣泛用于圖像特征提取預訓練的VGG16模型[14-16,21]，其優勢在于預訓練的模型是在海量圖像當中訓練得到的，其表現成熟穩定，不需要指定參數。此外，由于模型的層數多，可以得到含有不同層次的特征，比如低層次的細節特征以及高層次的語義特征。其中，高層次的語義信息可以被用來進一步探索圖像之間的關聯性，從而實現對協同顯著目標的檢測。但深度的卷積神經網絡容易導致邊緣信息的缺失，這在考慮復雜場景時會影響系統的預測精度。

注意力機制最早用于機器翻譯，而這種思想也被應用到了計算機視覺當中，用于模擬人眼集中注意力，過濾掉無用的信息。經過數年的發展，注意力機制目前發展出了空間域注意力[22]、通道注意力[23]和混合型。Gao等[16]為了解決使用卷積神經網絡可能會導致邊緣細節信息的缺失問題，在其模型當中引入了注意力機制并設計了協同注意力模塊，它的作用是將圖中存在物體的區域的權值調大，而讓其余區域的權值調小，從而模擬實現了人眼注意力集中的特點。這表明在協同顯著性檢測當中引入注意力機制是有效的，能夠將注意力區域調整至圖像中物體所處的區域，弱化背景區域。

由于任務的復雜性，需要通過不同的方式計算多種不同的特征，它們都代表了圖像當中所含的各種信息，但為了得到最終的結果，則要將這些不同的特征進行融合，形成預測圖。基于深度學習的方法往往需要進行特征融合，因為在網絡結構當中，低層特征的分辨率相對更高，并且含有較多的位置細節信息和干擾，高層特征含有較多的語義信息而對位置細節信息不敏感，所以將二者融合能夠有效提高預測的精度和質量。而特征融合的基本操作是相加和拼接，在此基礎上研究者們提出了新的結構，比如U-Net[24]以及特征金字塔網絡(feature pyramid network, FPN)[25]。

U-Net主要由壓縮路徑和擴展路徑構成，形成對稱結構，在壓縮路徑當中，通道數不斷翻倍，而圖像尺寸縮減為原來的二分之一；在擴展路徑當中，通過反卷積和拼接實現了通道數減小，尺寸擴大。這種多級特征融合的技術已經被廣泛應用在檢測和分割領域。而FPN也采用了類似U-Net的思想，先通過壓縮獲取語義信息，然后再通過相加實現圖像尺寸的恢復，其在不同尺度的目標下表現都比較穩定。

文獻[21,26]在協同顯著檢測算法中引入了類似U-Net結構的特征融合方法，根據其結果可以發現在多級特征的修正下，預測圖中物體所在位置較為準確，在語義和細節上較傳統的方法更好。而文獻[14]在其結構當中使用了特征金字塔注意力結構，提高了抑制干擾的能力以及精度。

由于現實生活中，存在很多復雜場景，其中的干擾物相對較多，因此在顯著性目標檢測中，協同信息的提取不僅要考慮邊緣信息，還需要考慮像素級特征以及圖像級特征對系統性能的影響。為此，本文提出了一種有效的應用于多顯著目標復雜場景下的基于高效通道注意力和特征融合的協同顯著性檢測算法。該算法通過結合邊緣信息設計顯著性特征提取模塊提高邊緣信息的豐富程度進而提高預測精度和魯棒性；同時采用內積衡量機制并根據關聯程度進行自適應加權，結合高效通道注意力層設計了協同特征提取模塊和特征融合模塊。所提算法在協同信息提取方法充分考慮了邊緣信息、像素級特征以及圖像級特征對系統性能的影響，用同樣的評價標準計算程序，與現有主要文獻[5,17-19,21]相對比，驗證了本文算法的有效性。

1.2 評價標準

為有效評價協同顯著性檢測算法的優劣，常使用多種定量分析指標進行全方位的分析，比如精準率-召回率(precision-recall，P-R)、平均F-measure、平均絕對誤差(δMAE)、S-measure和平均E-measure等。

通過對預測二值化后的顯著圖的遍歷，可以根據下式計算得到對應預測圖的P-R值。

(1)

式中：P和R分別為精準率、召回率，TP為標簽所標注的協同顯著目標區域，FP為將背景區域替換為前景區域，FN為將協同顯著目標區域替換為背景區域。由于P和R相對獨立，難以對算法的表現進行綜合且直觀的評價，故引入定義為精準率以及召回率的加權調和平均值F-measure，用于更加全面地評價算法的表現[27]，定義為

(2)

式中β2一般定義為0.3,用于強調準確率[28]。

一銨企業則選擇以不變應萬變，在下游觀望的環境之下，多數企業仍然保持挺價態度，究其原因不外乎目前受待發量以及成本支撐尚可的影響，給了一銨企業報價維持不變的信心，短期市場維持弱穩運行。報價方面，河南地區55%粉出廠價2350元/噸，成本壓力較大，企業報價高位盤整；山東地區55%粉一銨到站價2550元/噸。

為最直觀的評估協同顯著性檢測算法的優劣，δMAE用來衡量預測結果和真值圖之間的平均絕對誤差，其數學表達式如下:

(3)

由于對目標的檢測不僅要考慮預測值與真值圖之間的差異，還有考慮目標的整體結構，因此S-measure[29]用于衡量算法的區域感知和對象感知能力，即用于衡量協同顯著性檢測算法的穩定性和準確性，其定義為

Sm=α·So+(1-α)·Sr

(4)

式中：So為面向物體結構相似性度量，Sr指面向區域相似性度量，α為平衡參數，一般設置為0.5。

除此之外，在評價預測圖和標簽值時為了兼顧像素級和圖像級屬性[30]，定義平均E-measure為

(5)

2 網絡結構設計

本文提出的基于高效通道注意力和特征融合的協同顯著性目標檢測算法模型見圖1，主要包括語義特征提取模塊、協同特征提取模塊以及特征融合模塊。相對現有文獻，其進步點有三：第一，結合邊緣信息設計的顯著性檢測模塊對初步所提取的特征進行修正和過濾，以提供相對豐富的邊緣信息，提高預測的精度，并為后續協同特征提取提供豐富信息；第二，利用修正后的特征得到初步的協同顯著語義信息，并利用自適應加權機制結合高效通道注意力機制得到各級的協同顯著預測結果；第三，對各級的預測結果通過特征融合模塊得到最終的預測圖，同時利用訓練集中的真值對每一級產生的預測圖進行監督訓練，實現對預測結果進行多分支同步監督，智能優化各級網絡的結構參數。其相應的實現流程見圖2。

圖1 高效通道注意力和特征融合的協同顯著性檢測算法模型Fig.1 Co-saliency detection algorithm model with efficient channel attention and feature fusion

圖2 高效通道注意力和特征融合的協同顯著性檢測算法實現流程圖Fig.2 Flow chart of co-saliency detection algorithm with efficient channel attention and feature fusion

2.1 語義特征提取

受啟發于通道注意力機制[31]，并考慮到顯著區域可能是不準確的，在本文中，對于每一個尺度特征，需要計算每一個通道對后續運算的權重，從而使得模型能夠集中于圖片中的特定顯著物體，并根據對應圖像的邊緣信息對各個尺度的特征進行修正，然后對其進行全局平局池化操作，將其壓縮得到一個值，用于量化每個尺度特征各個通道的貢獻程度，其具體操作定義為

(6)

式中：⊙代表矩陣的點乘運算，εi(x,y)為由顯著性檢測算法得到的對應圖片的邊緣顯著信息，將其與特征相乘即可濾除干擾信息并得到含有圖中顯著物體的特征信息，為下一步協同特征提取提供語義信息。

2.2 協同特征提取

協同特征提取模塊見圖1，由上下兩個分支組成，輸入特征分別經過上下兩個分支后融合得到最后結果。

(7)

(8)

2.3 特征融合

該模塊右側采用了類似U-Net的設計，其相應算法可由下式表示:

(9)

(10)

式中：εi為當前圖片對應的邊緣信息，A(·)為注意力模塊，conv(·)為卷積操作，Cat(·)為合并操作，L3為融合后的特征，由式(10)得到。

由于簡單的通道融合容易引入干擾從而降低預測圖的質量，因此在融合后加入了卷積層和注意力模塊。本文采用的高效通道注意力層能夠進一步改善網絡的預測性能，更好地利用各部分特征信息，本文的消融實驗驗證了其有效性。

得到協同顯著性預測圖之后，通過施加4個監督分支，增強了監督的深度，并且可以最大程度地利用訓練標簽，加快網絡的收斂。對于每一個分支，本文定義損失函數如下:

(11)

式中：Pi和Gi分別指的是圖片的預測圖和真值標簽，hw為圖片高度H和寬度W的乘積值。而網絡的總損失由每一個回路的損失相加取平均得到，具體可以表示為

(12)

式中n取4，對應本文的4條分支。

3 實驗方法及結果

3.1 實驗設置

本文所涉及的圖片均為RGB類型，實驗系統環境為Windows10，虛擬環境管理軟件是Anaconda3，所使用的GPU為NVIDIA RTX 3060 Laptop(6 GB顯存)，所使用的編譯器為PyCharm Community Edition 2021，所用的庫主要為PyTorch。所使用的優化方法是Adam優化器[33]，β1和β2分別設置為0.9和0.999，訓練周期為60，學習率調整為10-5，權重衰減率為10-4。定量評價指標采用平均絕對誤差δMAE、F-measure[27]、E-measure[34]和S-measure[29]4種。

為了有效評估協同顯著性檢測模型的優劣，研究者提出了多種針對此類任務的基準數據集，其中最常用的有COCO9213數據集、CoSal2015[30]、iCoSeg[35]和MSRC[36]。特別是從復雜的日常生活場景中截取的COCO數據集，含有超過30萬張圖片，250萬個標簽以及91個類別，是非常理想的用作訓練的數據集。為了有效減少訓練時間，本文訓練時采用的數據集為COCO9213，此為COCO數據集的子集，經常用于協同顯著性檢測算法的訓練[37-38]。它包括9 213張圖片，含有90個類別，平均每個類有102張圖片，并且每張圖片都有其對應的像素級真值(ground truth)，所有的訓練圖片和真值標簽大小均被置為224×224。訓練集以及測試數據集的信息見表1。

表1 數據集的信息Tab.1 Dataset information

3.2 定量分析

本文所提算法在3個經典數據集上進行了測試。為了驗證本文算法對比顯著性檢測算法在協同信息提取上更有優勢，本文選用了CBCS-s[5]、EGNet[17]和SCRN[18]3種典型的顯著性檢測算法進行對照實驗。同時為了驗證本文所提算法在協同信息提取上更有優勢，還與現有的協同顯著性檢測算法CBCS[5]、GICD[21]和GCAGC[19]進行了對比研究。為了保證實驗環境的一致性，所有算法均在相同的系統環境下運行實現，并且采用同樣的評價標準計算程序，其中CBCS、CBCS-s算法結果采用了其相應作者提供的MATLAB源代碼在MATLAB2016b上直接運行得到，GICD、EGNet和SCRN均采用了作者提供的Python開源代碼和預訓練模型得到預測圖，而GCAGC采用了作者提供的3個測試集的預測圖。實驗所得的結果見表2。

表2 不同算法在3個數據集上的表現Tab.2 Performance of different algorithms on three datasets

在表2中，δMAE、Fm、Em和Sm分別表示平均絕對誤差、F-measure、E-measure和S-measure，黑體雙下劃線、黑體單下劃線和黑體下劃波浪線分別表示第1名、第2名和第3名。從結果可以看出，得益于強大的邊緣信息捕捉能力，本文所提算法ECAF-CD展現了很好的顯著性檢測能力。在MSRC數據集上的綜合表現完勝其他3種顯著性檢測算法和3種協同顯著性檢測算法。當圖片只包含單個顯著物體時，雖然SCRN算法善于檢測物體細節，并在3個數據集的測試當中都超過了其他協同顯著性檢測算法，但本文所提算法ECAF-CD在作為全面評價算法的定量指標Fm以及兼顧像素級和圖像級屬性平均Em指標上均優于SCRN算法。因此本文所提算法不但提高了邊緣信息的豐富程度，也提高了多顯著目標場景下的預測精度。本文所提算法更直觀的性能優勢也可從視覺比較圖3中得到驗證。

圖3 算法ECAF-CD在3個數據集當中的視覺比較Fig.3 Visual comparison of algorithm ECAF-CD on three datasets

3.3 消融實驗

為了進一步驗證本文所提算法的各個模塊和邊緣信息對預測的貢獻和影響，本文評估了算法在缺失各個模塊或特征的情況下的表現，對照組為完整的本文所提出的算法模型。對于缺失邊緣信息的模型，本文將其置為全1的矩陣；而對于缺失注意力模塊的模型，本文將注意力模塊替換為卷積層和激活函數的傳統組合；對于缺失像素級相關特征的模型，本文將用圖像級相關特征代替，并調整其尺寸使之適應網絡結構；對于缺失圖像級相關特征的模型，本文將用像素級相關特征進行代替，并調整其尺寸。每改變一次網絡的結構，都會將模型進行重新訓練，統一訓練周期為60，并且除網絡結構不同外，其余訓練參數配置均保持一致，測試所選用的模型均為60個訓練周期當中訓練誤差最小的，測試所用的程序和定量評價標準計算方法均一致。所選用的測試數據集和衡量標準和上文保持一致。實驗的結果見表3。

表3 本文ECAF-CD模型的消融實驗Tab.3 Ablation experiment of ECAF-CD model

表3中黑體表示最優值，可以發現在缺失邊緣信息情況下，模型表現在CoSal2015和iCoSeg下降了約20%，并且在3個數據集當中表現均不如對照組。這表明邊緣信息對于本模型非常重要，因為其包含的細節信息有利于提高預測的精度。而在缺失注意力模塊的情況下，其在CoSal2015中表現尚可，但是在iCoSeg和MSRC中則下降了約5%，尤其是在MSRC的測試當中誤差較大，下降了約20%，這表明本文對于特征的處理以及引入的高效通道注意力層對協同特征精準提取起到了非常關鍵的作用；移除像素級相關特征之后，可以觀察到在3個數據集當中圖片整體的表現有所下降，但下降幅度在CoSal2015和iCoSeg不大，這是因為這兩個數據集中干擾物體較少，大多只含一個顯著目標，所以缺乏像素級相關特征影響較小，而在MSRC當中部分圖片包含多個物體，因此缺乏像素級特征后準確率有所下降；在移除圖像級相關特征之后，模型的表現性能下降了約10%，這是因為缺失圖像級相關特征之后，圖像之間的相關信息無法得到利用，這使得最終的預測受到影響，這表明本文基于內積的基本原理得到組內圖片間的關聯性信息并根據關聯層度進行自適應加權機制使得圖像之間的相關信息得到了充分使用。

4 結 論

針對現有的協同顯著性檢測算法在多顯著目標場景下表現性能不佳的問題，本文提出了一種基于高效通道注意力和特征融合的協同顯著性檢測算法，主要包括語義特征提取模塊、協同特征提取模塊以及特征融合模塊。針對全卷積神經網絡可能導致缺失邊緣信息，對于每一個尺度特征，計算每一個通道對后續運算的權重，從而使得模型能夠集中于圖片中的特定顯著物體，同時結合邊緣信息設計顯著性特征提取模塊并量化每個尺度特征對各個通道的貢獻程度，使得本文算法能夠提供相對豐富的邊緣信息，過濾掉無用的干擾信息，提高預測的精度和魯棒性，并為下一步的協同特征提取提供更加豐富的信息；通過采用內積衡量機制的自適應加權機制，本文將前述得到的語義信息的特征圖，通過內積得到組內圖片間的關聯性信息，根據其關聯程度進行自適應加權，并引入高效通道注意力層設計了協同特征提取模塊；為了將各級高層語義特征經過協同顯著性特征提取之后的結果與淺層次的特征進行融合，并實現對預測結果進行多分支同步監督，設計了基于高效通道注意力的特征融合模塊。通過在公開的數據集測試，結果表明本文所提算法不僅提高了對復雜場景中RGB圖像的協同顯著性檢測精度也提高了邊緣信息的豐富程度，其性能指標優于文中6種對比算法，同時通過消融實驗進一步驗證了本文所設計各個模塊的有效性。