基于密集連接的層次化顯著性物體檢測網絡

左保川, 王一旭, 張 晴

(上海應用技術大學 計算機科學與信息工程學院， 上海 201418)

顯著性物體檢測旨在模擬人類視覺注意機制，從雜亂的背景中定位和分割出最引人注意的區域或物體。近年來，因其在計算機視覺領域的廣泛應用而受到了極大的關注，其應用包括視頻跟蹤[1]、圖像識別[2]以及內容感知[3]、圖像裁剪[4]等。

自Itti等[5]提出顯著點預測和Liu等[6]提出顯著區域檢測方法以來，研究人員提出了檢測具有精確物體輪廓信息的視覺顯著性算法來模擬圖像和視頻中的人類視覺注意機制。根據算法是否使用深度特征，可將顯著性物體檢測算法分為兩大類：使用手工選擇底層特征的傳統顯著性檢測方法和使用深度神經網絡自動學習有效特征的方法。傳統的顯著性對象檢測方法[7-10]采用啟發式先驗和人工設計的圖像中低層特征進行顯著性計算。雖然這些方法對于保持圖像結構信息非常有用，然而，這些模型在面對復雜圖像時不能獲得令人滿意的預測結果，并且不太適用于實際應用場景中的各種問題。例如，當背景和顯著對象共具有相似屬性時，很難識別出顯著對象(見圖1的第1行)。此外，當有多個顯著物體時，有時可能會檢測失敗(見圖1的第2行)。

圖1 不同算法的檢測結果比較

近年來，全卷積神經網絡(FCN)在計算機視覺任務中顯示出了強大的特征表示能力，并在許多密集標記任務中獲得了驚人的結果，包括語義分割[11-12]、邊緣檢測[14-15]和姿態估計[13]等。受這些研究成果的啟發，研究人員利用FCN從輸入圖像中自適應地提取豐富語義信息的能力，并將其應用于顯著物體檢測。這些基于FCN的顯著物體檢測模型[16-18]成功地彌補了人工選擇特征方法的不足，捕獲了顯著對象在雜亂背景下的語義信息，從而得到了更好的性能。然而，盡管使用語義信息的顯著性模型具有優越性，但是圖像的低級和中級特征包含豐富的結構細節信息，對于檢測顯著對象也十分重要。因此，如何在一個統一的深度學習框架中聚合多級顯著性線索以同時捕獲語義對象和細節信息是一個關鍵且具有挑戰性的問題。

本文提出了一種簡單且有效的深度卷積神經網絡模型用于顯著性物體檢測，逐像素預測圖像的顯著性，并同時聚合網絡的多層次多尺度特征，以捕獲復雜圖像上的對象級信息和結構細節特征。

(1) 提出了一種新的基于FCN的顯著性物體檢測網絡模型，該模型將整合圖像的多尺度多層次特征作為顯著性線索，完成圖像到圖像的逐像素點預測，并在復雜圖像上學習有效且豐富的特征表示。

(2) 利用跳層結構指導低層特征學習。借助網絡的深層卷積組得到的語義信息引導淺層組特征的學習，使得淺層卷積組輸出的預測結果不僅具有結構細節信息而且可以準確定位顯著性物體。

(3) 所提出的模型在DUT-OMRON[9]、ECSSD[20]、HKU[21]、PASCALS[19]和SOD[34]基準數據集上的定量和定性實驗表明，所提算法就PR曲線、F-measure、weighted F-measure和MAE評價指標均達到了較好性能。

1 相關工作

視覺顯著性檢測方法可以大致分為兩大類：眼動點預測和顯著性物體檢測。前者[5]主要用于預測眼球注視點的移動，而后者旨在從周圍環境中檢測和分割出完整的帶有明確邊界的顯著物體。本文主要關注基于深度學習的顯著物體檢測。

1.1 基于人工選擇特征的模型

大多數顯著物體檢測方法通常通過局部或全局方式利用人工選擇的像素級或超像素級特征，例如顏色，紋理和方向，進行顯著性計算。基于局部的方法使用每個像素或區域的獨特性或對比度等來捕獲局部突出的像素/區域，而基于全局的方法通過使用整個圖像的整體先驗來估計每個像素或區域的顯著性。一些研究人員提出建立超像素的圖模型來隱式計算對比度[9,20]，他們通過背景，中心和緊湊性先驗等來計算顯著性。然而，主要依賴于人工選擇中低層特征的傳統方法無法描述圖像的語義特征，因此，它們無法在復雜圖像中檢測出顯著性對象。

1.2 基于深度卷積網絡的模型

最近，基于深度學習的方法，特別是卷積神經網絡(CNN)已經應用于顯著物體檢測[36-37]并且較傳統的方法[38]取得了較大的性能提升。Wang等[23]提出一個深度神經網絡，首先計算局部上下文中每個像素的顯著性得分，然后用另一個網絡在全局視圖上重新評估每個對象的顯著性得分。Li等[21]通過在卷積神經網絡中結合多尺度特征來預測每個超像素的顯著性得分。Zhao等[31]通過將全局和局部信息整合到基于深度學習的框架中來計算顯著性。雖然這些模型比傳統方案得到了更好的結果，但這些模型非常耗時，因為它們將區域作為基本單元來訓練深度神經網絡，并且網絡必須運行多次來預測顯著性圖像中所有超像素的顯著性。

為了解決上述問題，研究人員傾向于采用類似FCN的網絡模型，以像素級的方式進行顯著性物體檢測。一些研究人員建議使用特定的特征來進行顯著性預測。例如，Lee等[25]建議編碼深層CNN的低級距離圖和高級語義特征。在文獻[36]中，提出了深度學習網絡共享分割和顯著性檢測任務的特征，并提出了一個圖Laplician正則化非線性回歸模型用于改進。

與這些僅使用特定級別特征的方法不同，最新研究表明，因為深層特征包含對象的語義信息，而淺層特征包含豐富的細節信息，因此結合不同卷積層組輸出的多尺度多層次特征有助于進一步提高顯著性預測的準確性。

但是，如何有效地整合多級卷積特征仍然是個具有挑戰性的問題。一些研究人員為解決這一問題做了很多有價值的嘗試。Li等[27]結合了像素級全卷積分支和分段式空間池化分支，前者是一種多尺度全卷積網絡，通過利用多尺度卷積層的視覺對比，生成具有原始輸入圖像的八分之一分辨率的顯著圖。Long等[11]引入跳層連接并將高級預測層添加到中間層以生成多分辨率的逐像素預測圖。Liu等[16]設計了一個兩步深度網絡，其中一個網絡通過自動學習各種全局結構線索獲得粗略的全局預測圖，并采用另一個網絡通過整合本地上下文信息來進一步重新確定顯著性圖的細節信息。

雖然基于深度學習的顯著物體檢測模型較傳統方法取得了明顯的進步，但距離模型可以在雜亂背景下統一突出整個顯著物體并保留邊界的細節信息這一檢測目標仍有很大的改進余地。

2 本文所提模型

本文提出的顯著性物體檢測模型主要包括兩個階段：(1)基于FCN的深層卷積網絡，用于多級特征提取和整合; (2)顯著性更新。

2.1 網絡結構

為了設計一個類似與FCN的網絡，使得它能夠計算圖像的局部和全局上下文信息，并包含各種分辨率圖的細節信息，本文提出了一個用于學習判別顯著特征的多尺度深度卷積神經網絡(如圖2所示)。它由2部分組成：特征提取和融合模塊。

圖2 本文所提模型結構

2.1.1 多層次特征提取模塊

所提模型采用VGG-16網絡[28](已在ImageNet數據集進行圖像分類預訓練)作為主干網絡，并進行一些修改以滿足要求。保留了13個卷積層，刪除了原來的第5個池化層和全連接層。因此，修改的VGG-16由5組卷積層組組成。為簡單起見，我們將第5組卷積層中的第3個子層表示為Conv5_3，VGG-16中的其他卷積層也使用同樣方法進行表示。對于尺寸為W×H的輸入圖像I，修改后的VGGNet產生5個特征圖fi，其空間分辨率通過步幅2的池化層依次降低。

對于從VGG-16中提取的每個特征圖fi，i∈{1,2，…，5}，本文設計了一個密集連接的特征提取模塊Convi。受DenseNet[24]工作啟發，該模塊采用一個簡單的連接模式：為了保持前饋的特性，每一層都從前面的所有層獲得額外的輸入，并將自己的特征映射傳遞給所有后續層。圖3給出了該模塊的結構示意圖。

圖3 特征提取模塊的細節

2.1.2 聚合模塊

從特征提取模塊獲得具有不同分辨率大小的5個特征圖。較深卷積層的特征圖可以準確定位顯著性對象，而較淺卷積層生成的特征圖包含更多細節。為了幫助淺層特征圖包含更多的全局屬性，我們通過跳層結構重新定義特征映射，即將深層的特征圖引入較淺層。在每個Unpool處理塊中，通過求和來組合特征。此外，還使用聚合模塊來組合不同的特征圖并最終得到一個融合后的顯著性預測圖。為了使具有不同分辨率的特征輸出圖具有相同大小以便進行融合，我們使用去卷積層進行上采樣。最后4個邊的去卷積層步幅分別設置為2、4、8和16。然后連接它們來以融合多尺度和多層次的各個特征。

2.2 空間連貫性

為了提高網絡得到的顯著性預測圖的空間一致性并獲得更準確的結果，我們在融合后的階段采用基于全連接的條件隨機場(CRF)[29]的像素顯著性以更新顯著性圖。該CRF模型解決了二值像素標記問題，這類似于我們的顯著性預測任務，該模型優化以下能量函數進行求解：

(1)

其中，L表示所有像素的二值標簽分配。P(li)是具有標簽li的像素xi的顯著性概率性。最初，P(1)=Si和P(0)=1-Si，其中Si是網絡得到的融合后的顯著圖S中的像素xi的顯著性值。θi,j(li,lj)定義如下：

(2)

3 實驗結果

3.1 實施細節

該網絡基于公開的caffe庫[35]，這是一個用于CNN訓練和測試的開源框架。如上所述，我們選擇VGG-16作為預訓練的主干模型。我們使用與文獻[8]中相同的訓練方式。學習率設定為1e-9，動量參數為0.9，加權衰減設定為 0.000 5。在訓練階段，特征融合模塊中的權重都被初始化為0.2。本模型訓練時未使用驗證集，當損失值收斂時訓練結束。

3.2 數據集

我們在5個公開的且廣泛使用的顯著物體檢測基準數據集上進行性能評估。 DUT-OMRON是從超過 140 000 張自然圖像庫中選擇獲取的，每張圖像都有1個或多個顯著物體和相對復雜的背景。作為復雜場景顯著性數據集(CSSD)的擴展，通過整合來自2個公開可用數據集和因特網的圖像來獲得ECSSD數據集。HKU包含 4 447 張圖像，其中大部分都是低對比度和多個顯著物體。PASCAL-S由PASCAL VOC數據集生成，具有20個對象類別和復雜場景。SOD數據集中，圖像具有多個顯著對物體且背景較為雜亂。

3.3 評估指標

本文采用常用的PR曲線、F-measure(Fβ)和weighted F-measure(ωFβ)以及平均絕對誤差(MAE)進行算法性能評價的量化指標。

根據從0到255的閾值，將顯著性特征圖二值化，并與真值圖進行比較來計算準確率和召回率。PR曲線顯示了在不同閾值下的顯著性圖的平均準確率和召回率。

Fβ和ωFβ用于綜合考慮準確率和召回率。

(3)

式中：β是衡量準確率和召回率的平衡參數，β2設為0.3。與Fβ類似，ωFβ用Precisionω和Recallω的加權調和平均值計算：

(4)

MAE用來評估顯著圖和真值圖之間的平均像素誤差。

(5)

式中：S表示最終顯著圖，G表示真值圖，h和w分別表示圖像的高度和寬度，i和j表示像素點的位置。

3.4 與典型算法的性能比較

本文提出的方法與10種具有代表性的方法進行了比較，包括UCF[33]，MTDS[26]，LEGS[23]，MDF[21]，KSR[30]，DRFI[8]，SMD[10]，ELD[25]，MC[31]和ELE[32]。為了比較的公平性，所有的比較算法的顯著性圖均使用作者提供的實現方法獲取或作者公開的顯著性預測圖。其中MC，UCF，ELD，MTDS，LEGS，MDF，KSR是基于深度學習的模型。

圖4和圖5顯示PR曲線和MAE分數的比較結果。Fβ和ωFβ的比較結果用表1表示。依據Fβ，ωFβ和MAE值的比較，可以看到所提模型優于所有其他方法，特別是在復雜數據集HKU和SOD上。對于PR曲線，我們的模型在4個數據集上也取得了良好的性能，僅比UCF模型在ECSSD和PASCAL-S上的表現略遜色一些。

圖4 不同方法在5個數據集中生成的顯著圖的PR曲線

表1 不同方法在DUT-OMRON, ECSSD, HKU, PASCAL-S和SOD數據集上生成的顯著圖的Fβ和ωFβ得分

圖5 不同的模型在5個數據集上生成的顯著圖的MAE得分

圖6展示了本文算法和各個比較算法的視覺對比結果。可以看到，本文所提模型不僅可以準確地檢測和定位顯著性物體，還可以較好保留物體細節信息。所提算法可以較好地處理各種復雜圖像，包括顯著性小物體(第4排和第5排)，雜亂背景下的顯著性物體(第1排和第6排)，背景和前景物體具有相似的顏色屬性(第2排，第3排和第5排)等各種復雜情況。

圖6 不同模型的視覺對比結果

3.5 相關CRF方法的評估

本文使用CRF方法更新網絡得到的顯著性圖，為了驗證其有效性，使用Fβ，ωFβ和MAE指標評價5種顯著性檢測算法在5個基準數據集上的性能。評價結果用表2表示。由表2可知， CRF方法提高了進一步提高了模型準確性。

表2 使用(with)和不使用(w/o)CRF方法的Fβ、ωFβ和MAE比較

4 結 語

本文提出了一種簡單且有效的基于全卷積網絡的逐像素預測的顯著物體檢測模型，該模型提取深度卷積網絡的多尺度和多層次特征，并通過密集連接模塊更好地利用了上下文的信息。同時，利用深層特征富含的語義信息引導較淺層進行更有效的特征學習。另外，采用融合層來組合這些豐富的特征以生成顯著圖。為了提高顯著性檢測結果的準確性，引入了全連接的CRF方法以進一步更新網絡得到的顯著性預測結果，使得最終得到的顯著性圖具有一致的內部區域以及清晰的邊緣。實驗結果表明，本文提出的方法在5個公開且流行的基準數據集上實現了比10種具有代表性算法更好的顯著物體檢測性能。