基于區域對比信息混合編碼的圖像顯著性檢測方法

余超杰 朱玉全

(江蘇大學計算機科學與通信工程學院 江蘇 鎮江 212013)

0 引 言

圖像顯著性檢測是為了檢測到圖像中獨特的并且能夠吸引人們視覺注意力的對象區域。該區域的獨特性主要表現在與圖像中其他區域的差異性以及對象區域本身所表現出來的語義信息特征。由于圖像顯著性檢測致力于對視覺注意力集中部分的檢測，這一專題在計算機視覺領域一直以來都有著廣泛的關注和深入的研究。視覺顯著性檢測在各個方面都有著廣泛的應用，如圖像的尺寸變換、語義圖像標記[1]、語義分割[2]、行人再識別、農作物的異常檢測等，并且都取得了不錯的成效。此外有很多論文工作都在對顯著性檢測這一議題進行研究。Li等[3]通過注意力機制關注全局背景信息來進行顯著性檢測。Luo等[4]采用全卷積神經網絡對圖像顯著區域進行檢測。文獻[5]采用了迭代和協作的方式集成了自上而下和自下而上的顯著性推斷方法。Lee等[6]采用混合特征的方法。EGNet邊緣信息和顯著物體信息之間的互補性來進行圖像顯著性檢測[7]。盡管顯著性檢測研究已經取得了不錯的成果，然而，傳統方法在處理語義對象顯著性方面能力不足，一些經典的深度學習方法在檢測圖像顯著區域時導致的邊界模糊的問題依然存在。由于圖像的內部屬性分類是未知的，顯著性檢測依然存在著許多挑戰。本文提出一種基于圖像區域對比信息和圖像語義信息混合編碼的顯著性檢測方法，直接對圖像中的每一個區域進行特征編碼，通過計算待檢測區域與圖像其他區域之間的差異程度并結合圖像的語義信息來表示該區域在圖像中的顯著程度。在區域特征的表示中包含了圖像的顏色信息、紋理信息和區域的空間分布信息。本文方法的獨特之處在于同時結合了基于對比檢測機制的區域對比信息編碼和基于語義信息的圖像卷積編碼，通過卷積神經網絡來對圖像進行顯著性評估，這樣一來可以同時保證本文方法對象顯著性的檢測能力以及顯著區域邊緣細節的處理能力。

本文的主要貢獻如下：

1) 提出一種精確描述圖像顯著區域的特征編碼。計算圖像中每一個區域與其他區域的差異程度來生成區域對比信息映射圖，通過對區域對比信息映射圖編碼來整合各個通道之間的特征信息。結合區域特征對比信息編碼以及圖像語義信息編碼來進行圖像顯著區域檢測。

2) 融合區域對比信息編碼和圖像語義信息編碼得到新特征編碼對圖像進行顯著區域檢測。新的混合特征考慮到了顯著區域在圖像中的獨特性以及圖像的像素內容。檢測結果在主流的公開數據集上都取得了很好的表現。

實驗表明本文方法在數據集ECSSD[8]、DUT-OMRON[9]、HKU-IS[10]上的綜合表現要優于其他算法。

1 相關工作

圖像顯著性檢測作為計算機視覺研究熱點，已經有好多相關算法被提出來。傳統的檢測方法大多是直接利用視覺機制采取手工特征來檢測圖像顯著區域，或者利用手工特征結合不同的框架來檢測圖像顯著區域。近幾年隨著深度神經網絡在計算機視覺中的成功應用，利用卷積神經網絡提取圖像的高級特征進行顯著性檢測成了發展的主流。基于卷積神經網絡的檢測算法實現了相對先進的性能，并且明顯優于僅采用手工制作功能的方法。

這些年的顯著性檢測的研究中，涌現了各種不同的方法來進行圖像的顯著性檢測。其中SF[11]基于對比的顯著性檢測算法，利用圖像中的感知元素的唯一性和空間分布進行評估來進行顯著性估計。FES[12]基于中心環繞的顯著性檢測方法，利用貝葉斯框架下的局部特征對比度來進行顯著性估計。HS[13]從不同的規模出發提出了一種分析圖像多層線索的顯著性檢測方法，通過分層模型生成最終的顯著圖。MR[14]通過基于圖流形狀的排序對圖像元素與前景線索或者背景線索的相似性進行排序。根據他們與給定種子或者查詢的相關性來定義圖像的顯著性。LEGS[15]通過兩個深度神經網絡分別學習局部區域特征確定每個像素的顯著值以及學習全局特征預測每個對象區域的顯著性值，并將兩者加權相加得到最終的顯著圖。MC[16]利用圖像圖模型上的馬爾可夫隨機鏈進行顯著性檢測，同時考慮了突出物體與背景的外觀發散和空間分布。MCDL[17]將圖像的全局信息和局部信息集成到多語境深度學習框架中來進行圖像的顯著性檢測。ELD[6]則認為高級特征有利于評估圖像中的物體，低級特征可以輔助高級特征來提高顯著區域檢測的精確性。Zeng等[18]提出了一個統一的框架來訓練具有多種弱監督來源的顯著性檢測模型。Hou等[19]通過向HED體系結構中的跳過層結構引入短連接，提出了一種用于顯著性檢測的新方法。

2 算法設計

本文結合了區域級別的區域對比信息編碼以及像素級別的圖像語義信息編碼，通過卷積神經網絡進行圖像的顯著區域檢測。在本文的檢測方法中，通過計算待檢測區域與其他區域之間的差異性的區域對比信息映射圖，并對其進行卷積編碼，然后結合原始圖像的語義編碼特征圖得到混合編碼特征圖。通過卷積神經網絡計算得到待檢測區域的顯著值并映射成最終的顯著圖。網絡結構如圖1所示。

圖1 本文方法網絡結構

采用1×1的卷積核編碼圖像中每個區域的距離對比信息以及區域所屬圖像的語義信息，并將其合并成同時包含區域對比信息以及圖像語義信息的混合特征編碼，然后通過卷積神經網絡對該區域進行顯著度評估，最后映射得到圖像的顯著圖。

本文方法的整個結構分為兩部分，首先是混合特征編碼生成部分，其中包括圖像區域的對比特征信息映射圖的生成過程以及不同信息特征的融合部分，然后通過卷積神經網絡來評估該區域的顯著程度。

2.1 對比特征信息映射圖的生成

在對比特征信息映射圖的構建過程中，首先采用迭代聚類算法對圖像進行區域劃分，根據圖像信息將具有高相似圖像信息的像素點劃歸到同一圖像區域，而對于低相似圖像信息的像素點則劃分到不同的區域。通過迭代聚類算法生成的超像素緊湊整齊，有準確的邊界，使得劃分的圖像區域內包含豐富的圖像信息，能夠更加準確地對圖像區域進行特征描述。與此同時，對圖像不同區域的準確分割又可以避免由于同一區域中包含不同特征的圖像信息所造成的檢測偏差，能夠更精確地計算出不同圖像區域之間的差異性。將圖像劃分成不同的區域后，計算圖像中各個區域的對比特征信息，并生成與原圖尺寸相同的對比特征信息映射圖。

圖像劃分成不同的區域后，計算每一個區域的低級特征向量。在描述區域的表示中本文采用了圖像的顏色特征、紋理特征、區域的空間分布狀態來描述區域的特征。文中分別采用RGB顏色空間、LAB顏色空間、HSV顏色空間中的顏色均值以及顏色直方圖來作為區域的顏色特征描述，采用局部二值模式編碼直方圖來作為紋理特征描述。考慮到圖像區域所處的相互位置也影響著區域之間的差異，因此在區域的特征描述中加入了區域的位置特征。在圖像的每個區域中選取具有代表性的坐標點作為該區域的空間信息描述。坐標點信息表示如下：

(1)

式中：s表示待檢測區域的面積。

通過計算每個區域的特征向量與其他區域特征向量之間的距離來作為該區域在圖像中的顯著程度描述。在計算區域之間特征向量距離時有如下定義：

(2)

式中：H=(hi)且Kj=(ki),i=1,2,…,B,B為圖像區域劃分個數;H表示待檢測區域的特征向量;Kj表示圖像中第j個區域的特征向量;sk是第k分量的標準差。D(H,Kj)表示待檢測區域與圖像中第j個區域之間的特征向量距離。根據得到的待檢測區域同圖像其他區域特征向量之間的距離結果進行對應區域映射，得到與圖像尺寸相同的區域對比信息映射圖。具體映射方式如圖2所示。

圖2 具體映射方式

以待檢測區域H為例，計算區域H與圖像中其他各個區域Kj(j=1,2,…,B)的特征距離向量D(F(H),F(Kj))，其中F(H)表示區域H的特征向量，并將計算結果映射到Kj所在圖像中的位置，得到待檢測區域H的對比信息映射圖。使得區域對比信息映射圖跟該區域所在圖像尺寸一致，保證了區域的對比信息跟圖像語義信息相對應。將得到的對比信息映射圖進行卷積編碼。與其他的對比信息計算方式相比，本文中計算區域對比信息映射圖的方式能夠保證計算待檢測區域與圖像差異時的準確性，并且保證了圖像中待檢測區域的對比信息和圖像語義信息之間的對應關系。此外，區域對比信息映射圖的構建保證了作為卷積神經網絡輸入數據時的矩形形狀要求。

2.2 混合特征的構建

在區域對比信息映射圖中，采用了顏色、紋理、空間分布等多種不同的底層手工特征作為區域的特征描述，因此對區域對比信息映射圖先進行編碼來整合不同的底層特征，使得不同類型的特征作為一個信息整體來表示待檢測區域。

本文在融合區域對比信息和圖像像素信息的過程中并不是簡單地將兩者直接線性結合，而是首先整合區域對比信息特征圖中各個通道所包含的不同手工低層特征編碼，使得每個通道下的不同低層手工特征作為一個整體的區域對比特征描述，同時對圖像中的像素信息進行編碼。然后將兩者融合得到新的用于圖像顯著性檢測的混合編碼。在網絡的實現中，采用1×1的卷積核對區域對比信息映射圖進行卷積處理，以此來實現不同底層手工特征之間跨通道的信息交互以及將不同通道的低層手工特征整合成一個整體的特征表示，在區域特征對比信息和圖像原始信息保持相同的特征圖尺寸下，使得不同的低層手工特征作為一個區域對比信息的整體與圖像原始信息特征融合。

融合得到的新的特征編碼中包含了區域對比特征信息和圖像語義信息，新融合的混合特征編碼能夠通過待檢測區域在原始圖像中語義信息的獨特程度來描述圖像區域的顯著性。此外還結合了待檢測區域與圖像其他區域的差異性來使得待檢測區域的顯著程度更加精確。將融合得到的混合特征編碼作為卷積神經網絡的輸入來檢測圖像區域的顯著程度。在網絡實現中采用DPN[20]網絡來檢測區域的顯著值，在網絡的最后將區域顯著值映射到[0,255]，并將檢測到的顯著值映射到區域所在圖像位置，得到最終的顯著圖。

3 實驗及結果分析

3.1 數據集

本文采用了三種顯著性檢測通用數據集來評估所提出方法的效果：

(1) ECSSD數據集，包括了1 000幅具有語義信息的圖像，并且具有結構相對復雜的自然內容圖像。

(2) DUT-OMRON數據集，具有5 168個高質量圖像，其中包含了具有一個或者多個顯著對象的圖像并且圖像具有復雜的背景。

(3) HKU-IS數據集，包含4 447個具有多部不同空間分布的顯著對象，并且顯著對象與背景的對比度相對較低。

在本文方法的實驗中采用了MSRA10K數據集來進行模型的訓練。圖像隨機分出1 000幅作為測試集，剩下的9 000幅作為訓練集。

3.2 評價指標

本文采用了三個主要的指標來評價所提出方法的效果，其中包括PR(Precision,Recall)曲線、F-measure和平均絕對誤差(MAE)。首先通過PR曲線來評估本文方法的檢測效果。使用0～255的連續值將檢測到的顯著圖轉換成[0～255]不等同的灰度等級，然后計算0～255不同閾值下對應的PR值來繪制該數據集上的PR曲線。PR值計算方式如下：

(3)

(4)

式中：smap表示預測的顯著圖;GT表示圖像顯著區域標簽。

其次，采用不同數據中F-measure的平均值來評估本文顯著性檢測方法。F-measure計算如下：

(5)

式中：β2設置為0.3以強調精度而不是召回率。

此外，我們還計算了顯著性檢測圖中的平均絕對誤差，以此來評估那些非顯著區域檢測的準確程度。平均絕對誤差定義為顯著圖映射S的平均估計與每個像素的顯著標簽G的距離。MAE評估檢測度如下：

(6)

式中：W表示顯著圖估計的寬;H表示顯著圖的高。

3.3 實驗結果

為了驗證本文算法的檢測效果，選取了一些經典的顯著性檢測方法和基于深度學習的顯著性檢測方法與本文方法在三個數據集上進行了比較。在圖3中展示了本文方法與其他方法在不同場景下的檢測結果的直觀比較。從第一列和第三列中可以看出，本文算法在突出顯著對象主體方面要比其他算法更強，從第二列則可以看出本文方法能夠很好地抑制雜亂的背景噪點。第三列也表現了本文方法在檢測精確的顯著區域邊界上有著很好的表現。如圖4、圖5、圖6所示，分別在三個數據上的PR曲線顯示本文方法相較于其他算法的PR曲線有更大的包絡線面積，說明了本文方法在檢測結果的準確率和召回率上有最優的綜合表現。此外表1表明本文算法的檢測結果在三個數據集上的F-measure值要明顯高于其他算法，表2中顯示本文算法檢測結果的MAE值要明顯低于其他對比算法，客觀準確地說明了本文算法的實驗結果在準確率、召回率和檢測非顯著區域的準確程度方面都要優于其他算法。因此，本文算法無論是直觀視覺下的比較，還是客觀評價指標下的得分都比其他算法表現出了更好的效果。

圖3 基于直觀視覺的實驗結果對比

圖4 不同的對比方法在ECSSD數據集上的ROC曲線圖

圖5 不同的對比方法在DUT-OMRON數據集上的ROC曲線圖

圖6 不同的對比方法在HKU-IS數據集上的ROC曲線圖

表1 不同的方法在三個數據集上的F-measure結果

表2 不同的方法在三個個數據集的MAE值結果

4 結 語

本文提出一種基于圖像區域對比信息混合編碼的顯著性檢測方法，結合了圖像區域之間的對比信息和圖像的語義信息來進行圖像顯著區域檢測。通過構建區域對比信息映射圖來保證基于視覺對比度機制的檢測能力，同時融合圖像的語義信息編碼，保持著檢測對象顯著性的能力。此外通過對圖像區域的精確劃分來保證對顯著區域精細邊界的檢測能力。多項評估表明本文方法在數據集ECSSD、DUT-OMRON、HKU-IS上比其他一些算法有更好的表現。