邊界先驗和自適應區域合并的顯著性檢測

翟繼友，屠立忠，莊嚴

1.南京工程學院計算機工程學院，南京211167

2.河海大學計算機與信息學院，南京211100

邊界先驗和自適應區域合并的顯著性檢測

翟繼友1，2，屠立忠1，莊嚴1

1.南京工程學院計算機工程學院，南京211167

2.河海大學計算機與信息學院，南京211100

CNKI網絡出版：2017-04-01,http://kns.cnki.net/kcms/detail/11.2127.TP.20170401.0914.058.html

1 引言

視覺顯著性檢測是神經生物科學、認知心理科學和計算科學等多學科交叉的問題，它利用人的視覺原理，挖掘出當前圖像中最能吸引人的或者最突出的目標。近20年來，圖像顯著性區域檢測一直是計算機視覺等領域的一個研究熱點。在視覺顯著性問題研究過程中，最早的研究目標是預測眼光在當前圖像停留的位置。到目前為止，該技術發展為檢測當前圖像區域中所包含的顯著性目標并已取得相當大的進展，國內外研究人員已提出了成百上千種視覺顯著性檢測模型。目前，視覺注意算法主要圍繞自頂向下和自底向上兩種機制進行展開[1]。自底向上的方法基于數據驅動，利用圖像底層特征作為基礎數據來源去驅動任務的執行并對顯著性區域進行感知[2]。在自頂向下的方法是基于任務驅動的，它跟目標識別的先驗知識密切相關，比如任務的定義、目標分布、圖像背景等。

由于該技術的實現過程簡單、可靠、快速，能夠提高對象識別、跟蹤和檢測的準確性，使其在圖像分割、目標識別與跟蹤、機器視覺等諸多領域都有著廣泛的應用[3]。例如，Han等[4]人在馬爾科夫隨機場理論的基礎上突出當前圖像中的顯著性信息，輔助完成圖像的分割；錢曉亮[5]針對現有的基于頻域的視覺顯著性檢測算法檢測準確度不高的弱點，提出了一種基于加權稀疏編碼的頻域算法，有效地檢測到顯著的中心區域和周圍的背景，但是產生的顯著性映射易受到圖像高頻部分的影響；Gopalakrishnan等人[6]將使用隨機游走預測未標記標簽，但是隨機游走產生的顯著點的數目和位置比較難確定，其結果對選擇的種子很敏感。最近，有人提出一種探索背景先驗信息的顯著性提取方法[7]，該方法主要出發點是背景區域之間的距離比顯著目標區域和背景區域之間的距離要小的理論?；谶@個理論，節點標記任務（顯著目標或背景）可以定義為能量最小化問題，但在處理大型圖像數據庫時，單一采用對比度先驗信息還存在一定缺陷。為了避免這樣的情況發生，文獻[8]將圖像的四條邊分別作為背景的種子節點，然后利用傳播機制對種子節點進行顯著性信息擴散，生成四個子顯著圖，最后將四個子顯著圖融合成最終的顯著圖結果。然而這種方法在顯著性目標稍微接觸圖像的邊界時，邊界假設是脆弱的甚至會失敗。文獻[9]中提出交互式圖像分割算法，該算法雖能得到較好的分割結果，但在分割圖像之前需要為圖像進行人工標定標簽，不適合大規模圖像庫；另外，用戶標定標簽存在隨意性，分割結果千差萬別。由此可見，視覺顯著性檢測仍然是一項極具挑戰、亟待進一步發展的課題。針對現有的圖像顯著性區域檢測算法中顯著性區域檢測不準確與閾值依賴問題，本文提出了一種基于邊界先驗和自適應區域合并的顯著性檢測算法。

2 相關工作

2.1 初始分割與圖的構建

圖模型能兼顧圖像的局部信息和全局信息，本文將以圖模型為基礎進行顯著性區域檢測。圖模型的基本原理是將圖像以圖的形式進行表示。如果直接從像素級別進行圖模型的構建，計算量非常大。超像素是把特征相似的像素集中在一起形成一個基本的處理單元，更好地包含了圖像的結構化信息，相比像素級而言，它不僅解決了計算量大的問題，也能較好地表示圖的特征，已被廣泛用于計算機視覺等領域。在多個超像素分割算法中，簡單線性迭代聚類（Simple Linear Iterative Cluster，SLIC）算法[10]不僅運算效率高并且能在生成超像素的同時對圖像中的像素進行初等分類，為后續顯著性特征提取打下良好基礎。因此，本文采用SLIC算法把圖像進行過分割，以超像素區域內所有像素特征的均值為超像素的特征，通過把超像素看做圖的一個頂點來進行構圖。即首先把給定的輸入圖像過分割成n個超像素，并構建一個圖G=＜V,E＞，其中V表示圖中的節點集，E表示無向邊集。vi∈V表示跟超像素對應的節點。wij=w(vi,vj)表示邊(vi,vj)∈E的權重。這里使用文獻[11]中邊的連接方案，使圖像所有邊界節點相互連接，即每個節點不僅跟它的鄰居節點相連，也跟它鄰居的鄰居節點相連，這種節點連接方式能完整保留全局信息。

2.2 邊界先驗

人們在拍攝圖像時，常把注意點放在靠近圖像中心的位置，一般不會把顯著目標聚焦在圖像邊界上，所以邊界先驗比中心先驗更具說服力，越來越多的自底向上模型更傾向使用圖像的邊界作為背景種子。然而，圖像邊界中的一部分可能被顯著目標所占據，如果輸入圖像的邊界被前景物體所占用，在基于背景的顯著性檢測中可能導致不恰當的結果。因此，本文首先通過定位和消除錯誤邊界來優化邊界影響。

鑒于背景和顯著物體之間的顏色和對比度有明顯差異，錯誤的邊界相比其他三個往往具有獨特的顏色分布。因此，把超像素邊界看成連通區域并分別計算它們歸一化的像素級RGB直方圖：

式中，b∈{}

top,bottom,left,right表示圖像四個邊界的位置；n表示目標區域中的總像素；h=0,1,…,255是灰度值變量；Iq表示像素q的強度值；δ()?是單位脈沖函數；R,G,B三個通道分別用256灰度值進行計算。之后，計算四個直方圖中的兩兩歐氏距離：

將結果組成4×4的矩陣φ并對列進行求和，其中最大值對應的邊將被刪除。比如，如果第二列的和最大，則把底邊刪除。這樣得到背景基準集中存在很少的噪聲，有助于提升下一階段顯著性檢測的準確度。

3 自適應區域合并

3.1 初始種子節點選取

在缺少先驗信息的背景下來確定初始種子節點相對困難。因此，在文獻[12]的基礎上來定義區域顯著性指標：

其中，w1(RB)表示區域RB中的像素點個數，用來強調較大區域的顏色對比度?？梢钥闯?，公式（3）中沒有空間信息，計算后的結果可能出現某些背景區域的顯著性指標與部分前景相同，對確定種子區域的選取造成困難。因此，本文在公式（3）的基礎上加入了空間因素并重新定義顯著性指標：

其中w2(RA,RB)表示RA、RB間歐氏距離。在本文算法中，一個區域或超像素表示一個節點。本文的自適應合并策略能夠通過超像素區域合并來實現顯著目標提取，在過分割后的圖像上標記出初始背景和前景種子區域。通過對顯著性指標進行歸一化，取最大值對應顯著區為前景種子區域，記為Mo。對于背景種子區域的選取不能直接選取最小值對應區域。原因是前景目標較大且背景較為復雜時，最小顯著性指標對應的區域可能不是唯一的，有時會處在前景中。為了能夠確定唯一的背景種子區域，本文選用圖像邊緣附近最小的顯著性指標，記為MB。圖像中剩余的其他區域則統一記為N，代表未標記區域。這樣，圖像就被分成前景種子，背景種子以及未標記三類區域，分別對應本文的前景、背景和未標記三類節點。

3.2 區域相似性度量

區域合并之前一個關鍵環節是計算區域特征間的相似度。本文的顯著性檢測算法是以超像素為基本處理單元，使用超像素的直方圖特征作為它們的特征向量。文獻[9]在基于區域合并的圖像分割中計算圖像超像素的單通道直方圖來作為特征向量，相比其他特征更具穩健性，因此本文采用單通道索引顏色直方圖來表示超像素區域，把輸入圖像在RGB色彩空間中的各通道量化成L級。設(xR,xG,xB)、(R,G,B)分別表示原始和量化后的顏色值，轉化關系如下：

其中，f()表示沿負無窮方向的取整函數。原來圖像3通道的取值從[0，255]轉化為單通道的[0,L3-1]。

區域特征相似度測量方法一般可分成相似性度量（Similarity）和相異性度量（Dissimilarity）兩種，兩者統稱為接近度（Proximity）。度量接近度可以有多種方法，比如Minkowski距離、Bhattacharyya系數等。本文采用Bhattacharyya系數[13]來度量區域間的相異度。設HistR和HistQ分別表示區域R和區域Q歸一化后的顏色直方圖特征，則區域R和區域Q之間的相異度d(R,Q)定義為：

3.3 區域合并

前文完成了圖的構建，下面將根據相似特征進行區域合并。顏色特征相似的區域將同屬背景或前景目標。傳統的區域合并算法中需要設置一個閾值，大于閾值才進行合并。閾值設置小很容易導致過合并，即一些目標區域被合并到了背景中，閾值設置較大則會導致背景區域或目標區域合并不完整。此外，傳統區域合并算法中的合并停止條件也是比較難以選擇的。在本文中，提出了一種自適應最小相異機制來合并區域。

合并準則：設Q為區域R相鄰的區域，并令SQ=為Q相鄰區域的集合，通過2,…,q計算Q及其鄰域之間的顏色最小相異度。如果R和Q之間的最小相異度在所有值中是最小的，則把R和Q進行合并，合并后區域的標記與R相同，即：

以上合并策略雖不需要提前設置合并閾值，但需要選擇初始種子節點來引導區域融合。在合并過程中，從哪個區域開始很重要。選取不同的種子將會產生不同的合并結果，在沒有先驗信息的情況下，選取種子區域比較困難。受文獻[9]的啟發，本文選取圖片邊緣的超像素作為圖像的種子節點引導合并的進行，在合并之前通過計算公式（2）去除最可能包含前景目標的一個邊，來提高最終檢測結果的準確性。整個區域合并過程分成三步：

步驟1從位于圖像三個邊緣的背景種子區域開始，如果滿足公式（7），則把MB中的背景區域和N中沒有被標記的區域進行合并，合并過程中N減少同時MB增加，直至MB找不到能進行合并的未標記區域，步驟1迭代結束。

步驟2N中沒有被標記的區域之間進行自適應合并，隨時更新標號N，直至找不到新的區域與N中區域合并時，步驟2迭代結束，如果此時N不為空，則返回執行步驟1。

步驟3N中所剩余區域標記為Mo。至此，圖像中的所有區域均被標記為目標Mo或背景MB。

4 實驗結果及分析

4.1 數據庫和評價指標

將在本領域國際公開的圖像數據庫上驗證本文圖像顯著性檢測模型的有效性。為使比較結果更具說服力，在Achanta[14]提供的MSRA1000數據集上做仿真實驗，該數據集包含了1 000張自然圖像，大部分的圖像分辨率為400×300，每幅圖像均有對應的人工標定好的顯著性區域真值參照圖（GT）。將本文算法與SVO[15]、PCA[16]、RC[17]、DFRI[18]、HS[19]、LRMR[20]和MR[21]這幾種流行算法進行定性和定量比較。從公平比較的角度出發，實驗中用的對比算法都是運行網上直接下載到的原作者所提供的代碼得到的。

在定量比較實驗中，本文引入普遍采用的Precision（查準率）、Recall（召回率）和F-measure三個評判顯著性的量化指標[15]。查準率反映算法檢測出來的顯著點多少是正確的，表示顯著性檢測算法的準確的。召回率反映有多少真正的顯著點被檢出，表示檢測算法的完整性。這兩個指標相互約束，召回率的提高往往是以降低查準率為代價，因此需要同時考慮以上兩個指標的第三種評估方法，即F-measure，它表示Precision和Recall的加權調和平均數，計算形式如公式（8）。F-measure值越大則表明檢測算法的性能就越好。為了強調查準率的重要性，本文采用Achanna等人的建議，β2的值設置為0.3。

根據經驗本文把SLIC超像素分割數設置為200。為了更可靠地對顯著圖進行衡量，設置256個閾值（0～255），把圖像分成256個二值圖，計算256個查準率和召回率得到變化曲線，然后根據公式（8）計算每幅圖像的F-measure。

圖1 不同算法的效果對比圖

4.2 比較實驗

圖1展示了不同算法的定性檢測結果。圖2給出了本文的顯著性檢測算法跟其他算法的定量比較結果。圖1顯示，SVO算法將部分的背景內容錯誤地檢測到顯著性區域中。PCA算法主要利用模式進行檢測，雖然能很好地檢出顯著目標輪廓，但是丟失了顯著區域的很多內部信息。RC會錯誤地將一些圖像中背景誤以為是顯著性目標。DFRI算法在多級圖像分割基礎上使用監督學習將區域特征向量映射到顯著性分量，通過對多級顯著性分量融合得到顯著性區域。但它所使用的大部分圖像訓練集只包含一個顯著目標，很難將所有顯著目標提取出來。DSR首先在圖像邊界提取背景區域的模板，然后基于該模板將整個圖像的密集和稀疏的外觀模型作為顯著性區域的搜尋方法。LRMR結合了一些高級先驗知識，如圖像的中心和暖色調的顯著性特點。MR算法僅用一個高斯函數來計算邊的權值去度量節點之間的相似性，不能很好地檢出靠近圖像邊緣的顯著目標。本文算法能很好地處理圖像比較復雜且背景比較雜亂的情況，尤其是圖像顯著性目標落在圖像邊界的時候，本文算法表現好于其他算法，例如圖1第五行的圖像顯著性區域占據了圖像部分背景的邊界區域，通過去除掉最可能包含前景目標的一個邊之后取得了較好的檢測效果。

圖2 各算法的Precision、Recall和F-measure柱狀圖

從圖2可以看出，在所有顯著性檢測算法中，本文算法獲得了最好的查準率和最高的F-measure值。本文算法的性能非常接近MR，查全率不如MR，但整體優于其他算法，如DFRI、RC、DSR和PCA。準確度高的重要原因之一是采用了改進后的邊界先驗。

本文算法和其他算法的運行時間對比情況如表1所示。從公平比較的角度出發，本文全部在MATLAB2010a環境下對各算法進行顯著性區域檢測。硬件平臺參數：英特爾雙核E6500處理器，2.93 GHz主頻，2 GB內存。從表1中可以看到，本文算法比SVO、PCA、DFRI、DSR和LRMR更快。SVO算法比其他算法慢很多，該算法最耗時的步驟是生成通用對象檢測器和自底而上顯著區域檢測器。雖然DFRI算法僅需要12 s多就能完成給定圖像的檢測，但對數據進行訓練需要24 h以上。雖然本文算法比MR算法稍慢一些，但能產生更優質的顯著圖。

表1 不同的算法的運行時間

5 結論

本文提出了一種基于邊界先驗和自適應區域合并的顯著性檢測算法來檢測當前圖像中顯著性區域。對于給定圖像，首先采用SLIC算法把圖像進行過分割，以超像素區域內所有像素特征的均值為超像素的特征，通過把超像素看做圖的一個頂點來進行構圖；然后通過定位和消除錯誤邊界來優化邊界影響，使背景基準集中存在很少的噪聲，有助于提升下一階段顯著性檢測的準確度；最后采用單通道索引顏色直方圖度量區域相似度并進行區域合并得到顯著圖。定性和定量實驗表明本文算法相比其他算法取得了較好的實驗結果，得到的顯著區域輪廓清晰，顯著目標完整，說明了算法的有效性。隨著深度學習理論的日漸成熟，下一步將把相關理論和改進方法應用到視覺注意領域，改進當前顯著性目標檢測中的不足。

[1] Itti L，Koch C，Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（11）：1254-1259.

[2] Sugano Y，Matsushita Y，Sato Y.Calibration-free gaze sensingusingsaliencymaps[C]//IEEEConferenceon Computer Vision and Pattern Recognition，2010：2667-2674.

[3] 黃娟，梅浙川，黃小明.融合區域合并和Graph Cuts的彩色圖像分割方法[J].計算機工程與應用，2016，52（17）：225-228.

[4] Han J，Ngan K N，Li M，et al.Unsupervised extraction of visual attention objects in color images[J].IEEE Transactions on Circuits and Systems for Video Technology，2005，16：141-145.

[5] 錢曉亮，郭雷，韓軍偉，等.一種基于加權稀疏編碼的頻域視覺顯著性檢測算法[J].電子學報，2013，41（6）：1159-1165.

[6] Gopalakrishnan V，Hu Y Q，Rajan D.Salient region detection by modeling distributions of color and orientation[J].IEEE Transactions on Multimedia，2009，11（5）：892-905.

[7] Wei Y C，Wen F，Zhu W J，et al.Geodesic saliency using background priors[C]//the 12th European Conference on Computer Vision，2012：29-42.

[8] Zhou J，Gao S，Yan Y，et al.Saliency detection framework via linear neighborhood propagation[J].IET Image Processing，2014，8（12）：804-814.

[9] Ning J，Zhang L，Zhang D，et al.Interactive image segmentation by maximal similarity based region merging[J].Pattern Recognition，2010，43（2）：445-456.

[10] Achanta R，Shaji A，Smith K，et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（11）：2274-2282.

[11] Yang C，Zhang L，Lu H，et al.Saliency detection via graph-based manifold ranking[C]//IEEE Conference on Computer Vision and Pattern Recognition.Portland，USA：IEEE，2013：3166-3173.

[12] Moscheni F，Bhattacharjee S，Kunt M.Spatio-temporal segmentation based on region merging[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（9）：897-915.

[13] Ayed I B.Graph cut segmentation with a global constraint：Recovering region distribution via a bound of theBhattacharyyameasure[C]//IEEEConferenceon Computer Vision and Pattern Recognition，San Francisco，2010：3288-3295.

[14] Xia C，Qi F，Shi G，et al.Nonlocal center-surround reconstruction-based bottom-up saliency estimation[J].Pattern Recognition，2015，48（4）：1337-1348.

[15] Margolin R，Tal A，Zelnik-manor L.What makes a patch distinction[C]//IEEEConferenceonComputerVision and Pattern Recognition.Portland，USA：IEEE，2013，9（4）：1139-1146.

[16] Yan Q，Xu L，Shi J，et al.Hierarchical saliency detection[C]//IEEE Conference on Computer Vision and Pattern Recognition.Portland，USA：IEEE，2013，38（4）：1155-1162.

[17] Wang L，Xue J，Zheng N，et al.Automatic salient object extractionwithcontextualcue[C]//IEEEInternational Conference on Computer Vision.Barcelona，Spain：IEEE，2011：105-112.

[18] Jiang H，Wang J，Yuan Z，et al.Salient object detection：A discriminative regional feature integration approach[C]//IEEE Conference on Computer Vision and Pattern Recognition，2013：2083-2090.

[19] Yan Q，Xu L，Shi J，et al.Hierarchical saliency detection[C]//IEEE Conference on Computer Vision and Pattern Recognition，2013：1155-1162.

[20] Achanta R，Hemami S，Estrada F，et al.Frequency-tuned salient region detection[C]//IEEE Conference on Computer Vision and Pattern Recognition.Miami，USA：IEEE，2009：1597-1604.

[21] Chang K Y，Liu T L，Chen H T，et al.Fusing generic objectness and visual saliency for salient object detection[C]//Proceedings of the 2011 ICCV，Barcelona，Spain，2011：914-921.

ZHAI Jiyou,TU Lizhong,ZHUANG Yan.Saliency detection based on boundary prior and adaptive region merging.Computer Engineering andApplications,2018,54（6）：178-182.

ZHAI Jiyou1，2,TU Lizhong1,ZHUANG Yan1

1.School of Computer Engineering,Nanjing Institute of Technology,Nanjing 211167,China 2.College of Computer and Information,Hohai University,Nanjing 211100,China

In order to efficiently extract the salient region of images,a novel saliency detection algorithm based on boundary and adaptive region merging is proposed.Firstly,the input image is over-segmented by using a superpixel segmentation algorithm and a graph is constructed by taking a superpixel as a vertex.Then through locating and eliminating error bounds,there is little noise in the background,and errors are reduced when objects touch the boundary of images.Finally,single channel index color histogram is used to measure the regional similarity and saliency map is obtained by region merging.Experimental result shows that this algorithm has higher precision than other algorithms and shows the effectiveness.

boundary;adaptive;region merging;saliency detection

為了對圖像中的顯著目標進行更精確的識別，提出了一種基于邊界先驗和自適應區域合并的顯著性檢測算法。采用超像素分割算法對圖像進行過分割，把超像素看做圖的一個頂點來進行構圖；定位和消除錯誤邊界，使背景基準集中存在很少的噪聲，減小目標接觸圖像邊界時造成的誤檢；采用單通道索引顏色直方圖度量區域相似度并進行區域合并得到顯著圖。對比實驗表明該算法相比其他算法取得了較高的查準率，說明了算法的有效性。

邊界；自適應；區域合并；顯著性檢測

2016-10-27

2017-01-05

1002-8331（2018）06-0178-05

A

TP391.4

10.3778/j.issn.1002-8331.1610-0335

南京工程學院校級科研基金（No.CKJA201306）。

翟繼友（1978—），男，博士研究生，助理研究員，主要研究方向為機器學習，圖像分析，E-mail：jiyou1018@126.com；屠立忠（1968—），男，博士，副教授，主要研究方向為數據挖掘；莊嚴（1969—），男，碩士，主要研究方向為圖像處理，機器視覺。