顯著區(qū)域檢測算法綜述

景慧昀等

摘要：檢測視覺上顯著的區(qū)域?qū)τ诤芏嘤?jì)算機(jī)視覺應(yīng)用都是非常有幫助的，例如：內(nèi)容保持的圖像縮放，自適應(yīng)的圖像壓縮和圖像分割。顯著區(qū)域檢測成為視覺顯著性檢測領(lǐng)域的重要研究方向。文中介紹了顯著區(qū)域檢測算法的研究現(xiàn)狀并分析了典型的顯著區(qū)域檢測方法。首先，將現(xiàn)有的顯著區(qū)域檢測算法進(jìn)行了分類和分析。然后，在一個(gè)包含1 000幅圖像的公開數(shù)據(jù)集上對典型的顯著區(qū)域檢測算法進(jìn)行了評測。最后對現(xiàn)有的顯著區(qū)域檢測算法進(jìn)行了總結(jié)并展望了下一步發(fā)展方向。

關(guān)鍵詞：顯著區(qū)域檢測； 視覺顯著性檢測； 評測

中圖分類號：TP301 文獻(xiàn)標(biāo)識(shí)碼：A文章編號：2095-2163（2014）01-0038-03

0引言

人類可以快速準(zhǔn)確地識(shí)別視覺場中的顯著區(qū)域。在機(jī)器上模擬人類的這種能力對于使機(jī)器能夠像人類一樣處理視覺內(nèi)容是至關(guān)重要的。在過去的幾十年內(nèi)，已有大量的顯著性檢測方法進(jìn)入了公開發(fā)表。這些方法中的大部分[1-4]都趨向于預(yù)測人眼視覺注視點(diǎn)。然而這些人眼視覺注視點(diǎn)只是一些空間中的離散點(diǎn)，并不能準(zhǔn)確地標(biāo)識(shí)整個(gè)顯著區(qū)域[5-6]。

近些年來，一些科研單位和研究人員已經(jīng)開始密切關(guān)注于顯著區(qū)域檢測方法的構(gòu)建工作，如洛桑聯(lián)邦理工學(xué)院的Sabine Süsstrunk研究員，以色列理工學(xué)院的Ayellet Tal教授，微軟亞洲研究院的研究人員，清華大學(xué)的胡世民教授等。顯著區(qū)域檢測方法對以下領(lǐng)域發(fā)揮著重大的助益作用：圖像分割[7]、物體檢測[8]、內(nèi)容保持的圖像縮放[9]等。本文將對顯著區(qū)域檢測算法的研究現(xiàn)狀進(jìn)行介紹，同時(shí)對典型的顯著區(qū)域檢測算法進(jìn)行分析。

文章內(nèi)容組織結(jié)構(gòu)為：第2節(jié)對現(xiàn)有的顯著區(qū)域檢測算法進(jìn)行了分類和分析；第3節(jié)對典型的顯著區(qū)域檢測算法進(jìn)行了評測；最后在第4節(jié)給出了總結(jié)，并展望了下一步的研究工作。

1顯著區(qū)域檢測算法分類及分析

感知方面的研究成果表明[10]：在低層視覺顯著性中，對比度是最重要的影響因素。現(xiàn)有的顯著區(qū)域檢測算法通過計(jì)算每個(gè)圖像子區(qū)域同其一定范圍內(nèi)的相鄰區(qū)域的對比度來度量該圖像子區(qū)域的顯著性。而依據(jù)用于計(jì)算對比度的相鄰區(qū)域空間范圍的不同，現(xiàn)有的顯著區(qū)域檢測算法可分為兩類：基于局部對比的算法[6，11-12]和基于全局對比的算法[13-18]。下面分別對其探討如下。

1.1基于局部對比的顯著區(qū)域檢測算法

基于局部對比的顯著區(qū)域檢測算法通過計(jì)算每個(gè)圖像子區(qū)域或像素同其周圍一個(gè)小的局部領(lǐng)域的對比度來度量該圖像子區(qū)域或像素的顯著性。Ma等人[11]提出了一種基于局部對比和模糊生長的顯著區(qū)域檢測算法。該方法首先對輸入圖像進(jìn)行均值濾波和降采樣。然后，該方法對新產(chǎn)生的低分辨率圖像中的每個(gè)像素計(jì)算其與周圍N個(gè)像素的LUV顏色向量的歐幾里得距離之和， 并將此值作為該像素的顯著值。為了從產(chǎn)生的顯著圖中提取顯著區(qū)域，Ma等人[11]運(yùn)用模糊生長（fuzzy growing）的方法提取顯著區(qū)域。Liu等人[6]為了更加準(zhǔn)確地檢測顯著區(qū)域，提出了一系列新的局部區(qū)域和全局特征用于計(jì)算顯著性。這些特征包括：多尺度對比，中心-周圍直方圖和顏色空間分布。該方法通過學(xué)習(xí)一個(gè)條件隨機(jī)場來高效地結(jié)合上述這些特征用于檢測顯著區(qū)域。由上可知，因?yàn)橹皇峭ㄟ^局部對比來檢測顯著區(qū)域，所以基于局部對比的方法趨向于關(guān)注邊緣周圍的區(qū)域，而不會(huì)突出整個(gè)顯著區(qū)域（在生成的顯著圖中即表現(xiàn)為邊緣周圍的區(qū)域具有高的顯著值，而顯著區(qū)域內(nèi)部的顯著值則較低）。這個(gè)問題可以稱其為“不一致突出顯著區(qū)域”問題。

1.2基于全局對比的顯著區(qū)域檢測算法

基于全局對比的顯著區(qū)域檢測算法將整幅圖像作為對比區(qū)域來計(jì)算每個(gè)圖像子區(qū)域或像素的顯著值。Achanta 等人[13]從頻率域角度出發(fā)，首次提出了一種基于全局對比的顯著區(qū)域檢測的方法。該方法將經(jīng)過高斯低通濾波圖像中的每個(gè)像素值和整幅圖像的平均像素值之間的歐幾里得距離作為該點(diǎn)的顯著值。該方法非常簡單，時(shí)間消耗非常低，且實(shí)驗(yàn)結(jié)果在查準(zhǔn)率-差全率方面的效果也堪稱優(yōu)良。該方法使得顯著區(qū)域檢測向?qū)嵱没姆较蚋斑M(jìn)了一步。然而Achanta 等人提出的方法[13]在以下兩種情況下會(huì)失效：

（1）顯著區(qū)域的顏色占圖像中的大部分，通過方法[11]計(jì)算后，背景會(huì)具有更高的顯著值；

（2）背景中含有少量突出的顏色，這樣背景中的這部分顏色的顯著值也會(huì)非常高。第1期景慧昀，等：顯著區(qū)域檢測算法綜述智能計(jì)算機(jī)與應(yīng)用第4卷

針對以上缺陷，作者又在文章[18]中將此方法完成了進(jìn)一步的改進(jìn)。作者發(fā)現(xiàn)檢測顯著區(qū)域邊緣和檢測顯著區(qū)域中心所需要的圖像頻段是不同的，由此而依據(jù)像素點(diǎn)越在圖像中心越可能接近區(qū)域中心這樣一個(gè)假設(shè)，來調(diào)整均值濾波的帶寬，使得位于顯著區(qū)域不同位置的像素點(diǎn)則有不同的均值濾波帶寬。而且，即將經(jīng)過濾波后的圖像中每個(gè)像素值和該像素所在的對稱子窗口內(nèi)的像素平均值的歐幾里得空間距離作為該點(diǎn)的顯著值。經(jīng)過這樣的調(diào)整，算法的時(shí)間復(fù)雜度有所提高，但是實(shí)驗(yàn)結(jié)果性能卻有較大提升。

Cheng等人在文章[15]中提出了兩種簡單快速且更為準(zhǔn)確的顯著區(qū)域檢測方法。第一種方法只采用顏色的全局對比，作者將每個(gè)像素點(diǎn)和圖像中其它所有像素的Lab顏色向量的歐幾里得距離之和的1 / N（N為該圖的像素點(diǎn)個(gè)數(shù)）作為該點(diǎn)的顯著值。為了更快速地開展計(jì)算，作者對圖像中的顏色進(jìn)行了量化，以顏色為單位計(jì)算每種顏色和圖像中其它所有顏色的歐幾里得距離。第一種方法中只考慮了顏色的全局對比，并未考慮空間位置關(guān)系，使得和顯著區(qū)域顏色接近的背景區(qū)域的顯著值也較高。作者在加入空間位置關(guān)系后又一次提出了方法二：首先對圖像進(jìn)行分割，獲得一定數(shù)量的子區(qū)域。基于子區(qū)域，將子區(qū)域之間的空間位置關(guān)系作為權(quán)值計(jì)算該子區(qū)域與圖像其它所有子區(qū)域之間的相似度之和。方法2比方法1的時(shí)間復(fù)雜度略高（主要是由于引入了圖像分割操作，該操作比較耗時(shí)），但是實(shí)驗(yàn)結(jié)果得到了較大提高。通過仿真驗(yàn)證，Cheng等人[15]提出的方法簡單高效。

He等人[17]在Cheng的研究基礎(chǔ)上，提出了結(jié)合全局對比和顏色空間分布的顯著區(qū)域檢測方法。作者指出顏色的空間分布越緊湊，該類顏色就應(yīng)具有更高的顯著性，反之亦然。該方法將每類顏色所屬像素空間位置的方差作為衡量顏色空間分布的指標(biāo)，生成顏色空間顯著圖。其后將顏色空間顯著圖和直方圖對比度顯著圖或區(qū)域?qū)Ρ榷蕊@著圖進(jìn)行疊加得到最終的顯著圖。Perazzi等人[16]也提出了一個(gè)基于對比度和空間分布的顯著區(qū)域檢測方法。

上述這些基于全局對比的顯著區(qū)域檢測方法可以在一定程度上消減“不一致突出顯著區(qū)域”問題。但是當(dāng)顯著區(qū)域非常大或者圖像背景非常復(fù)雜時(shí)，這些基于全局對比的方法就趨向于突出背景區(qū)域而不是顯著區(qū)域了。因而該問題可以稱之為“突出圖像背景”問題。

2顯著區(qū)域檢測算法測試

本節(jié)使用Achanta等人[13]提出的公開可用的測試圖像庫來評價(jià)現(xiàn)有典型的顯著區(qū)域檢測算法的性能。該測試圖像庫包含了1 000幅自然圖像以及與其相對應(yīng)標(biāo)識(shí)顯著區(qū)域的二值基準(zhǔn)圖像，并將查準(zhǔn)率-查全率曲線作為衡量顯著區(qū)域檢測算法性能的評價(jià)指標(biāo)。

圖1顯示了近期6個(gè)性能最先進(jìn)的顯著區(qū)域檢測方法（MZ[11]、 LC[14]、 FT[13]、 HC[15]、 RC[15]、 SF[16]）在Achanta數(shù)據(jù)集上的評測結(jié)果。這些方法中，對于FT、HC、RC和SF，本節(jié)使用作者的原始的實(shí)現(xiàn)程序來生成對應(yīng)的顯著圖。而對于MZ和LC方法，本節(jié)直接使用Ma等人[11]和Cheng等人[15]所提供的顯著圖。由圖1可以看出SF在Achanta等人[13]提供的測試集上取得了最好的檢測性能。

3結(jié)論與展望

本文對現(xiàn)有的顯著區(qū)域檢測方法進(jìn)行概述。現(xiàn)有的顯著區(qū)域檢測方法是利用局部鄰域或者整幅圖像作為對比區(qū)域來計(jì)算顯著性的。從本質(zhì)上而言，現(xiàn)有方法使用的并不恰當(dāng)?shù)膶Ρ葏^(qū)域?qū)е铝似湎鄳?yīng)具有的“不一致突出顯著區(qū)域”和“突出圖像背景”兩個(gè)問題。在進(jìn)行對比度計(jì)算之前，首先實(shí)現(xiàn)對比區(qū)域預(yù)估計(jì)的顯著區(qū)域檢測方法將成為下一步的發(fā)展趨勢。

參考文獻(xiàn)：

[1]ITTI L， KOCH C， NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1998， 20（11）：1254–1259.

[2]MURRAY N， VANRELL M， OTAZU X， et al. Saliency estimation using a non-parametric low-level vision model[C] // IEEE Conference on Computer Vision and Pattern Recognition. 2011：433–440.

[3]HOU X， ZHANG L. Saliency detection： A spectral residual approach[C] // IEEE Conference on Computer Vision and Pattern Recognition. 2007：1–8.

[4]BAN S， JANG Y， LEE M. A？ective saliency map considering psychological distance[J]. Neurocomputing， 2011， 74（11）：1916–1925.

[5]LIU T， SUN J， ZHENG N， et al. Learning to detect a salient object[C] // IEEE Conference on Computer Vision and Pattern Recognition. 2007：1–8.

[6]LIU T， YUAN Z， SUN J， et al. Learning to detect a salient object[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence 33 （2） （2011） 353–367. ， 2011， 33（2）：353–367.

[7]KO B C， NAM J Y. Object-of-interest image segmentation based on human attention and semantic region clustering[J]. Journal of Optical Society of America A， 2006， 23（10）：2462–2470.

[8]RUTISHAUSER U， WALTHER D， KOCH C， et al. Is bottom-up attention useful for object recognition？[C] // IEEE Conference on Computer Vision and Pattern Recognition， 2004：30–37.

[9]ZHANG G X， CHENG M M， HU S M， et al. A shape-preserving approach to image resizing[C] // Computer Graphics Forum， 2009：1897–1906.

[10]EINHAS？ER W， KO^ENIG P. Does luminance-contrast contribute to a saliency map for overt visual attention？[J]. European Journal of Neuroscience， 2003， 17 （5）：1089–1097.

[11]Y. Ma， H. Zhang， Contrast-based image attention analysis by using fuzzy growing[C] // ACM International Conference on Multimedia， 2003：374–381.

[12]KLEIN D， FRINTROP S. Center-surround divergence of feature statistics for salient object detection[C] // IEEE International Conference on Computer Vision， 2011：2214–2219.

[13]ACHANTA R， HEMAMI S， ESTRADA F， et al. Frequency-tuned salient region detection[C] // IEEE Conference on Computer Vision and Pattern Recognition， 2009：1597–1604.

[14]ZHAI Y， SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C] // ACM International Conference on Multimedia， 2006：815–824.

[15]CHENG M， ZHANG G， MITRA N， et al. Global contrast based salient region detection[C] // IEEE Conference on Computer Vision and Pattern Recognition， 2011：409–416.

[16]PERAZZI F， KRAHENBUHL P， PRITCH Y， et al. Saliency ？lters： Contrast based ？ltering for salient region detection [C] // IEEE Conference on Computer Vision and Pattern Recognition， 2012：733–740.

[17]HE X， JING H， HAN Q， et al. Salient region detection combining spatial distribution and global contrast[J]. Optical Engineering， 2012， 51：047007.

[18]ACHANTA R， SUSSTRUNK S. Saliency detection using maximum symmetric surround[C] // IEEE International Conference on Image Processing （ICIP）. 2010：2653–2656.