基于雙層超像素對(duì)比度融合的顯著區(qū)域檢測(cè)

吳 清，商常青，石陸魁，連翠葉

（河北工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與軟件學(xué)院，天津300401）

0 引 言

近年來，研究者們已經(jīng)提出大量關(guān)于顯著區(qū)域檢測(cè)的方法，但是隨著互聯(lián)網(wǎng)的快速發(fā)展，大量的圖片出現(xiàn)在互聯(lián)網(wǎng)中，這些舊有方法仍然無法達(dá)到快速處理的要求，因此提出一種快速、準(zhǔn)確、有效的方法是目前急需要解決的問題。

本文主要目的是提出一種能夠自動(dòng)檢測(cè)圖像中顯著區(qū)域的方法，其能夠被應(yīng)用于解決圖像處理領(lǐng)域中其它的問題。通過采用自底向上、數(shù)據(jù)驅(qū)動(dòng)的方式提出一種基于超像素 （super pixel）對(duì)比度融合的顯著區(qū)域檢測(cè)方法。利用超像素之間的對(duì)比度差異來計(jì)算像素的顯著性值，取而代替了利用每個(gè)像素之間的特征差異來計(jì)算圖像中像素的顯著性值，最終產(chǎn)生具有全分辨率的顯著性圖。本文方法主要包括3大步驟：①采用超像素分割方法將圖像分割為多個(gè)區(qū)域，使相同區(qū)域里的元素具有相似的特性；②通過利用不同區(qū)域中顏色的差異和空間的相關(guān)性來計(jì)算不同分割區(qū)域的顯著性值；③根據(jù)相似特性聚合原理將初始的顯著圖做相似類聚合，并通過自適應(yīng)閾值增加顯著區(qū)域與非顯著區(qū)域之間的對(duì)比度，最終產(chǎn)生一個(gè)具有多分辨率的顯著圖。本文中最重要的部分在于分割方法的選取和顯著值的計(jì)算方法。目前SLIC［1］（simple linear iterative clustering）超像素分割方法以其簡(jiǎn)單的分割思想、準(zhǔn)確的分割效果受到研究人員的青睞，故采用SLIC 方法作為預(yù)處理分割方法。受Achanta等［2］的啟發(fā)，本文在Achanta等提出算法的基礎(chǔ)上進(jìn)行了改進(jìn)并作為計(jì)算顯著值的計(jì)算方式。

為評(píng)估本文提出的方法的有效性和準(zhǔn)確性，在Achanta等［2］和程明明等［3］提供的公共測(cè)試圖像集上對(duì)本文提出的方法進(jìn)行測(cè)試，比較經(jīng)典方法以及人工標(biāo)注的參考數(shù)據(jù)，實(shí)驗(yàn)結(jié)果表明，本文方法在查準(zhǔn)率 （precision rate）和召回率 （recall rate）方面有明顯提高。

1 相關(guān)顯著性檢測(cè)方法

本文主要關(guān)注自底向上、數(shù)據(jù)驅(qū)動(dòng)的顯著性檢測(cè)方法及相關(guān)分割方法，這類方法多是在生物學(xué)原理的基礎(chǔ)上，利用圖像固有的屬性：顏色、亮度、梯度等通過利用數(shù)學(xué)計(jì)算的方法來計(jì)算某個(gè)區(qū)域的顯著度。在Koch等［4］早期的工作中提出的生物啟發(fā)模型的基礎(chǔ)上，Itti等定義圖像的顯著性、提出視覺注意理論。在基于該理論的基礎(chǔ)上提出基于圖像特征對(duì)比度的方法，目前主要分為兩種計(jì)算方法：基于局部對(duì)比度和基于全局對(duì)比度的方法。

基于全局對(duì)比度的顯著性區(qū)域計(jì)算方法是用每一個(gè)像素和整個(gè)圖像的對(duì)比度來計(jì)算該像素的顯著性值，基于局部對(duì)比度的顯著性計(jì)算方法則是用每一個(gè)像素和其周邊一定區(qū)域范圍內(nèi)的像素的對(duì)比度來計(jì)算該像素的顯著性值。前者需要計(jì)算圖像中所有像素之間的對(duì)比度，當(dāng)圖像較大時(shí)，雖然可以準(zhǔn)確的計(jì)算出圖像中每個(gè)像素的顯著度值，但是計(jì)算速率會(huì)大大降低，同時(shí)需要占用較大的計(jì)算空間；后者，當(dāng)計(jì)算的局部范圍較小時(shí)，可以達(dá)到較快的計(jì)算速度，但是由于只對(duì)比一定范圍內(nèi)像素的對(duì)比度，無法從整個(gè)圖像分析該像素在圖像中所具有的顯著值，所以計(jì)算的結(jié)果無法突顯出在整個(gè)圖像中的顯著性，最終導(dǎo)致計(jì)算結(jié)果具有較大的局限性和差異。

圖像分割作為計(jì)算機(jī)視覺領(lǐng)域的基本問題，圖像分割是獲取顯著區(qū)域的一種方式，圖像分割的準(zhǔn)確度決定了最終獲取顯著目標(biāo)的精確性。選取一個(gè)比較好的分割方法對(duì)達(dá)到顯著區(qū)域監(jiān)測(cè)的目的起著重要的作用。Ren等［1］提出超像素的感念，所謂的超像素：就是相鄰區(qū)域中具有相似顏色、亮度、紋理等特征像素組成的圖像塊。它利用相鄰像素之間的相似程度將像素歸類分組，將圖像分成不同的區(qū)域，減少了圖像的冗余信息，為后期的二次處理提高了速度。Achanta等［1］提出一種基于超像素的圖像分割方法SLIC，由于其算法思想簡(jiǎn)單、計(jì)算快的特點(diǎn)應(yīng)經(jīng)被應(yīng)用到多個(gè)領(lǐng)域。

2 基于超像素分割的顯著性檢測(cè)

人類觀察周圍環(huán)境時(shí)，往往對(duì)周圍環(huán)境中局部區(qū)域與背景環(huán)境產(chǎn)生較大對(duì)比差異、顏色或形狀比較奇異的區(qū)域產(chǎn)生較大的關(guān)注，據(jù)此我們采用了基于對(duì)比度的方法來計(jì)算圖像的顯著性。CIELab 顏色空間將亮度和顏色單獨(dú)分開，它的L分量密切匹配人類亮度感知，這有助于我們更好獨(dú)立的調(diào)節(jié)各個(gè)分量，從不同的角度來分析各個(gè)分量對(duì)視覺顯著的影響。所以本文以下的對(duì)比度均采用在CIELab顏色空間來進(jìn)行計(jì)算。

一個(gè)圖像往往具有數(shù)萬個(gè)甚至千萬個(gè)像素，如果采用基于全局對(duì)比度的方法來計(jì)算每個(gè)像素的顯著性，這極大的增加的計(jì)算的復(fù)雜度，通過將圖像進(jìn)行分割可以達(dá)到降低計(jì)算的復(fù)雜度，但是分割圖像的個(gè)數(shù)太小，計(jì)算得到的結(jié)果不準(zhǔn)確，分割圖像的個(gè)數(shù)太大，既不會(huì)降低計(jì)算的復(fù)雜度，又不能夠通過最大化的方式將相似的區(qū)域分割到一個(gè)區(qū)域。所以本文中通過將圖像進(jìn)行兩次分割：一次粗分割即較少個(gè)數(shù)的分割個(gè)數(shù)、一次細(xì)分割即較多個(gè)數(shù)的分割個(gè)數(shù)，并利用兩次分割計(jì)算得到的顯著圖進(jìn)行融合的方式來計(jì)算圖像的最終顯著性圖，這樣既可以最大化的將相似屬性或顯著的部分區(qū)域分割到一個(gè)區(qū)域，同時(shí)又降低了計(jì)算的復(fù)雜度。由于兩次分割計(jì)算顯著值的方法相同所以一下只詳細(xì)的介紹一種計(jì)算方法。

本文中首先對(duì)要處理的圖像采用超像素分割，分割后的超像素圖像利用基于全局對(duì)比度的視覺顯著性方法計(jì)算每個(gè)超像素的顯著值。對(duì)生成的初始的顯著圖采用自由競(jìng)爭(zhēng)的方式，減少顯著圖噪聲，對(duì)顯著圖中相近的超像素進(jìn)行聚合，最后采用自適應(yīng)閾值的方法對(duì)超像素中非顯著的區(qū)域進(jìn)行背景化，增強(qiáng)并保留顯著區(qū)域的部分結(jié)構(gòu)，最終產(chǎn)生具有全分辨率的顯著圖。整個(gè)顯著圖的產(chǎn)生過程如圖1所示。

圖1 本文方法的流程

2.1 超像素對(duì)比度的顯著性算法

利用SLIC超像素分割方法對(duì)要處理的圖像I進(jìn)行超像素分割為圖像I′。定義I′中任意兩個(gè)超像素Pi和Pj，Pi中包含m 個(gè)像素，Pj中包含n個(gè)像素，則這兩個(gè)超像素Pi和Pj在Lab顏色空間中在顏色對(duì)比值Cij，其公式

式中：i≠j，ui——超像素Pi中m 個(gè)像素在Lab顏色空間L、a、b顏色的平均值，ui——超像素Pj中n 個(gè)像素在Lab顏色空間L、a、b顏色的平均值。·2表示歐式空間距離

式中：i≠j，vi——超像素Pi中m 個(gè)像素在Lab顏色空間坐標(biāo)的平均值，vj——超像素Pj中n個(gè)像素在Lab顏色空間坐標(biāo)的平均值

通過利用式 （1）～式 （4），并將Lij規(guī)格化到 ［0，1］來計(jì)算超像素Pi和Pj的之間顯著值oij其公式

式中：作為控制空間距離作用的影響因子。越小空間距離對(duì)結(jié)果的影響越大，導(dǎo)致較遠(yuǎn)區(qū)域的對(duì)比度會(huì)對(duì)當(dāng)前區(qū)域顯著性造成較大的影響。在實(shí)驗(yàn)中我們采用 ＝0.4來計(jì)算超像素之間的顯著值。

Goferman等［1］提出的原方法中，只考慮K 個(gè)最相似的圖像塊，忽略了該點(diǎn)在整個(gè)圖像中的顯著性，在本文中通過在Goferman等提出的算法的基礎(chǔ)上，通過考慮像素Pi在整個(gè)圖像中的顯著性并根據(jù)下面的公式計(jì)算超像素Pi的顯著值Oi

2.2 雙層超像素顯著性的融合

由于對(duì)圖像進(jìn)行單一個(gè)數(shù)的超像素分割無法獲取到相對(duì)完整的顯著區(qū)域。粗分割可以將比較顯著的區(qū)域分割到一個(gè)區(qū)域，但是又會(huì)包含有比較大的噪聲，通過再進(jìn)行細(xì)分割可以把圖像中更加細(xì)節(jié)的部分分割到一個(gè)比較小的區(qū)域，通過將粗分割和細(xì)分割的結(jié)果進(jìn)行融合，既保留了部分細(xì)節(jié)的信息，同時(shí)最大化的將顯著區(qū)域聚合到一個(gè)區(qū)域。所以我們利用式 （6）對(duì)圖像進(jìn)行不同程度的分割，并計(jì)算出相應(yīng)分割情況下的顯著性。通過利用不同的分割效果得到的顯著圖進(jìn)行融合最終獲取到圖像的顯著性圖。本文中利用超像素個(gè)數(shù)spnum＝15 和spnum＝200 的計(jì)算結(jié)果利用式 （7）進(jìn)行融合得到最終的顯著圖

式中：O（spnum＝15）和O（spnum＝200）——利用式 （6）在超像素分割個(gè)數(shù)15 和200 下計(jì)算得到的具有全分辨率顯著性圖。SV ——O（spnum＝15）和O（spnum＝200）融 合 得 到 的 最 終 的 顯 著性圖。

對(duì)于背景和前景比較單一的圖像，利用本文的方法可以獲得較好的顯著圖，但是對(duì)于背景復(fù)雜的、紋理結(jié)構(gòu)多樣的圖像無法準(zhǔn)確的得到理想的結(jié)果，為獲取到更加精細(xì)的顯著圖，減弱背景區(qū)域?qū)︼@著區(qū)域的影響，在以上算法結(jié)果的基礎(chǔ)上，通過閾值分割的方法對(duì)顯著性圖中背景和前景區(qū)域進(jìn)行分割，對(duì)低于閾值的非顯著區(qū)域進(jìn)行背景化，保留高于閾值的顯著區(qū)域的部分結(jié)構(gòu)信息，最終獲取圖像的顯著性圖，由于固定的閾值無法達(dá)到較好的分割效果，所以本文采用基于最大間類方差法OTSU［4］閾值分割方法來獲取一個(gè)比較合適的自適應(yīng)閾值。本文中方法的最終實(shí)驗(yàn)結(jié)果如圖2中第9列所示。

圖2中從左到右依次為：原圖、由Achanta等提出的AC［2］、Goferman等提出的CA［5］、由Achanta等［6］提出的FT、由Itti等提出的IT［2］、由Zhai等提出的LC［3］、由Ma等提出的MZ［5］、由Cheng等提出的HC［3］方法及本文的方法計(jì)算得到的顯著圖和由人工標(biāo)注的顯著圖。

3 實(shí)驗(yàn)結(jié)果及比較

實(shí)驗(yàn)中，為更加準(zhǔn)確的突出本文的方法和其它方法的不同，在Achanta等提供的MSRA1000和程明明等提供的THUS10000的公共圖像數(shù)據(jù)測(cè)試集上測(cè)試了本文的方法，據(jù)我們所知此測(cè)試集包含了大量由人工精確標(biāo)注的顯著性區(qū)域。本文中所有的圖片都是在一臺(tái)Pentium? Dual－Core CPU T4300主頻2.1 Hz的個(gè)人電腦生成的，本算法是在Windows系統(tǒng)環(huán)境下基于Matlab程序設(shè)計(jì)語言編寫的。為了更加全面的測(cè)試本文算法的準(zhǔn)確性，通過利用人工精確標(biāo)注的顯著圖作為驗(yàn)證各個(gè)算法的查準(zhǔn)率 （precision rate）、查全率 （recall rate）的標(biāo)準(zhǔn)

式中：Tp——正的樣本，F(xiàn)p——正的負(fù)樣本，F(xiàn)n——負(fù)的正樣本。圖3是利用式 （8）、式 （9）計(jì)算得到的本文方法和 HC［3］、FT［6］、LC［3］、SR［7］、AC［2］、CA［3］、GB［8］、IT［2］、MZ［5］和RC［3］等 方 法 在MSRA1000 數(shù) 據(jù) 集 下 的PR（precision recall）曲線，從曲線圖中可以看到本文的方法明顯優(yōu)于其它的方法。分別計(jì)算了其它方法和本文方法的查準(zhǔn)率查全率曲線，從圖4可以明顯的看見我們的方法比其它的方法具有更高的準(zhǔn)確度。

由于在一般情況下Precision和Recall是相互矛盾的，對(duì)一副圖像來說，如果所找到的小區(qū)域顯著區(qū)域正好完全屬于圖中的顯著目標(biāo)區(qū)域的極小一部分，那么Precision就為100%，但此時(shí)Recall的值就會(huì)很低；如果把圖中顯著目標(biāo)的區(qū)域比較小，計(jì)算得到的區(qū)域比較大并且已包含圖中的顯著區(qū)域，那么此時(shí)Precision 會(huì)比較小，而Recall是100%。因此就有必要綜合考慮Precision和Recall之間的關(guān)系，這里采用F－measure作為綜合評(píng)價(jià)一個(gè)算法的優(yōu)良

圖2 不同方法的視覺顯著區(qū)域效果對(duì)比

圖3 不同方法的PR 曲線圖和綜合性能比較

式中：Precision和Recall為采用自適應(yīng)閾值對(duì)顯著圖進(jìn)行分割后的所有顯著圖計(jì)算得到的均值。由于我們通常更加側(cè)重關(guān)注查準(zhǔn)率的大小，所以和Achanta等［1］的一樣，本文中用β2＝0.3來使查準(zhǔn)率的權(quán)值高于召回率。從圖3和圖4中不同方法的PR 曲線的比較結(jié)果中看出，用本文的方法獲取的顯著圖的準(zhǔn)確度明顯優(yōu)于其它的方法。從圖3和圖4里的PRF直方圖可以看出本文的方法綜合評(píng)價(jià)相比以前的方法更準(zhǔn)確。

圖3 （a）和圖3 （b）是IG［3］、AC［2］、CA［5］、FT［6］、GB［8］、HC［3］、IT［2］、LC［3］、MZ［5］、RC［3］、SR［7］、SF［9］以及本文中的方法計(jì)算得到的PR （precision recall）曲線圖，圖3 （c）是不同方法的Precision、Recall和F－measure直方圖。以上圖的計(jì)算結(jié)果都是在MSRA1000的公開測(cè)試集4上計(jì)算得到的。

圖4 不同方法在THUS10000測(cè)試集上的PR 曲線圖和綜合性能比較

圖4 中從上到下，上面的兩個(gè)圖分別是AC［2］、AIM［10］、CA［5］、FT［6］、 GB［8］、 HC［3］、IM［11］、IT［2］、LC［3］、 MSS［12］、 SEG［13］、 SeR［14］、 SR［7］、 SUN［15］、SWD［16］以及本文中的方法計(jì)算得到的PR （precision recall）曲線圖，下面的是不同方法的Precision、Recall和F－measure直方圖。

通過考慮計(jì)算所得到的顯著性圖像有助于顯著目標(biāo)分割，傳統(tǒng)的分割方法是由人工選中矩形區(qū)域來進(jìn)行初始化操作，而本文在提出的顯著性計(jì)算方法的基礎(chǔ)上通過利用自適應(yīng)閾值OTSU 方法來改善顯著圖的分割結(jié)果，從而將顯著目標(biāo)區(qū)域分割出來，分割結(jié)果如圖5所示。

圖5 顯著目標(biāo)分割

4 結(jié)束語

本文中提出一種基于雙層超像素對(duì)比度融合的方法來檢測(cè)圖像的顯著性區(qū)域的檢測(cè)方法，本文的方法計(jì)算簡(jiǎn)單、并且可以產(chǎn)生相對(duì)較好的顯著結(jié)果。在Achanta等［2］提出的公共數(shù)據(jù)庫上測(cè)試了本文的方法，并和近幾年來比較經(jīng)典的顯著性檢測(cè)方法進(jìn)行了比較，實(shí)驗(yàn)結(jié)果及比較結(jié)果表明本文的方法在查準(zhǔn)率和查全率上都優(yōu)于其它方法。

由于我們提出的方法是在超像素分割的基礎(chǔ)上提出的，所以對(duì)圖像進(jìn)行超像素分割對(duì)獲取目標(biāo)的顯著區(qū)域起著重要的作用，SLIC方法雖然目前是比較好的分割方法，但是分割的結(jié)果仍然無法達(dá)到較滿意的分割結(jié)果，導(dǎo)致最終獲取的顯著區(qū)域有時(shí)候包含一些噪聲。加之由于有些圖像背景較為復(fù)雜且部分顯著物體的顏色與背景顏色極為相近并且背景顏色多樣化，本文的方法在處理較復(fù)雜結(jié)構(gòu)的圖像時(shí)準(zhǔn)確率無法達(dá)到期望的高度。在未來的工作中我們計(jì)劃提高分割效果的精確度，進(jìn)一步考慮多重高級(jí)因素，研究出能夠處理具有復(fù)雜紋理結(jié)構(gòu)的顯著性檢測(cè)方法，以克服本文現(xiàn)有算法在處理這類情況中存在的缺陷。

［1］Achanta R，Smith K，Lucchi A，et al.Slic superpixels［R］.Technical Report，EPFL，Tech Rep 149300，2010.

［2］Achanta R，Estrada F，Wils P，et al.Salient region detection and segmentation ［G］.LNCS 5008：International Conference on Computer Vision Systems，2008：66－75.

［3］Cheng MM，Zhang GX，Mitra NJ，et al.Global contrast based salient region detection ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2011：409－416.

［4］Liu T，Yuan Z，Sun J，et al.Learning to detect a salient object［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33 （2）：353－367.

［5］Goferman S，Zelnik－Manor L，Tal A.Context－aware saliency detection ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34 （10）：1915－1926.

［6］Achanta R，Hemami S，Estrada F，et al.Frequency－tuned salient region detection ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2009：1597－1604.

［7］Hou X，Zhang L.Saliency detection：A spectral residual approach ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2007：1－8.

［8］Harel J，Koch C，Perona P.Graph－based visual saliency［C］／／Advances in Neural Information Processing Systems，2006：545－552.

［9］Perazzi F，Krahenbuhl P，Pritch Y，et al.Saliency filters：Contrast based filtering for salient region detection ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2012：733－740.

［10］Bruce NDB，Tsotsos JK.Saliency，attention，and visual search：An information theoretic approach ［J］.Journal of Vision，2009，9 （3）：5.

［11］Murray N，Vanrell M，Otazu X，et al.Saliency estimation using a non－parametric low－level vision model ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2011：433－440.

［12］Achanta R，Susstrunk S.Saliency detection using maximum symmetric surround ［C］／／17th IEEE International Conference on Image Processing，2010：2653－2656.

［13］Rahtu E，Kannala J，Salo M，et al.Segmenting salient objects from images and videos［G］.LNCS 6315：Computer Vision ECCV.Berlin：Springer Berlin Heidelberg，2010：366－379.

［14］Seo HJ，Milanfar P.Static and space－time visual saliency detection by self－resemblance ［J］.Journal of Vision，2009，9（12）：15.

［15］Zhang L，Tong MH，Marks TK，et al.Sun：A Bayesian framework for saliency using natural statistics［J］.Journal of Vision，2008，8 （7）：32.

［16］Duan L，Wu C，Miao J，et al.Visual saliency detection by spatially weighted dissimilarity ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2011：473－480.