基于多尺度多特征的顯著性區域檢測

侯向丹 ，劉曉曼 ，劉洪普 ，連 珂

（1.河北工業大學 計算機科學與軟件學院，天津 300401；2.河北省大數據計算重點實驗室，天津 300401）

圖像的顯著性區域檢測，是模擬人眼的視覺注意選擇機制，進而提取圖像中的感興趣區域[1]．所以，顯著性檢測在計算機視覺領域有著非常重要的地位，在圖像分割、目標識別以及圖像檢索[2-4]等圖像處理技術中都應用頗多．

目前的顯著性區域檢測方法大致可以分為兩類.一種是自下而上的方法，采用底層的圖像特征引導，從而提取出顯著性區域．其中較為經典的當屬ITTI模型[5]，利用不同特征以及中央-周邊差方法提取顯著性區域．Achanta等[6]利用Lab空間特征的中央-周邊差算子計算得到顯著性區域．Cheng等[7]提出基于全局對比度的顯著性檢測方法．還有Guo等[8]利用四元相位譜方法提取顯著性區域．另一種是自上而下的方法，基于具體的任務或者目標來進行顯著性計算，Tong等[9]利用圖像特征得到顯著圖，進而通過構造的強分類器自上而下得到最終顯著圖．另外，將自下而上與自上而下這兩類方法結合起來進行顯著性檢測的算法也有很多．

1 結合多尺度多特征的顯著性檢測

Achanta等[6]提出的FT算法流程圖如圖1所示，它首先進行顏色空間轉換后通過高斯差分濾波作預處理，之后分別計算像素點的Lab特征和圖像的Lab空間平均特征向量，將它們的歐氏距離作為其顯著性值，最終生成顯著圖．該算法的求解過程非常簡單，運算量小，但是從結果來看，該算法得到的顯著性區域與非顯著區域亮度差異并不明顯[10]，所以本文提出基于多尺度多特征的顯著性區域檢測算法，從而增強了顯著性區域的提取效果．

本文提出的基于多尺度多特征的顯著性區域檢測算法，主要是在FT算法的基礎上在兩個方面進行了改進．1）為突出特征點同時能更好地計算顏色特征差異，通過計算像素點在八鄰域區域內的亮度差異以及和背景的顏色差異，將不同尺度得到的顯著值融合生成融合特征顯著圖S1.2）為使顯著性區域輪廓更清晰以及充分融合圖像的多特征，采用基于熵率的超像素分割方法將圖像分割成超像素塊，在此基礎上提取超像素的亮度特征、顏色特征、紋理特征，然后采用線性回歸方法，學習得到簡單的超像素顯著度模型，融合超像素的多特征計算得到超像素特征顯著圖S2．最后，將融合特征顯著圖S1和超像素特征顯著圖S2結合得到最終顯著圖S，本文算法流程圖如圖2所示．

1.1 融合特征顯著圖

利用局部自動閾值選取方法在像素點的八鄰域中篩選出與之亮度值之差大于T的n個點，用Yj（j=1，…，n） 表示，隨之求得一個優化的八鄰域亮度平均值，然后計算其與像素點亮度的差值，這樣做增加了像素點在八鄰域中的顯著度．像素點的八鄰域特征顯著度計算為

式中：Mi為像素點的八鄰域特征顯著度；Ii為像素點的亮度．

另外，對于顏色空間，選擇Lab空間進行計算，首先利用簡單的閾值分割將圖像大致分為兩個區域——背景和前景，然后計算每一個像素點與背景的顏色差異，依據人眼對色彩刺激的感知特性，采用CMC色差來表示．人眼對顏色刺激的心理感知屬性可以分為明度L，彩度Cab，以及色調角hab．其中明度對應Lab空間的亮度L，彩度Cab和色調角hab分別對應顏色空間顏色的色品坐標（a，b）和原點的距離和斜率．計算公式為

圖1 FT算法流程圖Fig.1 The flow chart of FT

圖2 本文算法流程圖Fig.2 The flow chart of the algorithm in this paper

CMC色差公式是由Clarke等[11]在1984年提出的，改進了JPC79在中性色和深色的目視效果和計算值之間的差值較大的缺陷，視覺一致性較好，被許多國家和組織廣泛使用．計算方法為

式中：△ECMC為像素點與背景的顏色差異；SL、SC、SH為權重函數．

式中：Lstd，Cab，std，hab，std為標準色樣的色度參數.

由此，計算像素點i的顏色顯著度Ni，其中LABi為像素點的Lab特征，LABb背景的Lab特征

在圖3所示原圖基礎上，將八鄰域尺度的亮度差異顯著度Mi和全局尺度的顏色差異顯著度Ni疊加得到S1，至此，生成如圖4所示的融合特征顯著圖S1．

圖3 原圖Fig.3 Original image

圖4 融合特征顯著圖S1Fig.4 Saliency map of fusion features S1

1.2 超像素特征顯著圖

超像素是大的像素，可以看做是具有相似特征的像素的集合．采用Liu等[12]提出的一種基于熵率的超像素分割方法將原圖分塊，超像素分割結果如圖5所示．這種方法用基于圖論的思想來獲取分割結果，即采用一個帶權的無向圖代替原圖像，將原圖像的每個像素當作無向圖的一個結點，利用兩個結點的相似性作為結點之間的權重，構造了一種圖上隨機游走的熵率和平衡項相結合的目標函數，通過迭代最大化該目標函數得到分割結果，熵率使分割的結果緊湊且具有區域一致性，平衡項使分割的結果形狀規則且尺寸類似．由此，將原圖像分割為具有不同特征的超像素塊，以便進一步處理．

為了得到進一步的區域顯著圖，利用基于熵率的超像素分割結果，假設圖像被分為n個超像素，分別提取每一個像素塊的亮度特征SIi，顏色特征SCi，紋理特征STi，然后分別計算每一個像素塊與其他像素塊的亮度差異Li、色彩差異Si和紋理差異Wi，最終求得其顯著度Hi.

式中：亮度差異為明度L的差異，顏色差異采用CMC

圖5 超像素分割結果Fig.5 Super pixel segmentation results

色差計算，紋理差異則利用Gabor濾波器提取的不同尺度、不同方向的紋理特征來計算．

每個像素塊的顯著度為

式中：θi為各特征差異所占的權重，由線性回歸方法學習得到．人為設定超像素的顯著度作為輸出結果，輸入值為亮度差異Li，顏色差異Si和紋理差異Wi，θ1、θ2、θ3分別為它們的權重系數，θ0為平衡誤差，由此學習得到一個簡單的超像素顯著度模型，根據線性回歸所得結果計算樣本的顯著圖．

最后，把結合超像素的多種特征計算得到的利用顯著度表示的灰度圖像作為超像素特征顯著圖S2，如圖6所示．

最終將融合八鄰域尺度的亮度差異和全局尺度的顏色差異得到的融合特征顯著圖S1和融合超像素多種特征計算得到的超像素特征顯著圖S2疊加，形成最終顯著圖S，如圖7所示．

圖6 超像素特征顯著圖S2Fig.6 Saliency map of super pixel features S2

圖7 最終顯著圖SFig.7 Final saliency map S

2 實驗結果及分析

為評價本文算法的性能指標和有效性，在MSRA-1000，ECSSD，THUR15K 3個公開數據集上與現有的8 種算法 FT[6]，AC[13]，IT[5]，GB[14]，AIM[15]，SEG[16]，SIM[17]，SUN[18]進行了視覺對比及定量評價．實驗均在2.6 GHz CPU、4 GB內存的個人計算機、Matlab2014a環境上實現．

在超像素塊的參數n取5時，本文算法的效率最高．

在3個數據集上對本文算法Ours與其他8種算法做了實驗結果的視覺對比，如圖8所示．對比圖表明：IT模型的提取效果較差，檢測的顯著性區域面積較小、且較為分散；FT和AC模型所提取的顯著性區域并不是非常明顯，且存在誤判的現象；GB和SIM這2種算法所檢測出的結果較為模糊；由AIM、SEG和SUN這3種模型的結果可以看出，幾種算法對于背景的弱化效果較差．而本文所提算法的結果能夠有效弱化冗雜的背景，特別是在背景復雜的圖像中，也能檢測出圖像中的顯著性區域，顯著性區域信息保留完整，得到的目標清晰，且邊緣明顯．

圖8 本文算法與現有的8種算法對比Fig.8 Comparison between the algorithm in this paper and the existing eight algorithm

為進一步評價算法的性能指標，在3個數據集上對算法采用ROC曲線比較，以精確率P，召回率R，F-measure值3個指標進行評價，如圖9所示．ROC曲線的橫坐標表示在所有實際為陽性的樣本中，被正確地判斷為陽性的比率，縱坐標則表示在所有實際為陰性的樣本中，被錯誤地判斷為陽性的比率．精確率P是對于預測的結果來說的，表示預測為正的樣本中本來是正樣本的比例．召回率R是對于原樣本來說的，表示原樣本中的正樣本中被預測為正樣本的比例．F-measure值是精確率和召回率的調和均值：

圖9 不同算法的ROC曲線比較Fig.9 Comparison of ROC curves of different algorithms

如圖9所示，在3個數據集上的實驗結果可以看出，本文算法在ECSSD和THUR15K這2個數據集上的結果，精確率都高于其他8種算法，但是召回率R和F值并無明顯優勢，在MSRA-1000數據集上的精確率和召回率稍遜于SIM算法，但優于其它7種算法．但從圖8的視覺對比圖來看，本文所提算法的顯著性區域的提取結果比SIM算法更清晰、目標更突出．從ROC曲線對比結果來看，在MSRA-1000數據集上，本文算法的曲線明顯覆蓋面積大于其它曲線，在其余兩個數據集上的結果，本文算法的曲線基本位于其它7種算法的上方，也更加靠近左上角，但與GB算法差距并不明顯，不過從視覺對比圖來看，GB算法提取出的顯著性區域目標模糊，邊界不清晰，在這一方面本文算法具有明顯優勢．綜上所述，說明本文算法的性能要優于其他幾種算法．

3 結束語

提出了一種基于多尺度多特征的顯著性區域檢測方法，充分考慮了圖像不同尺度的因素，首先利用人眼的視覺注意規律，結合亮度差異和顏色差異計算得到不同尺度的融合特征顯著圖，其次在超像素分割的基礎上，提取超像素的多特征，進一步計算出超像素特征顯著圖，最終將兩部分進行結合得到最終顯著圖．在MSRA-1000，ECSSD，THUR15K 3個數據集上進行的實驗表明此方法所得到的顯著性區域輪廓清晰并且準確率和召回率都有一定程度的優勢．

[1]Mancas M，Ferrera V P，Riche N，et al.From Human Attention to Computational Attention[M].New York：Springer，2016.

[2] Lempitsky V，Kohli P，Rother C，et al.Image segmentation with a bounding box prior[C]//IEEE，International Conference on Computer Vision.DBLP，2009：277-284.

[3] Fang Y，Chen Z，Lin W，et al.Saliency Detection in the compressed domain for adaptive image retargeting[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2012，21（9）：3888-3901.

[4] Jian M W，Dong J Y，Ma J.Image retrieval using wavelet-based salient regions[J].Imaging Science Journal the，2015，59（4）：219-231.

[5] Itti L，Koch C，Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，1998，20（11）：1254-1259.

[6] Achanta R，Hemami S，Estrada F，et al.Frequency-tuned salient region detection[C]//Computer Vision and Pattern Recognition，IEEE，2009：1597-1604.

[7] Cheng M M，Mitra N J，Huang X，et al.Global contrast based salient region detection[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2015，37（3）：569.

[8] Guo C L，Zhang L M.A novel muitiresolution spatiotemporal saliency detection model and its applications in image and video compression[J].IEEE Transactions on Image Processing，2010，19（1）：185-198.

[9] Tong N，Lu H，Xiang R，et al.Salient object detection via bootstrap learning[C]//Computer Vision and Pattern Recognition.IEEE，2015：1884-1892.

[10]孫曉飛，潘文文，王霞.典型的圖像顯著性檢測算法分析和比較[J].黔南民族師范學院學報，2014，34（5）：100-105.

[11]Clarke F J J，Mcdonald R，Rigg B.Modification to the JPC79 Colour-difference Formula[J].Coloration Technology，1984，100（4）：128-132.5.

[12]Liu M Y，Tuzel O，Ramalingam S，et al.Entropy rate superpixel segmentation[C]//Computer Vision and Pattern Recognition.IEEE，2011：2097-2104.

[13]Achanta R，Estrada F，Wils P，et al.Salient region detection and segmentation[C]//International Conference on Computer Vision Systems.Springer-Verlag，2008：66-75.

[14]Harel J，KochC，PeronaP.Graph-based visual saliency[C]//Advances in Neural Information Processing Systems．Cambridge，MA：MIT Press，2007：545-552.[DOI：10.1.1.70.2254]

[15]Bruce N D B，Rahman S，Carrier D.Sparse coding in early visual representation：From specific properties to general principles[J].Neurocomputing，2016，171：1085-1098.

[16]RahtuE，KannalaJ，SaloM，et al.Segmenting Salient Objects from Images and Videos[M].Computer Vision-ECCV 2010，Springer Berlin Heidelberg，2010：366-379.

[17]Murray N，Vanrell M，Otazu X，et al.Saliency estimation using a non-parametric low-level vision model[C]//Computer Vision and Pattern Recognition.IEEE，2011：433-440.

[18]Zhang L，Tong M H，Marks T K，et al.SUN：A Bayesian framework for saliency using natural statistics[J].Journal of Vision，2008，8（7）：32，1-20.