基于多尺度區域對比的顯著目標識別

成培瑞，王建立，王　斌，李正煒，吳元昊

(1.中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033；

2.中國科學院大學，北京 100049)

?

基于多尺度區域對比的顯著目標識別

成培瑞1,2，王建立1*，王斌1，李正煒1，吳元昊1

(1.中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033；

2.中國科學院大學，北京 100049)

摘要：為了對圖像中的顯著目標進行更精確的識別，提出一種新的基于多尺度區域對比的視覺顯著性計算模型。首先基于多尺度思想將圖像分別分割為不同數目的超像素，對超像素內的像素顏色值取平均以生成抽象化圖像；然后根據顯著特征的稀少性及顯著特征的聚集性，計算單一尺度下超像素顏色特征的顯著性值；最后通過取各尺度超像素顯著度的平均值來融合多尺度顯著圖，得到最終的視覺顯著圖。實驗表明，以MSRA圖庫中的1 000張隨機自然圖片為例，該模型較現有較好的區域對比模型，顯著目標識別的精確率提高了14.8%，F-Measure值提高了9.2%。與現有的算法相比，該模型提高了算法對顯著目標大小的適應性，減少了背景對顯著目標識別的干擾，具有更好的一致性，能更好地識別顯著目標。

關鍵詞:顯著目標識別；視覺顯著性計算模型；多尺度

Salient object detection based on multi-scale region contrast

1引言

顯著目標識別是視覺顯著性的一個重要應用。視覺顯著性反映了場景中的目標對人類視覺注意力的吸引能力。通過建立視覺顯著性計算模型可以對這種能力進行量化估計，并用灰度圖像表示出來。視覺顯著性廣泛應用于視覺計算的各種領域，包括顯著目標識別[1-3]、視頻分析[4]、遙感圖像處理[5-6]、圖像壓縮[7]等。

1998年，Itti等人[8]提出了基于顏色、方向、亮度特征的多尺度側抑制計算模型，成為了視覺顯著性計算模型的通用結構。之后的許多模型均基于這個框架結構建立，如Harel等人[9]提出的基于馬爾科夫隨機鏈的計算模型等。上述模型都是基于局部對比的計算模型，能有效地檢測出目標像素與周圍像素的特征差異大小，使得在邊緣附近的像素顯著性較大。但算法僅考慮了局部對比，未考慮全局的結構、布局等因素，容易檢測到局部顯著區域，而不能描述完整的顯著目標。由于基于局部對比模型的局限性，基于全局對比的計算模型被提出來，主要包括Hou等人[10]提出的光譜殘差模型和R.achanta等人[11]提出的頻率域調制模型。基于全局對比的算法參數少且計算簡單，充分考慮了全局的布局等因素，但由于算法缺乏局部對比機制，導致得到的顯著性目標表示的一致性較差。本文綜合考慮了局部對比與全局對比兩方面因素，采用以空間距離為權值的顏色距離來表示顯著性，并利用圖像中顏色的分布性來以全局的角度定義目標整體，解決了片面考慮所帶來的問題。

對人類視覺系統的研究表明，人眼會自動地將屬性相似且距離相近的像素點看做一個整體進行處理。因此，近些年視覺顯著性計算模型的研究越來越偏向區域化，如Bruce等人[12]提出的基于區域自信息量的計算模型等。這些模型能均勻地突出物體而非突出邊緣，且能保持物體輪廓及邊緣特性，所以得到的顯著性目標表示的一致性較好。尤其Cheng等人[13]提出了基于區域對比的計算模型RC(Region Contrast)，是目前較好的區域對比模型，其采用GB(Graph-Based)分割算法將圖像分割成多個區域，并對每塊區域內的像素顏色進行直方圖統計，以空間距離為權值計算直方圖間的不相似性。該模型以直方圖對比計算顯著性，有效地降低了計算量，且采用空間距離作權值，結合了局部對比與全局對比的因素，提高了識別精確率，但由于該模型采用的分割算法分割出的區域較大，涉及到空間距離的表達會不精確，從而影響識別的精確率。因此本文采用SLIC(Simple Linear Iterative Clustering)算法[14]將圖像抽象為多個超像素，每個超像素大小相似且適中，并且基于多尺度的思想，選擇分割成不同的超像素個數，以實現多尺度分析的目的，從而更好地處理不同大小的顯著目標的情況。實驗證明，本文提出的顯著性計算模型相較于現有的一些模型，提高了顯著目標識別的精確率，為進一步的目標分析提供了良好的基礎。

2算法描述

2.1　圖像多尺度抽象化

本文采用SLIC算法抽象化圖像，通過把具有相似顏色且距離相近的像素聚類，形成視覺上均勻的區域，生成超像素。SLIC算法利用K-means聚類在Lab顏色空間上分割圖像，生成緊湊且邊界清晰的超像素。設定抽象化圖像分為3個尺度，所包含的超像素個數為Nk={100,400,1000}，如圖1所示，并定義第k個尺度中的第i個超像素在Lab顏色空間上的顏色為Cik，空間位置為Pik，其中超像素的顏色由其內部所有像素的顏色平均值表示，空間位置取超像素的中心來表示。

圖1　不同尺度下的抽象化圖像Fig.1　Multi-scales abstract images

2.2　計算單一尺度超像素顯著性

根據context-aware[15]提出的準則：(1)具有不同顏色的區域對應顯著性值高，均勻的區域顯著性值低；(2)經常出現的特征應當被抑制；(3)顯著的像素應當聚集在一塊，而不是遍布整幅圖像。本文計算單一尺度下的超像素顯著性值，下面以圖2為例，取Nk=400，圖2為一張測試圖的原圖。

圖2　原圖Fig.2　Origin image

首先，由準則(2)可以看出，當某個超像素與其他的超像素的顏色差異較大時，則該超像素的稀少性高。由準則(1)可以看出，空間距離也能影響超像素顏色特征的稀少性，超像素之間的空間距離越近，則其顏色差異對稀少性的影響越大。反之，當超像素之間的空間距離較大時，即使其顏色差異較大，對稀少性的影響也不大。

基于上述分析，本文采用以超像素間空間距離作為權值的加權顏色距離之和來表示超像素的稀少性。定義dcolor(i,j)為第i個超像素與第j個超像素在Lab顏色空間上的歐式距離，并對其歸一化。dposition(i,j)為兩個超像素的空間位置的歐式距離，并對其歸一化。定義

(1)

圖3　R值對應的顯著圖Fig.3　Saliency map with value R

上述是通過準則(1)、(2)的特征性質推出的一種稀少性計算方法，而由準則(3)可以看出，當某種顏色遍布在整幅圖像時，則表現為該顏色的超像素空間分散性較高，而當某種顏色的超像素都聚集在某個區域，在圖像的其他區域基本沒有時，則這些超像素的空間分散性較低。

基于上述分析，本文選擇超像素與其他的與其顏色相近的超像素的空間距離之和來表示空間分散性。首先要選出與第i個超像素顏色相近的超像素，采用高斯低通濾波，定義

(2)

(3)

當超像素間顏色相近時，H(i,j)近似為1，即由超像素間的空間距離來表示空間分散性，而當超像素間的顏色距離較大時，H(i,j)近似為0，其空間距離對超像素的空間分散性基本沒有影響。由式(3)可以看出，Dik越大，則表明第i個超像素所具有的顏色在整幅圖像中分布越廣泛，空間分散性越高，如圖4所示。

在分別計算得到每個尺度下的Rik與Dik的值后，定義Sik表示第k個尺度下第i個超像素的顯著性，如圖5所示。

圖5　融合后的顯著圖Fig.5　Fused saliency map

根據上述分析，Sik應與Rik成正比，而與Dik成反比，且若某個超像素的Dik值較大時，即該超像素的顏色在整幅圖像中分布廣泛，則即使它在局部較為顯著，在整幅圖像上看，也是不具備高顯著性的，故定義

(4)

式中，σk為第k個尺度下的參數，不同尺度下σk也不同。當Nk取400時，超像素面積都比較小，即超像素內包含的像素數較少，其平均顏色與其內各個像素的顏色差異較小，故超像素的Dik值能較好地反映出像素顏色的分布廣泛性，故σk取值偏小。而當Nk取100時，超像素面積較大，即超像素內包含的像素數較多，則其平均顏色與其內各個像素的顏色差異較大，計算出的Dik值不能有效地反映實際像素顏色的分布情況，故σk取值應偏大。經過實驗，本文分別在Nk取100、400、1 000時，σk分別取0.5、0.2、0.1。

2.3　多尺度融合計算顯著性

在單獨計算出每個尺度的所有Sik值后，將每個尺度的顯著值均歸一化到[0,255]，并將其以灰度圖形式表達，如圖3所示。圖6中(a)、(b)和(c)分別對應圖1(a)在Nk={100,400,1 000}時的顯著圖。

圖6　各尺度下的顯著圖及最終顯著圖Fig.6　Saliency maps of variety scale and final saliency map

在求得各尺度的顯著圖后，需將各尺度顯著圖融合以得到最終的顯著圖。由于要識別的顯著目標大小未知，在沒有先驗知識的情況下并不能確定哪一個尺度下的顯著值能更好地識別顯著目標，故本文選擇求取各尺度顯著值的平均值作為最終顯著值。

首先分別將各尺度的顯著值Sik分配到超像素內的各個像素，并歸一化到[0,1]，然后3個尺度下對應像素的顯著值相加求平均值，最后將求得的最終顯著值重新歸一化到[0,255]，并以灰度圖像表示，如圖6(d)所示。

3實驗分析

本文在MSRA公開圖像庫中隨機選取1 000張自然圖片及其人工標注圖作為圖像測試集。

3.1　主觀評價

圖7　6種算法的顯著圖及人工標注圖1Fig.7　Saliency maps obtained by using six different algorithms and human annotated image 1

圖8　6種算法的顯著圖及人工標注圖2Fig.8　Saliency maps obtained by using six different algorithms and human annotated image 2

圖9　6種算法的顯著圖及人工標注圖3Fig.9　Saliency maps obtained by using six different algorithms and human annotated image 3

圖10　6種算法的顯著圖及人工標注圖4Fig.10　Saliency maps obtained by using six different algorithms and human annotated image 4

圖11　6種算法的顯著圖及人工標注圖5Fig.11　Saliency maps obtained by using six different algorithms and human annotated image 5

為了評價本文提出的顯著目標識別的優劣，比較Itti[4]算法(用IT標識)、Harel[5]算法(用GB標識)、Context-aware[11]算法(用CA標識)、頻域調制算法[7](用FT標識)、區域對比算法[9](用RC標識)與本文算法，用這些算法對圖像測試集內的圖像進行處理，得到顯著圖，如圖7至圖11所示。由圖7至圖11可以看出，本文算法較其它5種算法在顯著目標識別上表現更加優異。IT算法僅能標識出顯著目標的位置，且經常會標識出無意義的背景區域，甚至檢測不到顯著目標，如圖7所示。GB算法能標識出顯著目標的位置，但僅標識顯著目標的邊緣，難以通過GB算法的顯著圖得到顯著目標的整體信息。CA算法較GB算法有了明顯提高，但依然僅突出顯著目標的邊緣，整體信息較少，且容易受背景干擾目標的影響，如圖9所示。FT算法能完整的標識出顯著目標的整體信息，但對于背景的干擾不能有效排除，如圖8所示。RC算法能突出顯著目標，但易將背景中的干擾目標標識為顯著目標，如圖10所示。本文算法相較于其他算法表現更好，能完整地標識出顯著目標，且能有效排除背景的干擾，如圖11所示。

3.2　客觀實驗

F-Measure是分類算法中常用的算法評價方法之一，在很多視覺顯著性研究工作中作為評價模型的目標檢測準確率的方法之一。

F-Measure是精確率P(Precision Ratio)和召回率R(Recall Ratio)的調和平均數，其計算過程如下：

(5)

(6)

(7)

式中，α是一個實數參數，其越大，表明精確率相對于召回率在評價體系中越重要；True positive表示模型檢測到的真目標數；false positive表示模型檢測到的假目標數；false negative表示模型未檢測到的真目標數。精確率表明該模型進行顯著目標識別的準確性，而召回率則表明該模型進行顯著目標識別的全面性。

通過對圖像測試集進行處理計算，并與人工標注圖對比，得到各類算法的平均精確率P和召回率R，并根據式(5)計算F-Measure值。精確率和召回率以及F-Measure值常用來作為目標識別效果的測量。本文取α=0.3，得到最后的結果，如表1所示。

表1　6種算法的平均精確率、召回率及F-Measure值

由表1可以看出，IT算法的精確率、召回率及F-Measure值均遠小于其他幾個算法。GB、CA、FT算法的結果較為接近，但精確率僅有50%左右。RC算法的精確率、召回率及F-Measure值明顯提高。本文算法精確率相較于RC算法提高了14.8%，召回率相較于RC算法降低了8.0%，總的來說，F-Measure值較RC算法提高了9.2%。分析召回率較低的原因：由圖7至圖11可以看出,在本文算法的顯著圖上，顯著目標上的細節也有所體現，而給定的人工標注圖只標注出顯著目標的整體，對目標上的細節并沒有任何標注，導致本文算法標識出的顯著目標上的細節反而降低了算法的召回率，而RC算法對細節并沒有很多體現，故其查全率會較高。如圖11所示，警示牌上的字和符號在本文算法的顯著圖上有所體現，RC算法的顯著圖中細節體現較少，而人工標注圖上并沒有任何體現。

3.3　結果分析與對比

通過上述主觀評價和客觀實驗可以看出，本文算法在處理視覺場景時，相較于其他算法有更好的效果。

由于IT算法是基于局部對比的計算模型，所以其不能排除背景中局部顯著目標的干擾，在顯著圖中一些背景區域被標記為顯著區域，在處理雜亂的背景時，背景中的紋理或邊緣在局部對比中甚至會比顯著目標更加顯著，所以其準確率較低。GB和CA算法同樣是基于局部對比的改進模型，所以其僅能突出顯著目標的邊緣，不能完整地表達顯著目標，故其查準率和查全率并不能達到要求。FT算法是基于全局對比的計算模型，其能完整地表達顯著目標，但由于缺乏局部對比，其并不能有效地排除背景的干擾，故其查準率和查全率與GB、CA算法相近。RC算法是基于FT算法提出的改進模型,同時考慮了全局對比和局部對比，故其既能完整地表達顯著目標，又相對能排除復雜背景的干擾，所以其查準率和查全率相較于前幾個算法有明顯提高。但RC算法僅用稀少性作為顯著性的判別依據，且其采用的圖像分割的區域面積較大，并不適用于顯著目標較小時的顯著目標檢測。本文算法在RC算法的基礎上，采用超像素分割方法作為改進, 并融合多尺度對比，通過融合超像素顏色特征的稀少性與空間分散性來計算顯著值, 使本文算法更廣泛地適用于各種場景下的顯著目標識別，故本文算法的顯著圖更接近于人工標注圖，精確率及F-Measure值較RC算法也更高。

4結論

本文提出一種基于多尺度區域對比的顯著目標識別計算模型。本模型采用多尺度超像素抽象化圖像，在單一尺度下以超像素為單位通過融合其稀少性及空間分散性進行顯著性計算，最后融合多尺度顯著圖得到最終的視覺顯著圖。通過與其他幾個計算模型的對比，可以看出本文的模型能夠更加準確地標識出顯著目標，且包含更多的目標信息，得到的顯著圖在視覺上有更好的顯示效果。其精確率較RC算法提高了14.8%，F-Measure值提高了9.2%。下一步會嘗試降低算法復雜度，提高算法的實時性。

參考文獻：

[1]敖歡歡，俞能海，李衛海.基于區域特征的圖像顯著性建模[J].中國科學技術大學學報,2013,43(10)：837-842.

AO H H,YU N H,LI W H. A saliency model based on region features[J].J.UniversityofScienceandTechnologyofChina,2013,43(10): 837-842.(in Chinese)

[2]CHEN D,WU C. Object-based multi-feature competitive model for visual saliency detection[C]. Proceedings of the 2nd Internation Conference on Intelligent Systems Design and Engineering Applications. Chinese Association for Artificial Intelligent,Sanya,2012:1079-1082.

[3]邵楓,姜求平,蔣剛毅,等.基于顯著性分析的立體圖像視覺舒適度預測[J].光學 精密工程,2014,22(6):1631-1638.

SHAO F,JIANG Q P,JIANG G Y,etal.. Prediction of visual discomfort of stereoscopic images based on saliency analysis[J].Opt.PrecisionEng.,2014,22(6):1631-1638.(in Chinese)

[4]趙宏偉,陳霄,劉萍萍,等.視覺顯著目標的自適應分割[J].光學 精密工程,2013,21(2):531-548.

ZHAO H W,CHEN X,LIU P P,etal.. Adaptive segmentation for visual salient object[J].Opt.PrecisionEng.,2013,21(2):531-548.(in Chinese)

[5]曾文靜,萬磊,張鐵棟，等.復雜海空背景下弱小目標的快速自動檢測[J].光學 精密工程，2012,20(2):196-205.

ZHEN W J，WAN L，ZHANG T D,etal.. Fast detection of weak targets in complex sea-sky background[J].Opt.PrecisionEng.,2012,20(2):196-205.(in Chinese)

[6]賈松敏,徐濤,董政胤,等.采用脈沖耦合神經網絡的改進顯著性區域提取方法[J].光學 精密工程,2015,23(3):819-826.

JIA S M,XU T,DONG ZH Y,etal.. Improved salience region extraction algorithm with PCNN[J].Opt.PrecisionEng.,2015,23(3):819-826.(in Chinese)

[7]王源源,黃大慶.無人機偵察圖像壓縮[J].光學 精密工程,2014,22(5):1363-1370.

WANG Y Y,HUANG D Q. Compression for UAV reconnaissance images[J].Opt.PrecisionEng.,2014,22(5):1363-1370.(in Chinese)

[8]ITTI L,KOCH C,NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J].IEEETransactiononPatternAnalysisandMachineIntelligence,1998,20(11):1254-1259.

[9]HAREL J,KOCH C,PERONA P. Graph-based visual saliency[C]. Proceedings of Neural Information Processing Systems. Vancouver BC:Neural Information Processing System Foundation Press,2007:545-552.

[10]HOU X,ZHANG L. Saliency detection: a spectral residual approach[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society Press,2007:1-8.

[11]ACHANTA R,HEMAMI S,ESTRADA F,etal.. Frequency-tuned salient region detection[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society Press,2009:1597-1604.

[12]BRUCE N,TSOTSOS J K. Saliency based on information maximization[C]. Proceedings of In Advances in Neural Information Processing Systems. Vancouver BC: Neural Information Processing System Foundation Press,2006:155-162.

[13]CHENG M,MITRA N,HUANG X,etal.. Global Contrast Based Salient Region Detection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2015,37(3):569-582.

[14]ACHANTA R,SHAJI A,SMITH K,etal.. SLIC superpixels compared to state-of-the-art superpixel method[J].J.LatexClassFiles,2012,6(1):1-8.

[15]GOFERMAN S,ZELNIK-MANOR L,TAL A. Context-aware saliency detection[J].IEEETransactiononPatternAnalysisandMachineIntelligence,2012,34(10):1915-1926.

成培瑞(1990—)，男，山東東營人，碩士研究生，主要從事計算機視覺方面的研究。E-mail：cpr@mail.ustc.edu.cn

王建立(1971—)，男，山東曲阜人，研究員，博士生導師，主要從事地基大型光電設備總體技術方面的研究。E-mail：wangjianli@ciomp.ac.cn

CHENG Pei-rui1,2, WANG Jian-li1*, WANG Bin1, LI Zheng-wei1, WU Yuan-hao1

(1.ChangchunInstituteofOptics,FineMechanicsandPhysics,

ChineseAcademyofSciences,Changchun130033,China；

2.UniversityofChineseAcademyofSciences,Beijing100049,China)

*Correspondingauthor,E-mail:wangjianli@ciomp.ac.cn

Abstract:A novel visual saliency computing model is proposed based on multi-scale region contrast to perform more accurate detection on salient object. Firstly, the image is divided into different number of super-pixels based on multi-scale method, and the values of pixels in every super-pixel are averaged to create abstract image. Secondly, based on scarcity and aggregation, both of which are the characters of saliency, the color's saliency of super-pixel is computed in single scale. By averaging the salient images in every scale, the multi-scale salient images are fused and the final visual salient image is obtained in the end. The simulation result shows that with 1 000 random nature images in the MSRA Libraries, the model improves the precision ratio of salient object detection by 14.8% and F-Measure value by 9.2%, compared with current well-performed region contrast model. The model improves the adaptability of the size of salient objects, and reduces the disturbance of background. It performs better consistency and has better ability to recognize salient object in comparison with current algorithms.

Key words:salient object detection;visual saliency computing model;multi-scale

作者簡介：

中圖分類號：TP391.41

文獻標識碼:A

doi:10.3788/CO.20160901.0097