基于相似性融合的顯著區域檢測方法研究

蔣益鋒 胡琳娜 劉冉冉

摘要：提出一種簡單有效的基于相似性融合的顯著區域檢測方法：首先，通過最小方差量化降低顏色數，在將量化圖像分割為超像素后，融合環繞性和邊界連通性線索計算超像素的加權融合顯著值，加權系數基于融合方法的顯著相似性獲得;同時，引入融合修正以增強前景區域;最后，通過顯著性平滑和增強抑制圖像背景，得到高亮且均勻的顯著區域檢測結果。為了驗證所提出方法的有效性，在ASD、ECSSD、ImgSal三個公開數據集上與8個現有方法進行了性能比較，實驗結果表明：所提出的融合機制可有效提升MaxF和S-measure等性能指標，并得到更為理想的檢測結果。

關鍵詞：顯著性;顯著區域檢測;相似性;融合

中圖分類號：TN911文獻標識碼：A文章編號：2095-7394（2021）06-0050-09

當人類在觀察一個場景時，視覺系統可以在極短的時間內實現對場景內容的整體把握，并在某一時刻內快速理解場景中某一區域的細節信息。隨著人眼在場景中的快速跳轉，人類視覺系統將依據場景內容的重要程度從一個位置跳轉到下一個位置，直到掌握整個場景的主要內容。在計算機視覺領域，顯著性檢測技術通常用于揭示場景內容的重要程度，其主要任務可分為人眼視點預測[1-4]和顯著區域檢測[5-7]，從所采用的檢測手段[6]來看，可分為快速的、自底向上的、數據驅動的顯著性檢測，以及慢速的、自頂向下的、任務驅動的顯著性檢測。目前，顯著性檢測技術已被廣泛地應用于圖像分割[8]、小目標檢測[9]、目標跟蹤[10]、視頻壓縮[11]以及視頻摘要[12]等計算機視覺領域。

自底向上的檢測方法采用圖像的底層特征檢測顯著區域，此類方法一般利用中心-環繞的局部特征差異或特征的全局稀缺性來計算顯著性。基于局部特征差異的方法通過從輸入圖像中抽取不同的視覺特征，并利用視覺特征的局部差異生成顯著圖;基于全局稀缺的方法通過在整個場景中抽取全局的稀缺特征，并利用這些稀缺特征作為顯著區域的特征表示。除了通常所采用的顏色特征外，可用于顯著性檢測的圖像特征還包括強度[13]、紋理[14]和頻譜[1，3]等。

受早期感知視覺系統和選擇性注意機制的啟發，Itti等人[1]利用高斯差和中心-環繞對比預測人眼視點;Ma等人[15]采用模糊增長和局部對比分析計算顯著性;Hou等人[2]提出了SR方法，該方法利用頻域中的譜殘差獲得顯著圖;而Li等人[3]認為，SR方法只利用了相位信息，導致僅適用于特定場景，因此，采用低通高斯濾波核對圖像的振幅譜進行卷積操作，實現顯著性檢測;Achanta等人[5]提出了FT方法，通過在Lab顏色空間中計算顏色特征距離獲得顯著區域。文獻[4]提出了一種采用布爾圖檢測顯著性的BMS方法，該方法認為，基于圖像特征稀缺性的檢測方法有時會忽略全局信息并將顯著區域錯誤地定位到高對比的區域，因此基于格式塔心理學原理，采用環繞性線索檢測顯著性。由于在注意圖的生成過程中，BMS方法去除了所有與圖像邊界連通的區域，因而會導致對貼邊顯著區域檢測的失效。

本文同樣關注快速的、自底向上的、數據驅動的顯著區域檢測方法。這里所提出的基于相似性融合的顯著區域檢測方法，在最小方差量化后對量化圖像進行超像素分割;然后，在每個超像素上基于相似性對兩種顯著性結果進行融合并修正;最后，通過平滑和增強后處理得到顯著區域檢測結果。在三個數據集上的實驗結果表明：所提出的方法具有較高的MaxF和S-measure指標，并能夠得到高亮且均勻的顯著區域檢測結果。

1基于相似性融合的顯著區域檢測方法

1.1方法框架

如圖1所示為本文方法框架。首先，采用最小方差量化將輸入圖像包含的顏色數降為256 色，以得到較為緊致的超像素;然后，對量化圖像進行超像素分割，并在每個超像素上引入加權系數，對基于BMS和RBD的顯著相似性進行融合;在得到補償修正后的超像素顯著性后，進一步通過平滑和增強的兩步后處理操作得到顯著區域檢測結果。

1.2顏色量化

為了降低顏色計算的復雜度并形成超像素的緊致性，本文首先將輸入圖像縮放到400像素寬度，并在RGB顏色空間中采用最小方差量化[16]將輸入圖像所包含的顏色數統一降低為256色;最小方差量化將RGB所屬的立方體空間自適應地劃分為不高于256個的大小不等的小立方體空間，其中分布較為稠密的顏色區域分配得到較大的立方體空間，分布較為稀疏的顏色區域分配得到較小的立方體空間;最后，將每個小立方體中包含的所有顏色統一映射為該立方體的中心顏色。雖然，顏色數的減少帶來了一定的圖像失真，但由于圖像中的顏色分布在一定的局部區域內具有極高相似性，且人眼視覺很難感知到R、G、B通道上細微的值差異;因此，為合并圖像中的顏色，并只保留少數顏色以表征圖像整體分布帶來可能。

如圖2所示為最小方差量化圖，圖2（b）是對圖2（a）采用最小方差量化得到的結果，圖2（c）顯示了量化前后的差異。其中，輸入圖像I包含了31 285種顏色。可以看到：雖然經過量化后顏色數只剩下256種，但人眼很難看出量化前后的顯著差異，其差異圖也僅在顯著區域的輪廓處有較為明顯的區別。如表1所示為平均絕對誤差，將輸入圖像I和量化結果V歸一化到[0，255]的整數區間，并在R、G、B三個顏色通道上計算得到兩者的平均絕對誤差（Mean Absolute Error，MAE）：

其中：i∈{1，2，3}表示R、G、B三個顏色通道;W和H分別表示圖像的寬度和高度;符號丨·丨表示絕對值計算。可以看到，最小方差量化前后得到的圖像只具有較小的MAE。

1.3基于相似性的顯著性融合

在得到經過量化的圖像后，采用SLIC方法[17]對量化圖像進行超像素分割，超像素個數的上限設置為200。考慮到BMS方法對與圖像邊界連通的顯著區域檢測的失效，本文采用基于邊界連通性的RBD方法陷作為補充。在分別采用BMS和RBD方法計算得到顯著圖并歸一化到[0，1]的浮點數區間后，對每個超像素進行逐像素的加權融合，第i個超像素內坐標（x，y）處像素的融合值為：

其中，符號丨·丨表示絕對值計算。

圖3示例了上述融合過程：從第一行可以看到，對于相似的顯著區域輸出，融合結果可以對前景區域進一步增強;而第二行中，由于BMS導致的顯著區域檢測失效，得到了一幅近乎全黑的顯著圖，但經過補償修正后的融合結果仍然有效保留并增強了實際的顯著區域。

處理操作采用gamma值為2的非線性映射，將[0，0.5]區間統一映射到[0，1]區間，使得前景部分更趨向于1，而背景部分保持不變，以得到高亮的前景區域。如圖4所示，為平滑與增強后處理圖。圖4（b）是對圖3（a）進行兩步后處理操作后得到的顯著區域檢測結果，兩者的差異如圖4（c）所示。可以看到：經過平滑和增強后處理，顯著區域得到進一步的增強，同時，背景部分依然保持較低的顯著值。最后，將后處理的結果縮放回原始圖像大小并歸一化，得到最終的顯著區域檢測結果。

2實驗結果和分析

本節對文中提出方法與8個顯著性檢測方法在ASD[5，19]、ECSSD[7，20]和ImgSal[3，21]三個公開數據集上進行算法性能比較。檢測方法為PCA[22]、GU[23]、GR[24]、GC[23]、COV[25]、BMS[4]、RPC[26]、TLLT[27]，實驗平臺為1.80 GHz CPU、8 GB內存，算法采用MATLAB實現。

2.1評估數據集

ASD數據集也稱為MSRA1000或MSRA1K數據集，是最為經典的顯著區域檢測評估數據集，共包含1 000張圖像，并依據顯著區域輪廓標注有二值真值圖。其中，大部分圖像只包含一個顯著區域并位于圖像的中心。ECSSD數據集增加了包括圖像背景不平滑、顯著區域與背景顏色接近、顯著區域外輪廓模糊等更為復雜的圖像結構，但其中大部分的顯著區域依然聚集于圖像中心。ImgSal數據集在構造時則更多地考慮了待檢測圖像本身的差異性，與ECSSD數據集相比，該數據集包括更多小尺寸的顯著區域以及更為雜亂的背景;同時，顯著區域要更為遠離圖像中心。

2.2評估方法

本文采用精確率-召回率（Precision-Recall，PR）和F度量（F-measure）來評估檢測方法性能。當得到一幅輸入圖像的顯著圖S后，將其二值化為M，并通過比較M與人工標注圖G，計算出精確率P和召回率R：

其中，符號丨·丨表示計算前景像素的數量。但無論是精確率或召回率都無法單獨表征檢測方法的性能，因此，采用兩者的調和平均（即F度量）來評估性能，計算式為：

其中，參數β²參照文獻[5]的建議設置為0.3。

本文采用一組[0，255]間的固定閾值對顯著圖進行序列化的二值分割，并對應計算256組精確率、召回率和F度量值。除了繪制PR曲線和F曲線來直觀地展示各方法的檢測性能外，本文還計算了兩個統計指標作為方法性能的定量評估。

（1）MaxF指標。序列化二值分割產生的256 組F度量的最大值，該指標表明了方法的最優檢測性能。

（2）S-measure指標[28]，即結構度量指標。該指標可以有效度量顯著圖與人工標注圖之間面向區域和面向物體的結構相似性。

2.3評估結果和分析

如圖5所示，是在三個數據集上的PR曲線比較。其中，黑色曲線代表本文所提出方法。可以看到：本文方法在大部分的召回率區間都具有較高的精確率，PR曲線有效覆蓋了參與比較的其它方法。

如圖6所示，是在三個數據集上的F曲線比較。其中，黑色曲線代表本文所提出方法。在F曲線圖中，主要觀測曲線的峰值即MaxF值，該值所在的x軸坐標即為最優分割閾值，而在最優分割閾值下得到的F度量值，表明了方法的最優檢測性能。可以看到，在三個數據集上本文方法都具有最大MaxF峰值

表2和表3分別是在三個數據集上的MaxF和S-measure指標的統計比較。與參與比較的8個顯著性檢測方法相比，本文方法在三個數據集上都具有最高的指標值。從表2、表3的統計結果中可以看到：平均而言，三個數據集中，各檢測方法在ImgSal數據集上均得到了較低的指標值，表明ImgSal相對于前兩個數據集具有更大的檢測難度;而在ASD數據集上，各檢測方法普遍獲得了最高的指標值，表明該數據集的檢測難度較低。

如圖7所示，為本文提出算法與8種檢測方法得到的顯著圖的視覺比較。圖7（a）是原始的輸入圖像，其中的上面三行、中間三行、下面三行圖像，分別來自于ASD、ECSSD、ImgSal三個數據集;圖7（b）是人工標注的真值圖;圖7（c）是本文算法的檢測結果。可以看到：相較于其它8種方法，本文算法檢測得到的顯著圖具有高亮且均勻的前景區域，同時，非顯著區域的圖像背景得到了有效抑制。

3結語

本文針對靜態圖像的顯著區域檢測問題，提出了一種基于顯著相似性融合的檢測方法：首先，采用最小方差量化降低顏色數，使得超像素分割得到的區域更為緊致;然后，針對基于環繞性線索對貼邊顯著區域的檢測失效，引入基于邊界連通性的方法進行加權融合，并在每個超像素上對融合結果進行修正，以增強前景區域;最后，通過顯著性平滑和增強的后處理操作，得到高亮且均勻的顯著區域并抑制了圖像背景。在ASD、ECSSD、ImgSal三個數據集上的實驗結果表明：所提出的方法在MaxF和S-measure兩項指標上均優于流行的8種顯著區域檢測方法;同時，本文所提出的加權融合機制簡單有效，也適用于對現有顯著性方法的融合。下一步，將在更多數據集和現有檢測方法上驗證這一融合機制，并針對具有復雜背景以及背景與顯著區域具有高度顏色相似等圖像，進一步改進并提升該融合方法的正確性和有效性。

參考文獻：

[1]張晴，李云.基于馬爾科夫鏈和物體先驗的顯著物體檢測[J].計算機工程與設計，2019，40（4）：1038-1045.

[2]李楚為，張志龍，楊衛平.結合布爾圖和灰度稀缺性的小目標顯著性檢測[J].中國圖象圖形學報，2020，25（2）：267-281.

[3]LI J，LEVINE M D，AN X J，et al. Visual saliency based on scale-space analysis in the frequency domain[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（4）：996-1010.

[4] ZHANG J，SCLAROFF S. Saliency detection：a boolean map approach[C]. Proceedings of the IEEE International Conference on Computer Vision，2013：153-160.

[5] ACHANTA R，HEMAMI S，EATRADA F. Frequency- tuned salient region detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2009：1597-1604.

[6]王豪聰，趙曉葉，彭力.基于前景增強與背景抑制的顯著性物體檢測[J].計算機工程與科學，2018，40（6）：1119- 1124.

[7]YAN Q，XU L，SHI J，et al. Hierarchical saliency detection [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2013：1155-1162.

[8] QIN C C，ZHANG G P，ZHOU Y C，et al. Integration of the saliency-based seed extraction and random walks for image segmentation[J]. Neurocomputing，2014，129：378-391，.

[9] LOU J，ZHU W，WANG H，et al. Small target detection combining regional stability and saliency in a color image [J]. Multimedia Tools and Applications，2017，76（13）：14781-14798.

[10] BORJI A，FRINTROPS，SIHITE D N，et al. Adaptive object tracking by learning background context[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2012：23-30.

[11] GUO C L，ZHANG L M. A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression[J]. IEEE Transactions on Image Processing，2010，19（1）：185-198.

[12] LEE Y J，GHOSH J，GRAUMAN K. Discovering important people and objects for egocentric video summarization[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2012：1346-1353.

[13] ZHAI Y，SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C].Proceedings of the ACM International Conference on Multimedia，2006：815- 824.

[14] SCHARFENBERGER C，WONG A，CLAUSI D A. Structure- guided statistical textural distinctiveness for salient region detection in natural images[J]. IEEE Transactions on Image Processing，2015，24（1）：457-470.

[15]張繩富，董蓉，李勃.基于顏色先驗的顯著性物體檢測[J].現代制造工程，2019（4）：122-128.

[16] HECKBERT P. Color image quantization for frame buffer display[J]. Comput Graph，1982，16（3）：297-307.

[17] ACHANTA R，SHAJI A，SMITH K，et al. SLIC superpixels compared to state- of- the- art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intel- ligence，2012，34（11）：2274-2282.

[18] ZHU W，LIANG S，WEI Y，et al. Saliency optimization from robust background detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recog- nition，2014：2814-2821.

[19] LIU T，SUN J，ZHENG N N，et al. Learning to detect a salient object[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2007：1-8.

[20] SHI J P，YAN Q，XU L，et al. Hierarchical image saliency detection on extended CSSD[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（4）：717-729.

[21] LI J，LEVINE M D，AN X，et al. Saliency detection based on frequency and spatial domain analysis[C]. Proceedings of the British Machine Vision Conference ，2011：1-11.

[22] MARGOLIN R，TAL A，ZELNIK M. What makes a patch distinct？[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2013：1139-1146.

[23] CHENG M M，WARRELL J，LIN W Y，et al. Efficient salient region detection with soft image abstraction [C]. Proceedings of the IEEE International Conference on Computer Vision，2013：1529-1536.

[24] YANG C，ZHANG L，LU H. Graph- regularized saliency detection with convex- hull- based center prior[J].IEEE Signal Processing Letters，2013，20（7）：637-640.

[25] ERDEM E，ERDEM A. Visual saliency estimation by non- linearly integrating features using region covariances [J] Journal of Vision ，2013，13（4）：1-20.

[26] LOU J，REN M W，WANG H. Regional principal color based saliency detection[J]. PlosOne，2014，9（11）：1-13.

[27] GONG C，TAO D，LIU W，et al. Saliency propagation from simple to difficult[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：2531- 2539.

[28] FAN D P，CHENG M M，LIU Y，et al. Structure-measure：a new way to evaluate foreground maps[C]. Proceedings of the IEEE International Conference on Computer Vision，2017：4548-4557.

Research on Significant Region Detection Based on Similarity Fusion

JIANG Yifeng1，HU Linna2，LIU Ranran3

（1. Information Center，Jiangsu University of Technology，Changzhou 213001，China;2. Zijin College，Nanjing University of Science & Technology，Nanjing 210046，China;3. School of Automotive and Transportation Engineering，Jiangsu University of Technology，Changzhou 213001，China）

Abstract：In this paper，a simple and effective salient region detection method based on the similarity fusion is presented. Firstly，the color number is reduced by minimum variance quantization. After the quantized image is segmented into superpixels，the weighted fusion saliency value of superpixels is calculated by fusing the surrounding and boundary connectivity clues，and the weighted coefficients are obtained based on the significant similarity of the fusion method. In addition，a fusion correction is introduced to enhance the foreground area. Finally，high- bright and uniform detection results of salient regions are obtained by smoothing and enhancing the image background. In order to verify the effectiveness of the proposed method，eight existing methods are compared on ASD，ECSSD and ImgSal public datasets. The experimental results show that the proposed fusion mechanism can effectively improve MaxF and S-measure performance indicators，and obtain more ideal detection results.

Key words：saliency;salient region detection;similarity;fusion