基于顏色與梯度布爾特征融合的圖像顯著性檢測

逄銘雪， 葉西寧， 凌志浩（華東理工大學信息科學與工程學院，上海 200237）

基于顏色與梯度布爾特征融合的圖像顯著性檢測

逄銘雪， 葉西寧， 凌志浩
（華東理工大學信息科學與工程學院，上海 200237）

圖像顯著性檢測存在區域不均勻、顯著性值低的問題，本文在對BMS（Boolean Map based Saliency）模型進行研究的基礎上提出了基于顏色與梯度布爾特征融合的顯著性檢測模型（Boolean Map of Color and Gradient based Saliency，BMCG）。根據Gestalt前背景分離的原則，通過隨機閾值化顏色通道和梯度通道產生含有圖像拓撲結構的二進制布爾新息圖，進一步生成視覺注意圖并進行線性融合，經過后處理形成顯著性圖。仿真結果表明BMCG算法比BMS算法的召回率提高了2.12%，準確率提高了4.56%。

布爾特征；前背景分離；視覺注意

隨著互聯網時代多媒體數據的指數式增長，人們對以圖搜圖、虛擬現實等技術的要求不斷提高，面對復雜多樣的圖像，較短時間內人們的視覺注意焦點往往集中在最能表達圖像內容的部分，即顯著性區域。顯著性區域的檢測能有效減少冗余的圖像塊，加權目標區域，適用于苛求質量和效率的大數據時代，可廣泛地應用于目標檢測和識別、圖像檢索、圖像和視頻壓縮、照片拼貼和視覺跟蹤等方面。

自從Itti和Koch［1］于1998年提出基于中央-周圍準則的自底向上的生物啟發模型以來，涌現出了大量運用對比度、稀疏性、對稱性等圖像特征或在頻域構造顯著性模型的檢測方法，它們在一定程度上檢測出了顯著性目標，但是對具有高對比度、稀疏性的或者雜亂的背景區域卻無能為力。神經學研究發現，人類隨意一瞥，大腦就自動實現了目標-背景的標定［2］。Gestalt學派斷言，在一個特定的知覺領域里，有些對象突出形成易于被感知的圖形，即顯著性目標；而其他對象則退居次要地位，即背景。顯著性目標是由其輪廓和背景相關的不同亮度和顏色間隔所決定的，圖形尺寸、閉合輪廓、凸性和對稱性等都將影響前景、背景的分離［3］。運用該認知原則，Zhang等［4］提出了BMS模型，利用其閉合輪廓線索檢測顯著性，能有效地過濾掉虛假“目標”區，但由于只采用了全局顏色拓撲結構信息，在保留目標邊緣信息和均勻地突出目標整體方面仍有所欠缺。本文在對BMS模型進行分析研究的基礎上提出了融合顏色與梯度布爾特征的顯著性檢測模型（Boolean Map of Color and Gradient based Saliency，BMCG）。梯度拓撲結構信息的增加能進一步突出顯著性目標邊緣，采用的多是位計算，保證了檢測效率，建模出人類視覺注意期望的全分辨率顯著性圖，可很好地作為后續圖像處理工作的輸入。

1　基于布爾圖理論的顯著性檢測

自然視覺是二進制編碼形成的宏觀表現，圖像在微觀上是一系列二進制數據的表征，由隨機閾值化的顏色通道產生，因此布爾特征提供了一種很好的視覺圖像分析途徑。

視覺注意是有選擇的視覺處理過程，突出了人類視覺注意力焦點。在布爾特征圖中，將一個視覺場景分為兩塊互補的分區空間表示：被選擇的區域和不被選擇的區域［5］。布爾圖將視覺場景按特征進行了二值化。布爾圖可以通過選擇特征來創建，這個特征可以選擇顯示范圍內所有的特征維度，比如，物體在顏色值和方向值上都有變化，可以選擇顏色值或者方向值來創建布爾圖。如圖1（c）所示，三維灰度圖中間有完整閉合輪廓的凸起或凹下比較明顯的區域是視覺注意目標，用不同閾值的橫切面對其進行切割并閾值化，得到一系列映射到特定特征維度上的布爾圖；反推過來，只有通過某維度上多特征布爾圖的疊加，才有可能將不同的布爾圖層的顯著性特征屬性融合，檢測出顯著性目標。

圖1　三維灰度空間布爾圖理解Fig.1 Boolean map theory of 3-D gray image

2　BMCG算法

2.1BMCG算法模型的建立

BMCG算法根據布爾圖理論和Gestalt認知原則，用布爾圖來描繪觀察者對場景的即時理解。其思想是：對一幅輸入圖像I，首先利用顏色和梯度布爾特征圖的拓撲結構線索，通過隨機閾值化顏色和梯度特征通道分別產生顏色布爾圖Bcolor（·）和梯度布爾圖BGrad（·）；然后分別對顏色和梯度布爾圖進一步處理生成視覺注意圖A（B），激活那些具有閉合輪廓的區域；最后根據式（1）［4］融合一系列視覺注意圖生成全分辨率的顯著性圖SA。

其中p（B|I）是圖像布爾圖的先驗分布值。

算法的具體過程如圖2所示，步驟如下：

（1）給定一幅圖像I，通過隨機閾值化顏色和梯度特征通道，計算得到顏色布爾圖Bcolor=（Bcolor1，Bcolor2，…，Bcolorn）和梯度布爾圖Bgrad=（Bgrad1，Bgrad2，…，Bgradn）。

（2）基于Gestalt前背景分離原則，計算每幅布爾圖的視覺注意圖Ai。

（3）將顏色和梯度特征視覺注意圖融合，經后處理后輸出顯著性圖S。

2.2顏色和梯度特征布爾圖的生成

BMCG根據顏色和梯度特征通道的先驗分布設置閾值，產生多通道布爾圖：

圖2　BMCG生成顯著圖過程Fig.2 Saliency map producing in BMCG

式中：C（I），G（I）分別為輸入圖像的顏色和梯度通道特征圖；pC，pG，pθ，pφ分別為C（I），G（I），θ，φ的先驗分布。若特征值大于閾值，則該通道像素值設為1；反之，則為0。閾值θ，φ是［0，255］上的均勻分布，任意閾值的累加分布函數F（θ，φ，Ichannel）相當于將255F－1（·）映射到每個特征通道上。給定一幅圖像I，所選擇的顏色空間和特征通道的先驗分布很大程度上決定了布爾圖的結構。顏色通道C（I）反映圖像的全局信息，CIE Lab顏色空間能很好地以顏色之間的差異體現人眼感覺到的色差大小，視覺上具有良好的連續性，有利于形成良好的顏色通道特征圖。將Lab顏色空間每個顏色通道歸一化到［0，255］范圍內，保證處理效果的一致性。將Lab顏色空間三通道在視覺認知上發揮等同的作用作為先驗知識，枚舉三通道值，并通過一個固定的步長δ來采樣閾值θ將它們二值化，得到一組顏色布爾圖C（I）=（Bcolor1，Bcolor2，…，Bcolorn），如圖3（a）所示（由于選擇閾值的隨機性使生成多張布爾圖，此處僅列出幾張加以說明）。

由于顏色對像素方向、大小等變化不敏感造成閉合區域內目標的顯著性值下降，而在圖像梯度空間中，梯度反映了圖像灰度最大的變化率，很大程度上反映出圖像邊緣上的灰度變化。運用這一性質，彌補顏色特征值的缺陷，分別在圖像灰度空間和RGB顏色空間內使用［－1，0，1］的掩膜計算像素x、y方向的梯度gx和gy，對RGB顏色空間來說取最大的顏色通道梯度值作為該像素的梯度值。合并后形成的梯度特征圖G（x，y）=d xi＋d yi=min （|gx|＋|gy|，255），通過φ閾值化形成一組梯度布爾值GRGB（I）=（Bgrad1，Bgrad2，…，Bgradn）。實驗發現，在RGB顏色空間形成的梯度布爾圖比灰度空間能夠更好地提取出目標輪廓，因此生成RGB顏色空間內的梯度布爾圖，如圖3（b）所示。接著對C（I）和GRGB（I）進行反二進制閾值化，形成反顏色和梯度特征布爾圖（I）和RGB（I），以防止閾值選取過高時漏檢顯著性目標，分別如圖3（c）和3（d）所示。最后采用內核為ωd1的開運算去除特征布爾圖內的噪聲。

2.3視覺注意圖生成

給定顏色和梯度特征的布爾圖，BMCG基于格式塔原則的前背景分離理論計算視覺注意圖：顯著性目標很大程度上具有完整閉合的輪廓，而背景往往是無序的。顏色和梯度特征的布爾圖中被包圍區域是值為0或1的連通區域，具有完整閉合的輪廓，只有圖像邊界是缺少完整輪廓的。為計算視覺注意圖，BMCG將被包圍區域置為1，其余置為0，可利用flood fill算法快速掩膜出與圖像邊界連通的像素，保留具有閉合輪廓的部分，最終得到了一系列的視覺注意圖｛A1（B1），A2（B2），…，Al（Bl）｝，如圖4所示。

在多層視覺注意圖融合之前先進行歸一化處理以保留小的視覺注意區域。BMCG在其L2范數范圍進行歸一化處理，與L1范數相比較而言，L2范數對極小的顯著性區域并不敏感，對融合過程產生較深的影響。為進一步懲罰具有小的、分散的顯著性區域的視覺注意圖，在歸一化之前對其進行內核寬為ωd1的膨脹操作。

2.4顯著性圖生成

如何有效地融合圖像信息一直是顯著性檢測中的關鍵問題，顯著性檢測模型常用的融合方法有均值、相乘、平方、最大值、對數法等，近年來，建立邏輯回歸器、條件隨機場等學習權系數進行融合的方法非常流行，但受訓練數據的影響很大。總的來說，線性融合方法應用最為廣泛，但融合結果與權系數的選擇息息相關。文獻［6］通過輸入93維的特征數據和顯著性得分學習融合器f（A1，A2，…，Al）=，運用最小二乘法化損失函數得到κm，它同時也采用平均線性融合方法進行融合，最后發現取得的效果和學習的融合器幾乎沒有差別。受此啟發，充分考慮到生成的視覺注意圖注意區域的互補性和數量的隨機性，本文采用線性平均融合，最后生成的顯著圖如圖5所示。

圖3　生成的一系列顏色和梯度布爾圖Fig.3 Generated Boolean maps of color and gradient

圖4　生成的一系列視覺注意圖Fig.4 Generated visual attention maps

圖5　生成的顯著性圖Fig.5 Generated saliency map

3　仿真結果與性能分析

3.1顯著性檢測結果

為了驗證BMCG模型檢測顯著性的有效性，在提供了人工標注的精確顯著性目標的MSRA10K公開測試集上進行驗證，在Pentium（R）Dual-Core CPU E5800 3，20 GHz，4 G內存的OpenCV運行環境下，對本文提出的BMCG算法以及當前流行的FT［7］、CA［8］、SR［9］、HC［10］、RC［10］、BMS［4］顯著性檢測算法進行了仿真研究，仿真結果如圖6所示。圖中第1列（左起）是輸入的原圖，第2列（Ground truth）是人工標記的結果圖，再往右各列分別是BMCG、BMS、RC、HC、SR、CA、FT算法的仿真結果。

對比第2列人工標記的顯著性目標可以看出：SR、CA只是檢測出了模糊的顯著性目標邊緣。FT檢測出的顯著性目標顯著性值與背景相近，難以分割出顯著性目標。HC對高對比度的背景區域不敏感，如圖6中第4和第6原圖中，由于天空和大地之間的高對比度，HC檢測效果圖中亦將大地作為了顯著性目標，增加了誤檢率。RC方法過度強調顏色純粹的局部特征，如圖6第3和第5原圖中，由于顯著性目標（國旗和標志牌）中顏色對比度較高，使得國旗中的藍色和標志牌中的箭頭顯著性值大大降低，破壞了顯著性區域的均勻性。BMS中顏色特征對像素方向等變化不敏感，降低了某些區域（如圖6中第1圖中的塔尖，第5，6圖中標志牌的黃色區域）的顯著性值，使得整個顯著性目標變得不均勻。BMCG結合了像素顏色和梯度兩種布爾圖，像素梯度布爾值能彌補因顏色布爾值變化較小時引起顯著性值降低的缺點（如圖6中第1、2、5、6圖），獲得的顯著圖最接近人工標注的顯著性目標的外觀，檢測出了高亮、均勻的顯著性區域，而且其平均處理一幅圖像耗時接近0.39 s，并不損害用戶體驗。

圖6　不同顯著性檢測方法效果圖Fig.6 Saliency maps generated by different models

3.2算法性能分析

為了進一步評估BMCG算法的性能，參考文獻［10］提出的評估方式，通過精度（Precision）-召回率（Recall）曲線圖以及精度、召回率、F-measure柱狀圖對算法的性能進行評估。精度反映的是被顯著性檢測模型判定的顯著性目標中真正的顯著性目標的比重，召回率反映的是被正確判定的顯著性目標占總的顯著性目標的比重。精度與召回率越高說明算法的顯著性檢測效果越好，但是，一般來說，精度與召回率不可能兩全其美，高的召回率是以降低準確率為代價的。本文通過閾值化二值顯著圖產生的各種算法的精度-召回率曲線（PR curve）如圖7（a）所示，由圖7（a）可以看出，BMCG算法在保證71.98%的召回率情況下取得了88.01%的精度。

除了通過精度和召回率研究算法的性能之外，本文還通過計算F-measure的方法來評估，F-measure指數越高，效果越好。

其中β2=0.3以使正確率的權重高于召回率。

通過仿真得到的各種算法的精度、召回率、F-measure的柱狀圖如圖7（b）所示。由圖7（b）可以看出，相比較目前其他的流行算法，BMCG的效果最好，由圖中可得到BMCG算法比BMS算法的召回率提高2.12%，準確率提高4.56%。

圖7　各類顯著性檢測方法的PR曲線（a）和P-R Fβ柱狀圖（b）比較Fig.7 PR curve and P-R Fβbar of different models

4　結 論

本文根據Gestalt圖形原則，利用布爾圖理論，提出了融合顏色和梯度二值特征的布爾圖顯著性檢測模型，充分利用了目標輪廓信息來進行前背景分離，像素的梯度布爾值的融入增加了顏色布爾值的方向變化信息，促進了輪廓檢測的連貫性，檢測出顯著性得分高的區域；圖像特征空間的處理都是布爾特征空間中的位操作，保證了檢測效率。在MSRA10K數據庫上的仿真結果表明該算法取得了好的檢測性能，在保證71.98%的召回率下精度高達88.01%，得到的顯著性全分辨率圖可大大簡化后續圖像處理工作的復雜度。

［1］ ITTI L，KOCH C，NIEBUR E.A model of saliency-based visual attention for rapid scene analysis［J］.IEEE Transaction on Pattern Analysis&Machine Intelligence，1998，20（11）：1254-1259.

［2］ KIMCHI R，PETERSON M A.Figure-ground segmentation can occur without attention［J］.Psychological Science，2008，19（7）：660-668.

［3］ PALMER S E.Vision Science：Photons to Phenomenology ［M］.USA：The MIT Press，1999：233-240.

［4］ ZHANG Jianming，SCLAROFF S.Saliency detection：A Boolean map approach［C］//IEEE International Conference on Computer Vision.USA：IEEE，2013：153-160.

［5］ HUANG Liqiang，PASHLER H.A Boolean map theory of visual attention［J］.Psychological Review，2007，114（3）：599-631.

［6］ JIANG Huaizu，WANG Jingdong，YUAN Zejian，et al.Salient object detection：A discriminative regional feature integration approach［C］//IEEE Conference on Computer Vision and Pattern Recognition.USA：IEEE，2013：2083-2090.

［7］ ACHANTA R，HEMAMI S，ESTRADA F，et al.Frequencytuned salient region detection［C］//IEEE Conference on Computer Vision and Pattern Recognition.USA：IEEE，2009：1597-1604.

［8］ GOFERMAN S，ZELNIK-MANOR L，TAL A.Contextaware saliency detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，34（10）：2376-2383.

［9］ HOU Xiaodi，ZHANG Liqing.Saliency detection：A spectral residual approach［C］//IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis：IEEE，2007：1-8.

［10］ CHENG Mingming，ZHANG Guoxin，MITRA N J，et al. Global contrast based salient region detection［C］//2011 IEEE Conference on Computer Vision and Pattern Recognition.Providence：IEEE，2011：409-416.

Saliency Detection Based on Color and Gradient Boolean Features

PANG Ming-xue， YE Xi-ning， LING Zhi-hao
（School of Information Science and Engineering，East China University of Science and Technology，Shanghai 200237，China）

There exist non-uniform areas and low saliency score problems in image saliency detection. By analyzing the model of Boolean map based saliency，this paper proposes the Boolean maps of color and gradient based saliency model（BMCG）.According to Gestalt principle of figure-ground segregation，the Boolean maps with the topological structure are generated via the random threshold color channels and gradient channel.Furthermore，these Boolean maps are refined into the attention maps of visual and are linearly combined to generate the saliency map via post-process.The simulation results show that BMCG algorithm is better than BMS algorithm，improving the recall rate of 2.12%and precision rate of 4.56%.

Boolean feature；figure-ground segregation；visual attention

TP391.4

A

1006-3080（2016）01-0091-06 DOI：10.14135/j.cnki.1006-3080.2016.01.015

2015-04-13

逄銘雪（1991-），女，山東人，碩士生，主要研究方向為圖像處理、機器學習。E-mail：mingxue_p@163.com

葉西寧，E-mail：yexining@ecust.edu.cn