基于對比度和局部結構特征的顯著性檢測

曾祥鑫，李 飚，劉 坤

(國防科學技術大學ATR重點實驗室，長沙 410073)

視覺顯著性的概念是在研究人類視覺感知機制的過程中提出的。針對人類視覺系統(tǒng)(human visual system，HVS)的研究發(fā)現(xiàn)，對于一幅圖像，人眼可以快速地將圖像中的目標和背景分離出來，并且通常對圖像中部分區(qū)域的關注度較高［1］，這部分區(qū)域也稱為感興趣區(qū)域(regions of interest，ROI)。顯著性檢測的研究目的在于使機器可以模擬人類的視覺自動定位到圖像中“顯著”或“感興趣”的目標對象，在圖像自適應壓縮、目標檢測與分割、圖像檢索等多個方面都具有廣泛的應用前景，是當前計算機視覺領域研究的一個熱點。

視覺顯著性的計算模型大致可以分為自底向上的數(shù)據(jù)驅動模型和自頂向下的任務驅動模型。任務驅動模型的思想是利用先驗知識建模來計算顯著性，以解決特定場景下的應用問題。在從底層特征出發(fā)的數(shù)據(jù)驅動模型中比較經(jīng)典的有從生物視覺原理出發(fā)提出的Itti模型［2］，該模型通過提取圖像在不同尺度下的顏色、亮度、方向特征，再根據(jù)特征融合策略生成最終的顯著圖。Hou等［3］從頻域出發(fā)，提出利用圖像傅里葉變換后的幅度譜殘差來計算顯著度。文獻［4］基于全局對比度，定義單個像素的顯著度為該像素與圖像中其他所有像素的距離總和，并采用直方圖統(tǒng)計的方法優(yōu)化計算。Cheng等［5］在文獻［4］的基礎上進一步利用顏色信息，在RGB空間對顏色通道進行量化，以及采用顏色合并、平滑等操作來減少計算量，最后基于顏色直方圖統(tǒng)計信息計算全局顯著度。Achanta等在文獻［6］中提出頻率調諧方法，采用某個像素的顏色與平滑處理后的圖像顏色均值之間的差異來定義該像素的顯著性。在上述自底向上的顯著性檢測算法中，幾乎都以目標和背景的差異為前提，從圖像的局部或全局出發(fā)，以對比度來計算顯著性。本文從基于全局對比度的方法［4－8］中得到啟發(fā)，結合對圖像中顯著目標的結構信息的先驗知識分析，針對現(xiàn)有的算法進行改進，通過抑制背景的干擾和引入空間位置關系，取得了較好的檢測效果。

1 顯著性檢測框架

1.1 基于局部結構特征的同質化區(qū)域檢測

根據(jù)視覺特性，人眼通常對圖像中的結構信息表現(xiàn)出較高的敏感性［9］。圖像中的顯著部分也是人眼關注的感興趣區(qū)域，其大多數(shù)情況下都具有較豐富的結構特征。因此，采用檢測區(qū)域的結構特征也成為顯著性檢測的一種有效方式。Weickert等［10］提出將結構張量(structure tensor)作為圖像分析的有力工具，已成功應用到圖像結構方向場計算、特征檢測和圖像去噪等領域。本文采用局部結構張量對圖像局部幾何結構特征進行分析。

圖像梯度的變化可以有效地表明局部區(qū)域的同質化程度。通常，圖像中的背景部分較為平坦，同質化程度較高，顯著度低，而目標部分結構化特征明顯，顯著度較高。采用基于圖塊的形式對區(qū)域的同質性進行檢測，考慮圖像中的某一個像素p，在該像素的N×N鄰域計算局部梯度向量［11］:

該圖塊的局部結構張量(也稱為局部梯度協(xié)方差矩陣)定義為

式中:Gρ是方差為ρ的高斯函數(shù)，主要用來減少圖像噪聲對梯度運算的影響。

通過對局部結構張量矩陣的分析，可知矩陣的特征值能反映該區(qū)域結構的復雜度。在圖像平坦區(qū)域，矩陣特征值λ1和λ2都較小，表明該區(qū)域的同質化程度較高;在復雜結構區(qū)域中，特征值λ1或λ2相對較大，表明在相應特征方向上的灰度梯度變化較大。對圖像進行分塊預處理，通過設定一個經(jīng)驗閾值λ，可以大致區(qū)分圖像的結構區(qū)域和非結構區(qū)域［12］，結果如圖1所示。

圖1 結構區(qū)域和非結構區(qū)域檢測結果

1.2 基于全局顏色對比度的顯著性計算

作為一種重要的底層特征，顏色信息可以直觀地描述自然圖像的特征分布，人們很容易注意到與背景形成鮮明顏色對比的區(qū)域。基于全局對比度的顯著性檢測模型可以對圖像中相似的區(qū)域分配一個相近的顯著性值，均勻地突出目標。在圖像結構化區(qū)域檢測中，通過局部結構張量分析得到了關于背景和前景目標的粗略分布信息。以此為基礎，對基于全局顏色對比度的顯著性檢測主要考慮兩個方面:根據(jù)已獲得的背景先驗知識，以全局顏色對比度計算顯著度;根據(jù)顯著性目標的空間分布信息，一致性突出顯著目標。

1.2.1 全局對比度計算

考慮到CIELab顏色模型與人眼視覺的相似性，分別提取圖像對應到該顏色空間上的l，a和b分量作為圖像顏色特征值。與Achanta等提出的FT算法［5］利用圖像整體平滑后的顏色均值作為參考值不同的是，本文利用得到的目標和背景的先驗信息生成背景掩膜，計算背景部分的所有像素的顏色均值，以圖像中的所有像素與該均值的差值定義全局顯著度:其中:為第p個像素的顏色特征矢量;為背景顏色均值矢量;表示歐式距離。

1.2.2 空間位置關系

在從全局計算每個像素的顏色特征相對于背景顏色均值的對比度時，還應注意到目標在圖像中通常是集中分布的特性，即需要考慮以目標的空間位置為參考的空間關系［13］。同樣，根據(jù)背景掩膜的分布情況，可以定義圖像中目標區(qū)域的中心位置Pm=(xm，ym)，xm和ym為掩膜中前景目標的質心坐標。對其進行歸一化，以此定義空間位置關系度量和空間關系權重系數(shù)(見圖2(b)):

其中:σ為空間關系權重因子，用來衡量空間距離權重對顯著度的影響程度。

計算全局對比度顯著性，在考慮顏色對比度對顯著性貢獻時，以空間位置關系作為全局對比度顯著性計算的權重參數(shù)，定義基于顏色的全局對比度顯著性為

圖2 顯著性檢測各步驟對應的顯著圖

2 顯著性模型的優(yōu)化

全局顏色對比度的顯著性檢測由于是基于背景抑制的方式和通過參考空間分布的先驗信息，因而得到的顯著圖具有全分辨率，更突出體現(xiàn)在具有較高對比度的目標上。通常由于目標顏色分布的均勻性，目標處的顯著度一致性較好，對單一背景下的目標檢測的結果更加驗證了這一點(見圖2(c))。其不足之處是局部結構檢測只得到關于目標和背景的粗略分布信息，故在背景雜波較多、紋理復雜的情況下會在背景中對比度較高處也表現(xiàn)出較大的顯著度。

文獻［3］基于頻域譜殘差(SR)的方法，利用對灰度圖像傅里葉變換后的幅度譜均值濾波計算殘差譜，再結合相位譜逆變換生成顯著圖(見圖2(d))。由于SR方法對冗余背景的濾波效果較好，均勻紋理的背景所呈現(xiàn)的顯著值較低，故通過一定的規(guī)范化處理使其滿足像素級的輸出。綜合考慮上述兩種顯著圖的優(yōu)勢，可以采用下面的非線性融合方式對基于顏色對比度的顯著圖進行優(yōu)化。

式中:SSR和Sglobal分別代表基于譜殘差法的顯著性圖像和基于全局顏色對比度的顯著性圖像。通過歸一化處理，在像素級上完成兩種顯著性檢測模型的優(yōu)化整合。λ11=0.1，λ12=0.9，λ21=0.8，λ22=0.2為多次實驗得到的權值參數(shù)。S1強調顯著性目標的完整性，S2突出顯著性目標的邊緣。經(jīng)過融合后的顯著圖(見圖2(e))明顯增強了顯著性目標區(qū)域，抑制了背景以及可能存在的弱小顯著目標。

3 實驗結果與分析

使用Achanta等提出的公共數(shù)據(jù)集MSRA－1000［6］對本文算法進行分析評價。該數(shù)據(jù)集共包含1 000幅自然圖像，均來自MSRA顯著目標數(shù)據(jù)庫，并且每幅圖都提供了與顯著區(qū)域相對應的人工標注的二值基準圖像(ground truth，GT)。圖3直觀地給出了本文算法(Ours)與應用較多的幾種顯著性檢測算法(SR［3］，GB［14］，AC［15］，F(xiàn)T［6］，HC［5］)在上述數(shù)據(jù)集上的檢測比較結果，其中(a)和(b)分別為原始圖像和GT人工分割圖。可以看出:以上幾種算法均能在一定程度上達到符合人眼主觀感覺的顯著性目標檢測水平的要求，其中FT算法、HC算法與本文算法所檢測的結果相對更優(yōu)，并且可以看出本文算法在突出目標區(qū)域、抑制背景方面取得了更明顯的效果。

為了客觀地比較不同的顯著性檢測方法對高亮顯著目標區(qū)域的效果，設定兩組實驗進行分析。實驗1以準確率和召回率(precision-recall，PR)曲線作為衡量顯著區(qū)域檢測算法性能的評價指標。準確率反映了檢測算法的有效性，即算法所檢測到的顯著性像素同時是人工標注顯著區(qū)域像素與整個顯著檢測區(qū)域的比值。召回率則是人工標注的參考區(qū)域中能被正確檢測的像素比值，體現(xiàn)了算法檢測的完整性。通過設定固定閾值T∈［0，255］來二值化顯著性圖像，并繪制 PR曲線。圖4(a)給出了本文所提出的算法與其他幾種算法的準確率和召回率的計算結果。實驗2對顯著圖進行自適應閾值分割，設定自適應閾值為自身顯著圖均值的2倍，引入F-measure評價方法，即在綜合平均準確率和平均召回率的基礎上評價顯著性區(qū)域的檢測效果，結果見圖4(b)。自適應分割閾值和F-measure指標的計算公式如下:

其中:H和W為顯著圖的高和寬;S(i，j)為坐標(i，j)處的像素顯著值;β為權衡平均準確率和平均召回率的影響程度，設定β2=0.3使得平均準確率的權重高于平均召回率。由圖4可以看出:本文算法取得了較好的檢測準確率和召回率，與本文算法思路較接近的FT算法相比性能提升明顯。

圖3 幾種顯著性檢測算法顯著圖的直觀比較

圖4 顯著性檢測算法客觀性能比較分析

4 結束語

通過對圖像中顯著目標的結構特征的分析，為基于圖像全局顏色對比度特征的顯著性檢測模型提供了更多的先驗信息，使檢測結果更加突出目標區(qū)域，抑制背景的干擾和影響。本文算法在較復雜的自然場景下對顯著目標定位準確，所檢測的目標與背景的顯著度差異明顯。后續(xù)工作將進一步解決目標區(qū)域非均勻情況下的顯著區(qū)域一致高亮的問題。

［1］Jiang P，Ling H，Yu J，et al.Salient Region Detection by UFO:Uniqueness，F(xiàn)ocusness and Objectness［C］//IEEE International Conference on Computer Vision.USA:［s.n.］，2013:1976－1983.

［2］Itti L，Koch C，Niebur E.A model of saliency-based visual attention for rapid scene analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(11):1254－1259.

［3］Hou X，Zhang L.Saliency detection:A spectral residual approach［C］//IEEE Conference on Computer Vision and Pattern Recognition.USA:［s.n.］，2007:1－8.

［4］Zhai Y，Shah M.Visual attention detection in video sequences using spatiotemporal cues［C］//ACM International Conference on Multimedia.USA:［s.n.］，2005:815－824.

［5］Cheng M，Zhang G，Mitra N，et al.Global contrast based salient region detection［C］//IEEE Conference on Computer Vision and Pattern Recognition.USA:［s.n.］，2011:409－416.

［6］Achanta R，Hemami S，Estrada F，et al.Frequency-tuned salient region detection［C］//IEEE Conference on Computer Vision and Pattern Recognition.USA:［s.n.］，2009:1597－1604.

［7］Perazzi F，Krahenbuhl P，Pritch Y，et al.Saliency filters:Contrast based filtering for salient region detection［C］//IEEE Conference on Computer Vision and Pattern Recognition.USA:［s.n.］，2012:733－740.

［8］Jiang Z，Davis L S.Submodular salient region detection［C］//IEEE Conference on Computer Vision and Pattern Recognition.USA:［s.n.］，2013:2043－2050.

［9］李崇飛，高穎慧，盧凱，等.基于結構相似度的視覺顯著性檢測方法［J］.計算機工程與科學，2013，35(10):181－185.

［10］Weickert J.Anisotropic Diffusion in Image Processing［M］.Germany:Teubner，Stuttgart，1988.

［11］邵宇，孫富春，劉瑩.基于局部結構張量的無參考型圖像質量評價方法［J］.電子與信息學報，2012，34(8):1779－1785.

［12］Junq C，Kim C.A unified spectral-domain approach for saliency detection and its application to automatic object segmentation［J］.IEEE Transactions on Image Processing，2012，21(3):1272－1283.

［13］Zhou L，Yang Z.Salient region detection based on spatial and background priors［C］//IEEE International Conference on Information and Automation.USA:［s.n.］，2014:262－266.

［14］Harel J，Koch C，Perona P.Graph-based visual saliency［J］.Advances in Neural Information Processing Systems，2006，19:545－552.

［15］Achanta R，Estrada F，Wils P，et al.Salient region detection and segmentation［C］//IEEE Conference on Computer Vision Systems.USA:［s.n.］，2008:66－75.