顯著性目標檢測中的視覺特征及融合

袁小艷 王安志 潘 剛 王明輝

1(四川大學計算機學院 四川 成都 610064) 2(四川文理學院智能制造學院 四川 達州 635000)

?

顯著性目標檢測中的視覺特征及融合

袁小艷1,2王安志1潘 剛2王明輝1

1(四川大學計算機學院 四川 成都 610064)2(四川文理學院智能制造學院 四川 達州 635000)

顯著性目標檢測，在包括圖像/視頻分割、目標識別等在內(nèi)的許多計算機視覺問題中是極為重要的一步，有著十分廣泛的應(yīng)用前景。從顯著性檢測模型過去近10年的發(fā)展歷程可以清楚看到，多數(shù)檢測方法是采用視覺特征來檢測的，視覺特征決定了顯著性檢測模型的性能和效果。各類顯著性檢測模型的根本差異之一就是所選用的視覺特征不同。首次較為全面地回顧和總結(jié)常用的顏色、紋理、背景等視覺特征，對它們進行了分類、比較和分析。先從各種顏色特征中挑選較好的特征進行融合，然后將顏色特征與其他特征進行比較，并從中選擇較優(yōu)的特征進行融合。在具有挑戰(zhàn)性的公開數(shù)據(jù)集ESSCD、DUT-OMON上進行了實驗，從PR曲線、F-Measure方法、MAE絕對誤差三個方面進行了定量比較，檢測出的綜合效果優(yōu)于其他算法。通過對不同視覺特征的比較和融合，表明顏色、紋理、邊框連接性、Objectness這四種特征在顯著性目標檢測中是非常有效的。

顯著性檢測 視覺特征 特征融合 顯著圖

0 引 言

人類視覺系統(tǒng)可以快速準確地定位目標，顯著性目標檢測就是通過模擬人類的這一行為提取較為完整的整體目標，即顯著性區(qū)域。早期研究是基于生物刺激模型和評價人眼固定數(shù)據(jù), 現(xiàn)在研究則側(cè)重于視覺特征的研究，諸如各種顏色特征、紋理特征、形狀特征以及背景特征等, 并且這些特征也應(yīng)用于其他領(lǐng)域，如圖像分割[1]、目標跟蹤[2]和行人檢測[3]等。每一種視覺特征都有其自身的特點，但卻無法完整地描述圖像的全部信息，因此多種特征融合的檢測方法勢在必行，能有效提高顯著性檢測的性能和效率，如李波等[4]融合了顏色對比度、分布與背景特征，姜霞霞等[5]融合了結(jié)構(gòu)特征和顏色特征。這些研究都僅僅局限于幾種視覺特征的融合，沒有對視覺特征做進一步的研究。

我們該如何從眾多的圖像視覺特征中選擇出合適的特征組合?為了解決這個問題，文中對目前常用的視覺特征進行分析研究，并進一步探索這些特征的組合，從而得到顯著圖，其流程如圖1所示。將本文算法在2個較難的數(shù)據(jù)集ESSCD和DUT-OMON中共計6 000余張圖像上進行測試，并與典型的7個算法進行比較，實驗驗證了該算法的有效性，實驗結(jié)果也優(yōu)于這7個算法。

圖1 本文算法流程圖

1 相關(guān)工作

由于顯著性目標檢測的重要性, 越來越多的研究者投入到其中。Itti等[6]采用了顏色、亮度和方向特征融合, 在顯著性檢測方向開創(chuàng)了先河。程明明等[7]提出利用顏色直方圖、顏色對比度來計算全局特征的顯著性檢測算法。Kim等[8]使用了顏色對比度、顏色直方圖、顏色分布等多種顏色特征和HOG、形狀特征來計算顏色相似性、差異性, 并進行高維顏色轉(zhuǎn)換以得到顯著圖。為了使灰度旋轉(zhuǎn)不變, Ojala等[9]提出了采用均勻LBP直方圖降低噪音, 提取圖像局部的紋理特征。MirmahdaviA等[10]采用Gabor濾波器提取全局紋理特征。針對已有的顯著檢測算法對背景復(fù)雜的圖像檢測效果較差的問題, Wang等[11]提出融合背景概率和Objectness特征的顯著目標檢測算法。Jiang等[12]提取了Focusness、Uniqueness、Objectness三種高級特征, 并進行融合。Achanta等[13]在頻率域使用顏色和亮度特征計算中心-環(huán)繞對比度, 計算非常高效。

2 視覺特征及其融合

2.1 視覺特征

圖像視覺特征是指圖像的屬性數(shù)據(jù), 包含了一定的語義, 可以用來表示圖像內(nèi)容。研究圖像必然會用到視覺特征, 如顏色、形狀、方向等。每種視覺特征所包含的信息是不同的, 對顯著性檢測的作用也是不同的。

2.1.1 顏色特征

相較于其他特征，人類更容易辨別的是顏色特征，因此顏色特征在圖像處理中被大量使用。顏色特征具有多種顏色空間, 如RGB、HIS、HSV、YIQ、CMY、CIELAB、YUV等。RGB主要描述基礎(chǔ)彩色(紅、綠、藍)的亮度值；HIS和HSV描述顏色的色調(diào)、亮度和飽和度, 主要用于顏色的數(shù)字化處理, 比RGB更接近于人們的經(jīng)驗和對彩色的感知。CIELAB是與設(shè)備無關(guān)、基于生理特征的顏色系統(tǒng), 描述顏色的亮度和色度, 其顏色比RGB更豐富。研究發(fā)現(xiàn), 顯著性檢測算法均用到了顏色特征, RGB、HSV、CIELAB是最常用的三種顏色空間, 不同的顏色空間可以相互轉(zhuǎn)換。顏色特征提取的常用方法有顏色對比度、顏色直方圖、顏色分布。

顏色對比度是常用的獲取顏色特征的方法, 用于計算局部區(qū)域或全局區(qū)域間的顏色相似性和差異性, 即局部顏色對比度和全局顏色對比度, 突出圖像中顯著區(qū)域，展示顯著對象的獨特性。Kim[8]和Li[14]等利用顏色特征計算了局部和全局顏色對比度。全局顏色對比度計算如下:

(1)

局部顏色對比度計算如下:

(2)

其中dis(ci,cj)是指區(qū)域i和j的顏色值的歐幾里得距離,n是區(qū)域數(shù)量。

loci是區(qū)域i的平均位置,ρi是標準化因子。

顏色直方圖是被廣泛使用的提取顏色特征的方法，用于描述顏色的基本色調(diào)和組成分布、不同色彩在圖像中所占的比例。Kim等[8]計算了RGB直方圖、LAB直方圖、色調(diào)直方圖和飽和度直方圖。全局直方圖計算公式如下:

(3)

局部直方圖計算公式如下:

(4)

其中dis(bi,bj)是指區(qū)域i和j的顏色直方圖bin的卡方距離,n是區(qū)域數(shù)量。

pi是區(qū)域i的平均位置,Zi是標準化因子。

雖然顯著性代表了獨特性，但非顯著性不一定就不獨特。前景顏色分布在緊湊區(qū)域，背景顏色卻分布在整張圖像，顏色分布便用于測量前景與背景對象的緊湊型差異。Perazzi[15]和Cheng[16]等提出的顏色分布能夠提高性能，并能更好地體現(xiàn)顯著性目標的真實分布。顏色分布定義如下:

(5)

顏色局部對比度是將穩(wěn)定性較好、可區(qū)分的區(qū)域和周圍的像素、區(qū)域比較，僅在輪廓附近產(chǎn)生高顯著值，對局部差異較大的圖像效果較好。全局對比度是從整體圖像出發(fā), 和整張圖像的其他像素、區(qū)域比較，能夠從背景中突出大規(guī)模目標，且較均勻，具有整體一致性。顏色直方圖是采用統(tǒng)計方法計算顏色的數(shù)量特征，反應(yīng)顏色的統(tǒng)計分布，具有計算方法簡單、平移旋轉(zhuǎn)不變等特性，但其失去了顏色的空間位置，導(dǎo)致不同的圖像可能有相同的顏色直方圖，適合于難以自動分割的圖像。顏色對比度測量顏色的差異，但不能反映顏色的空間變化，因此顏色分布可以作為顏色對比度的一個重要補充。

2.1.2 上下文特征

根據(jù)完形形態(tài)法則, 視覺可能具有一個或多個重心, 這表明越接近焦點的區(qū)域越重要。當焦點周圍的區(qū)域傳達上下文時，就會獲得我們的注意力，即顯著性。也就是說計算一個區(qū)域的顯著性，不需要計算它與圖形其他所有區(qū)域的差異，只需要計算與周圍K臨近區(qū)域的差異即可。Goferman等[17]將K取值為64，因此其顯著圖的定義為:

(6)

其中d(si,sk)是區(qū)域Si與它的K臨近區(qū)域Sk的距離。

2.1.3 紋理特征

紋理特征是圖像的一種重要特征，是整張圖像灰度值的分布規(guī)律。通過像素及周圍空間鄰域的灰度分布來實現(xiàn)的是局部紋理特征。局部紋理不同程度的重復(fù)性, 即全局紋理特征。提取紋理特征常用的方法有Gabor小波和LBP模式。

Gabor小波是一種重要的紋理特征提取方法，選用特定的Gabor函數(shù)，采用尺度伸縮和旋轉(zhuǎn)得到一組Gabor濾波器，實現(xiàn)圖像多尺度、多方向的特征提取。Riche等[18]在八個方向(0,22.5,45,67.5,90,112.5,135,157.5)和3個尺度上采用高斯Gabor濾波器計算, 產(chǎn)生24張結(jié)果圖, 其邊界衰減為:

(7)

其中φ是相位偏移,α是正弦因子的波長,β是方向(垂直于正弦曲線的角度),δ是空間縱橫比,σ是高斯包絡(luò)的sigma,x′=xcosβ+ysinβ,y′=-xsinβ+ycosβ。最后對這24張結(jié)果圖合并, 得到3個尺度的方向特征信息，其特征圖如圖2所示。Gabor濾波器還常用于提取形狀特征。

Gabor小波紋理特征是符合人類對頻率的感知機理的，在空域和頻域都有較好的分辨能力，具有多分辨率特性。LBP紋理特征的原理比較簡單，計算量小，具有灰度不變性和旋轉(zhuǎn)不變性的優(yōu)點,且能在各種光照下工作，但其對圖像的平滑區(qū)域不敏感，需要結(jié)合其他算法。

2.1.4 HOG特征

HOG(方向梯度直方圖)特征是計算圖像中每個像素的梯度, 并統(tǒng)計每個單元的梯度值進行累加。Dalal等[20]計算每個像素的梯度時采用梯度算子[-1,0,1]和[1,0,-1]T與原圖像做卷積運算,分別得到x和y方向的梯度分量GDx(x,y)、GDy(x,y), 因此像素點(x,y)的梯度大小和方向為:

(8)

2.1.5 Objectness特征

Alexe等[21]提出了Objectness特征, 并以此測量一個像素或區(qū)域周圍存在完整物體的可能性。為了計算圖像區(qū)域的Objectness值, Jiang等[12]先計算了像素的Objectness值:

(9)

(10)

其中W是隨機樣本n個窗口的集合,wx是W集合中包含像素x的窗口,pro(wx)是窗口w覆蓋一個物體的概率值,Ψi是協(xié)方差矩陣,wi是窗口,z是歸一化算子。

因此圖像區(qū)域r的Objectness值如下定義:

(11)

2.1.6 邊框連接性特征

研究中發(fā)現(xiàn)顯著性區(qū)域與邊界的連接較少,因此可以用此特性來檢測背景,即邊框連接性。一個區(qū)域是否屬于背景, 取決于它所屬的圖像區(qū)域與圖像邊界的緊密相連度。一個圖像區(qū)域r的邊框連接性是指邊框塊周長與整個圖像區(qū)域周長或者面積開方的比例, 其定義如下:

(12)

其中,bnd是r區(qū)域中邊框塊的集合,block是r區(qū)域中的一塊。Zhu等[22]采用超像素s代替了圖像區(qū)域,邊框連接性為邊界長度Lenbd(s)和跨區(qū)域面積Area(s)的比例，如下所示：

(13)

(14)

顏色特征是顯著性檢測中最常用的視覺特征, 其與顯著目標的相關(guān)度非常高, 有較高的魯棒性。紋理特征是一種反映圖像中同質(zhì)現(xiàn)象的視覺特征, 在空間上以一定的形式變化, 具有局部序列不斷重復(fù)、隨機排列、區(qū)域內(nèi)大致均勻的特點。HOG特征是在圖像的局部方格單元上操作, 所以它對圖像幾何和光學的形變都能保持很好的不變性, 常用于獲取形狀和紋理特征。Objectness是指從客觀物體出發(fā), 保證物體的完整性, 能提供物體位置的分布,常使用于各種視覺實驗中。邊框連接性特征是背景特征的一種，采用的是圖像區(qū)域空間分布的特點, 并有一個直觀的幾何定義, 所以它是健壯和穩(wěn)定的，并且還能處理純背景圖像。

2.2 視覺特征融合

視覺特征眾多, 需要進行選擇。本文分別選擇顏色特征和其他特征，顏色特征選擇了LAB空間的局部和全局顏色對比度[8]、HSV空間的局部和全局顏色直方圖[8]、LAB空間的顏色分布[8]和上下文特征[23]，其他特征選擇了邊框連接性[22]、Objectness[12]和Gabor[18]紋理特征，如圖2所示。

圖2 特征圖

在顏色特征中, 本文選擇規(guī)則如下:

? 顏色對比度和顏色分布是互補的, 顏色直方圖是對顏色的統(tǒng)計, 所以需要選擇這三種特征。

? 結(jié)合人眼視覺注意機制和圖像數(shù)字處理, 需要選擇HSV和LAB空間。

根據(jù)結(jié)果比較分析，最后顏色特征的融合公式如下:

C=(LC·GC+LH·GH+Con)·D

(15)

其中LC是局部對比度,GC是全局對比度,LH是局部直方圖,GH是全局直方圖,Con是上下文特征,D是顏色分布。

本文將融合后的顏色特征與其它特征進行融合,根據(jù)結(jié)果比較分析,顏色與Objectness特征的融合優(yōu)于其他特征的融合, 所以將四個特征分為兩組：顏色、Objectness特征和Gabor紋理、邊框連接性特征, 融合公式為:

SalCO=C+O,SalGB=G·B

(16)

其中C是顏色特征,O是Objectness特征,G是Gabor紋理特征,B是邊框連接性。然后再采用貝葉斯方法[24]對SalCO和SalGB進行融合,最后采用單層元胞自動機[25]進行優(yōu)化。

3 實驗結(jié)果與分析

3.1 測試數(shù)據(jù)集

為了驗證各種特征和本文算法的性能, 我們在兩個較難的數(shù)據(jù)集上做了大量的實驗。ESSCD數(shù)據(jù)集含有1 000張圖片, 包含了豐富的語義和復(fù)雜的結(jié)構(gòu), 對顯著性檢測來說挑戰(zhàn)性非常強。 DUT-OMRON數(shù)據(jù)集包含5 000余張圖片,包含了多個顯著物體,極具挑戰(zhàn)性。

3.2 性能評估方法

為了和其他較優(yōu)算法進行比較,我們采用了三種常用方法來評估實驗。PR曲線評估實驗的精準率P和召回率R,精準率是指顯著像素正確檢測的比率,召回率是指檢測出來的顯著像素與真值圖中顯著像素的比率。F-measure方法用于檢測像素精準率和召回率的平均數(shù)。但實驗不能只從正確率上評估,還要從錯誤率上評估,即MAE方法。 MAE方法是檢測平均絕對誤差,用于檢測非顯著區(qū)域。

3.3 實驗對比與分析

本文的特征較多，因此實驗分為了三組，即顏色特征比較實驗、多種特征比較實驗和各種顯著性檢測算法比較實驗， 以ESSCD數(shù)據(jù)集為例。

3.3.1 顏色特征比較分析

顏色特征比較是對RGB、LAB和HSV空間上顏色局部對比度、全局對比度、局部直方圖、全局直方圖和顏色分布進行比較。從圖3中可以看到, HSV空間局部顏色直方圖的精度、召回率、F-Measure、誤差均優(yōu)于LAB、RGB空間, 所以本文選擇HSV空間的局部直方圖, 但其平均精準率、平均召回率、F-Measure相差太大, 不穩(wěn)定, 所以又選擇相同空間較穩(wěn)定的全局直方圖。HSV空間局部顏色對比度的精準率、召回率、F-Measure優(yōu)于LAB、RGB空間, 但其誤差卻低于后兩者, 說明HSV空間的局部顏色對比度不穩(wěn)定, 又根據(jù)規(guī)則b, 本文選擇LAB空間的局部顏色對比度, 但它的誤差稍高, 所以同時選擇誤差稍低、相同空間的全局顏色對比度。HSV空間顏色分布的精準率、召回率、F-Measure均優(yōu)于LAB、RGB空間, 但其誤差卻低于LAB空間, 所以本文選擇LAB空間的顏色分布。最后由于上下文特征的誤差是最小的, 所以將上下文特征也加入。

圖3 顏色特征比較

對局部、全局對比度，局部、全局直方圖進行融合時, 采用了多種方法，如圖4所示，對比度和直方圖不能直接融合，需要將對比度、直方圖分別進行融合。局部、全局對比度融合的誤差比其單獨兩個特征降低了。局部、全局直方圖融合明顯優(yōu)于其單獨的兩個特征。顏色對比度、直方圖、分布和上下文特征的融合，如圖5所示，只有四種特征都融合才優(yōu)于前幾種融合

圖4 顏色對比度、直方圖融合比較

圖5 顏色對比度、直方圖、分布、上下文融合比較。Ctr:顏色對比度，Hist:顏色直方圖,D:顏色分布,Con:顏色上下文

3.3.2 多種特征比較分析

將融合的顏色特征與其他特征進行比較,如圖6所示。由于LBP、Gabor紋理特征和HOG特征對噪音較敏感，而本文沒有對圖像進行去噪處理，因此其曲線不盡人意。而邊框連接性、Objectness和顏色特征的精準率和召回率都較好, 但這三個特征都沒有從細節(jié)上刻畫顯著性對象, 所以進一步選擇了稍好的Gabor紋理特征。

圖6 所有特征比較

四種特征的融合,如圖7所示,BC、OC和BCO的PR曲線優(yōu)于其他幾種融合，在F-Measure中BC與BCO差不多，但其誤差高于BCO，所以舍棄BC。若選擇BCO，后加入Gabor特征進行線性融合，便是此處的GBCO，而GBCO的PR曲線低于BCO融合，所以舍棄BCO，最終選擇OC，另一組自然就是GB。

圖7 所有特征融合比較。B:邊框連接性,C:融合的顏色特征,G:Gabor紋理特征,O:Objectness特征。將這四種特征分別進行融合,如BO=B+O，即邊框連接性與Objectness特征線性融合，其他的同等道理

3.3.3 各種模型比較分析

本文將算法與其他7個算法進行比較, FT[13]、HDCT[8]、GC[17]、HS[26]、RBD[22]、DSR[24]、UFO[12]。如圖8所示，在ESSCD數(shù)據(jù)集, 我們的算法明顯優(yōu)于其他算法,雖然其F-Measure比HS算法稍低, 但召回率明顯比其高, MAE也僅僅比RBD稍差一點。在DUT-OMON數(shù)據(jù)集, 雖然我們的精準率、召回率在起始狀態(tài)略低于DSR算法, 但F-Measure高于DSR算法, 且誤差也較低, 這說明我們的算法是穩(wěn)定的。

圖8 兩種數(shù)據(jù)集上不同算法比較

圖9比較了不同方法的顯著圖,從圖中可以看到我們的顯著圖相比于其他算法來說,更接近于真值圖。

圖9 兩種數(shù)據(jù)集上不同方法的顯著圖

4 結(jié) 語

顯著性檢測通常是提取各種圖像特征，并在此基礎(chǔ)上進行各種計算。不同特征的特性和使用都是不同的，本文對圖像的多種特征進行了定性和定量的比較，從中找到了有效特征，并將這些特征進行融合，取得了較好的顯著性目標檢測效果。通過對實驗結(jié)果的比較，在目前較難的兩個數(shù)據(jù)集上本算法的性能優(yōu)于其他算法，驗證了該算法中提取特征的有效性。

[1] 司馬海峰,米愛中,王志衡,等.顯著特征融合的主顏色聚類分割算法[J].模式識別與人工智能,2016,29(6):492-503.

[2] 畢福昆,陳禾,師皓,等.機載復(fù)雜遙感場景下特定建筑區(qū)檢測跟蹤算法[J].電子學報,2016,44(6):1394-1399.

[3] 肖德貴,辛晨,張婷,等.顯著性紋理結(jié)構(gòu)特征及車載環(huán)境下的行人檢測[J].軟件學報,2014,25(3):675-689.

[4] 李波,金連寶,曹俊杰,等.分層信息融合的物體級顯著性檢測[J].中國圖象圖形學報,2016,21(5):595-604.

[5] 姜霞霞,李宗民,匡振中,等.融合雙層信息的顯著性檢測[J].中國圖象圖形學報,2015,20(3):340-348.

[6] Itti L,Koch C,Niebur E.A Model of Saliency-Based Visual Attention for Rapid Scene Analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[7] Cheng M M,Zhang G X,Niloy J,et al.Global Contrast based Salient Region Detection[C]//IEEE Computer Vision and Pattern Recognition.USA Colorado,2011:409-416.

[8] Kim J,Han D,Tai Y W,et al.Salient Region Detection via High-Dimensional Color Transform[C]//IEEE Computer Vision and Pattern Recognition,2014:883-890.

[9] Ojala T,Pietikainen M,Maenpaa M.Multiresolution gray-scale and rotation invariant texture classification with local binary pattern[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.

[10] Mirmahdavi A S A,Amirkhani B,Ahmadyfard A.Random Texture Defect Detection by Modeling the Extracted Features from the Optimal Gabor Filter[J].Journal of Advances in Computer Research,2015,8(6):65-85.

[11] Wang A,Wang M,Pan G,et al.Salient object detection with high-level prior based on Bayesian fusion[J].Iet Computer Vision,2017,11(3):199-206.

[12] Jiang P,Ling H B,Yu J Y,et al.Salient Region Detection by UFO:Uniqueness,Focusness and Objectness[C]//IEEE International Conference on Computer Vision,2013:1976-1983.

[13] Achanta R,Hemami S,Estrada F,et al.Frequency-tuned Salient Region Detection[C]//IEEE Computer Vision and Pattern Recognition,2009:1597-1604.

[14] Li Y,Hou X,Koch C,et al.The Secrets of Salient Object Segmentation[C]//Computer Vision and Pattern Recognition.IEEE,2014:280-287.

[15] Perazzi F,Krahenbuhl P,Pritch Y,et al.Saliency filters:Contrast based filtering for salient region detection[C]//IEEE Computer Vision and Pattern Recognition,2012:733-740.

[16] Cheng M M,Warrell J,Lin W Y,et al.Efficient Salient Region Detection with Soft Image Abstraction[C]//IEEE International Conference on Computer Vision,2013:1529-1536.

[17] Goferman S,Manor L Z,Tal A.Context-Aware Saliency Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(10):1915-1926.

[18] Riche N,Mancas M,Duvinage M,et al.A study of parameters affecting visual saliency assessment[J].Signal Processing:Image Communication,2013(28):642-658.

[19] Wang X Y,Han T X,Yan S C.An HOG-LBP Human Detector with Partial Occlusion Handling[C]//IEEE International Conference on Computer Vision,2009:32-39.

[20] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//IEEE Computer Vision and Pattern Recognition,2005:886-893.

[21] Alexe B,Deselaers T,Ferrari V.What is an object?[C]//IEEE Computer Vision and Pattern Recognition,2010:73-80.

[22] Zhu W J,Liang S,Wei Y C,et al.Saliency Optimization from Robust Background Detection[C]//IEEE Computer Vision and Pattern Recognition,2014:2814-2821.

[23] Jiang H Z,Wang J D,Yuan Z J,et al.Automatic Salient Object Segmentation Based on Context and Shape[C]//British Machine Vision Conference,2011:1-12.

[24] Li X H,Lu H C,Zhang L H,et al.Saliency Detection via Dense and Sparse Reconstruction[C]//IEEE International Conference on Computer Vision,2013:2976-2983.

[25] Qin Y,Lu H,Xu Y,et al.Saliency detection via Cellular Automata[C]//IEEE Computer Vision and Pattern Recognition,2015:110-119.

[26] Yan Q,Xu L,Shi J,et al.Hierarchical Saliency Detection[C]//IEEE Conference on Computer Vision and Pattern Recognition,2013:1155-1162.

VISUALFEATUREANDFUSIONOFSALIENCYOBJECTDETECTION

Yuan Xiaoyan1,2Wang Anzhi1Pan Gang2Wang Minghui1
1(CollegeofComputerScience,SichuanUniversity,Chengdu610064,Sichuan,China)2(SchoolofIntelligentManufacturing,SichuanUniversityofArtsandScience,Dazhou635000,Sichuan,China)

The saliency object detection is a very important step in many computer vision problems, including video image segmentation, target recognition, and has a very broad application prospect. Over the past 10 years of development of the apparent test model, it can be clearly seen that most of the detection methods are detected by using visual features, and the visual characteristics determine the performance and effectiveness of the significance test model. One of the fundamental differences between the various saliency detection models is the chosen of visual features. We reviewed and summarized the common visual features for the first time, such as color, texture and background. We classified them, compared and analyzed them. Firstly, we selected the better features from all kinds of color features to fuse, and then compared the color features with other characteristics, and chosen the best features to fuse. On the challenging open datasets ESSCD and DUT-OMON, the quantitative comparison was made from three aspects: PR curve, F-measure method and MAE mean error, and the comprehensive effect was better than other algorithms. By comparing and merging different visual features, it is shown that the four characteristics of color, texture, border connectivity and Objectness are very effective in the saliency object detection.

Saliency detection Visual feature Feature fusion Saliency map

2017-01-10。國家重點研究與發(fā)展計劃項目(2016YFB0700802，2016YFB0800600)；國家海洋局海洋遙感工程技術(shù)研究中心創(chuàng)新青年項目(2015001)。袁小艷，講師，主研領(lǐng)域：計算機視覺，機器學習，個性化服務(wù)。王安志，講師。潘剛，講師。王明輝，教授。

TP301.6

A

10.3969/j.issn.1000-386x.2017.08.038