多視覺特征結(jié)合有約束簡化群優(yōu)化的顯著性目標(biāo)檢測

花 卉

（金陵科技學(xué)院計算機(jī)工程學(xué)院，南京211169）

多視覺特征結(jié)合有約束簡化群優(yōu)化的顯著性目標(biāo)檢測

花 卉

（金陵科技學(xué)院計算機(jī)工程學(xué)院，南京211169）

針對一般顯著性目標(biāo)檢測（SOD）方法容易受背景區(qū)域影響造成識別精度低下的問題，提出一種基于多視覺特征并結(jié)合有約束簡化群優(yōu)化的顯著性目標(biāo)檢測方法。該方法獲取3個低級視覺特征，即多尺度對比度、中心環(huán)繞直方圖和顏色空間分布，利用有約束的簡化群優(yōu)化檢測出最優(yōu)權(quán)重向量，并將其與3個視覺特征結(jié)合以獲取顯著圖，使用顯著圖在圖像背景中提取出顯著性目標(biāo)。為了有效地抑制圖像中的背景區(qū)域，定義一個簡單的適應(yīng)度函數(shù)以凸顯邊界目標(biāo)。運用定量和定性方法在MARA SOD數(shù)據(jù)庫上進(jìn)行仿真實驗，結(jié)果表明，與模糊聚類、低秩矩陣恢復(fù)和稀疏重構(gòu)等方法相比，該方法能獲得較高的識別精度和查全率。

顯著性目標(biāo)檢測；簡化群優(yōu)化；視覺特征；最優(yōu)權(quán)重向量；適應(yīng)度函數(shù)

1 概述

視覺顯著性是一種在圖像中快速有效地定位相關(guān)信息（目標(biāo)）的能力［1］，顯著性目標(biāo)檢測（Salient Object Detection，SOD）［2］目的是生成一個顯著性圖，給圖中的每個像素分配一個相關(guān)性度量。通過將較大值分配給感興趣信息，最小值分配給無關(guān)信息來構(gòu)建顯著性圖。該技術(shù)是機(jī)器視覺中的一個重要問題，為許多復(fù)雜的實時應(yīng)用提供了快速解決方案，如跟蹤車輛、行人的監(jiān)控系統(tǒng)［3-4］和用于檢測乳房X線照片中的腫瘤［5］等。

已有很多學(xué)者對其進(jìn)行了大量研究，根據(jù)建模方式，可將這些方法分為2類［6］：自底向上［7-9］和合成模型［10-12］（即自底向上和自頂向下混合型）。自底向上模型是從圖像中提取多個低級別視覺特征（如強(qiáng)度、顏色、方向和紋理），接著對這些特征進(jìn)行標(biāo)準(zhǔn)化，并組合成一個顯著性圖。合成模型是自頂向下模型與自底向上模型的合成，利用自底向上模型生成顯著性圖以定位感興趣的目標(biāo)，再利用視覺系統(tǒng)的先驗知識。

文獻(xiàn)［7］對不同尺度亮度、顏色和方向特征進(jìn)行組合以計算出顯著性圖，利用圖論的思路進(jìn)行建模，根據(jù)初始特征確定激活圖，該模型賦予圖中心的節(jié)點較高的顯著性值。文獻(xiàn)［8］在其模型中采用了可視性和感知群組，但是此模型通常情況下只考慮了非彩色結(jié)構(gòu)且給出的邊界不清晰。文獻(xiàn)［9］利用一個網(wǎng)格單元級實時聚類算法進(jìn)行圖像分割，在聚類過程中給定較好的初始的聚類中心點，但迭代次數(shù)較少，該模型非常依賴圖像分割的精度。文獻(xiàn)［7-9］都是自底向上模型，大多是低級視覺特征。

文獻(xiàn)［10］將低級特征和高級知識進(jìn)行融合以檢測圖像中的顯著性目標(biāo)，在一些特征空間中利用低秩矩陣和稀疏噪聲表示。文獻(xiàn)［11］利用多個特征聯(lián)合，并使用簡化的譜分割方法將圖像分成幾個更大的尺度，然后使用稀疏重構(gòu)超像素，多個特征聯(lián)合用于顯著性檢測，然而，這種分級分割的策略似乎只對大目標(biāo)非常有效。文獻(xiàn)［12］利用監(jiān)督方法將顯著性目標(biāo)從圖像背景中分離出來，特征的提取分別發(fā)生在局部、區(qū)域和全局等級別。通過計算一個給定的不同細(xì)節(jié)層次鄰域中像素點對比信息獲取局部特征。然而，計算開銷大，且獲取的權(quán)重向量可能并不適用于給定的測試圖像，特別是當(dāng)給定的測試圖像與訓(xùn)練圖像有很大差異時更是如此。

為了獲取更好的顯著性結(jié)果，需確定特征的權(quán)重向量。本文利用有約束的簡化群優(yōu)化（Constrained Simplified Swarm Optim ization，CSSO）獲取權(quán)重向量，并與特征相結(jié)合，從而提升顯著性目標(biāo)檢測的效果。

2 顯著性目標(biāo)檢測

2.1 簡化群優(yōu)化

簡化群優(yōu)化（Simplified Swarm Optimization，SSO）［13］是基于粒子群優(yōu)化（Particle Swarm Optim ization，PSO）開發(fā)出來的，其中，每個粒子編碼為一個正整數(shù)。SSO不同于一般組合式方法或者PSO。SSO算法解決同時包含離散和連續(xù)變量的數(shù)據(jù)集分類問題。

為了獲得最佳粒子，重新評估粒子的適應(yīng)值。步驟如下：

步驟1 預(yù)先確定局部搜索時間（T）和局部搜索權(quán)重（ω）。

步驟2 選擇目標(biāo)粒子（Pt）。

在此階段，gbest將是待運行T次局部搜索的第一目標(biāo)粒子，然后，依次選擇其他pbest作為目標(biāo)粒子，運行T次局部搜索。那么局部搜索pbest期間一旦獲得gbest，加權(quán)局部搜索將停止，其他pbest不需要再運行局部搜索。

步驟3 獲取新的3個加權(quán)值：（ω×Cw），（ω× Cp）和（ω×Cg）。

步驟4 通過新加權(quán)值（ω×Cw），（ω×Cp）和（ω×Cg）更新粒子位置。

步驟5 重新評估目標(biāo)粒子的適應(yīng)值。

步驟6 檢查適應(yīng)值是否比目標(biāo)粒子當(dāng)前pbest或gbest更好。如果粒子已經(jīng)得到了新pbest，目標(biāo)粒子局部搜索的迭代將重置為0，重新運行局部搜索，直到局部搜索了T次沒有找到更多的pbest。如果粒子已經(jīng)得到了新gbest，局部搜索過程將停止。然而，gbest搜索會繼續(xù)運行，即使已獲得新gbest。式（1）中rand（·）是隨機(jī)數(shù)生成函數(shù)。

2.2 有約束的簡化群優(yōu)化

SSO在初始規(guī)劃過程中缺乏結(jié)合約束條件的明確機(jī)制。本文將約束條件融入到SSO問題的擬合函數(shù)中，種群多樣性的保持和解決方法應(yīng)該保持在可行區(qū)域內(nèi)部和外部［14］。

最小化f（x），x∈Rn，服從線性或非線性不等式約束gi（x）≤0，i=0，1，…，m。根據(jù)文獻(xiàn)［14］可以將一個等式約束條件gi（x）=0轉(zhuǎn)化為2個不等式約束條件gi（x）≤0和-gi（x）≤0。

有約束最優(yōu)化問題中的搜索空間內(nèi)含有2種點［15］：可行點和非可行點。可行點滿足所有的約束條件，不可行點至少不滿足所有約束條件中的一個。為了處理不可行點，利用懲罰函數(shù)將有約束最優(yōu)化問題轉(zhuǎn)換為非約束最優(yōu)化問題。CSSO的一個新的目標(biāo)函數(shù)為：

其中，η（k）表示與當(dāng)前迭代次數(shù)k有關(guān)的不穩(wěn)定懲罰值；H（x）表示懲罰函數(shù)。H（x）的表達(dá)式如下：

其中，qi（x）=max（0，gi（x））；θ（·）表示多級分配函數(shù)；γ（·）表示懲罰函數(shù)的能力。

λ′=｛λ1，λ2，λ3｝是用于線性組合3個特征圖的權(quán)重向量。對于顯著性目標(biāo)檢測，最優(yōu)化問題轉(zhuǎn)化為下式：

SOD-CSSO顯著性目標(biāo)檢測方法如下：

（1）設(shè)置迭代次數(shù)變量k=0。

（3）粒子迭代的迭代終止條件是：

其中，1.0e-3為科學(xué)計算法，即0.001。

（4）每次迭代所有粒子滿足評估擬合函數(shù)：

（5）如果滿足F（xi（k））=F（xi（k-1）），則：

（6）對于所有的粒子j，gbesti（k）=xi（k）成立，其中：

3 顯著性計算

本文利用CSSO計算一幅給定圖像的最優(yōu)權(quán)重向量。在本文中擬合函數(shù)涉及到2個組件，一個組件表示感興趣像素，另一個組件表示為背景像素。對于顯著性目標(biāo)，應(yīng)該最大化感興趣像素，最小化背景像素，擬合組件根據(jù)感興趣像素或背景像素點顯著性值確定。

3.1 感興趣掩模生成

對于給定的圖像，利用文獻(xiàn)［12］提出的多尺度對比度（f1）、中心環(huán)繞直方圖（f2）和顏色空間分布（f3）特征圖。這些特征含有不同的取值范圍，故將這些特征圖（fk）標(biāo)準(zhǔn)化為區(qū)間［0，1］，其中，k=1，2，3。利用某種方式將標(biāo)準(zhǔn)化后的特征圖像進(jìn)行組合使圖像中的顯著性區(qū)域更加突出。利用向量λ=（λ1，λ2，λ3）作為權(quán)重向量將這些特征圖融入顯著性圖S中，其中，每個像素p的顯著性值用式（5）計算：

在式（6）中，m（λ）=m in?p∈PS（p，λ）和M（λ）= m in?p∈PS（p，λ）分別表示顯著性圖中最小和最大的值；p表示圖像中所有像素點集合。在標(biāo)準(zhǔn)化顯著性圖上利用一個閾值以區(qū)分像素p輸入感興趣像素還是背景像素。通常情況下選取最大顯著性值得一半作為固定的閾值。每個像素p的邊緣信息E利用下式進(jìn)行確定：

接著求取目標(biāo)輪廓上像素顯著性值的平均值，并將這個平均值作為閾值去區(qū)分像素p屬于感興趣像素還是背景像素。閾值τ的計算過程如下：

最后，對顯著性圖進(jìn)行二值化以生成顯著性目標(biāo)的二值化感興趣掩模A，計算過程如下：

其中，A中對應(yīng)于1的值表示感興趣像素；對應(yīng)于0的值表示背景像素。

3.2 用于顯著性目標(biāo)檢測的擬合函數(shù)

顯著性圖需要分割成2個區(qū)域，一個區(qū)域包含構(gòu)成顯著性目標(biāo)的感興趣像素集合，另一個區(qū)域包含背景像素集合。對于最優(yōu)的顯著性目標(biāo)，感興趣像素所對應(yīng)的總的顯著性值應(yīng)該是最大的，背景像素所對應(yīng)的總的顯著性值應(yīng)該是最小的。為了在感興趣像素和背景像素的基礎(chǔ)上測量顯著性分布，定義了2個擬合函數(shù)Fitnessatt和Fitnessbkg，如下：

其中，Patt（λ）和Pbkg（λ）分別表示感興趣像素和背景像素的集合，定義如下：

使用natt（λ）和nbkg（λ）分別表示感興趣像素和背景像素，定義如下：

其中，W和H分別表示圖像的寬和長；A表示感興趣掩模。

同時對擬合函數(shù)Fitnessatt和Fitnessbkg進(jìn)行最大化和最小化，這是一個多目標(biāo)問題。由于多目標(biāo)函數(shù)涉及到Fitnessatt的極大化與Fitnessbkg的極小化問題，因此可將Fitnessatt函數(shù)的極大化問題轉(zhuǎn)換為Fitness′att函數(shù)的極小化問題，F(xiàn)itness′att的定義如下：

只需對式（14）的多目標(biāo)函數(shù)Fitness進(jìn)行最小化即可：

4 實驗結(jié)果與分析

為了檢驗本文方法對顯著性目標(biāo)檢測的有效性，從定性和定量方面對其性能進(jìn)行了評估，并將實驗結(jié)果與其他方法進(jìn)行比較，CSSO的參數(shù)設(shè)置如表1所示。所有實驗都在配備Inter（R）Xeon（R）處理器、2.30 GHz和2.95 GB RAM的W indow7環(huán)境下進(jìn)行，編程工具為M atlab 2011b。

表1 CSSO框架中所用參數(shù)

4.1 定性評估

MARA SOD數(shù)據(jù)庫含有2個高質(zhì)量圖像數(shù)據(jù)庫，變化的因素是目標(biāo)類別和場景類型，如圖1所示。MSRA SOD圖像集合A內(nèi)71個子文件中包含有20 843幅彩色圖像，3個用戶手動標(biāo)記了這些子文件的圖像，MSRA SOD圖像集合B內(nèi)10個子文件中包含有5 000幅彩色圖像，9個用戶手動標(biāo)記了這些子文件的圖像。所有圖像的尺寸為400× 300像素或300×400像素，圖像的像素值在區(qū)間［0，255］。從圖像集合A中隨機(jī)選取3 000幅圖像用于訓(xùn)練，圖像集合B中的5 000幅圖像用于測試。

圖1 M SRA SOD圖像集中的圖像實例

為了對本文方法進(jìn)行定性的評估，從測試數(shù)據(jù)集合中選取特定的圖像，這些圖像中的目標(biāo)在形狀、尺寸、位置等方面都不相同。接著計算這些圖像的顯著性圖，并將顯著性圖標(biāo)準(zhǔn)化在區(qū)間［0，1］之間，其中，0表示黑色；1表示白色。圖2顯示了本文方法的顯著性圖與文獻(xiàn)［12］方法對應(yīng)的顯著性圖存在差異。本文主要目的是使顯著性像素點顯著性值盡可能高，甚至接近1（白色），背景像素的顯著性值盡可能的低，甚至接近0（黑色）。

圖2 本文方法與文獻(xiàn)［12］方法的顯著性圖比較

由圖2可以看出，本文方法的顯著性圖中顯著性目標(biāo)及其周圍點很容易進(jìn)行辨認(rèn)，文獻(xiàn)［12］沒有使用智能算法進(jìn)行最優(yōu)權(quán)重向量的計算，表明本文方法可帶來明顯的權(quán)重差異。

圖3所示為本文方法與其他方法的顯著性檢測結(jié)果比較。選取的目標(biāo)在尺寸、形狀、顏色、紋理等方面不同，從圖3可以看出：

（1）文獻(xiàn)［9］方法依賴于圖像分割的精度，較差的分割結(jié)果會使檢測結(jié)果不全面。

（2）文獻(xiàn)［10］方法可以適當(dāng)?shù)貙δ繕?biāo)進(jìn)行局部化，但不能獲取完整的形狀。

（3）文獻(xiàn)［11］方法丟失了更優(yōu)質(zhì)的形狀細(xì)節(jié)，該方法采用平畫輪廓，但是缺乏詳細(xì)的目標(biāo)輪廓信息。

（4）文獻(xiàn)［12］方法獲取了較好的顯著性結(jié)果，但卻賦予了目標(biāo)許多不需要的信息。

（5）本文方法獲取了最優(yōu)的顯著性結(jié)果，形狀信息更加清晰自然。

圖3 顯著性檢測結(jié)果比較4.2 定量評估

本文方法的定量評估過程中主要是評估精度、查全率、特征測量、曲線下面積（Area Under Curve，AUC）以及計算時間，利用矩形框區(qū)域表示目標(biāo)，因此，處理過的顯著性目標(biāo)必須在封閉矩形內(nèi)部。利用矩形G以及檢測記過矩形R計算精度、查全率和

特征測量，具體表示如下：精度=TP TP+ FP查全率=TP TP+查全率（15）其中，TP=∑ FN F=2×精度×查全率

精度+ R（x，y）；

FN=∑

G（x，y）=1

R（x，y）；FP=∑

G（x，y）=0

G（x，y）；TP（真陽性）表示檢測的顯著性目標(biāo)中的顯著性像素個數(shù)；FP（假陽性）表示檢測到顯著性目標(biāo)中背景像素點的個數(shù)；FN（假陰性）表示檢測到背景目標(biāo)中顯著性像素點個數(shù)。

對9個用戶的結(jié)果進(jìn)行平均，通過繪出受試者工作曲線計算AUC。圖4顯示了真陽性率（True Positive Rate，TPR）與假陽性率（False Positive Rate，F(xiàn)PR）間的ROC曲線。TPR和FPR的計算如下：

TTPR=TP∑（x，y）G（x，y

R（x，y）=0

）（16）其中，W和H分別表示圖像的寬和長。所有方法都采用閾值處理顯著性圖以獲取感興趣掩模，這個閾值根據(jù)繪制的ROC平面圖進(jìn)行調(diào)節(jié)。計算曲線下面積（AUC）用以分析不同模型的有效性。FFPR=FP

W×H-∑（x，y）G（x，y

）

圖4 ROC曲線

從表2可以看出，一般選擇子圖數(shù)量P′為100個就基本滿足要求了，即精度基本趨于穩(wěn)定。表3給出了本文方法與其他方法在定量評估方面的比較結(jié)果，使用粗體表示最優(yōu)結(jié)果，可以看出，本文方法在精度、查全率、特征測量、AUC方面均取得了最優(yōu)，然而，本文方法的運行時間較多，主要集中在CSSO的運算上。

表2 本文方法的子圖數(shù)量與識別精度關(guān)系

表3 本文方法和其他方法的比較

此外，從表3和圖3可以看出：

（1）本文方法獲取了優(yōu)質(zhì)的形狀信息，沒有考慮目標(biāo)額外的信息（陰影或目標(biāo)背景的一些領(lǐng)域部分），因此，獲取了最高的精確度。

（2）形狀信息幾乎與圖像中目標(biāo)類似，因此，使得檢測矩形框逼近于目標(biāo)矩形框，使得本文方法獲取了最優(yōu)的查全率。

（3）本文方法獲取了特征測量的最大值，即精度和查全率的加權(quán)調(diào)和平均數(shù)。ROC曲線下覆蓋的面積越大，模型的性能越優(yōu)異，本文方法獲得了最高的AUC值。

（4）文獻(xiàn)［9］花費了最少的計算時間，文獻(xiàn)［10］花費了最大的計算時間。因為文獻(xiàn)［9］僅采用了比較低級的視覺特征進(jìn)行分割，而文獻(xiàn)［10］采用基于迭代的低秩矩陣方法。本文方法也花費了大量時間，然而低于文獻(xiàn)［10］方法。

5 結(jié)束語

對于給定測試圖像，本文利用CSSO擬合函數(shù)學(xué)習(xí)最佳權(quán)重向量，同時將多尺度對比度、中心環(huán)繞直方圖和顏色空間分布3個視覺特征與權(quán)重向量組合，獲取顯著圖。實驗結(jié)果表明，該方法在精度、查全率、特征測量和AUC方面均有較大提高。下一步將利用特征的非線性組合評估性能，同時考慮采用非矩形區(qū)域模型提高方法的檢測率。

［1］ 李志強(qiáng).視覺顯著性模型研究及其在影像處理中的應(yīng)用［D］.上海：上海交通大學(xué)，2009.

［2］ Borji A，Sihite D N，Itti L.Salient Object Detection：A Benchmark［C］//Proceedings of the 12th European Conference on Computer Vision.Berlin，Germany：Springer-Verlag，2012：414-429.

［3］ 鄒 強(qiáng).復(fù)雜背景下顯著性目標(biāo)快速檢測技術(shù)研究［D］.成都：中國科學(xué)院研究生院，2014.

［4］ 劉宇光，陳耀武.基于運動譜殘差的視頻顯著性檢測算法［J］.計算機(jī)工程，2014，40（12）：247-250.

［5］ Karssemeijer N，Brake G M.Detection of Stellate Distortions in Mammograms［J］.IEEE Transactions on Medical Imaging，2006，15（5）：611-619.

［6］ Zhang Wei，Wu Q M J，Wang Guanghui，et al.An Adaptive Computational Model for Salient Object Detection［J］. IEEE Transactions on Multimedia，2010，12（4）：300-316.

［7］ 劉娟妮，彭進(jìn)業(yè)，李大湘，等.基于譜殘差和多分辨率分析的顯著目標(biāo)檢測［J］.中國圖象圖形學(xué)報，2011，16（2）：244-249.

［8］ M eur O L，Callet P L，Barba D，et al.A Coherent Computational Approach to Model Bottom-up Visual Attention［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（5）：802-817.

［9］ 陳科尹，鄒湘軍，熊俊濤，等.基于視覺顯著性改進(jìn)的水果圖像模糊聚類分割算法［J］.農(nóng)業(yè)工程學(xué)報，2013，27（6）：157-165.

［10］ Wu Ying.A Unified Approach to Salient Object Detection Via Low Rank Matrix Recovery［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C.，USA：IEEE Press，2012：853-860.

［11］ 趙守鳳.基于稀疏重構(gòu)和多特征聯(lián)合標(biāo)簽推導(dǎo)的顯著性檢測［D］.大連：大連理工大學(xué)，2014.

［12］ Liu Tie，Yuan Zejian，Sun Jian，et al.Learning to Detect a Salient Object［J］.IEEE Transactions on Pattern Analysis&Machine Intelligence，2011，33（2）：353-367.

［13］ Chung Yuk-Ying，Wahid N.A Hybrid Network Intrusion Detection System Using Simplified Swarm Optimization（SSO）［J］.Applied Soft Computing，2012，12（9）：3014-3022.

［14］ Jordehi A R，Jasni J.Heuristic Methods for Solution of Facts Optimization Problem in Power System s［C］// Proceedings of IEEE Student Conference on Research and Development.Washington D.C.，USA：IEEE Press，2011：30-35.

［15］ 劉丙狀.約束最優(yōu)化問題中的光滑精確罰函數(shù)［D］.上海：上海大學(xué)，2008.

編輯 劉 冰

Salient Object Detection of Multi-visual Feature Combining with Constrained Simplified Swarm Optimization

HUA Hui
（School of Computing Engineering，Jinling Institute of Technology，Nanjing 211169，China）

As the issue of low recognition precision of general Salient Object Detection（SOD）method that is vulnerable to the impact of the background area，method of SOD using constrained Simplified Swarm Optimization（SSO）and multi-visual feature is proposed.Three visual features such as multi-scale contrast，center-surround histogram and color spatial distribution are obtained from the given image.Constrained Simplified Swarm Optimization（CSSO）is used to determine an optimal weight vector with combining these features to obtain saliency map to distinguish a salient object. A salient target is extracted from the salient map in the image background.In order to effectively suppress the background in the image area，a simple fitness function is defined to highlight the clear target containing boundary.Simulation is on MARA SOD database using quantitative and qualitative methods for evaluation.Experimental results show that the recognition precision and the recall rate of the proposed method are higher than that of the fuzzy clustering method，low rank matrix recovery method and sparse reconstruction method.

Salient Object Detection（SOD）；Simplified Swarm Optimization（SSO）；visual feature；optimal weight vector；fitness function

花 卉.多視覺特征結(jié)合有約束簡化群優(yōu)化的顯著性目標(biāo)檢測［J］.計算機(jī)工程，2015，41（11）：257-262.

英文引用格式：Hua Hui.Salient Object Detection of Multi-visual Feature Combining with Constrained Simplified Swarm Optimization［J］.Computer Engineering，2015，41（11）：257-262.

1000-3428（2015）11-0257-06

A

TP391

10.3969/j.issn.1000-3428.2015.11.044

江蘇省高校自然科學(xué)基金資助項目（11KJD520006）；江蘇省教育科學(xué)“十二五”規(guī)劃基金資助項目（D/2013/01/068）。

花 卉（1979-），女，講師，主研方向：圖像處理，數(shù)據(jù)挖掘。

2015-07-16

2015-08-13 E-m ail：huahui-email@126.com