一種協(xié)同顯著目標(biāo)自動分割方法

王 超，李 靜，李東民

(南京航空航天大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，南京 211106) E-mail ：jingli@nuaa.edu.cn

1 引 言

顯著目標(biāo)檢測是采用計算機(jī)視覺方法在一幅圖像中通過抑制圖像中冗余繁雜的背景信息能夠快速準(zhǔn)確的提取出人們感興趣目標(biāo)的技術(shù).協(xié)同顯著目標(biāo)檢測[1]指的是在多幅圖像中提取相似或共有的目標(biāo)，根據(jù)圖片輸入的數(shù)量，協(xié)同顯著檢測可以分為兩幅和多幅兩類.協(xié)同顯著目標(biāo)檢測在協(xié)同分割、目標(biāo)識別與跟蹤、聯(lián)合目標(biāo)發(fā)現(xiàn)等領(lǐng)域具有廣泛的應(yīng)用，成為圖像處理領(lǐng)域的研究熱點(diǎn).單幅圖像的顯著目標(biāo)研究不能完全符合人類對圖像的認(rèn)知，協(xié)同顯著目標(biāo)檢測可以從多幅圖像或動態(tài)視頻中尋找一個或多個相似的目標(biāo)，與人類對圖像的理解相類似，更好的適應(yīng)人類視覺注意機(jī)制，結(jié)合協(xié)同顯著性檢測方法可以對多幅圖像進(jìn)行顯著性區(qū)域有效提取.協(xié)同分割[2](Co-segmentation)指的是在沒有額外圖像標(biāo)簽信息的前提下，在多幅圖像中分割相同或相似的目標(biāo).圖1給出一個協(xié)同顯著目標(biāo)分割示例，原圖中的棒球選手作為協(xié)同顯著目標(biāo)的被分割出來.

當(dāng)圖像的前景與背景區(qū)分度較大時，通過單幅顯著性目標(biāo)檢測算法就可以獲得很好的檢測效果，但是在面對多幅圖像且圖像背景復(fù)雜時，由于只在單幅圖像范圍內(nèi)計算顯著性，不考慮圖像之間的相關(guān)性對目標(biāo)的影響，生成的顯著圖中會不恰當(dāng)?shù)馗吡翀D像背景.Fu等[3]提出了一種基于聚類的協(xié)同顯著性檢測算法，首先使用CIE LAB顏色和Gabor濾波表示每個像素，經(jīng)過K-means聚類后，進(jìn)一步提取圖像簇間的對比度線索、空間位置線索和對應(yīng)線索，最后對三者進(jìn)行融合生成協(xié)同顯著性映射圖.Zhu等[4]基于局部特征和全局特征進(jìn)行改進(jìn)，提出了一種基于線性聚類的顯著性檢測模型，可以更準(zhǔn)確的檢測出顯著性區(qū)域.Du等[5]提出了基于隨機(jī)森林的非監(jiān)督協(xié)同顯著性檢測方法，主要應(yīng)用于檢測大規(guī)模的圖像集.Feng等[6]提出了基于低秩多尺度融合的顯著性與協(xié)同顯著性檢測方法..Huang等[7]人充分考慮單一尺度超像素分割不適用于在復(fù)雜圖像中捕捉顯著性目標(biāo)內(nèi)部結(jié)構(gòu)的特點(diǎn)，構(gòu)造了多尺度超像素金字塔結(jié)構(gòu)，通過低秩分析聯(lián)合檢測顯著性目標(biāo)的方法，并使用協(xié)同混合高斯模型先驗(yàn)知識進(jìn)行多幅圖像協(xié)同顯著性檢測.YU[8]等提出了一種基于相似底層特征的優(yōu)化分割方法，該方法對圖像數(shù)據(jù)的變化具有很強(qiáng)的魯棒性和適應(yīng)性.Meng等[9]人提出基于目標(biāo)層次分割技術(shù)的分割方法，該方法利用最短路徑算法從每個候選區(qū)域中確定最終的目標(biāo)結(jié)果.Li等[10]人提出了一種基于顯著性模型的目標(biāo)分割算法，該方法利用顯著性檢測的灰度圖近似獲取目標(biāo)區(qū)域，但其結(jié)果決定于顯著圖的準(zhǔn)確性.Chen等[11]在超像素分塊的基礎(chǔ)上，結(jié)合標(biāo)簽匹配方法指導(dǎo)目標(biāo)分割，但運(yùn)行時間比較長且對圖像數(shù)據(jù)的特點(diǎn)具有一定的要求，穩(wěn)定性不佳.Liu等[12]人提出了一種基于分層分割的協(xié)同顯著性檢測模型，分別從細(xì)分割和粗分割的角度出發(fā)確定區(qū)域間的相似性和目標(biāo)的邊緣.Zhang等[13]人提出了一種基于圖像內(nèi)顯著性先驗(yàn)遷移和圖像間顯著性深度信息挖掘相結(jié)合的協(xié)同顯著性檢測方法.Joulin等[14]人發(fā)現(xiàn)當(dāng)先驗(yàn)知識不足或目標(biāo)區(qū)域大小不一致的時，分割的性能明顯下降提出了新的優(yōu)化方法.

圖1 協(xié)同顯著目標(biāo)分割示例Fig.1 An example of co-saliency object segmentation

然而，現(xiàn)有的交互式分割方法需要用戶進(jìn)行有限步驟的交互，獲取圖像中存在的先驗(yàn)信息，才能對目標(biāo)進(jìn)行準(zhǔn)確分割，本文提出了一種基于協(xié)同顯著性檢測的多階段協(xié)同目標(biāo)的自動分割方法，第一階段進(jìn)行協(xié)同顯著性檢測，第二階段進(jìn)行星形圖割和基于高斯模型的自動分割，第三階段通過主動輪廓方法優(yōu)化細(xì)分割結(jié)果.通過仿真實(shí)驗(yàn)在CPair[15]，iCoSeg[16]、MSRC[17]三個多目標(biāo)數(shù)據(jù)集上驗(yàn)證，結(jié)果表明該方法具有精確、魯棒等特性，效率明顯得到提升.本文在第二節(jié)介紹了基于協(xié)同顯著性檢測的多階段協(xié)同目標(biāo)分割方法.第三節(jié)根據(jù)提出的方法分別在兩幅、多幅及視頻圖像集進(jìn)行協(xié)同分割實(shí)驗(yàn)，并對結(jié)果進(jìn)行分析.最后總結(jié)了本文所做的工作及將來的研究方向.

2 基于協(xié)同顯著性檢測的多階段協(xié)同目標(biāo)分割

圖2給出了基于協(xié)同顯著檢測的多階段協(xié)同目標(biāo)自動分割方法的框架圖，該方法主要包含三個階段.第一階段，使用基于sPCA和K-Means聚類的協(xié)同顯著性目標(biāo)分割方法，獲得多圖像的協(xié)同顯著性目標(biāo)檢測的結(jié)果圖，第二階段，利用協(xié)同顯著性檢測的結(jié)果和星形圖割來指導(dǎo)混合高斯模型擬合前景與背景，再使用GrabCut算法實(shí)現(xiàn)自動分割，第三階段，使用基于顯著區(qū)域的主動輪廓方法進(jìn)一步優(yōu)化分割的結(jié)果.

圖2 多幅圖像協(xié)同顯著目標(biāo)分割框架圖Fig.2 Framework of multiple image co-saliency segmentation

2.1 基于sPCA和K-Means聚類的快速協(xié)同顯著性目標(biāo)檢測方法

快速協(xié)同顯著性目標(biāo)檢測方法主要包含三個步驟：首先對輸入圖像進(jìn)行均勻分塊，抽取底層Lab和RGB特征構(gòu)成底層特征矩陣，應(yīng)用截斷冪稀疏主成份分析法分析圖像塊底層特征矩陣，提取圖像塊的稀疏主特征；其次，使用K-means聚類算法對圖像塊進(jìn)行聚類；最后，通過特征融合將生成的單幅圖像顯著圖和多幅圖像顯著圖進(jìn)行組合，生成協(xié)同顯著性圖.

2.1.1 圖像分塊與稀疏特征提取

(1)

Am=(a1，a2…aN)T∈RN×f

(2)

當(dāng)對多幅圖像同時進(jìn)行處理時，將該組中每一幅圖像上提取的圖像塊底層顏色特征矩陣構(gòu)建成一個更大的圖像塊底層顏色特征矩陣A+，如式(3)定義：

A+=(A1，A2…AM)T∈RNM×f

(3)

2.1.2 基于聚類的顯著性特征計算

按照輸入圖像的稀疏特征，通過聚類的方法將具有相似特征的圖像塊均勻的劃分到各自的簇中，得到k個簇中心C={c1，c2，…，ck}，令Wc，Wl及Wg分別為對比特征、空間特征及全局特征變量，它們基于簇中心C第k個顯著特征值的計算如公式(4)、公式(5)、公式(6)所示.

(4)

(5)

(6)

2.1.3 協(xié)同顯著圖生成

根據(jù)上述的基于聚類的顯著性特征計算可以得到三張不同的顯著圖，可通過公式(7)為每一張?zhí)卣黠@著圖進(jìn)行權(quán)值線性組合[10]形成協(xié)同顯著圖.

(7)

其中N為特征顯著圖的個數(shù)，wi為線性融合的權(quán)值，Si對第i個特征顯著圖對應(yīng)像素點(diǎn)的顯著值，通過特征顯著圖線性融合獲得協(xié)同顯著圖.

2.2 基于高斯混合的分割

利用協(xié)同顯著性檢測的結(jié)果指導(dǎo)混合高斯模型擬合圖像的前景與背景，首先在原有圖割能量函數(shù)公式的基礎(chǔ)上增加新的能量限制，如公式(8)所示 .

E(f)=Esmooth(f)+γEdata(f)+λVpq(f)

(8)

(9)

通過最小割方法找到最小化能量函數(shù)E(f)的星形形狀的粗分割圖.初始化圖像摳圖算法trimap T[18]，將標(biāo)記為0的元素作為背景元素，記為集合TB，標(biāo)記為1的元素作為前景元素，記為集合TU.通過這兩個集合來初始化高斯混合模型.利用彩色像素的高斯混合模型來描述圖像的區(qū)域?qū)傩裕蓞^(qū)域數(shù)據(jù)項(xiàng)和邊界光滑約束項(xiàng)組成能量函數(shù)，使用GrabCut方法進(jìn)行細(xì)分割.首先，在RGB彩色顏色空間，使用Gibbs能量函數(shù)，其形式如公式(10)所示.

E(α，k，θ，z)=D(α，k，θ，z)+S(α，z)

(10)

其中D為數(shù)據(jù)項(xiàng)，S為光滑項(xiàng)，α(α∈[0，1])表示某個像素所在的是前景區(qū)域還是背景區(qū)域，θ為圖像前景和背景的灰度直方圖，z為圖像灰度值數(shù)組z=(z1，…zn…，zN).數(shù)據(jù)項(xiàng)D定義為公式(11).

(11)

U(αn，kn，θ，zn)=-logπ(αn，kn)-logp(zn|αn，kn，θ)，其中π(·)是該高斯模型的樣本數(shù)在總樣本中的權(quán)值，p(·)是高斯概率分布.因此，數(shù)據(jù)項(xiàng)的等價表示如公式(12)所示.

D(αn，k，θ，zn)=-logπ(αn，kn)+0.5logdet∑(αn，kn)+

0.5[zn-μ(αn，kn)]T∑(αn，kn)-1[zn-μ(αn，kn)]

(12)

其中μ(α，k)為高斯模型的均值，∑(α，k)為協(xié)方差矩陣，k表示某個像素所歸屬的某個高斯分量，為混合高斯模型參數(shù).通過這三個參數(shù)，得到某像素屬于目標(biāo)與背景的概率，可得到區(qū)域能量項(xiàng)，即s-t網(wǎng)絡(luò)中t-link的權(quán)值.而平滑項(xiàng)S使用RGB空間的歐氏距離：

(13)

本論文中γ=1，通過公式(13)，可確定n-link的權(quán)值，然后通過maxflow/mincut算法進(jìn)行分割.表1描述了通過最大流計算最小割算法的流程.

表1 最大流計算最小割的算法Table 1 Maximum flow/minimum cut algorithm

2.3 基于符號壓力的主動輪廓精確分割

為了進(jìn)一步改善上述分割結(jié)果，解決含有弱邊界和灰度不均勻的圖像在分割時導(dǎo)致分割結(jié)果錯誤的情況.利用符號壓力函數(shù)SPF(Signed Pressure Force)函數(shù)進(jìn)行曲線演化，處理一些邊界比較模糊的區(qū)域，令C為一個演化曲線，且C(s)：=[0，1]→R2，SPF的函數(shù)定義如下：

(14)

其中u(x，y)為當(dāng)前檢測圖像，c1和c2分別為inside(C)和outside(C)均分值，其計算如公式(15)所示.

(15)

H(φ)為Heaviside函數(shù)，然后使用拉格朗日方程對演化曲線進(jìn)行精度評估，如公式(16)所示.

(16)

反復(fù)迭代以調(diào)整水平評估函數(shù)，使得φ=0，通過變分水平集圖像分割方法對圖像做最后的目標(biāo)平滑與分割.

圖3 多幅圖像協(xié)同顯著性目標(biāo)精確分割效果圖Fig.3 An example of multiple image co-saliency segmentation

圖3給出了本文算法對應(yīng)每個步驟效果的實(shí)例圖.從該圖中可以看出，基于K-means和sPCA的快速協(xié)同顯著性目標(biāo)檢測可以指導(dǎo)主動分割的過程，并能提高GrabCut算法的執(zhí)行效率.在面對復(fù)雜圖像，協(xié)同顯著性檢測效果不佳時，該方法仍然能較好的對前景目標(biāo)進(jìn)行分割，表現(xiàn)了較強(qiáng)的魯棒性和容錯性.綜合三種不同的分割方法，具有非監(jiān)督、自動化及快速等特點(diǎn)，且可以比較精確的分割出目標(biāo)區(qū)域，為多圖像的分割提供了新的思路.

3 實(shí)驗(yàn)仿真與分析

3.1 數(shù)據(jù)集介紹

標(biāo)準(zhǔn)數(shù)據(jù)集CPair[15]，iCoSeg[16]、MSRC[17]是三個常用的多目標(biāo)數(shù)據(jù)集，它們包含了多幅圖像和相應(yīng)的人工標(biāo)注圖.其中Co-saliency-Pairs(CPair)數(shù)據(jù)集包含105組共210幅圖像.iCoSeg包含38組圖像的手工標(biāo)記像素注釋，每組有一個共同的前景，共643張圖像.MSRC數(shù)據(jù)集包括32組共831幅圖像.本文是針對多目標(biāo)的檢測算法，選擇了CPair，iCoSeg、MSRC中具有兩個或兩個以上目標(biāo)的圖片進(jìn)行實(shí)驗(yàn).

3.2 評價標(biāo)準(zhǔn)與參數(shù)介紹

實(shí)驗(yàn)在Intel CoreTMi3-3220處理器，4G內(nèi)存的硬件環(huán)境下進(jìn)行，操作系統(tǒng)為Microsoft Windows7，實(shí)驗(yàn)仿真環(huán)境為Matlab，通過顯著圖的準(zhǔn)確率 (Precision)-查全率 (Recall) 曲線(簡稱 PR 曲線)評價顯著性目標(biāo)檢測的效果，用錯誤率error_rate評價分割效果.假設(shè)標(biāo)準(zhǔn)顯著圖為A，算法檢測出來的顯著圖為S，則查準(zhǔn)率和查全率的計算公式如下：

(17)

其中sum(S，A)為顯著圖S和標(biāo)準(zhǔn)圖A中對應(yīng)像素點(diǎn)值的乘積和，sum(S)和sum(A)分別為顯著圖和標(biāo)準(zhǔn)圖的所有像素點(diǎn)個數(shù)之和.根據(jù)查準(zhǔn)率和查全率，應(yīng)用一種新的評價指標(biāo)——F均值，它是查準(zhǔn)率和查全率的加權(quán)平均值，反應(yīng)了顯著性檢測的整體預(yù)測精度，如公式(18)所示:

(18)

通過參數(shù)β2調(diào)整了P和R的比重，通常情況下更看重查準(zhǔn)率，β2常設(shè)定為0.3.

圖像分割的錯誤率計算如公式(19)所示：

(19)

其中Ne為錯誤分類的像素點(diǎn)個數(shù)，Nall為圖像總的像素點(diǎn)個數(shù).

3.3 協(xié)同顯著性目標(biāo)檢測對比實(shí)驗(yàn)

對比只有截斷冪稀疏特征提取和截斷冪與特征選擇兩種情況下的查準(zhǔn)率與查全率，在CPair和iCoseg數(shù)據(jù)集上的查準(zhǔn)率與查全率曲線對比圖分別如圖4和圖5所示.結(jié)果顯示，主成分載荷系數(shù)的結(jié)構(gòu)化分布具有更好的效果.

圖4 CPair數(shù)據(jù)集下查準(zhǔn)率和查全率曲線與具體值對比圖Fig.4 Precision-recall curve on CPair dataset

圖5 iCoseg數(shù)據(jù)集下查準(zhǔn)率和查全率曲線與具體值對比圖Fig.5 Precision-recall curve on iCosegdataset

圖6 CPair數(shù)據(jù)下圖像顯著性檢測具體效果圖Fig.6 Salient region visual effect on CPair dataset

圖6、圖7分別從CPair、iCoseg數(shù)據(jù)中挑選出部分圖片進(jìn)行效果展示，按照從上到下的排列為：原始圖像、標(biāo)準(zhǔn)顯著圖像、基于聚類顯著性檢測圖像[2]及本文方法圖像.

圖7 iCoseg數(shù)據(jù)下圖像顯著性檢測具體效果圖Fig.7 Salient region visual effect on iCoseg dataset

3.4 協(xié)同顯著性目標(biāo)分割對比

圖8展示CPair數(shù)據(jù)集中成對圖像協(xié)同顯著性目標(biāo)的分割結(jié)果，(1，3為原始圖像，2，4為分割結(jié)果)，可以看出，本文方法在圖像較復(fù)雜時，能夠精確分割出目標(biāo)，表1給出了該數(shù)據(jù)集部分圖像在不同算法下分割的錯誤率.

圖8 CPair數(shù)據(jù)集上的協(xié)同分割效果圖Fig.8 Co-segmentation visual effect on CPair

圖9展示了iCoSeg和MSRC數(shù)據(jù)集的協(xié)同顯著性目標(biāo)分割結(jié)果(第1，3行為原始圖像，第2，4行為分割結(jié)果)，左側(cè)為iCoSeg數(shù)據(jù)集，右側(cè)為MSRC數(shù)據(jù)集，此類圖像比較復(fù)雜，本文的分割結(jié)果也略帶瑕疵，但是仍然分割出了較完整的顯著性目標(biāo)，第二行組中目標(biāo)分割有瑕疵，第四行存在分割不滿的狀況.iCoseg數(shù)據(jù)集部分分割結(jié)果對比如表2所示，MSRC數(shù)據(jù)集部分分割結(jié)果對比如表3所示.

表1 CPair數(shù)據(jù)集中不同方法分割錯誤率結(jié)果Table 1 Segmentation error rate on CPair dataset

圖9 iCoseg和MSRC數(shù)據(jù)集協(xié)同分割結(jié)果Fig.9 Co-segmentation visual effect on iCoseg&MSRC

表2 iCoseg數(shù)據(jù)集中不同方法分割錯誤率結(jié)果表Table 2 Segmentation error rate on iCoseg dataset

表3 MSRC數(shù)據(jù)集中不同方法分割錯誤率結(jié)果表Table 3 Segmentation error rate on MSRC dataset

圖10給出了一個動態(tài)視頻(第1行為原圖，第2行為分割圖)的協(xié)同目標(biāo)分割結(jié)果， 本文方法在面對不同顏色的同類顯著目標(biāo)時，對目標(biāo)協(xié)同分割具有魯棒性，彌補(bǔ)了協(xié)同顯著性檢測步驟中對顏色的依賴，改善了顯著目標(biāo)分割的不完整性的問題.

圖10 視頻數(shù)據(jù)集協(xié)同分割結(jié)果圖Fig.10 Co-segmentation visual effect on video

4 總 結(jié)

針對交互式分割需要通過用戶不斷進(jìn)行交互才能獲取圖像中的先驗(yàn)知識，不能自動分割出圖像中感興趣的目標(biāo)，本文提出一種基于協(xié)同顯著性檢測的多階段協(xié)同目標(biāo)自動分割方法.在視覺協(xié)同顯著性的基礎(chǔ)上實(shí)現(xiàn)了一種非監(jiān)督、且具有容錯能力的自動化分割方法.通過仿真實(shí)驗(yàn)在CPair，iCoSeg、MRSC三個標(biāo)準(zhǔn)數(shù)據(jù)集上驗(yàn)證了本文方法的有效性.下一步的工作重心在于優(yōu)化分割效果，能夠同時檢測分割出圖像中的多個協(xié)同顯著目標(biāo).

[1] Ye L，Liu Z，Li J，et al.Cosaliency detection via cosalient object discovery and recovery[J].Signal Processing Letters，IEEE，2015，22(11)：2073-2077.

[2] Liang X，Wei Y，Shen X，et al.Reversible recursive instancelevel object segmentation[C].Computer Vision and Pattern Recognition(CVPR)，2016：633-641.

[3] Fu H，Cao X，Tu Z.Clusterbased cosaliency detection[J].IEEE Transactions on Image Processing，2013，22(10)：3766-3778.

[4] Zhu Ling，Xu Wei-hong，Chen Yuan-tao，et al.Saliency detection model using contrast of local feature and global feature in image[J].Journal of Chinese Computer Systems，2016，37(9)：2109-2113.

[5] Du S Z，Chen S F.Detecting cosalient objects in large image sets[J].IEEE Signal Processing Letters，2015，22(2)：145-148.

[6] Huang R，F(xiàn)eng W，Sun J Z.Saliency and cosaliency detection by lowrank multiscale fusion[C].In：IEEE International Conference on Multimedia and Expo (ICME)，2015.

[7] Huang Z，He F，Cai X，et al.Efficient random saliency map detection[J].Science China Information Sciences，2011，54(6)：1207-1217.

[8] Haiping Y U，F(xiàn)azhi H E，Yiteng PAN，et al.An efficient similarity-based level set model for medical image segmentation[J].Journal of Advanced Mechanical Design，Systems，and Manufacturing，2016，10(8)：JAMDSM0100.

[9] Meng F，Li H，Liu G，et al.Object co-segmentation based on shortest path algorithm and saliency model[J].Multimedia，IEEE Transactions on，2012，14(5)：1429-1441.

[10] Li H，Ngan K N.A cosaliency model of image pairs[J].IEEE Transactions on Image Processing，2011，20(12)：3365-3375.

[11] Chen D J，Liu C Y，Chang L W.Matching based image co-segmentation[C].Information Science，Electronics and Electrical Engineering(ISEEE)，2014 International Conference on.IEEE，2014，2：818-822.

[12] Liu Z，Zou W，Li L，et al.Cosaliency detection based on hierarchical segmentation[J].Signal Processing Letters，IEEE，2014，21(1)：88-92.

[13] Zhang D，Han J，Han J，et al.Cosaliency detection based on intrasaliency prior transfer and deep intersaliency mining[J].IEEE Transactions on Neural Networks and Learning Systems，2016,27(6)：1163-1176.

[14] Joulin A，Bach F，Ponce J.Discriminative clustering for image co-segmentation[C].Computer Vision and Pattern Recognition(CVPR)，2010 IEEE Conference on.IEEE，2010：1943-1950.

[15] Ni Bo，He Fa-zhi，Pan Yi-teng，et al.Using shapes correlation for active contour segmentation of uterine fibroid ultrasound images in computer-aided therapy[J].Applied Mathematics-A Journal of Chinese Universities，2016，31(1)：37-52.

[16] Batra D，Kowdle A，Parikh D，et al.iCoseg：interactive cosegmentation with intelligent scribble guidance[C].Computer Vision and Pattern Recognitio,2010：3169-3176.

[17] Winn J，Criminisi A，Minka T.Object categorization by learned universal visual dictionary[C].Tenth IEEE International Conference on Computer Vision，IEEE，2005，2：1800-1807.

[18] Juan O，Keriven R.Trimap segmentation for fast and user-friendly alpha matting[J].Lecture Notes in Computer Science，2005，3752：186-197.

附中文參考文獻(xiàn)：

[4] 朱 玲，徐蔚鴻，陳沅濤，等.應(yīng)用圖像局部特征和全局特征對比的顯著性檢測模型[J].小型微型計算機(jī)系統(tǒng)，2016，37(9)：2109-2113.