融合似物性前景對象與背景先驗的圖像顯著性檢測*

郭鵬飛，金 秋，劉萬軍

(遼寧工程技術大學軟件學院,遼寧 葫蘆島 125105)

1 引言

人類視覺系統可以對不同場景基于視覺注意機制獲取感興趣區域。每幅圖像中都包含一個或多個顯著目標，顯著性檢測[1]則是模仿視覺注意機制獲取圖像中重要信息，以提高圖像處理的效率與準確性。圖像顯著性檢測在圖像標注與檢索[2]、目標識別[3]、圖像自動剪裁[4]、圖像壓縮等領域均有廣泛的應用，是計算機視覺研究的熱點之一。

從視覺注意機制出發，顯著性檢測可分為自底向上的檢測模型和自頂向下的檢測模型[5]。自底向上模型主要是由顏色、紋理、邊緣等底層特征數據驅動的顯著檢測過程。自頂向下模型不僅涵蓋了自底向上模型的處理過程，還需要基于目標驅動來調整選擇準則，過程更為復雜，因此基于數據驅動的自底向上模型應用較為廣泛。隨著顯著性研究的發展，顯著檢測模型從處理單元的選擇上可分為基于像素點的顯著性檢測模型和基于對象的顯著性檢測模型。早期的顯著性檢測模型多為基于像素點的顯著檢測。如Itti等人[6]提出一種基于生物學啟發的視覺注意機制模型，使用中心-周邊算子，在高斯金字塔結構中計算各尺度的底層特征并實現跨尺度對比計算顯著性。Ma等人[7]使用局部對比度差值計算顯著圖，并利用模糊增長的方式確定顯著區域。Zhai等人[8]提出使用全局對比度改善局部對比度存在的顯著區域不連續情況，利用特征直方圖對像素點進行分類，再使用距離公式計算顯著性。

基于像素點的顯著性檢測方法往往缺少結構化信息，導致區域稠密性不夠。因此，研究者從像素點的顯著性檢測模型出發，提出以區域塊為處理單元的檢測方法。Achanta等人[9]提出算法結合多尺度空間思想，在不同大小的像素塊下，以像素塊均值作為特征值計算局部對比度。Cheng 等人[10]提出的算法采用Grab-cut方法分割圖像，并結合空間關系以區域為單位計算全局對比度。Liu等人[11]學習條件隨機場模型,利用模型將局部、區域和全局三個層面獲取的特征映射圖進行融合得到顯著圖。Yan等人[12]提出在不同大小的分割圖像塊上，構建樹形結構，利用多尺度分析方法得到顯著圖，減少高紋理區的干擾。Jiang 等人[13]基于統計學習思想，先利用圖論對圖像過分割處理，并在分割區域上進行多特征描述，再采用隨機森林方法學習特征映射，最后在多層次上融合顯著特性。Li等人[14]提出的基于密集和稀疏重構的算法，基于邊界處的超像素構建背景模板，結合稀疏表示與主成分分析法，由重構誤差獲取顯著值。錢生等人[15]受Li的啟發，由背景模板進行稀疏重構獲取邊界信息，并與其它特征信息在條件隨機場框架下融合獲取粗糙顯著圖，然后利用Grab-cut實現顯著區域精確檢測。

以上顯著性檢測模型在顯著特征的提取上，其處理單元或為像素點，或為過分割形成的區域塊。這些點和區域塊單獨存在時并沒有對象性的意義，缺少完整的對象性信息，在復雜背景下易受背景噪聲干擾，無法均勻覆蓋整個顯著區域。尤其是當圖像中存在多個顯著目標時，往往不能將多個對象獨立區分出來。

另一種顯著性檢測方法為基于對象性的顯著性檢測方法，即似物性檢測。這一類方法通常利用窗口，結合不同顯著特征的選擇，實現顯著性檢測。Lu等人[16]為每一個超像素基于其輪廓生成凹弧，為每個凹弧外接矩形，形成凹面上下文窗口，統計窗口包含顯著對象的概率。Alexe等人[17]以窗口為處理單元，將中心窗口與周圍窗口的局部對比度、超像素跨度、邊緣密度等特征利用貝葉斯框架融合，得到每個窗口的顯著概率。

對象性檢測方法的目標是利用矩形框找到圖像中最有可能包含完整對象的區域并給出這個窗口包含對象的概率，即目標得分。這種方式保證了目標對象的完整性，但對于顯著性檢測來說，仍存在兩個問題。其一，若窗口檢測不夠精確，包含過多背景元素會影響準確度；其二，僅僅得到對象窗口無法找到目標對象的準確輪廓。

針對兩種方式各自的優缺點，本文綜合利用對象性和顯著性，提出一種結合似物性與顯著特征的顯著性檢測算法OFOBP(Objectness Foreground Object and Background Prior)。該算法并不是直接利用似物性檢測得到的窗口產生顯著對象，而是將窗口信息作為一種對象性描述，融入到前景顯著特征的計算中，描述前景對象，并結合背景先驗特性得到最終顯著對象。

2 OFOBP顯著性檢測算法

本文算法主要包括三個部分，分別為融合似物性與顯著性的前景對象獲取、基于背景先驗知識的顯著計算以及顯著特征融合。OFOBP算法流程圖如圖1所示，首先從目標對象角度，利用似物性檢測算法獲取目標對象窗口，并結合超像素顏色空間分布特征，重新尋找窗口邊界，優化窗口；再利用窗口特征與超像素特征的對比結果，重新計算超像素特征，完成圖像的前景對象預測；同時，從背景角度，利用改進后的背景模板，計算超像素的稀疏重構誤差，得到背景先驗顯著值；最后融合兩種顯著圖，得到最終的顯著檢測結果。

Figure 1 Flow diagram of the OFOBP algorithm圖1 OFOBP算法流程圖

2.1 融合似物性和顯著性的前景對象

這一部分包括三個計算模塊，分別為超像素顏色空間分布特征計算、似物性窗口優化以及前景對象獲取。

(1)超像素顏色空間分布。

一種顏色存在的范圍越廣，那么這種顏色屬于顯著區域的可能性越小。根據這一思想，Liu等人[18]提出一種基于中心加權的顏色空間分布模型，該模型能夠有效描述一幅圖像的顯著特征，但其處理方式是基于單個像素點，缺少結構化信息，處理速度也慢。

為了保留顏色特征的同時引入結構信息，本文首先利用SLIC(Simple Linear Iterative Clustering)[19]對原圖像進行超像素分割，得到M個超像素。引入高斯混合模型計算每個像素點對應于第c種顏色成分的概率p(c|Ix)[18]，超像素si對應于第c種顏色的概率函數表示為：

(1)

超像素的顏色空間分布表示為:

(2)

(2)目標候選窗口的優化。

似物性檢測產生的目標窗口數量和質量對算法的效率都有直接影響。傳統的似物性評估的位置數量過多(1 000～10 000不等)且位置生成時間太長。為了解決這個問題，Cheng等人[20]提出了一種二進制梯度歸一化BING(BInarized Normed Gradients)的似物性檢測方法，引入一個64維的梯度幅值特征，以先驗閾值進行二值化處理。再利用二進制的樣本圖像訓練二級級聯的支持向量機，得到按照目標得分從高到低排序的目標窗口。BING僅產生1 000～2 000個目標窗口，實現了搜索空間的縮小，從而提高了檢測效率。

(3)

(4)

(3)前景對象的獲取。

計算窗口的顯著均值Uj，作為窗口特征。

(5)

其中,c(x,y)為窗口內像素點的顏色空間分布特征值，等于其所屬的超像素顏色空間分布特征值。m′×n′為優化后窗口中像素個數。將超像素的顯著值與所有窗口的特征均值進行對比，如果大于某個窗口均值，則表示超像素相對于當前窗口屬于前景區域。將原窗口的目標得分賦予對應的新窗口，對多窗口得分疊加處理，超像素屬于目標對象的概率越高，則得到的窗口目標得分越多，表示其顯著值越高，由此更新超像素顯著特征，實現前景對象的獲取。超像素的前景對象特性定義為:

*fS(si,I)

(6)

其中,fS(si,I)由公式(2)計算，表示超像素的顏色空間分布特征，goalj為第j個窗口的目標得分。融合似物性和顯著性特征的前景對象提取方法既考慮到了似物性檢測獲取目標對象的完整性，又考慮到了顯著特性對區域的有效描述。

2.2 背景先驗

前景對象模型主要考慮的是區域作為顯著對象的概率，但實際上圖片中的背景部分同樣能為顯著性檢測提供有效信息。稀疏重構誤差利用超像素與圖像邊界特征的差異性來表示超像素的顯著性，差異越大，超像素為顯著區域的概率越高。將這種差異性作為背景先驗結果可以有效地描述顯著區域。

這一部分包含兩個計算模塊，分別為背景模板的建立與預處理以及稀疏重構誤差的計算。

(1)背景模板的建立與預處理。

1.2.3 出血護理患者每次進餐前要進行漱口,以1次/2h為宜,護理人員要指導患者進行沖擊性漱口,使患者黏膜皺劈部位能夠和漱口液充分接觸。護理人員建議患者使用軟毛牙刷不要用使用牙簽剔牙,以免受到外力撞擊對皮膚粘膜進行保護,一旦牙齦口腔出血,可以使用棉棒蘸生理鹽水進行擦拭,口腔局部涂抹止血藥。鼻出血可以給予填塞法或是局部冷敷法。拔針后注射部位加壓數分鐘,一旦出現滲漏現象或是局部紅腫應當立即用50%的硫酸鎂對局部濕敷,或是在血管的上方外敷新鮮馬鈴薯片,可以使局部的腫痛現象減輕[3]。

超像素的特征sfi描述為其所含像素的平均LAB和RGB顏色特征以及位置信息，即sfi={l,a,b,r,g,b,x,y},其中，l,a,b為LAB顏色空間的顏色分量，r,g,b為RGB顏色空間的顏色分量，x,y為超像素位置。提取圖像邊界處超像素的D維特征(D=8)組建圖像的背景模板，記作BG={Bg1,…,Bgi,…,BgL},L表示背景模板中的超像素個數。

對多個公開圖像集中的圖像進行研究分析，發現圖像的邊界在不同方位上有不同程度的相似性。為了使背景模板中的超像素更具代表性，本文對模板中的超像素進行一次預處理。

(2)稀疏重構誤差。

以BG′的特征矩陣作為稀疏字典，利用超像素si與BG′之間的差異性，計算稀疏重構誤差。誤差計算公式為:

(7)

其中,sfi為超像素si的特征描述;αi為稀疏系數，表示為:

(8)

其中，λ為擬合約束參數。由稀疏重構誤差得到超像素的背景先驗特性Fb(i)=εi。

2.3 顯著融合

本文提出的似物性前景對象圖與背景先驗顯著圖存在互補關系，將二者加權融合得到最終的顯著檢測結果。

Ffinal(i)=β1*Fp(i)+β2*Fb(i)

(9)

其中,β1和β2為加權系數，控制兩種顯著圖的重要程度。

圖2為OFOBP算法各部分的檢測結果。圖2a是原圖，圖2b和圖2c分別是似物性前景對象圖和背景先驗顯著圖，圖2d是融合后的顯著檢測結果，圖2e是二值化處理后的顯著圖。背景先驗有效抑制了背景干擾，但是對顯著對象的提取不夠完整；似物性前景對象的獲取將對象信息融入到前景顯著特征中，有效凸顯了顯著對象。二者的融合突出了各自優勢，顯著檢測效果更好。

Figure 2 Test results of each part of the OFOBP algorithm圖2 OFOBP算法各部分檢測結果

3 實驗結果與分析

3.1 實驗數據集說明

為了驗證本文算法的有效性，分別從MSRA10k和VOC2007公開數據集上選取圖片進行實驗。在MSRA10k數據集中選取500張圖片作為實驗測試圖片并配有相應的地值圖。VOC2007數據集中包含的圖片更符合人類視覺對目標對象的觀測需求。對VOC2007數據集中提供的目標對象類分割圖進行二值處理，得到實驗所需的地值圖。由于BING訓練時使用的圖片為VOC2007中的2 501幅圖片，因此在實驗時從訓練之外的圖片中選取1 500張，與MSRA10k中選取的500張共同組成實驗數據集，以供算法測試使用。

3.2 評價指標的選定與算法參數的設定

本文采用準確率、召回率、F-measure和MAE(Mean Absolute Error)四個評價指標來衡量算法檢測效果。準確率和召回率之間存在相互影響，因此常常用F-measure指標衡量算法的整體性能。F-measure的計算公式為:

(10)

其中,Precision為準確率;Recall為召回率;α為準確率的權重參數，該權重參數體現出準確率在公式中的重要程度，α2取值為0.3。

MAE表示平均絕對誤差，反映顯著預測值與真實值之間的誤差情況，計算公式如下:

(11)

超像素分割的個數越多，過分割情況會越嚴重，越少則無法找到圖像全部邊界，本文將超像素分割個數設置為M=200。θ為自適應閾值的控制參數，取值為0～1。θ越大，閾值越大，最終的窗口就會越小。本文通過反復實驗將控制參數設置為θ=0.2，以獲取最優窗口。β1和β2為前景對象與背景先驗融合的加權系數，系數越大，相應顯著特征在融合中的比重越大。本文將加權系數設置為β1=β2=0.5，表明兩顯著特征在融合時的比重相同。

3.3 像素級別和超像素級別的顏色空間分布特征對比

圖3為兩種處理單元上的顏色空間分布對比結果。圖3a為原圖，圖3c為SLIC超像素分割結果。由圖3可以看出，文獻[18]中像素級別的顏色空間分布圖缺少區域結構信息，導致區域稠密性不夠，如圖3b所示；本文采用的基于超像素的顏色空間分布，將超像素具有的高邊界貼合度融合到顏色特征分布中，使得顏色空間分布更具結構化特點，區域內部稠密性更高，如圖3d所示。

Figure 3 Comparison of color spatial distribution between pixel level and superpixel level圖3 像素級別與超像素級別顏色空間分布對比

3.4 原BING目標窗口與優化后的目標窗口對比

圖4為目標窗口的優化過程，展示了目標窗口優化前后的對比結果。圖4中第1行為選取的BING中一個窗口的優化流程示例，第2行為選取的BING中10%～20%的有效窗口同步優化的流程示例。圖4a為原圖，圖4c為搜索區域，圖4b和圖4d分別為BING目標窗口和優化后的目標窗口。由圖4可以看出，圖4d中的窗口共同鎖定的目標對象更準確，減少了背景干擾。

Figure 4 Process of window optimization圖4 窗口優化流程

3.5 似物性前景對象與視覺顯著特征對比

圖5展示了本文提出的似物性前景對象預測方法與僅采用顏色空間分布這一視覺顯著特征的顯著圖對比結果。圖5a為原圖，超像素顏色空間分布特征如圖5b所示，似物性前景對象如圖5c所示。

Figure 5 Comparison between objectness foreground object and salient feature 圖5 似物性前景對象與顯著特征對比

由圖5可以看出，圖5c中采用似物性特征與顯著特征的融合得到的顯著對象比圖5b中的顯著對象更加完整，能夠均勻地突出顯著區域，增強了顯著區域與背景區域的對比度。同時多窗口特征的加入實現了多個目標對象的有效檢測。

3.6 本文算法與其它算法對比實驗

為了驗證本文算法的有效性，在兩個數據集上與11種算法進行對比，11種算法分別為SR[24]、SUN[25]、FT[26]、SEG[27]、RC[10]、SWD[28]、CA[29]、COV[30]、GR[31]、DSR[14]和RBD[32]算法。SR是剩余譜算法，從圖像的幅度譜中除去代表先驗知識的幅度譜即可得到顯著部分的幅度譜。SUN是一種自底向上的顯著檢測方法，利用了自然統計的顯著性貝葉斯檢測框架。FT算法利用顏色特征的中央-周邊算子計算顯著圖。SEG算法以窗口為單位，計算每個像素點屬于窗口中心和窗口邊界的概率，從而得到像素點的顯著性。RC是一種基于全局對比度的顯著檢測算法。SWD是基于空間加權向異性的，在降維空間計算區域的差異性。CA是一種基于上下文感知的顯著檢測算法。COV算法是以區域協方差計算顯著性的。GR算法同時考慮圖正則化理論、對比度及中心先驗知識計算顯著特征。DSR算法同時計算重構誤差和稀疏重構誤差，并結合貝葉斯計算顯著圖。RBD是一種以背景作為參考的顯著性檢測算法。

Figure 6 Comparison of saliency maps圖6 顯著圖對比

圖6為OFOBP算法與其中近5年較流行的7種算法在視覺上的顯著圖對比。SWD與OFOBP都與窗口有關，前者是將窗口作為處理單元，計算像素點的顯著性，而OFOBP則是將目標窗口作為對象信息，與顯著特征融合。SWD僅采用滑動窗口作為處理模塊，并未考慮窗口本身具有對象性，而OFOBP充分利用了這一點。DSR與OFOBP均使用了重構誤差，由于DSR同時使用了兩種重構方式，其背景抑制效果更好，但OFOBP引入了窗口對象信息，在對象完整性上更為優越。從圖6整體來看，前4行選取的是VOC2007數據集上的實驗結果，后4行選取的是MSRA10k數據集上的實驗結果。從實驗對比結果可以看出，OFOBP可以較為完整地檢測到圖像的顯著對象，背景抑制的效果更好。同時，VOC2007數據集中的圖片存在多個顯著對象，從圖6中的第3行和第4行圖片可以看出，圖片中均存在兩個顯著對象，多數方法并未檢測出第二顯著特征，而OFOBP成功地將兩個特征檢測出來了，而且區分了每一個目標，表明多窗口對象信息與顯著特征的融合有效提高了顯著性檢測的準確性。

圖7是OFOBP算法與11種算法在MSRA10k數據集上的評價指標結果。

Figure 7 Evaluation results on MSRA10k data set圖7 MSRA10k 數據集上評價結果

從圖7的P-R曲線以及平均準確率、平均召回率和F-measure結果可以看出，OFOBP在三個評價指標上優于大部分其它算法。OFOBP與DSR和RBD在準確率上水平相當，但Recall和F-measure更高，其中Recall達到81.7%，F-measure達到87.1%。召回率代表了待測圖像的查全率情況，召回率的提高說明OFOBP算法能夠較好地保留顯著區域的完整性。F-measure的提高表明算法整體性能優良。從P-R曲線圖來看，OFOBP算法的曲線更加平滑，三個性能指標均較高。

為了進一步驗證OFOBP算法的有效性，實驗選擇了更具挑戰性的數據集VOC2007。圖8為OFOBP與11種算法在VOC2007數據集上的評價指標結果。從實驗結果來看，OFOBP算法在準確率上優于其它算法，達到88.1%。同時，在Recall和F-measure值上有明顯的優勢，其中Recall達到83.6%，F-measure達到87%。VOC2007數據集包含的圖片多數具有兩個或兩個以上的顯著對象，召回率的提高表明OFOBP采用的多窗口融合方式在多個對象檢測上有較好的效果。

Figure 8 Evaluation results on VOC2007 data set圖8 VOC2007 數據集上評價結果

表1為OFOBP算法與對比的11種算法在平均絕對誤差(MAE)這一評價指標上的結果。從表1可以看出，本文的誤差值低于其它10種算法，只略高于DSR算法的誤差值。說明OFOBP具有一定的有效性。

表2為OFOBP算法與其它11種算法在兩個數據集上的運行時間對比結果。從運行時間上來看，較早時間的顯著性檢測算法，如SR、FT，其運行時間短，但如果結合P-R曲線和MAE評價指標來看，可以看出這些算法的性能指標較低；RC算法采用的編碼方式是C++，因此其運行時間與其它算法不太有可比性；OFOBP與近幾年較為流行且效果較好的CA、COV、GR、DSR、RBD相比，OFOBP的運行時間介于它們之間，如果結合其它評價指標和直觀的對比圖來看，OFOBP在顯著性檢測方面具有一定優勢。

Table 1 Mean absolute error MAE表1 平均絕對誤差MAE

Table 2 Comparison of running time表2 運行時間對比 s

4 結束語

基于像素點或區域塊的顯著檢測方法往往僅計算點或塊的顯著特征，而忽略了顯著區域的對象性。本文提出一種同時結合似物性與顯著特征的顯著性檢測算法OFOBP。該算法利用似物性檢測獲取對象性信息，設計一種前景對象獲取方式，將其融合到顯著特征中，優化前景顯著特征；同時與背景先驗特征融合，實現顯著性檢測。與傳統基于顯著性特征的算法相比，該算法不僅保留了顯著特征對目標對象的有效描述，同時還融入了似物性特征，解決了對象完整性問題。分別在MSRA10k數據集和VOC2007數據集上進行評估，由實驗結果可知，OFOBP算法在各項檢測指標上均取得了良好的效果，算法有一定的有效性。

此外，OFOBP算法雖然在顯著性檢測上取得了一定的效果，但是仍然存在問題。比如對于顏色分布過于均勻、前景與背景噪聲均過大的圖片，算法的檢測效果有所下降，有待進一步提高。