簡單背景先驗下的顯著性目標檢測算法

王梓州 吳加瑩 楊賽 堵俊

摘 ?要： 針對當前算法中采用過強的背景假設和中心偏置會造成錯誤檢測，以及借助機器學習方法會大大增加復雜度的問題，提出使用過分割后的圖像4個頂點超像素塊作為背景先驗信息，將其與改進的高斯模型相融合，然后對其進行空間優化，并使用元胞自動機將多個尺度下的顯著結果進行融合。在公開數據庫上與多種主流算法進行對比評測中，所提算法表現出明顯的優越性。相較于以往算法將圖像四周選為背景信息，文中算法所選取的背景信息則更為簡單準確，同時也降低了計算復雜度，能夠快速準確地提取出顯著目標區域。

關鍵詞： 目標檢測; 背景定位; 模型融合; 空間優化; 背景先驗; 顯著性計算

中圖分類號： TN911.7?34; TP391 ? ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）07?0039?04

Saliency target detection algorithm based on simple background prior

WANG Zizhou1， WU Jiaying1， YANG Sai1， 2， DU Jun1

（1. School of Electrical Engineering， Nantong University， Nantong 226019， China;

2. Nantong Research Institute for Advanced Communication Technologies， Nantong 226019， China）

Abstract： A method is proposed to solve the problems that too strong background assumption and center offset used in the current algorithm may cause error detection， and that the use of machine learning may greatly increase the complexity. In the method， four vertex super?pixel blocks of the over?segmented image are taken as background prior information， and the space optimization is done for it after it is fused with the improved Gaussian model to obtain the initial significant results， which would be spatially optimized and fused by the cellular automata in multiple scales. The results of comparison and testing on four public databases show that the proposed method outperforms several mainstream algorithms， which select the all around an image as the background information. The background information selected in this paper is simpler and more accurate， and has lower computational complexity. The method can extract the saliency area quickly and accurately.

Keywords： target detection; background positioning; model merging; space optimization; background prior; saliency calculation

0 ?引 ?言

人類視覺在處理數量龐大的輸入信息時，往往先利用自身注意機制優先處理最有價值的數據。為了使計算機能夠效仿人類這種視覺注意機制，優先處理信息中的重要成分，更高效地處理輸入信息，顯著性目標檢測模型應運而生。目前研究人員大多借鑒這種視覺注意機制構建有效的視覺顯著性模型來解決計算機視覺感知首要解決的信息冗余問題。早期的顯著性模型傾向于人眼視覺關注點，顯著性目標檢測由于能夠得到較為完整的整體目標，在圖像分割、目標識別和圖像檢索等領域有著廣泛的應用而得到更多的關注。近兩年來，很多研究學者力圖尋找一些先驗的前景或者背景知識，從而提高顯著性目標檢測的精度。其中，與本文最為相關的是使用背景先驗的工作。自從背景先驗概念的提出，圖像四周區域在多個顯著性檢測模型中充當了背景先驗。例如，方法GS[1]以圖像四周區域為背景基準，定義了一種用測地線距離表示顯著性的計算方法;RBD[2]和BFS[3]等方法分別利用邊界連通性和邊緣性進一步判定圖像四周中的超像素是否屬于背景;方法GL[4]先利用對比度先驗計算初始顯著圖，在此顯著圖基礎上分別構建背景和前景詞典計算重構殘差;方法BL[5]同樣以圖像邊緣為背景，計算所有區域與背景區域的對比度，構建弱顯著圖，得到正負樣本訓練集合，進而得到強顯著圖。為了利用超像素之間的空間信息來進一步提高顯著性檢測準確率，基于圖模型的傳播機制也被應用于顯著性檢測領域中。例如，方法GBMR[6]采用4個邊緣的超像素分別作為背景種子點，利用流形排序算法計算顯著性;方法AMC[7]將圖像顯著性看成是一個隨機游走的過程，把每個節點即隨機游走者走到圖像的邊界所用的時間看作是該元素的顯著性值;而方法MAP[8]則是將圖像四周作為背景點改為選取圖像的左邊界和上邊界作為圖像的背景點，定義每一個節點的顯著性為被圖像的左邊界和上邊界上所有與該節點相似的虛擬吸收節點吸收的概率之和。與上述方法不同的是，本文提出將圖像的4個頂點超像素塊作為背景種子點從而完成背景的更精確定位，并且將利用目標性來改進高斯模型從而完成目標的更精確定位。

1 ?基于背景和前景定位的顯著性計算

對于一幅給定的輸入圖像，首先，使用SLIC方法對其進行過分割，提取分割后的所有超像素塊的RGB、CIELab以及LBP特征，將圖像的4個頂點超像素塊作為背景種子點，假設第[j]個超像素（Superpixel）記為[Sj]，[j=1，2，…，n]，背景（Background）種子點記為[Bk]，[k=1，2，3，4]。計算每個超像素與4個背景超像素之間的歐氏距離，即可得到該超像素的顯著值[Sal（Sj）]，計算公式如下：

[Sal（Sj）=k=14d（Sj，Bk）4] （1）

其次，將通過文獻[9]所得目標先驗圖的形心代入二維高斯模型進行求解，對目標位置進行優化。用目標先驗圖中的目標位置坐標[xM，yM]代替高斯模型的中心坐標，優化后的高斯模型計算如下：

[Gsz=exp-xz-xM22σ2x+yz-yM22σ2y] （2）

式中：[xM]和[yM]代表目標先驗圖的目標[I]的位置坐標，[I=max（Of（i））]，[i=1，2，…，N]，[N]是輸入圖像總像素點個數。優化后的高斯模型由于目標先驗的作用，得到了很好的偏置效果。將上述得出的先驗模型[Gs（z）]與基于背景定位的顯著值相乘得到初始顯著圖[Ofs]，即：

[Ofs（Sj）=Sal（Sj）×Gs（z）（Sj）] （3）

2 ?顯著性空間優化

將圖像表示為圖模型[GV，E]的形式，其中，[V]代表所有節點的集合，邊[E]表示任意兩個節點連接成的邊，其權重可用相似度矩陣[W=[wij]m×m]表示。其中，第[ij]個元素權重[wij]的計算公式為：

[wij=exp-c（m）i-c（m）j22σ2， ? ?d（m）j∈N（d（m）i）0， ? ? 其他] （4）

式中：[c（m）i]，[c（m）j]分別表示圖像中第[i]個和第[j]個超像素的顏色均值;[dmi]和[dmj]分別為其相應的平均坐標;[Ndmi]為第[i]個超像素的[K]個空間近鄰;[σ2]為方差。假設初始顯著圖[Ofs]中各像素的顯著值矩陣為[Sfs=[Sfsrn1，Sfsrn2，…，SfsrnRn]∈R1×Rn]，空間優化后的各像素顯著值矩陣為[So=[So（rn1），So（rn2），…，So（rnRn）]∈R1×Rn]，定義如下能量函數：

[ESo=i，jwijSornidii-Sornjdjj2+γiSfs（rni）-So（rni）2] （5）

式中：[So（rni）]和[So（rnj）]分別為第[i]和第[j]個超像素經過空間優化后的顯著性值;[Sfsrni]為初始顯著圖中第[i]個超像素的顯著值;[γ]控制著優化前后顯著值的誤差以及相鄰像素之間的顯著值這兩項權重。對式（5）進行求導并令其為0，得到其能量最低時的最優解為：

[So=（D-αW）-1Sfs] （6）

式中：[α=1（1+μ）];[W]為權值矩陣;[D]為度矩陣;對角線上的元素為[d=jvij]。

3 ?多尺度融合

為了進一步提高顯著結果，本文使用多層元胞自動機同步更新[10]的方法對不同尺度上的顯著結果進行融合優化，對于不同尺度上的顯著圖，從以下幾個方面分析，計算最終顯著結果：

1） 元胞鄰居。對于輸入圖像，首先定義圖像中的每個像素點代表一個元胞，不同尺度顯著圖中處于相同位置的像素點互為鄰居，且每個鄰居對元胞下一時刻的狀態的影響相同。

2） 先驗概率。對于圖像中的像素點[i]，定義其屬于顯著區域（Salient）的概率為[Pi∈S=Si]，屬于背景區域（Background）的概率為[Pi∈B=1-Si]，為了避免歸一化常數，定義先驗概率比例[Ki∈S]如下：

[Ki∈S=Pi∈SPi∈F=Si1-Si] （7）

3） 后驗概率。采用OTSU[11]算法產生的適應閾值對所有圖像進行二值分割，記屬于前景區域的像素點[i]為[ηi=+1]，屬于背景區域的則為[ηi=-1]。由此可知，像素點[i]為前景時，它的鄰居屬于前景的概率為[λ=Pηj=+1i∈S]，同樣，當像素點[i]為背景時，它的鄰居屬于背景的概率為[μ=Pηj=-1i∈B]。后驗概率[Pi∈Sηj=+1]的計算公式為：

[Pi∈Sηj=+1∝Pi∈SPηj=+1i∈S=Si?λ] （8）

其比例[Ki∈Sηj=+1]為：

[Ki∈Sηj=+1=Pi∈Sηj=+1Pi∈Bηj=+1=Si1-Si?λ1-μ] （9）

4） 更新機制。先驗概率和后驗概率的比例為：

[Ki∈S=Sti1-Sti] （10）

[Ki∈Sηj=+1=St+1i1-St+1i] （11）

式中[Sti]表示像素點[i]在[t]時刻的顯著值。這里的顯著值即為上述所得的各個尺度下的顯著初值[So]，采用對數計算，得到[f：SN-1→S]的更新機制為：

[gSt+1m=gStm+ k=1k≠mNsgnStk-γk?1?lnλ1-λ] （12）

因而，[N]個尺度分割圖時，[M]個時間步之后，最終的顯著結果計算公式為：

[SM=1Nm=1NSMm] （13）

4 ?實驗與分析

4.1 ?數據庫及評價準則

本文在顯著性目標檢測公開數據庫上與基于對比度先驗的算法、基于中心先驗的算法以及基于背景先驗的算法進行對比。

1） 采用準確率?召回率（[P]?[R]）曲線對本文與其他算法進行評測。在此標準中，一般采用固定閾值分割的方法計算得到[P]?[R]曲線。用取值范圍在0～255之間的固定閾值[t]對顯著圖進行分割，得到二值分割后的圖像。

2） 將二值分割圖像與人工標注的真值圖像進行對比，得到查準率（Pre）和查全率（Re），計算公式為：

[Pre=x，yGTx，yBSx，yx，yBSx，y] （14）

[Re=x，yGTx，yBSx，yx，yGTx，y] （15）

式中BS和GT分別表示二值分割后的顯著圖像和人工標注的真值圖像。隨后，由上述結果計算出相對應的平均查準率和查全率，以查全率（Recall）為橫坐標，以查準率（Precision）為縱坐標，繪制[P]?[R]曲線。

3） 使用[F]值對各個算法所得圖像進行評測，計算公式如下：

[Fβ=1+β2×Precision×Recallβ2×Precision+Recall] ? ? （16）

本文將[β2]設為0.3，為了進一步評價[F]值的綜合性能，本文采用[Fβ?K]曲線對其進行評測，在區間[[0.1，6]]中以0.1為采樣步長均勻選取一系列[K]的值，利用式（16） 計算不同[K]值對應的平均[F]值，然后以[K]值為橫坐標，[F]值為縱坐標，畫出[Fβ?K]曲線。

4） 本文使用了平均絕對誤差（MAE）對各個顯著性檢測算法進行更進一步的綜合評價，取未進行二值分割的連續顯著圖[S]與人工標注圖GT所有像素之間的絕對誤差的平均值，計算公式為：

[MAE=1W×Lx=1Wy=1LSx，y-GTx，y] ? （17）

式中：[W]和[L]與計算[F]值時相同，分別表示[S]以及GT的寬度和長度，通常來說，MAE值越低，算法的顯著效果越好。

4.2 定量對比

本文算法與背景先驗算法的[P?R]曲線和[Fβ?K]曲線如圖1所示。

當查全率為0.85時，本文算法在ASD數據庫上的查準率基本保持在0.95以上，表明本文方法能夠以更高的準確率達到更好的顯著效果。[Fβ?K]曲線在每個[K]值處均具有最高的[F]值，說明本文算法能夠以更高準確率去判斷顯著目標的位置，也充分說明在處理復雜圖像時，精確定位彌補了過少的先驗信息的不足。各種算法的平均查準率、查全率、[F]值以及MAE值如表1所示，本文算法與對比的所有算法相比，具有最高的查準率和[F]值，說明本文算法能夠快速、準確地突出顯著區域。而且本文算法具有最低的MAE值，對比算法中MAE值最低的RBD算法降低了42%。由以上評價標準充分說明本文算法的全面性。

4.3 ?視覺效果對比

本文算法與基于背景先驗算法的視覺效果對比如圖2所示。從圖2b）可以看出，GS算法的顯著圖上對目標基本上都進行了顯著的突出，還將少許背景信息作為顯著部分進行了突出;從圖2c）可以看出，RBD算法在背景先驗的基礎上，使背景信息更具有魯棒性;BFS算法能夠看出顯著部分輪廓，但是并沒有將目標全部突出，容易丟失目標的部分信息;BL和GL算法，目標位置明顯;從圖2j）可以看出，本文方法對前景目標以及背景目標都進行了合理的定位，能夠一致高亮地突出顯著部分。

5 ?結 ?語

本文提出一種基于簡單背景先驗下的快速顯著性目標檢測算法。首次僅選取圖像4個頂點作為圖像背景信息進行對比度計算，并與改進后的高斯模型定位的前景目標相融合，得到初始顯著結果;并在此基礎上，利用空間信息對顯著結果進行優化;最后使用多元胞自動機將多個尺度得到的顯著結果相融合，能夠快速準確獲取顯著目標位置。雖然顯著目標出現在頂點處的圖像檢測稍顯不足，但在多個公開數據庫上與多種主流算法和先進算法的對比中，仍然能夠表現出明顯的優越性。

注：本文通訊作者為楊賽。

參考文獻

[1] WEI Yichen， WEN Fang， ZHU Wangjiang， et al. Geodesic saliency using background priors [C]// European Conference on Computer Vision. [S.l.： s.n.]， 2012： 29?42.

[2] ZHU Wangjiang， LIANG Shuang， WEI Yichen， et al. Saliency optimization from robust background detection [C]// IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE Computer Society， 2014： 2814?2821.

[3] WANG J， LU H， LI X， et al. Saliency detection via background and foreground seed selection [J]. Neurocomputing， 2015， 152： 359?368.

[4] TONG N， LU H， ZHANG Y， et al. Salient object detection via global and local cues [J]. Pattern recognition， 2015， 48（10）： 3258?3267.

[5] LU H， ZHANG X， JINQING Q， et al. Co?bootstrapping Saliency [J]. IEEE transactions on image processing， 2016， 26（1）： 414?425.

[6] ZHANG Lihe， YANG Chuan， LU Huchuan， et al. Ranking saliency [J]. IEEE transactions on pattern analysis & machine intelligence， 2017， 39（9）： 1892?1904.

[7] JIANG B， ZHANG L， LU H， et al. Saliency detection via absorbing Markov chain [C]// IEEE International Conference on Computer Vision. [S.l.]： IEEE， 2014： 1665?1672.

[8] SUN J， LU H， LIU X. Saliency region detection based on Markov absorption probabilities [J]. IEEE transactions on image process， 2015， 24（5）： 1639?1649.

[9] ALEXE B， DESELAERS T， FERRARI V. Measuring the objectness of image windows [J]. IEEE transactions on pattern analysis and machine intelligence， 2012， 34（11）： 2189?2202.

[10] QIN Y， LU H， XU Y， et al. Saliency detection via cellular automata [C]// Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2015： 110?119.

[11] OTSU N. A threshold selection method from gray?level histograms [J]. IEEE transactions on systems man & cybernetics， 2007， 9（1）： 62?66.