基于多尺度的貝葉斯模型顯著性檢測

常 振，段先華，魯文超，彭 媛

江蘇科技大學 計算機學院，江蘇 鎮江212000

1 引言

顯著性檢測能夠提取出圖像中對人類視覺比較有吸引力的區域，是計算機視覺任務的關鍵步驟，被廣泛應用于圖像壓縮[1]、圖像分割[2]、物體檢測[3]、圖像檢索[4]、對象識別[5]、圖像分類[6]等領域，并取得顯著成果。盡管顯著性檢測在計算機視覺任務中取得了巨大成功，但是顯著性的定義依賴于多種因素，很難用一種方式把所有的檢測線索有效地統一起來，因此準確的顯著性檢測仍是一個難題。

早期的顯著性檢測方法主要受視覺注意的感知研究啟發，感知研究表明對比度是人類視覺注意系統中視覺注意力的主要因素，并由此出現了基于不同線索對比的顯著性檢測算法。受生物模型啟發，Itti等人[7]采用顏色、亮度和對比度三個特征表示輸入圖像，并通過特征圖標準化及線性組合得到最終顯著圖。Hou等人[8]將圖像顯著性計算引入到頻域，其基本原則是抑制頻繁出現的特征響應，同時對變化的特征保持敏感。Rahtu等人[9]提出一種基于貝葉斯理論的顯著性檢測模型。該模型應用滑動窗口將圖像分成核心和邊緣，通過比較核心和邊緣特征計算每個像素顯著值。

隨著深入研究，出現了基于對比度的顯著性檢測算法。Liu 等人[10]使用局部區域和全局特征計算顯著性。這些特征包括：多尺度對比、中心-周圍直方圖和顏色空間分布。通過條件隨機向量場的學習將三個特征有效結合用于顯著性區域的檢測。由于僅通過局部對比，該算法更趨向于關注邊緣周圍的區域，導致出現“不一致突出顯著區域”的問題。Achanta 等人[11]從頻域角度出發，首次提出一種基于全局對比的顯著區域檢測算法。該算法首先對輸入圖像進行高斯低通濾波，然后將濾波后的圖像中的每個像素值和整幅圖像的平均像素值之間的歐幾里德距離作為該像素的顯著值。由于該算法對圖像顯著區域中的最顯著部分有一定的抑制，導致得到的顯著圖與背景的對比不明顯。基于此，Cheng 等人[12]提出基于全局對比度的顯著性檢測算法。該類算法充分考慮了圖像的全局特征，能夠更好地突出顯著目標。但該算法對于復雜背景的圖像或者多個目標圖像檢測效果較差。

近年來，一些研究者將背景信息引入顯著性檢測方法中。文獻[13]提出的基于背景先驗的顯著性檢測算法以各超像素到圖像邊界的測地線距離長短作為衡量顯著性的標準，距離越短超像素作為背景的可能性越大。但是檢測結果不理想，可能會把與邊緣較近的顯著區誤判為背景，影響檢測精度。Jian 等人[14]提出一種基于擴展隨機游走（ERW）排序和背景種子的顯著性檢測模型，其中背景種子是基于似物性采樣（object proposal）計算的。該模型通過有效結合圖像紋理信息和全局結構以優化顯著性圖，能夠較好地將顯著區域和背景分離。Huang等人[15]將前景先驗和背景先驗進行融合以檢測顯著區域，首先利用被包圍狀態定位前景種子以計算前景顯著圖；然后從圖像邊界選擇背景種子以計算背景顯著圖；最后，將前景和背景顯著圖融合得到顯著圖。但是該方法對于前背景對比度不明顯的圖像，易將背景噪聲誤認為顯著區，從而影響檢測結果。

基于貝葉斯模型的顯著性檢測算法[16]以中層和低層信息為基礎，結合貝葉斯理論得到更加完整的顯著圖。但是該算法的檢測區域中包含較多背景，檢測效果較差。

針對上述問題，本文在貝葉斯模型的基礎上進行改進，提出了一種結合圖像背景先驗和凸包先驗的多尺度的顯著性檢測算法：（1）對原圖進行超像素分割，將其分割成四種不同的尺度；（2）根據不同超像素數目獲取相應的圖像邊界信息，計算每個超像素所包含的邊界權重，排除前景區域，獲取多尺度超像素的背景種子；（3）以背景種子為基礎，根據圖像中剩余超像素與背景種子之間的顏色和空間距離信息，計算背景先驗圖；（4）對原圖進行顏色增強，利用Harris算子進行角點檢測求得凸包區域，并結合分割完成的超像素計算凸包先驗圖；（5）將背景先驗圖和凸包先驗圖通過融合得到最終先驗圖，并由凸包區域和圖像顏色直方圖計算似然概率；（6）通過貝葉斯模型計算顯著圖，并對其優化得到最終顯著圖。本文算法流程圖如圖1所示。

圖1 算法流程圖

2 多尺度貝葉斯模型算法

貝葉斯框架是一種通過先驗概率和似然概率計算的模型。本文依據文獻[17]提出的貝葉斯模型進行顯著性檢測，并依據該模型理論估計圖像中每個像素x 的后驗概率：

其中，p(sal|x)表示像素x 的顯著性概率，p(sal)表示像素x 為顯著性的先驗概率，p(bx)表示像素x 為背景的先驗概率，p(x|sal)和p(x|bx)表示像素的觀察似然概率。

2.1 背景先驗

由于圖像邊緣通常包含極少的顯著目標和較多的背景區域，故可將圖像邊緣視為背景區域。為此，本節基于多尺度超像素查找背景種子，利用背景種子計算出多尺度超像素之間的空間與顏色距離，得到背景先驗圖。

圖2 多尺度超像素對應顯著圖

本文將超像素作為最小處理單元，利用簡單線性迭代聚類（SLIC）算法[18]將圖像分割成KS 個超像素，繼而通過邊界概率（PB）[19]得到圖像邊界，并根據邊界信息得到背景種子以及各個超像素的顯著性，融合不同尺度超像素的顯著圖得到最終基于背景種子的顯著圖。具體算法描述如下：

（1）將原圖分割成KS 個超像素，計算其平均顏色和空間位置分別表示為，其中k(k=1,2,…,KS)表示每個超像素對應的標簽。

（2）根據PB計算圖像邊界，第k 個超像素的表示范圍為：

其中，Bk表示第k 個超像素的邊緣像素集合， ||Bk表示其基數，KPpb表示像素KP 的PB值。

（3）根據圖像邊界計算出每個超像素所包含權重，利用自適應灰度閾值[20]剔除前景區域，將邊界中剩余的超像素作為背景種子，利用空間和顏色距離計算基于背景種子的超像素k 的顯著性：

其中，n 為當前分割的超像素數目，BG 為背景種子集，li表示第i 個超像素的中心位置，ci表示CIELab平均顏色向量，d(ck,ci)和d(lk,li)分別表示第k 個超像素和第i個超像素之間的顏色歐式距離和空間距離。

（4）由公式（4）計算出超像素數目為100、200、300、400 的背景顯著圖，分別表示為、、、，并對其進行融合得到最終背景先驗p(sal1)。

融合后的背景先驗如圖2（f）所示，和圖2（g）相比背景噪聲明顯減少，顯著區域更為明顯。可以看出基于多尺度的背景先驗方法能有效減少圖像中顯著區域的噪聲和冗余，更加接近目標區域。

2.2 凸包計算

凸包通常是通過計算圖像特征點得到的一個能夠將所有特征點包含在內且面積最小的多邊形。圖像處理中常用的特征點檢測方法有FAST 算子、SIFT 算子、SURF 算子和Harris 算子等。其中Harris 算子能夠精確定位局部特征，計算量小且較為穩定，故本文基于Harris算子進行特征點檢測。

由邊界即是背景[21]可知，凸包內的為顯著區域，凸包外的為背景區域。而直接采用Harris 算子得到的圖像凸包可能會出現凸包內包含較多背景區域的情況，與實際情況有很大的差異，如圖3所示。

圖3 采用Harris角點檢測形成的凸包示意圖

基于此，本文通過顏色增強Harris 角點[22]計算凸包區域。具體操作如下：

（1）對輸入圖像進行顏色增強，提升前景和背景的對比度，增強后的效果圖如圖4（b）所示。

（2）對增強圖采用Harris算子進行角點檢測以獲得凸包區域，如圖4（c）所示。可以看出該凸包區域包含較少的背景區域，圖4（d）為凸包對應的二值圖。

圖4 基于增強圖的凸包區域

2.3 先驗概率計算

其中d(ESi,EOj)代表ESi和EOj之間的顏色距離。將與外簇具有最大顏色距離的內簇稱為顯著簇。基于此，計算出剩余超像素與顯著簇中的超像素之間的顏色和空間距離，得到超像素的顯著性。

設顯著簇中的超像素個數為X(X ＜KS)，顯著簇中的第x(x ∈(1,2,…,X))個超像素的顯著性為Sx，則不同尺度超像素（n 為當前分割的超像素數目）的顯著性為：

其中：

由公式（7）可計算出超像素為100、200、300、400 的先驗概率，分別表示為sal100k、sal200k、sal300k、sal400k。根據公式（10）對這四個尺度的先驗概率進行融合，得到基于凸包的先驗圖p(sal2)，如圖5（b）所示。

圖5 先驗圖

最后，將2.1 節中的背景先驗p(sal1)和本節中的凸包先驗p(sal2)兩者取交集，由公式（11）計算出最終先驗圖。

如圖5所示，基于本文方法得到的先驗圖能夠更好地去除背景噪聲，提高先驗概率的準確率。

2.4 觀察似然性

利用常規的中心周圍原理進行似然性計算會增加計算量，而利用凸包估算大致的顯著區域能有效減少計算代價。對于包含特征點的凸包，只需計算顯著區域中每個像素的顯著性。

凸包將圖像分割成兩個不相交區域：凸包內區域S和凸包外區域O。由文獻[23]可知，所有檢測到的顯著點都在區域S 中，而區域O 則偏向于背景。單個像素的顯著性不僅取決于它與凸包內區域S 的相似性，而且取決于與凸包外區域O 的差異。CIElab顏色不僅能夠較好地反應物體色的心理感受效果，而且保存了像素的顏色和亮度信息。基于此，在CIElab空間中進行處理。

顏色空間的每個像素x 用[l(x),a(x),b(x)]表示，Ns和No分別表示區域S 和區域O 顏色直方圖，Ns(f(x))(f ∈{l,a,b})和No(f(x))(f ∈{l,a,b})分別表示區域S 和區域O中顏色值f(x)在顏色直方圖中的對應值。為了提高效率，認為CIELab顏色空間中的3個顏色通道l,a,b 是互不干擾，相互獨立的。像素x 的似然概率為：

第3步：在軟件Matlab 2012b中通過編程求得該預測方法的相對誤差，并且與BP神經網絡直接預測法的相對誤差進行對比分析。

2.5 顯著圖以及優化

由2.3節和2.4節得到的先驗概率和似然概率，通過貝葉斯公式得到顯著圖。將公式（11）～（13）代入公式（1）計算凸包內每個像素的顯著性概率，得到顯著圖。如圖6 所示，可以看出得到的顯著圖不平滑，存在塊狀效果。為此，本文采用文獻[24]中的優化算法（公式（14））對圖6（b）進行優化，得到最終顯著圖Sfinal。

其中，i、j 為像素坐標，W 和H 分別代表圖像的寬和高，Savg為顯著圖Sp(i,j) 的平均顯著值。優化后的顯著圖如圖6（c）所示，和圖6（b）相比，優化后的顯著圖與Ground-Truth非常接近，準確率明顯提高。

圖6 顯著圖及優化后的顯著圖

3 實驗結果與分析

本文采用MatlabR2016b，計算機內存16 GB，處理器為Intel?Core?i7，主頻為2.2 GHz 作為實驗環境。為了驗證本文算法的準確性和有效性，將本文算法與PCA[25]、AC[10]、SR[8]、LMLC[16]、GS[13]、FT[26]、BFS[27]、SF[28]、MR[29]、GMR[29]、BSCA[30]、BL[31]在公開數據集MSRA1000、ECSSD 上進行比較，并從如下兩個方面進行算法性能評估。

3.1 客觀評價

將準確率-召回率（Precision-Recall，PR）曲線和算法綜合指標F-measure作為評價指標，對本文算法和其余12 種算法進行分析比較。在實驗中，逐步調整顯著圖Sfinal的閾值(0 ≤T ≤255)進行二值化，得到二值圖S(x,y)，并通過公式（15）、公式（16）得到準確率precision和召回率recall，其中Gt(x,y)表示Ground Truth。F-measure 值由公式（17）得到。

參考文獻[28]，取β2的值為0.3。圖7、圖8 是本文算法和其他12種算法的實驗對比效果圖。

圖7（a）是算法在MSRA1000 數據集上的PR 曲線圖，通過分析比較發現本文算法與GS、BSCA、GMR 算法在準確率-召回率上較為接近，且高于傳統的貝葉斯模型算法LMLC。通過圖7（b）可以看出本文算法的Precion值和綜合評價指標F-measure值明顯高于其他算法，而Recall值明顯高于MR、BFS、GMR等算法，與GS、BSCA相當。與GMR算法相比，本文算法的準確率、召回率以及綜合指標F-measure指標均更優。綜合這三項指標可以看出，本文算法在MSRA1000數據集上非常穩定，具有較好的魯棒性。

圖8（a）是算法在ECSSD 數據集上的對比結果，通過PR曲線發現在復雜背景下本文算法的準確率接近或優于其他算法，而召回率明顯優于其他12 種算法。與BFS、PCA、BL、GS算法相比，本文的準確率和召回率略勝一籌。通過圖8（b）可以看出本文算法的準確率優于GMR、BSCA等算法，而召回率與GMR、BSCA的相比要略微低一點，但準確率和綜合指標F-measure 均高于其他算法。本文的準確率高于其他算法的原因在于由背景先驗和凸包先驗融合得到的先驗圖，能夠更好地抑制背景噪聲。從視覺效果上可以發現本文算法能夠更加準確地突出顯著目標，且有效減少了背景噪聲，這方面要優于GMR、BSCA 算法。由于ECSSD 數據集中包含較多的復雜背景圖像和多目標圖像，導致檢測效果要低于MSRA1000數據集的效果。

圖7 MSRA1000數據集上的比較

圖8 ECSSD數據集上的比較

圖9 各種算法的顯著對比

3.2 主觀評價

從視覺效果方面比較本文算法和其他12 種算法，如圖9 所示，可以看出本文算法具有很好的視覺效果，且能夠較好地抑制背景區域，突出顯著區域，與真值圖非常接近。通過對比發現，在平滑性方面，本文算法與MR、BSCA、GMR算法對應的顯著圖較為接近，與MR、BFS相比，顯著圖更加平滑，能夠很好地抑制背景區域；在背景噪聲消除方面，BSCA算法在處理復雜背景圖像時會包含更多的背景噪聲，而本文算法檢測效果更加準確，背景噪聲更少；在顯著區域的完整性方面，與BSCA、LMLC 算法相比，本文算法檢測到的顯著區域更加完整。從圖9中可以看出，本文算法得到的顯著圖輪廓更加清晰，背景噪聲更少，顯著目標更為突出。

4 結束語

本文提出的基于多尺度的貝葉斯模型顯著性檢測算法，在計算背景先驗時利用多尺度超像素得到背景先驗，同時利用凸包和多尺度超像素以及k-means聚類得到凸包先驗，融合背景先驗和凸包先驗得到最終先驗圖。通過圖像顏色直方圖和凸包計算出似然概率，融合貝葉斯框架得到顯著圖，并對其進行優化得到最終顯著圖。在公開數據集MSRA1000 和ECSSD 上進行實驗，得到的客觀評價指標準確率、召回率以及綜合性能指標F-measure都有很好的提升。但當圖像中包含多個目標時，本文算法不能準確地對其進行區分。下一階段的研究目標是如何更好地提高多目標圖像的顯著性檢測效果。