基于動態指導濾波的顯著性檢測方法

王 晨, 樊養余

(1. 西北工業大學電子信息學院, 陜西 西安 710072;2. 空軍工程大學航空航天工程學院, 陜西 西安 710038)

0 引 言

顯著性檢測研究源于人類視覺的獨特性、不可預測性、稀缺性以及奇異性。利用計算機模擬人眼視覺的這項功能就是如何在獲取圖像的第一步就定位顯著性物體并將它從場景中突顯出來。早期顯著性檢測研究是基于認知心理學和神經學發展起來的。隨著計算機視覺技術的日新月異,圖像的顯著性區域檢測技術已經成為這個領域研究的一個熱點。這項技術被應用到圖像處理的多個領域,例如圖像分割[1]、目標識別[2]、圖像壓縮[3],以及圖像檢索[4]等。目前人們將顯著性檢測方法大致分為兩類,一類為自下而上的方法[5-8]。這類方法的特點是不需要人的干預就可以自動檢測,由數據驅動。它關注的是如何利用已有的視覺理論來定位圖像和場景中的顯著性區域。另一類為自上而下的方法[9-10]。這類方法更關注在人的主觀意識干預下的顯著性檢測。本文的研究屬于由數據驅動的顯著性檢測方法。

1 相關研究

在眾多的顯著性檢測算法中應用最早,也是最成功的是基于對比度的顯著性檢測方法。對比度是影響視覺顯著性的最重要因素。在現有研究成果中,絕大部分算法都加入了像素或區域之間的對比度信息來建模。基于對比度的顯著性檢測方法大致也可以分為兩類:一類是基于局部對比度的;另一類是基于全局對比度的。其中利用局部對比度的顯著性檢測方法是通過計算像素或區域的鄰域對比度來衡量自身的顯著程度[11-12]。不同算法中鄰域大小的選取方法也不盡相同。由于進行的是局部對比,此類算法更趨向于突顯邊緣周圍區域,并不能有效突顯整個顯著區域。這會使顯著性圖中,邊緣比顯著性區域內部具有更高的顯著性值。另一類基于全局對比度的方法則是將整個場景或整幅圖像作為基準來計算像素或區域的顯著性[13-15]。但是由于算法使用的全局信息是圖像的平均信息,因而處理效果一般。當顯著性區域非常大或者圖像背景復雜時,此類方法就會趨向于強調背景區域,而非真實的顯著性區域。因此,在顯著性圖中會存在“圖像背景顯著”的問題。

近年來有研究者將雙邊濾波(bilateral filtering, BF)引入到顯著性檢測領域,提出新的顯著性檢測方法[16-18]。雙邊濾波[16]是一種非線性的濾波方法,是結合圖像的空間鄰近度和像素值相似度的一種折中處理,同時考慮了空域信息和灰度相似性,達到保邊去噪的目的。但是由于雙邊濾波本身的計算量較大,圖像進行一次雙邊濾波需要較長的時間,所以它并不適合圖像的預處理。

基于此,本文提出了一種新的基于動態指導濾波的顯著性檢測方法。相對于雙邊濾波而言,指導濾波是一種更簡單且高效的濾波器,它可以在保證濾波效果的同時,大大縮減濾波的時間。本文算法從以下幾方面對以往檢測算法進行了改進:

(1) 設計簡單的動態迭代指導濾波器,采用動態指導圖像,有效地將圖像中的主要顯著性區域保留下來,使指導濾波更適合進行顯著性檢測;

(2) 指導濾波兼顧了像素間的鄰近度和灰度之間的相似性,可以有效地改善傳統基于對比度算法“不一致顯示”和“突出背景”的問題;

(3) 利用顯著性檢測的結果建立關鍵點集合,通過生態學方法可以獲得更完整的顯著性區域,實現顯著性區域的準確提取。

2 經典指導濾波

指導濾波[19](guided filtering, GF),又稱為引導濾波,是基于局部且保持邊緣的圖像平滑濾波方法。它是需要指導圖的濾波方法,且指導圖可以是單獨的圖像或者原始輸入圖像本身。設濾波結果圖像為q,輸入圖像為p,指導圖像為I,則GF可以定義為

qi=∑jWij(I)pj

(1)

式中,i與j為像素的索引值;濾波核Wij為I的函數且獨立于p。

GF的濾波過程實際上可以看成是輸入圖像p的一個線性變換,濾波核函數[19]定義為

(2)

式中,μk和σk分別為指導圖像I在窗口ωk中的均值與方差;ε是控制圖像平滑程度的參數,ε越大,平滑程度越大。從核函數的表達式可以看出它也只與指導圖像有關。若指導圖像不是原始圖像,則此核函數就與原始圖像無關。

與雙邊濾波不同,GF的算法運行時間與窗口半徑無關。因此濾波核的尺寸不會影響濾波器的計算效率。另外,GF的圖像濾波效果與雙邊濾波相當,但比雙邊濾波的處理速度要快。

利用GF的上述特點,本文提出了基于動態GF的顯著性檢測算法。該算法采用濾波的結果更新指導圖像,使指導圖像由靜態變成動態,從而實現結構信息的更好傳遞。相對于其他濾波方法,本文方法可以使顯著性目標的內部得到高效均勻地顯示。

3 動態GF

3.1 簡單迭代GF設計

GF的目標是將指導圖像(或信號)的結構傳遞給待濾波圖像(或信號)。它的顯著缺陷就是這種數據依賴型的框架不能很好地處理指導圖像與待濾波圖像結構上的不同之處。因此,文獻[20]設計了新的迭代GF器,將圖像的濾波問題變成一個非凸的優化問題。該方法利用了靜態和動態指導圖像的聯合正則化,其中靜態指導圖像在優化過程中是不變的,算法利用由它確定的相似矩陣來影響濾波結果。動態指導圖像考慮了輸入圖像與指導圖像之間的關系,由輸入圖像影響的相似矩陣確定指導圖像。該濾波方法可以成功地應用到深度超分辨率圖像和尺度濾波及去紋理等場合。但是由于迭代次數過多、計算復雜度高,使得該濾波方法的時間成本過大。借助上述算法的思想,在滿足顯著性檢測的精度要求下,本文在經典GF的基礎上,設計了一種更簡單動態迭代GF方法。

設第t次GF的結果為qt,用原始圖像p作為第一次GF的指導圖像I,則濾波結果圖像為q1。然后,將濾波結果圖像q1作為新的指導圖像進行再一輪的GF。利用每次濾波圖像與上一次濾波結果之間的差異性判斷濾波器是否需要再次濾波, 這個差異性定義為

(3)

式中,bw()表示圖像的二值化。因為GF是低通濾波器的一種,濾波的過程會平滑圖像中原有的一些細節信息,所以隨著濾波次數的增加,濾波圖像與原始圖像的差異會越來越大,如圖1所示。當兩次濾波圖像的差異小于等于實驗中給定的閾值時,可以近似認為濾波已經將背景和目標內部的紋理和細節平滑完成。此時,迭代結束。

圖1 迭代GFFig.1 Iterated GF

另一方面,重復的GF在得到圖像大體輪廓的同時也可能丟失一些十分重要的結構信息。為了防止過度平滑,本文將在閾值的控制上加入顯著性區域的指導信息進行閾值的設定。在圖像數據庫ASD和ECSSD上進行顯著性區域在圖像中占比的統計,如圖2所示。

圖2 顯著性區域在不同數據庫圖像上的占比統計Fig.2 Proportion of salient region in images on different databases

可以看出,ASD數據庫中顯著性區域不超過圖像面積40%的圖像占數據庫總量的98%,在ECSSD數據庫中由于圖像的背景大多復雜,這個指標有所下降,但也超過85%。因此,本文假設大多數圖像的顯著性區域不超過圖像面積的40%,即顯著性區域在圖像面積中的占比小于等于0.4,因此,迭代的停止標準修正為

(4)

式中,N表示圖像中像素的數量。本文將不同濾波結果圖像之間的差異度控制在10%左右,因此設定th1=0.1。在式(4)中第2項表示從第t+1次濾波圖像中粗略提取的顯著性,設其應不大于圖像總面積的40%,即th2=0.4. 如式(4)所示,當兩項中有任意一項為真時,變量T都為真,則迭代停止。當變量T為假時,將濾波結果圖像作為新的指導圖像進行下一次GF,即

(5)

(6)

利用新定義的濾波核進行GF時,在圖像像素強度變化不大的區域(或單色區域),核函數括號中第2項近似為0,這時相當于均值濾波。而在變化大的區域,即物體的邊緣輪廓時,當像素位于邊緣的不同邊時,核函數括號中的值近似為0,對圖像的平滑濾波效果減弱,邊緣保持下來。上述兩種情況下,像素在原始圖像p與濾波結果qt中的值相近,濾波會使均勻區域變得更均勻,邊緣區域突顯。另一方面,當p與qt中像素值差異較大時,也就是說經過t次GF后,原始圖像的某些紋理被平滑掉,這時濾波圖像qt與原始圖像p差異可能會變大,由于平滑的作用,此時核函數中(qt-μk)的值會很小,仍近似相當于均值濾波,這一點與傳統GF不同。顯然,迭代動態GF比傳統GF更有助于保留圖像基本結構和平滑紋理。當然,與傳統GF的定義類似,ε的作用還是界定什么是變化大,什么是變化小。在窗口大小不變的情況下,隨著ε增大,濾波效果越明顯。

在這個改進的GF器中,本文利用了動態指導圖像和輸入圖像的聯合結構信息設計新的核函數Wij,所以它可以很好地保證指導圖像對原輸入圖像的結構傳遞性。顯著性檢測通常是其他具體圖像處理領域相關算法的預處理技術,它的目標是準確定位顯著性目標區域即可。因此,為了節約算法的時間成本,參考文獻[20]中實驗數據,本文提前預設迭代的最大次數為5。如圖1所示,隨著迭代次數的增加,圖像中的細節逐漸被平滑,顯著性區域逐漸突顯出來,本文利用最終的濾波結果生成顯著性圖為

(7)

式中,q表示迭代GF的結果;S表示得到的顯著圖。

綜上所述,本文利用動態指導圖像與原始圖像的聯合結構信息,通過迭代的方式設計簡單的動態指導濾波器來實現圖像的視覺顯著性檢測。雖然本文設定了最高的迭代次數來防止過多迭代造成的細節損失與時間消耗,但是迭代的引入還是會帶來時間成本的上升。因此,本文為設計的濾波器進行以下的加速處理。

3.2 濾波器的加速

為了進一步節約算法的時間成本,本文將設計的GF器進行改進。如式(5)和式(6)所示,在GF器中主要的計算量是核函數。然而,事實上它并不需要在全分辨率下進行,本文通過下采樣的方式縮小計算所需圖像,進而降低計算中需要的計算量。設圖像的像素數量為N,下采樣的比率為s,此方法可以將Boxfilter的計算量從O(N)降到O(N/s2)。最后再用雙線性插值方法將得到的濾波結果圖像恢復到原始圖像尺寸，如圖3所示。其中圖3(c)和圖3(d)是分別使用比率為2和4時GF的結果,與正常圖像尺寸GF結果相比,圖像質量有一些下降,但并不明顯,對于顯著性區域檢測來說是可以接受的。

圖3 GF的加速Fig.3 Acceleration of GF

4 基于動態GF的顯著性檢測

4.1 算法框架

算法的整體框架如圖4所示。

圖4 本文算法結構Fig.4 Framework of the proposed algorithm

其基本步驟如下:

步驟1以原始圖像作為指導圖像對圖像進行第1次初始GF,再以濾波結果圖像作為新的指導圖像,通過新的核函數進行下一次濾波(見圖5)。

步驟2將兩次的濾波結果進行相似性評價,當差異度大于設定閾值或粗糙顯著性區域的面積大于設定面積時,以本次濾波結果作為新的指導圖像,進行再次GF。直到上述條件滿足其一,迭代結束。

步驟3利用濾波結果和式(7)計算顯著圖。

步驟4基于顯著圖,通過生態學膨脹得到關鍵顯著性窗口,并進一步提取圖像的完整顯著性目標區域。

圖5 關鍵顯著性目標區域提取Fig.5 Key salient object region extraction

4.2 關鍵顯著性區域提取

經過迭代GF的結果圖像,初步突顯了顯著性目標,如圖1(f)所示。但是若圖像中存在大的背景干擾區域,上述方法并不能消除或減弱其對顯著性目標的影響,通常干擾背景區域會和顯著性目標一樣被突顯出來。為了解決這一問題,本文引入了關鍵顯著性目標檢測,通過簡單的閾值技術聚焦目標區域。

Gestalt原理[21-22]指出人類的視覺觀察一般只關注場景中的一個或幾個中心區域,而對其他區域關注程度較差。但事實上,通過不同的顯著性檢測算法得到的顯著性圖中往往會呈現出多個顯著區域。因此,這項研究是指如何在圖像中突顯關鍵目標的區域,同時弱化非關鍵目標區域的過程。

基于此,本文對得到的初級顯著性圖進行進一步處理,從而保證關鍵區域的顯著性盡可能多的高于其他區域。也就是在顯著性檢測方法中加入顯著區域關鍵性判別過程,形成關鍵顯著性檢測方法。關鍵性的確定是通過簡單閾值的方法,即

(8)

式中,N是顯著性圖像中像素的數量。式(8)保證了閾值TH在均值和最大值之間。α越大,TH越接近均值,關鍵點越多。在實驗中,α=0.5是一個很好的選擇,如圖5(c)和圖5(d)所示。

然后通過生態學膨脹算法將修正的關鍵點集合擴大,得到關鍵區域范圍,通過定位的關鍵區域可以將顯著性目標完整提取:

O=BW⊕t

(9)

式中,t為膨脹半徑;BW為通過閾值得到的關鍵點集合的二值圖像;O為關鍵區域圖像,如圖5(e)所示。

利用關鍵區域圖像進一步提取原圖的顯著性區域e(x),即

e(x)=extract(p,O)

(10)

5 實驗結果與分析

本文在文獻[23]提供的公開測試集ASD上測試了提出算法。測試集不僅提供了較多的測試圖像,并且由人工精確標注了顯著性區域。

本文實驗內容分為3部分。第1部分:與傳統基于對比度方法的對比實驗,可以從得到的灰度顯著性檢測結果圖像比較檢測的效果。第2部分:與近期發表的基于雙邊濾波的顯著性檢測方法進行對比實驗,從得到的顯著性區域提取結果比較檢測的有效性。第3部分:將檢測結果進行二值分割,用得到的二值結果比較算法的準確性,并在測試數據庫上計算平均準確率、召回率、F值。

5.1 與傳統方法的對比實驗

本文將提出算法與FT(frequency tuned)[14]、SR(spectal residual)[24]、LC(large contrast)[13]、HC(histogram contrast)[15]和RC(region contrast)[15]等5種經典的基于對比度的方法進行對比實驗,檢測結果如圖6所示。其中圖6(h)表示的是由人工標注的真實圖(ground truth, GT),實驗將以它作為標準衡量檢測結果的優劣。從結果圖可以看出,本文方法比其他方法更突顯顯著性目標,更有效地去除了干擾目標或背景,而且顯著性目標內部更均勻高亮。

圖6 不同算法的顯著性檢測結果Fig.6 Saliency detection results of different algorithms

5.2 顯著性區域提取實驗

顯著性目標區域檢測技術屬于許多圖像處理算法的預處理技術,在不同的應用場合對顯著性檢測算法的要求也不盡相同。本文關注的是如何將目標區域定位并提取,為后續進一步的圖像處理過程做準備。文獻[18]提出算法是通過雙邊濾波進行顯著性檢測,它利用散度計算定義凸包,并成功地提取顯著性目標所在區域。但是,凸包的特點決定了它并不能很好地向顯著性目標區域收斂。如圖7所示,本文共選擇了4幅圖像進行實驗,從顯著性區域提取結果來看,本文利用生態學膨脹算法可以提取到更貼近真實目標的顯著性區域,其漏檢率和誤檢率都更低。

將本算法與基于雙邊濾波的顯著性檢測算法進行運行時間的對比。在本文的運行環境中,取圖7中4幅測試圖像的平均運行時間,如表1所示。實驗的運行環境為:Inter(R)Core(TM) id-2410M CPU, 2G內存的筆記本電腦。由于傳統雙邊濾波的計算復雜度較高,利用它進行圖像濾波時需要較長的時間,表1中第2列顯示的是文獻[18]算法所需時間。第3列是使用權重表優化方法對文獻[18]算法加速的結果。第4列和第5列分別為本文算法在全分辨率下和取采樣率s=2時的結果。從表1可以明顯地看出,相對于基于雙邊濾波的顯著性檢測方法,本文算法大大減少了運行所需時間。

圖7 顯著性區域提取實驗Fig.7 Experiments of salient region extraction

算法文獻[18]文獻[18]加速本文1本文2代碼工具MatlabMatlabMatlabMatlab時間/s10.6701.5400.5920.151

5.3 分割實驗

分割實驗是顯著性檢測中一項重要的實驗內容。如圖8所示,是本文對不同算法的顯著性圖分別進行均值分割的結果。為了更好地比較算法的性能,在實驗中加入了LC、HC和RC 3種算法,很顯然,本文方法的結果與真實值更為接近。為了更可靠地對比幾種方法的分割結果,本實驗將閾值從單一的圖像均值變化為從0到255的區間,從而得到256個分割結果。然后計算每幅分割圖像的精度和召回率,如圖9(a)所示。從曲線圖可以很明顯地看出在不同召回率水平時,本文算法的精度都是最高的。

圖8 顯著區域的分割結果Fig.8 Segmentation result of saliency regions

圖9(b)表示的是相應的精度-召回率-F測量值的柱狀圖。F測量值[8]是精度與召回率的加權平均,它可以在考慮這兩個因素的基礎上對相應的算法給出一個綜合評價。從圖上可以看到本文方法的準確率、召回率與F測量值都超過了其他方法。

6 結 論

本文提出了一種簡單的動態迭代GF設計思路,并將其用于顯著性檢測。迭代GF的使用降低了濾波結果對指導圖像的依賴,利用指導圖像和原圖像的聯合結構信息進行濾波的迭代控制,使濾波結果的結構更好與指導圖像和原圖像一致。通過不斷迭代可以得到細節平滑且邊緣保留的濾波圖像。平滑的過程去除了一些干擾細節和紋理,邊緣保留可以更準確地定位顯著性目標區域。本文算法的顯著性檢測結果是要實現顯著性區域的提取,為后續的圖像分割或摳圖等應用提供更準確,更完整的目標區域。從對比實驗中可以得出,本文算法優于其他幾種顯著性檢測算法。

參考文獻：

[1] 郭傳鑫,李振波,喬曦, 等. 基于融合顯著圖與GrabCut算法的水下海參圖像分割[J]. 農業機械學報,2015,46(1): 147-152.

GUO C X, LI Z B, QIAO X, et al. Image segmentation of underwater sea cucumber using grabcut with saliency map[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(1): 147-152.

[2] 薛夢霞,彭暉,劉士榮,等. 基于視覺顯著性的場景目標識別[J]. 控制工程,2016,23(5): 687-692.

XUE M X, PENG H, LIU S R, et al. Scene object recognition based on visual saliency[J]. Control Engineering of China, 2016, 23(5): 687-692.

[3] 李然,李艷靈,崔子冠,等.視覺顯著性導向的圖像壓縮感知測量與重建[J].華中科技大學學報(自然科學版),2016,44(5):13-18.

LI R, LI Y L, CUI Z G, et al. Visual saliency oriented compressive sensing measurement and reconstruction of images [J].Journal of Huazhong University of Science and Technology (Natural Science Edition), 2016, 44(5): 13-18.

[4] 趙宏偉,李清亮,劉萍萍, 等. 特征點顯著性約束的圖像檢索方法[J]. 吉林大學學報(工學版),2016,46(2): 542-548.

ZHAO H W, LI Q L, LIU P P, et al. Feature saliency constraint based image retrieval method[J]. Journal of Jinlin University (Engineering and Technology Edition), 2016,46(2): 542-548.

[5] PERAZZI F, KRAHENBUHUL P, PRITCH Y, et al. Saliency filters: contrast based filtering for salient region detection[C]∥Proc.of the Computer Vision and Pattern Recognition, 2012: 733-740.

[6] WEI Y C, WEN F, ZHU W J,et al. Geodesic saliency using background priors[C]∥Proc.of the European Conference on Computer Vision, 2012:29-42.

[7] YANG C, ZHANG L H, LU H C, et al. Saliency detection via graph-based manifold ranking[C]∥Proc.of the Computer Vision and Pattern Recognition, 2013: 3166-3173.

[8] ZHU W J, LIANG S, WEI Y C, et al. Saliency optimization from robust background detection[C]∥Proc.of the Computer Vision and Pattern Recognition, 2014: 2814-2821.

[9] LIU T, SUN J, ZHENG N N, et al. Learning to detect a salient object [C]∥Proc.of the Computer Vision and Pattern Recognition.Minneapolis, 2007: 353-367.

[10] YANG J M and YANG M S. Top-down visual saliency via joint CRF and dictionary learning[C]∥Proc.of the Computer Vision and Pattern Recognition, 2012: 2296-2303.

[11] ITTI L, KOCH K, LI, et al. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Trans.on Pattern Analysis and Machine Intelligence, 1998,20(11), 1254-1259.

[12] ACHANTA R, ESTRADA F, WILS P, et al. Salient region detection and segmentation[C]∥Proc.of the 6th International Conference on Computer Vision System, 2008: 66-75.

[13] ZHAI Y, SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C]∥Proc.of the 14th Annual ACM International Conference on Multimedia, 2006: 815-824.

[14] ACHANTA R, HEMANMI S, ESTRADA F J, et al. Frequency-tuned salient detection[C]∥Proc.of the 2009 IEEE Conference on Computer Vision and Pattern Recognition, 2009: 1597-1604.

[15] CHENG M M, ZHANG G X, MITRA N J, et al. Global contrast based salient region detection[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition,2011:409-416.

[16] TOMASI C, MANDUCHI R. Bilateral filtering for gray and color images[C]∥Proc.of the International Conference on Computer Vision, 2002.

[17] DAO N. Inverse bilateral filter for saliency[J]. International Journal of Computer Applications, 2016, 118(10): 975-8887.

[18] DAO N. Divergence filter for saliency[C]∥Proc.of the 7th International Conference on Knowledge & System Engineering, 2016: 238-243.

[19] HE K M, SUM J, AND TANG X O. Guided image filtering[J].IEEE Trans.on Pattern Analysis & Machine Intelligence, 2013, 35(6): 1397-1409.

[20] BUMSUB H, MINSU C, JEAN P. Robust image filtering using joint static and dynamic guidance[C]∥Proc.of the IEEE Computer Visio and Pattern Recognition, 2015: 4823- 4831.

[21] HARMANN G. Gestalt psychology: a survey of facts and principles[M].Kessinger Publishing, 2006.

[22] KOFFKA K. Principles of Gestalt psychology[M].Routledge and Kegan Paul, 1955.

[23] ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Trans.on Pattern Analysis and Machine Intelligence,2012,34(11): 2274-2282.

[24] HOU X D, ZHANG L Q. Saliency detection: a spectral residual approach[C]∥Proc.of the IEEE Computer Visio and Pattern Recognition, 2007: 1-8.

[25] YAN Q, XU L, SHI J P, et al. Hierarchical saliency detection[C]∥Proc.of the IEEE Computer Visio and Pattern Recognition, 2013: 1155-1162.