視頻序列中視覺顯著性圖像區域自動提取仿真

李 博

(中國醫科大學，遼寧 沈陽 110000)

1 引言

視頻序列圖像的屬性維度和圖像規模不斷擴大，對視頻圖像的處理和利用產生了一定的影響。人眼視覺機制能夠快速的從視頻序列中選取出顯著區域，但目前的人眼視覺機制存在一定的限制，僅能從視覺特征的差異性入手對目標圖像和背景進行分析，無法得到準確的顯著性區域。為此，國內相關專家學者對此進行了深入研究。

主要的視頻序列圖像視覺顯著性區域提取方法可分為以下幾種：前景和背景區域相結合的顯著性區域提取方法[1]、基于改進直方圖均衡化的覺顯著性區域提取方法[2]、基于顯著性增強的區域提取方法[3]。前景和背景區域相結合的顯著性區域提取方法，首先依據視頻序列圖像構建一個無向圖的鄰接矩陣，然后計算視頻圖像邊界背景先驗知識，選取出處于邊界位置的超像素，并將其作為搜索向量進行圖內節點間關聯度的計算，獲取視頻圖像序列背景權重圖；基于改進直方圖均衡化的顯著性區域區域提取方法，利用直方圖平均化方法對視頻序列圖像加以處理，提升目標圖像前景區域和背景區域的差異性，再對增強的視頻序列圖像顯著性區域進行提取；基于顯著性增強的區域提取方法利用目標區域的多種特征，對其進行顯著性增強、提取。

上述方法普遍存在目標提取不準確、結果不穩定等問題，為此本文提出一種結合全局和局部特征的視頻序列圖像顯著性區域提取方法。并通過該實驗驗證了本文方法的性能，結果表明，本文方法的顯著性區域提取效果明顯，且PR曲線始終高于其它方法，其F值取值較高，表明本文方法能夠準確的對視頻序列中的顯著性區域進行提取，并且提取結果更穩定。

2 全局顯著性區域提取

將維數為H×W的視頻序列圖像表示為I，結合先驗知識把I分為一列大小為n×n的圖像子塊。在視頻序列中圖像的邊界區域[4]，將設定規模不足的圖像塊直接刪除。圖像塊的總體數量為L=|H/n|·|W/I|。對于任何一個圖像塊pi(i=1，2，…，L)，把它表示為向量形式xi，最后獲得一個圖像塊的描述矩陣X=[x1，x2，…，xL]。

為了去掉圖像塊中的雜質并節省提取時間，使用PCA提取顯著性區域特征[5]。對圖像塊矩陣X=[x1，x2，…，xL]元素的均值進行計算，表示為

(1)

(2)

其相應的方差矩陣為

(3)

式中，T表示轉置符號。

將高維空間中的N個特征用px來表示，那么中心點pA可表示為

(4)

若特征px離pA越遠，即px不以pA為中心的可能性變大，則px為顯著性特征的可能性越大。計算所有特征離中心點pA的距離，然后排列，選擇離中心最遠的前24%的特征。

因為沒有具體的顯著性目標先驗知識[6]，因此為了有效提高特征提取準確率，需要對視頻序列中的圖像采用3種分辨率進行處理，分別為：100%，49%和24%，然后計算平均值得到全局顯著區域SG。

3 局部顯著性區域提取

局部顯著性度量的鄰域選擇方式中，局部顯著區域SL通過中心圖像塊i與其矩形鄰域里的K個圖像塊的不近似性均值來測量，局部顯著區域計算公式為

(5)

式中：Wij為圖像塊xj與xi之間的歐式距離，d(xi，xj)表示xj與xi的差異函數。

本文使用顏色顯著性來測量差異性，所以圖像的顏色也是重要因素，尤其是部分顏色差異極為明顯的圖像，只憑借顏色就能找出顯著性區域[7]。如圖2所示。

假設圖像的像素為Ib與Ia，兩者間的差異函數可用式(6)表示

d(Ia，Ib)=SL(xi，xj)D(Ia，Ib)

(6)

式中，D(Ia，Ib)是像素Ib與Ia在L*a*b空間的顏色長度。設Ia∈xi，xj為鄰近塊，那xj與Ia的差異函數如下

(7)

式中：n(xj)代表塊xj的像素個數。該公式表示在不考慮空間關系的基礎上，擁有同樣顏色特征的像素擁有同種的非近似值。可將上式中具有同種顏色值的像素進行合并，獲得各個顏色的差異函數

(8)

式中：ca是像素Ia的顏色值，cb是像素Ib的顏色值，pb代表區域xj中的顏色cb出現的幾率。如果Ia∈xi，那么區域xi與xj之間的差異函數可以表示為

(9)

式中：p(Cs，a)表示第a個顏色Cs，a在第s區域xs對應的所有ns個顏色中發生的幾率，由此可依據式(9)使用直方圖來描述區域xj與xi。區域xj與xi的不近似性能夠根據相應的顏色直方圖的差度值來計算得到，從而獲取局部顯著區域。

4 融合圖像的分布性與對比度提取顯著性區域

融合局部與全局顯著性[8-9]方法，提取融合圖像的有效特征，計算圖像的分布性與對比度，再對圖像的分布性與對比度特征進行融合，實現對初始視頻序列圖像顯著性區域提取。

幾乎每個視頻序列圖像的顯著性識別方法都只能在一個RGB顏色特征空間或一個LAB顏色特征空間下檢測[10]。其中，RGB主要使用在視頻序列圖像的顏色表述，LAB擁有擬態人類視覺感知顏色特征的能力。本文將RGB空間顏色特征與LAB空間顏色特征相結合進行識別研究，過程中先計算圖像得出I(H×W)在兩個顏色空間的特征，將兩個空間的圖像特征分解為多個圖像塊，圖像塊的尺寸設置為k×k，互不相交的圖像塊表示為{p1，…，pN}，圖像塊pi(1≤i≤N)的特征N=[H/k]·[W/k]通過列向量形式疊加描述，向量維數為k×k×6。

考慮到本文方法的計算量，對圖像的大小進行適度調整，圖像塊的大小k取9。

圖像的分塊和周邊場景的差異計算，是視頻序列中圖像顯著性區域進行提取的關鍵，自身視覺特征不足以判定顯著性。圖像塊和周邊場景的特征誤差越大，此區域越有可能為顯著性區域。同時，如果通過對比可知，剩余圖像塊與中心圖像塊之間的距離較遠，則表明該剩余圖像塊的顯著性較差，該區域的圖像塊需要重點關注。由此可以看出，視頻序列圖像分塊中，圖像塊之間的空間距離與對比度成反比，則對圖像塊的顯著性計算可表示為

(10)

其中：ω(si，sj)是顯著性空間值，可表示為

(11)

式中，Zs是歸一因子，si與sj分別是圖像塊xj與xi的中心點。

另外，能夠吸引視覺注意的顯著性區域，在其鄰域內的對比性極為明顯，在視頻序列中也是極為突出的，所以需要算出圖像塊在視頻序列中的特征顯著性，如下

(12)

C1(xi)=LC(xi)·GC(xi)

(13)

以全局顯著性區域對比度計算結果為依據，同時基于全局特征的顯著性與局部顯著性區域的特征值分布情況可知，局部顯著性區域的分布相對較為密集，表現在特征的顯著性水平較高，特征相似度高。相較于全局顯著性區域，局部顯著性區域的邊緣一般為背景區域，分布較散，不會引起視覺的注意[12]。圖像塊特征的分布方差公式為

(14)

由先驗知識可知，使用指數函數能夠度量顯著性區域中的圖像分布的權值，結合圖像塊對比性的分布特征，可完成對圖像塊的顯著度量。此外，需要注意的是，人眼視覺系統習慣于首先注意圖像集中區域，但集中區域的邊緣特征一般顯著性較低，因此，將圖像分塊間隔長度與視頻序列圖像中心位置作為顯著性區域權值，則顯著性度量結果為

(15)

其中：ω(xi)為位置權值，?為視頻序列中的整幅圖像的中心位置。

獲取顯著性度量結果后，則表示完成了對視頻序列中視覺顯著性圖像區域的自動提取。

5 仿真研究

5.1 仿真環境設置

為驗證本文方法的有效性，進行仿真，仿真環境為Intel Xeon500雙CPU，512M內存，80G硬盤，WindowsNT操作系統的服務器。采用通用的數據集(SOD數據集、PASCAL數據集、CSSD數據集)進行實驗，本研究共采用了兩個本領域應用最廣泛的圖像數據庫MSRA-B和SOD，圖像像素大小為300像素×300像素。圖像中顯著性目標為一個工廠，其內部的白色柱狀建筑在圖像中十分突出，為“顯著性”區域。

圖1 實驗遙感圖像與基準圖像

5.2 實驗結果分析

針對原始圖像，利用融合后方法與融合前方法對視覺顯著性區域進行提取，結果如圖2所示。

圖2 顯著性區域提取結果分析

由圖2可以看出，3種顯著性計算方法得到的顯著性圖像在目標區域顯著性分數很高，但是融合后的顯著性圖像比另外兩種效果要更好。因為融合后的顯著性圖像既能保持目標區域內部顯著性分數分布均勻，而且也能保留更好的區域邊界。

為了對不同方法的性能進行驗證，利用準確率-召回率(PR)曲線和F-measure平均測量誤差對不同提取方法進行定量分析。其中，PR曲線通過不同的閾值對顯著性圖像進行劃分，并將二值圖像和標準的顯著性圖像進行對比。為了衡量本算法性能優劣，采用F-measure作為參數，該值是查準率(Precision)和查全率(Recall)的函數。在這里為了側重查準率，選擇β2=0.3，F的計算公式如下

(16)

上式中，β2為精度控制變量。

圖3為CSSD數據集下，采用不同方法進行視覺顯著性圖像區域自動提取的PR曲線對比圖。

圖3 不同方法的PR曲線對比

從圖中可以看出，CSSD數據集測試中，本文方法始終能取得高于其它兩種方法的準確率和召回率，性能較好。均可以更加穩定的提取出視頻序列中圖像的顯著性區域，分析其原因，本文方法的成功之處在于包含了兩種不同的顯著性區域，全局顯著性使其能夠提取出圖像的多個目標區域，不受孤立噪聲的影響，而局部顯著性特征起到了優化的作用，因此本文的視頻序列中圖像的顯著性區域提取準確率更高，并且提取過程更穩定。

表1為本文方法和文獻方法的F值對比。

表1 F值對比

從表1可以看出，本文方法在視頻序列中的顯著性圖像提取獲得了較高的F值，表明本文方法的穩定性較好。主要原因在于本文方法通過對圖像進行分塊后，使用全局顯著性特征和局部顯著性特征進行融合，最后通過計算顯著性圖像的對比度和分布值，實現對視頻序列中圖像顯著性區域的提取，顯著性區域提取精度較高。同時結合圖3結果可知，本文方法提取出的顯著圖區域細節更為準確，對目標區域的劃分更為完整。

6 結論

本文方法首先對視頻序列中的圖像進行分塊，當所有圖像塊都經過分析并投影到高維空間后，依據單獨的特征點相應的顯著性區域規律得到基于全局特征的顯著性區域和基于局部特征的顯著性區域。最后對比度和分布性進行檢測，提取出視頻序列中圖像的顯著性區域。從實驗對比結果能夠看出，本文方法較比其它兩種方法提取的精準度更高，并且提取出的視頻序列中圖像的顯著性區域與背景區域的區分度更為明顯，穩定性也更好。