利用運動紋理差異的運動目標分割無監督評價方法

涂晶潔，張維朋，田 思，閔超波，張俊舉,

?

利用運動紋理差異的運動目標分割無監督評價方法

涂晶潔1，張維朋1，田 思1，閔超波2，張俊舉1,2

（1.寧波大紅鷹學院 機械與電氣工程學院，浙江 寧波 315175；2.南京理工大學 電子工程與光電技術學院，江蘇 南京 210094）

運動紋理差異；無監督評價；分割掩膜；紅外視頻

0 引言

運動目標的檢測與分割技術在機器視覺的研究中尤為重要，可在視頻中提取人們感興趣的部分，為后續的視頻編碼、視頻檢索、圖像理解和模式識別等提供可靠的數據[1]。近年來，國內外的研究人員對視頻序列中運動目標的分割技術進行了深入研究，并獲得了不錯的成效，提出了很多視頻運動目標分割算法[2-4]。運動分割質量與性能的客觀評價，對實現更加精確的運動目標分割有著重要的意義。

客觀評價主要分為兩類：有監督的評價方法和無監督的評價方法。有監督的評價方法主要通過比較分割圖像與參考圖像，按照分割掩膜與參考圖像的差異水平來定量地衡量分割的性能[5]。參考圖像即為先驗知識，可以通過手工標注和多人投票的方式來確定，有些方法中參考圖像就是指運動目標的真實情況。無監督評價方法的主要原理是在沒有先驗知識的情況下，提取出分割圖像中的某些特征，以此來衡量整個分割的性能效果。無監督的評價方法大大彌補了需要先驗知識的評價方法的不足，而且，此類方法可以作為分割算法中的一個評價環節，在線地對分割算法的輸出結果進行量化評價，進而實時地調整算法參數，獲得最優的分割結果。因此，無監督分割評價對于分割算法的開發和改進具有重大的意義。常見的無監督評價方法有區域間對比度、區域內部均勻性、基于信息理論和最短描述長度理論（minimum description length principle，MDL）的評價準則[6]。Correia和Pereira提出了一種目標內部一致性準則和目標相互差異準則CP[7]。目標內部一致性準則由4個部分組成，分別為：外形規則性（基于致密性、圓度性和延伸性），空間一致性（基于空間感知信息和紋理方差），時域穩定性（基于大小、延伸和紋理的差分）以及運動一致性（基于運動向量和臨界點的方差）。目標相互差異包括與鄰域的局部顏色和運動對比度，鄰域對S比度用來衡量目標內外特征的差異，并且對于圖像中每一個目標計算相應的關聯度來估計目標對人眼的吸引程度。如何將視頻序列的時域特征與空域特征更好地聯系以準確表征運動目標分割的品質，是未來運動目標分割無監督評價的發展方向。

本文提出了一種利用運動紋理差異的運動目標分割無監督評價方法。該方法利用基于貝葉斯決策的精確量化準則對差分圖像進行精確量化，形成運動紋理的類別映射圖。然后，將Fisher多級線性判別[8]應用于類別映射圖，以分割前景和背景之間的運動紋理差異來表征分割掩膜的性能。

1 基于貝葉斯決策的精確量化準則

假設f為紅外視頻序列中第幀圖像，d為差分圖像，即d＝f－f－1。差分圖像包含了第幀圖像中的變化像素，反映了第幀圖像中的時域信息。

首先對差分圖像進行粗略的量化處理。利用閾值法對差分圖像進行二值化，提取出變化顯著的像素，降低噪聲的影響，形成變化檢測掩膜。在這里，二值化閾值＝mean(f)/4，其中mean(f)表示f中像素的灰度平均值，常數4是經過大量實驗之后確定的系數。然后，利用8鄰域模型在變化檢測掩膜中進行連通域檢測，形成連通域映射圖W，其中每個像素點都為該像素點所屬連通域的標記，用（＝1,2,3,…）表示，每個連通域也可表示為R。另外，靜止像素標記為0。連通域映射圖W反映了變化像素的連通關系，但這只是粗略地量化。為了更加精確地表述變化像素連通區域之間的關系，需要建立更加精確的量化規則。

令a和b表示兩個不同的連通區域。它們兩者之間的關系只有兩種：屬于同一類別（用0表示）和屬于不同類別（用1表示）。令表示a和b之間的特征向量：

＝(SP)T(1)

根據貝葉斯理論，建立后驗概率模型如下：

式中：由于S和P相互獨立，所以(S,P|x)＝(S|x)×(P|x)（＝0,1）。為了簡化模型，不妨假設(0)＝(1)＝0.5。后驗概率模型的核心是似然比模型，因此，可根據區域之間的特征向量，構建似然比模型：

式中：S和P為量化尺度系數；S和P分別表示S和P的歸一化形式，定義：

式中：和分別表示輸入圖像的行數和列數。

于是，似然比模型可以寫成：

構建可以反映兩連通區域之間特征的表達，其目的是判斷兩者之間的真實關系，即進行決策。由于紅外圖像中目標和背景的灰度一致性較好，因此將空間距離和灰度距離皆滿足一定條件的連通區域進行聚類，可以更為清晰地反映紅外圖像中變化像素之間的聯系。根據似然比估計原理，決策準則可定義為：

根據貝葉斯決策的最小風險準則，決策閾值可依據下式進行計算：

式中：C定義為決策代價。在本文中，假設所有決策的代價是相等的。圖1顯示了在S＝0.8和P＝0.8情況下的似然比估計概率密度分布情況。

接下來，需要對所提出的量化準則進行理論檢驗，以驗證其有效性。由于量化準則的功能為決策，因此可以用誤差概率E對其性能進行刻畫，誤差概率E定義如下：

E＝(0)fa＋(1)(1－d) (10)

式中：(x)表示先驗概率；fa表示將原本屬于不同類的區域分在同一類別的概率；d表示將原本屬于同一類的區域分在同一類的概率。

2 精確量化方法

根據所提出基于貝葉斯的量化準則，設計一套精確量化的方法流程，具體算法如算法1：

define an empty matrix

while 1

for every connect regionRsuch that≥1

for every connect regionRsuch that≠

ifS(R,R)＞(2P－1)×S/Pthen(,)＝(R,R)

end for

end for

find out the maximum of

cluster the corresponding two regions into the same class and updateW

if the maximum ofis bigger thanthen break and returnW

end while

算法1中的(2P－1)×S/P是有可能屬于同一類的兩個連通區域之間S的最大值。令：

當P＝1且＝1時，即可得到(2P－1)×S/P。即對于任意兩個連通區域，當S＜(2P－1)×S/P時，這兩個連通區域就不可能屬于同一類別。

算法1最終輸出的W可以稱為第幀差分圖像的類別映射圖，用C表示。在類別映射圖中，標記為0的數據點代表靜止像素，其余的點代表變化像素。

3 運動紋理差異評價模型

令表示類別映射圖C中所有個數據點的集合。令表示任意一數據點的二維坐標向量，＝(,),?。為的平均坐標向量：

假設類別映射圖中包含no＋1個不同的類別，包含Nl個數據點的類別表示為Zl，l＝0,1,…,no。令ml表示Zl的評價坐標向量：

令：

式中：w是同一類別內部數據點坐標的總方差，其反應了每個類別內部數據點的分布情況；B反應了類別映射圖中不同類別的分布情況。

定義：

值可以綜合反映差分圖像紋理的空間分布情況。若類別之間分布的越松散，類別內部越緊密，值越大。針對待評價的運動目標分割掩膜m，我們分別計算前景的值（f）和背景的值（b），再對這兩個值進行比較。f和b的差異越大，則說明分割掩膜中前景的運動紋理與背景的運動紋理差異越大，進而說明分割掩膜越接近真實情況，其性能越好。

分割掩膜中前景區域可能包含多個獨立的連通區域，因此f具體定義如下：

式中：J為分割掩膜中前景內部某個連通區域的值；M為連通區域包含的數據點數量；f為前景中包含的數據點總數。

根據上述參數，定義利用運動紋理差異的評價準則d：

式中：max(f,b)表示f和b中的最大值；min(f,b)表示f和b中的最小值。f為0表示場景中沒有運動目標，因此對這種情況不予考慮。但是，b也有可能會出現等于0的情況，為了避免無意義的計算，經過大量實驗，規定了b的最小值。d越大，說明分割掩膜的性能越好。

4 實驗結果與分析

利用3組紅外視頻序列對評價準則進行實驗，分別命名為“船只”、“野外單人”和“戶外雙人”。“船只”和“野外單人”視頻的圖像大小為400×512，是由本課題組研究人員利用中波紅外熱像儀拍攝的。“戶外雙人”視頻圖像大小為240×320，其來自OTCBVS數據庫[9]。

從圖3和表1中可以看出，(f)具有最低的ME，(i)具有最高的ME，而(f)的d值為最大，(i)的d值為最小，這說明d的評價結果與客觀實際是相符的。從主觀上來看，(c)、(d)和(e)中分別提取出了2個、3個和4個運動船只，雖然是欠分割現象，但其相對的準確性是在依次提高的，而(c)、(d)和(e)相對應的d值也是依次增大；(f)中完整地包含了5個運動船只，且沒有將背景錯分為前景，而(f)的d值是最大的；(g)、(h)和(i)中都屬于過分割，分割效果依次降低，而所對應的d值也是依次減少的。在表2和表3的實驗中，d的評價結果都與ME完全一致，也與主觀評價結果完全吻合。

圖3 “船只”視頻第50幀不同分割結果

Fig.3 The different segmentation results of the fiftieth frame of thevideo

圖4 “戶外雙人”視頻第20幀不同分割結果

圖5 “野外單人”視頻第49幀不同分割結果

表1 “船只”視頻第50幀不同分割掩膜的評價結果對比

表2 “戶外雙人”視頻第20幀不同分割掩膜的評價結果對比

表3 “野外單人”視頻第49幀不同分割掩膜的評價結果

從上述實驗結果與分析可知，d的評價結果與人類主觀感知和客觀實際吻合地很好，可有效地對紅外視頻運動目標分割性能進行無監督評價。

5 結論

針對目前缺少紅外視頻運動目標分割的無監督評價準則的問題，設計了一種基于利用運動紋理差異的無監督評價方法，利用運動紋理差異的無監督評價方法提取紋理特征，采取類間差與類內差的關系來表征分割掩膜中前景與背景內部的運動紋理特征，該評價準則與現有優秀的無監督評價方法相比，復雜度較低，利用較少的計算成本即可獲得與現有優秀算法相近的評價性能。實驗結果充分證明了所提出的評價方法與主觀感受基本一致，可以有效地對紅外視頻運動目標分割進行無監督評價。

[1] Yong W, Bhandarkar S M, Kang L. Semantics-based video indexing using a stochastic modeling approach[C]//, 2007, 4: 313-316.

[2] 云紅全, 徐力, 孫驍, 等. 基于超像素時空顯著性的運動目標檢測算法[J]. 紅外技術, 2015, 37(5): 404-410.

YUN Hongquan, XU Li, SUN Xiao, et al. Moving target detection algorithm based on superpixel spatio temporal saliency[J]., 2015, 37(5): 404-410.

[3] 胡柳, 解梅. 基于時空聯合的紅外運動目標分割算法[J]. 紅外技術, 2006, 8(5): 271-274.

HU Liu, XIE Mei. Moving infrared object segmentation based on spatio-temporal information[J]., 2006, 8(5): 271-274.

[4] 張強, 蔡敬菊, 張啟衡, 等. 基于局部極大值的紅外弱小目標分割方法[J]. 紅外技術, 2011, 33(1): 44-47.

ZHANG Qiang, CAI Jingju, ZHANG Qiheng, et al. Small dim infrared targets segmentation method based on local maximum[J]., 2011, 33(1): 44-47.

[5] Unnikrishnan R, Pantofaru C, Hebert M. Toward objective evaluation of image segmentation algorithms[J]., 2007, 29(6): 929-944.

[6] ZHANG H, Fritts J, Goldman S. An entropy-based objective evaluation method for image segmentation[C]//, 2004, 5307: doi:10.1117/12.527167.

[7] Paulo Lobato Correia, Fernando Pereira. Objective evaluation of video segmentation quality[J]., 2003, 12(2): 186-200.

[8] DENG Yining, Manjunath B S. Unsupervised segmentation of color-texture regions in images and video[J]., 2001, 23(8): 800-810.

[9] Goyette N, Jodoin P M, F Porikli, et al. A new change detection benchmark dataset[C]//, 2012: 16-21.

[10] 張俊舉, 常本康, 張寶輝, 等. 遠距離紅外與微光/可見光融合成像系統[J]. 紅外與激光工程, 2012, 41(1):20-24.

ZHANG Junju, CHANG Benkang, ZHANG Baohui, et al. Remote infrared and low light level/visible light fusion imaging system[J]., 2012, 41(1): 20-24.

Unsupervised Evaluation Method for Moving Object Segmentation Based on Motion Texture Difference

TU Jingjie1，ZHANG Weipeng1，TIAN Si1，MIN Chaobo2，ZHANG Junju1,2

(1.,,315175,; 2.,,210094,)

An unsupervised evaluation method for moving object segmentation based on motion texture difference was proposed in this paper.Aclass map of the difference image was obtainedusing the exact quantization criterion based on the Bayesian decision. Moving object segmentation masks with different effects were obtained using the region growing method.An evaluation criterion for identifying the difference between the motion textureswas defined. Moreover,evaluation criteria were used to verify the validity of the evaluation results. The results were compared with two other evaluation criteria to accurately measure the performance of the proposed criterion.The two other criteria were as follows: the supervised evaluation criterion,ME;and the unsupervised evaluation criterion based on the unsupervised color texture evaluation method, JSEG. The experimental results showed that unsupervised evaluation based on the difference between motion textureswas in agreement with human subjective perception and objective reality;this couldbe used to evaluate the performance of moving object segmentation for infrared video effectively.

motion texture difference，unsupervised evaluation，segmentation mask，infrared video

TP391

A

1001-8891(2017)06-0541-07

2017-02-13；

2017-05-24.

涂晶潔（1963-），女，浙江省寧波市，副教授，碩士，研究方向為光機電一體化。E-mail：tujj@163.com。

浙江省工藝項目（2014C31163），江蘇省自然基金項目（BK20130775），寧波市科技項目（2015C10043）。