基于自適應(yīng)噪聲濾波的視頻對(duì)象分割算法

摘 要：介紹了基本的視頻運(yùn)動(dòng)對(duì)象分割算法，針對(duì)變化區(qū)域檢測(cè)算法中固定閾值濾噪的不足，提出了自適應(yīng)噪聲濾波的方法，同時(shí)利用計(jì)算機(jī)圖形學(xué)中的掃描線填充思想得到變化區(qū)域的具體位置，實(shí)現(xiàn)視頻對(duì)象的分割。實(shí)驗(yàn)證明了算法的有效性。

關(guān)鍵詞：視頻分割；自適應(yīng)噪聲濾波；掃描線填充

中圖法分類(lèi)號(hào)：TP391.4文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1001—3695(2007)02—0173—03

視頻分割技術(shù)是在靜態(tài)圖像分割技術(shù)的基礎(chǔ)上發(fā)展起來(lái)的。靜態(tài)圖像的分割算法一般是利用圖像的顏色、形狀、紋理等空間聚類(lèi)信息進(jìn)行基于區(qū)域的分割，視頻信息由于其自身性質(zhì)的特殊性，如果照搬靜態(tài)圖像分割技術(shù)的方法，就不能充分利用視頻序列在時(shí)間上的信息，不僅計(jì)算量大，還有可能得不到令人滿意的結(jié)果。

根據(jù)視頻對(duì)象分割用途的不同，分割要求也不一樣，如基于編碼的對(duì)象分割要求較為粗略，但基于對(duì)象的操作則要求精確。視頻分割按照不同的分類(lèi)標(biāo)準(zhǔn)可以分為不同的類(lèi)別[1]。從分割的用途來(lái)劃分可分為用于編碼目的和用于內(nèi)容分析兩類(lèi)。針對(duì)編碼的視頻分割技術(shù)能夠有效地劃分視頻對(duì)象的邊界，從而提高壓縮效率，并為存儲(chǔ)和傳輸提供便利；針對(duì)內(nèi)容分析的視頻分割主要用于從視頻序列中提取出人所感興趣的視頻對(duì)象，為進(jìn)一步的語(yǔ)義表示提供基礎(chǔ)。按人工參與的程度劃分，視頻分割主要可以分為自動(dòng)分割和人工交互分割兩大類(lèi)[2，3]。自動(dòng)分割算法可以自動(dòng)地從視頻流數(shù)據(jù)中分割出運(yùn)動(dòng)對(duì)象，無(wú)須人工干預(yù)；而人工交互分割屬于半自動(dòng)的視頻分割方法，通常是先由計(jì)算機(jī)進(jìn)行視頻底層的分割，然后再由人工標(biāo)記屬于同一個(gè)目標(biāo)的區(qū)域，在視頻對(duì)象的分割過(guò)程中需要人為地施加作用，從而影響了分割的效率。

此外，為了評(píng)價(jià)分割算法的性能，一般要考慮以下三個(gè)方面的因素[3]：①分割質(zhì)量，即要準(zhǔn)確地分割出對(duì)象；②通用性，即在自動(dòng)或盡可能少的人工交互方式下，能夠?qū)σ话阋曨l或某類(lèi)特殊視頻進(jìn)行分割；③計(jì)算量，即要求算法復(fù)雜度低，對(duì)軟硬件要求不是很高，便于實(shí)時(shí)或準(zhǔn)實(shí)時(shí)處理。

1 基本的視頻運(yùn)動(dòng)對(duì)象分割方法

雖然人眼可以輕易地分辨出視頻對(duì)象，但依靠計(jì)算機(jī)提取視頻對(duì)象的技術(shù)還處于不成熟的發(fā)展階段。當(dāng)前視頻對(duì)象分割的方法層出不窮[4—6]，本節(jié)從人工參與的角度出發(fā)，按照自動(dòng)分割和半自動(dòng)分割兩大方面對(duì)其進(jìn)行說(shuō)明，其中自動(dòng)分割又主要包括基于光流法的分割、運(yùn)動(dòng)跟蹤法和變化區(qū)域檢測(cè)法三種[3]。

1.1 基于光流法的分割

由于運(yùn)動(dòng)對(duì)象通常與背景有不一致的運(yùn)動(dòng)，因此可以從分析對(duì)象的運(yùn)動(dòng)特征入手來(lái)進(jìn)行視頻分割。運(yùn)動(dòng)分割的經(jīng)典算法是先估算密度運(yùn)動(dòng)場(chǎng)，然后在此基礎(chǔ)上對(duì)場(chǎng)景進(jìn)行分割。所謂運(yùn)動(dòng)場(chǎng)是指三維物體的實(shí)際運(yùn)動(dòng)在圖像平面上的投影，而光流場(chǎng)則是由圖像亮度隨時(shí)間的變化引起的，光流場(chǎng)并不總是對(duì)應(yīng)于運(yùn)動(dòng)場(chǎng)。例如，當(dāng)外部照明不斷變化時(shí)，即使物體沒(méi)有發(fā)生運(yùn)動(dòng)，也能觀察到光流場(chǎng)的變化。相反，如果物體表面缺乏足夠的空間圖像梯度，當(dāng)外部照明不變時(shí)，也往往觀測(cè)不到物體的運(yùn)動(dòng)。但在理想情況下，一般將光流場(chǎng)直接等同于運(yùn)動(dòng)場(chǎng)。

光流法是用于估算運(yùn)動(dòng)場(chǎng)的一個(gè)較普遍的方法，基于光流法的分割就是通過(guò)研究光流場(chǎng)，從視頻序列中近似計(jì)算不能直接得到的運(yùn)動(dòng)場(chǎng)，然后再根據(jù)運(yùn)動(dòng)場(chǎng)的運(yùn)動(dòng)特性進(jìn)行分割。

1.2 運(yùn)動(dòng)跟蹤法

一般來(lái)說(shuō)，三維空間物體的運(yùn)動(dòng)在時(shí)間上表現(xiàn)出平滑性，運(yùn)動(dòng)跟蹤法的思想是根據(jù)視頻對(duì)象的先前狀態(tài)來(lái)估計(jì)它的當(dāng)前狀態(tài)。目前采用跟蹤物體的運(yùn)動(dòng)軌跡來(lái)進(jìn)行視頻分割的方法日益得到人們的重視。運(yùn)動(dòng)跟蹤法的基礎(chǔ)是視頻序列的圖像幀上的特征匹配以及描述實(shí)時(shí)運(yùn)動(dòng)進(jìn)程的動(dòng)態(tài)模型，跟蹤算法的性能及依賴(lài)于它所使用的動(dòng)態(tài)模型的準(zhǔn)確性。動(dòng)態(tài)模型大致可以分為兩類(lèi)，即代表三維點(diǎn)的圖像平面軌跡的二維運(yùn)動(dòng)模型和代表物理運(yùn)動(dòng)的動(dòng)力學(xué)特性的三維運(yùn)動(dòng)模型。

因?yàn)檫\(yùn)動(dòng)著的物體有可能從觀察場(chǎng)消失或者新物體可能會(huì)出現(xiàn)在場(chǎng)景中，所以所有的運(yùn)動(dòng)跟蹤算法都應(yīng)該包含有檢測(cè)遮擋和去除遮擋的措施。

1.3 變化區(qū)域檢測(cè)法

變化區(qū)域檢測(cè)法是通過(guò)檢測(cè)視頻序列圖像幀上的變化區(qū)域和不變區(qū)域，將運(yùn)動(dòng)物體與靜止背景進(jìn)行分割的方法。它是在基于時(shí)空?qǐng)D像亮度和梯度信息的獨(dú)立運(yùn)動(dòng)區(qū)域中考慮圖像分割的，為了降低噪聲的干擾，通常都利用相鄰兩幀或三幀檢測(cè)變化區(qū)域。

變化區(qū)域法不需要光流場(chǎng)的估算和任何特征點(diǎn)的對(duì)應(yīng)，但依賴(lài)于時(shí)空?qǐng)D像的亮度梯度，分割精度易受觀測(cè)噪聲影響。

1.4 半自動(dòng)分割技術(shù)

語(yǔ)義視頻對(duì)象的提取是很困難的，當(dāng)前的自動(dòng)分割技術(shù)通常是根據(jù)對(duì)象在空間或運(yùn)動(dòng)方面的聚類(lèi)信息進(jìn)行分割，但是語(yǔ)義視頻對(duì)象往往具有不同的顏色、形狀、紋理和運(yùn)動(dòng)，因此采用自動(dòng)分割的方法很難實(shí)現(xiàn)。現(xiàn)階段人類(lèi)憑自己的認(rèn)知參與視頻分割過(guò)程，從某種意義上來(lái)說(shuō)是不可避免的。在不要求實(shí)時(shí)性但對(duì)視頻對(duì)象邊界精度要求較高的應(yīng)用場(chǎng)合，可以采用人工交互的方式以確定分割對(duì)象，從而提高視頻分割的精度。

半自動(dòng)分割的一般做法是人工對(duì)視頻圖像進(jìn)行初始分割，對(duì)后繼幀的分割則采取自動(dòng)分割算法。由于人工參與分割過(guò)程，半自動(dòng)分割算法的效果一般都比自動(dòng)分割算法要好得多，分割出的對(duì)象比較符合語(yǔ)義上的描述，但是它最大的缺點(diǎn)是需要人工的參與，并且不能用在實(shí)時(shí)性的應(yīng)用中，因而其應(yīng)用受到一定限制。

2 基于自適應(yīng)噪聲濾波的視頻分割算法

由于視頻流數(shù)據(jù)在拍攝、處理和傳輸?shù)冗^(guò)程中常會(huì)引入一些噪聲，因此即便是具有完全相同背景的相鄰兩幀，也會(huì)在背景上出現(xiàn)許多不同的噪聲干擾，再由于差分算法對(duì)噪聲十分敏感，就會(huì)對(duì)其后的對(duì)象分割、提取產(chǎn)生很大影響。在變化區(qū)域檢測(cè)的視頻分割算法中，傳統(tǒng)的濾除噪聲的方法是通過(guò)設(shè)定一個(gè)固定的閾值，將幀差灰度值大于閾值的像素點(diǎn)視為運(yùn)動(dòng)變化區(qū)域，其他的都?xì)w為噪聲。這種方法的一個(gè)最大缺點(diǎn)在于其中的閾值必須人為預(yù)先設(shè)定而不是在檢測(cè)過(guò)程中自適應(yīng)確定，因此適用性差。本文針對(duì)這種缺陷，并參考前人的工作[7—9]，提出了一種自適應(yīng)去噪的視頻分割算法，從而較好地實(shí)現(xiàn)了視頻分割。

2.1 算法流程圖

本文提出的算法屬于變化區(qū)域檢測(cè)方法，其核心思想是將幀差圖像中的噪聲視為Guass噪聲[7]，利用Gauss模型的統(tǒng)計(jì)特性自適應(yīng)地將運(yùn)動(dòng)對(duì)象從噪聲中提取出來(lái)。算法流程如圖1所示。首先求出幀間差分，檢測(cè)出變化區(qū)域，再利用自適應(yīng)噪聲濾波去除噪聲的干擾，根據(jù)當(dāng)前幀的邊緣信息，準(zhǔn)確定位視頻對(duì)象的位置，最后結(jié)合計(jì)算機(jī)圖形學(xué)中的掃描線填充的思想對(duì)視頻對(duì)象進(jìn)行填充[8]，從而完成分割。這種算法改善了變化區(qū)域檢測(cè)方法只能給出視頻對(duì)象的大概范圍，而不能精確定位的短處。

2.2 變化區(qū)域檢測(cè)

由于噪聲n_k+1(x， y)和nk(x， y)的分布服從Gauss分布，而Gauss分布的兩個(gè)隨機(jī)變量之差仍然服從Gauss分布，所以相鄰幀之間的相對(duì)噪聲n(x， y)也服從Gauss分布。因此我們可以通過(guò)估計(jì)相鄰幀之間的相對(duì)噪聲的特征參數(shù)，來(lái)對(duì)差分圖像中的噪聲進(jìn)行濾波，從而提取出運(yùn)動(dòng)變化區(qū)域。

2.3 自適應(yīng)噪聲濾波

噪聲濾波是變化區(qū)域檢測(cè)方法中重要的一環(huán)，其結(jié)果關(guān)系到視頻對(duì)象分割的精確程度。由于噪聲服從Gauss分布，則差分圖像中的相對(duì)噪聲分量也具有相同的分布，但運(yùn)動(dòng)變化分量不具備此性質(zhì)。假設(shè)相鄰幀之間的相對(duì)噪聲n(x， y)服從均值為μ、方差為σ²的Gauss分布，即n(x，y)—N(μ，σ²)。為檢測(cè)出相對(duì)噪聲，需要先估計(jì)出相對(duì)噪聲的特征參數(shù)，包括其均值和方差。下面的工作是采用迭代加權(quán)法，估計(jì)出Gauss噪聲的特征參數(shù)——最優(yōu)均值μ和最優(yōu)方差σ²，并用它們來(lái)設(shè)計(jì)自適應(yīng)噪聲濾波器。

算法首先為相對(duì)噪聲的均值和方差選取一個(gè)較為可信的初始估計(jì)值。在一般的視頻中，由于難以準(zhǔn)確界定相對(duì)運(yùn)動(dòng)區(qū)域與靜止區(qū)域的邊界，因此直接選取差分圖像的均值、方差作為相對(duì)噪聲均值、方差的初始值μ⁰和σ⁰₂。其定義式為

選擇權(quán)值函數(shù)的原則是：依據(jù)差分圖像中各點(diǎn)的值與相對(duì)噪聲均值之間的誤差，根據(jù)誤差的大小，在下次相對(duì)噪聲均值估計(jì)過(guò)程中對(duì)各個(gè)像素點(diǎn)分配不同的權(quán)值。誤差小的像素點(diǎn)屬于相對(duì)噪聲的可能性較大，對(duì)之分配的權(quán)值就大；誤差大的像素點(diǎn)屬于相對(duì)噪聲的可能性較小，對(duì)之分配的權(quán)值就小。由于Gauss分布隨機(jī)變量的能量主要集中在以均值為中心的寬度為3σ的范圍內(nèi)，因此當(dāng)|d(x， y)-μ_i|＞3σi時(shí)，表明差分圖像中的像素(x，y)屬于相對(duì)噪聲的可能性極小；當(dāng)|d(x， y)-μ_i|≤σ_i時(shí)，表明該像素屬于相對(duì)噪聲的可能性較大；當(dāng)σ_i＜|d(x， y)-μi|≤3σ_i時(shí)，隨著差分圖像中(x，y)處的值與相對(duì)噪聲均值之間誤差的逐漸增大，像素(x， y)屬于相對(duì)噪聲的可能性將逐漸減小，此時(shí)令權(quán)值為一個(gè)線性遞減函數(shù)：

若幀差分圖像中的像素值d(x， y)滿足上述準(zhǔn)則，則像素點(diǎn)（x， y）被判決為噪聲點(diǎn)，并將其過(guò)濾。

2.4 掃描線填充法

視頻流中相鄰兩幀的差分圖像經(jīng)過(guò)自適應(yīng)噪聲濾波后，得到運(yùn)動(dòng)變化的區(qū)域。將當(dāng)前視頻幀進(jìn)行邊界提取后得到的全局邊緣信息與獲得的運(yùn)動(dòng)變化區(qū)域進(jìn)行相交運(yùn)算，可獲得運(yùn)動(dòng)對(duì)象的邊緣信息，此時(shí)運(yùn)動(dòng)對(duì)象的邊緣信息就定義了運(yùn)動(dòng)對(duì)象的范圍。由于邊緣提取得到的邊界信息需要與經(jīng)過(guò)噪聲自適應(yīng)濾波后的幀差圖像作相與運(yùn)算，這樣就會(huì)丟棄很多運(yùn)動(dòng)對(duì)象的邊緣信息，提取出來(lái)的邊緣由斷續(xù)且長(zhǎng)短不一的線段構(gòu)成。掃描線填充算法的目的就在于從殘缺的邊界信息中準(zhǔn)確提取出視頻對(duì)象。

掃描線填充的思想來(lái)自于計(jì)算機(jī)圖形學(xué)中的多邊形填充算法，算法通過(guò)三個(gè)步驟實(shí)現(xiàn)（圖2）：對(duì)圖像進(jìn)行橫向填充—縱向填充—橫向填充，這樣就基本完成了填充過(guò)程。

橫向填充的基本方法就是先對(duì)圖像進(jìn)行一次橫向掃描，確定邊緣的左右邊界，因?yàn)橐曨l對(duì)象通常都是實(shí)心的，所以可以將左右邊界之間的部分都認(rèn)為是視頻對(duì)象上的點(diǎn)，對(duì)這部分內(nèi)容進(jìn)行逐行像素的填充；縱向填充具體操作與橫向填充是相同的，只不過(guò)是對(duì)圖像進(jìn)行縱向掃描，然后進(jìn)行逐列像素的填充；第三步是重復(fù)第一步，檢查是否存在遺漏的線段。從圖2中可以看出，這種掃描線填充算法對(duì)邊緣斷續(xù)的情況非常有效，在填充過(guò)程中，只需要知道圖像行列像素坐標(biāo)的極大極小值，運(yùn)算過(guò)程簡(jiǎn)單明了。

當(dāng)運(yùn)動(dòng)對(duì)象的邊緣圖像通過(guò)掃描線填充算法得到了運(yùn)動(dòng)變化的區(qū)域后，將此區(qū)域內(nèi)的圖像分割出來(lái)，就實(shí)現(xiàn)了對(duì)運(yùn)動(dòng)對(duì)象的分割。

2.5 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證算法的有效性，選取了兩個(gè)MPEG標(biāo)準(zhǔn)測(cè)試序列作為實(shí)驗(yàn)素材，最終結(jié)果分別如圖3和圖4所示。從中可以看出，本算法對(duì)運(yùn)動(dòng)對(duì)象的分割是令人滿意的。

3 結(jié)論

基于自適應(yīng)噪聲濾波的視頻對(duì)象分割算法與常用的預(yù)先設(shè)定閾值濾除噪聲的算法不同，它通過(guò)估計(jì)差分圖像中相對(duì)噪聲的特征參數(shù)對(duì)噪聲進(jìn)行自適應(yīng)濾波，從而自動(dòng)檢測(cè)出運(yùn)動(dòng)變化的區(qū)域。這種方法在一定程度上克服了變化區(qū)域檢測(cè)方法的缺點(diǎn)，使得運(yùn)動(dòng)對(duì)象可能存在的區(qū)域的不確定性大大減小，從而為后續(xù)的特征提取、語(yǔ)義分析等打下了良好的基礎(chǔ)。

本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文。