基于三階幀差的運(yùn)動(dòng)特征選取方案

摘要:為解決行為識(shí)別中運(yùn)動(dòng)特征提取的問(wèn)題，該文提出了一種基于三階幀差的運(yùn)動(dòng)特征提取方案，用于提取運(yùn)動(dòng)特征中的變化大小、運(yùn)動(dòng)變化的一致性、運(yùn)動(dòng)方向的一致性等。實(shí)驗(yàn)證明，新方法速度快，準(zhǔn)確度高。

關(guān)鍵詞: 三階幀差;運(yùn)動(dòng)特征;行為識(shí)別

中圖分類號(hào):TP311文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1009-3044(2009)25-7073-02

Motion Feature Extraction Based on Three Order Frame Difference

ZUO Xu-hui

(College of Computer Science Technology， SouthWest University of Science Technology， Mianyang 621010， China)

Abstract: To solve the problem ofmotion feature extraction in behavior recognition， a new method based on Three Order Frame Difference. The new method can extract the degree of vary motion features， such as size， coherence of motion size， coherence of motion. Experiment shows thatthenew method has a high speed， and veracity.

Key words:Tree Frame Difference; Motion feature; Behavior Recognition

運(yùn)動(dòng)特征的提取是智能視頻分析的關(guān)鍵步驟，只有快速、正確地提取到視頻中的運(yùn)動(dòng)特征信息，才可能獲得對(duì)視頻行為模式的正確識(shí)別。近年來(lái)，人們對(duì)視頻運(yùn)動(dòng)特征的提取日漸關(guān)注。利用旋轉(zhuǎn)目標(biāo)高分辨一維距離像的長(zhǎng)度變化特性， 文獻(xiàn)[1]提出了提取目標(biāo)旋轉(zhuǎn)半徑和旋轉(zhuǎn)速度等微運(yùn)動(dòng)特征的新方法. 通過(guò)對(duì)運(yùn)動(dòng)特征提取算法進(jìn)行研究，文獻(xiàn)[2]設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)實(shí)用的全局運(yùn)動(dòng)特征和局部運(yùn)動(dòng)特征提取模塊。文獻(xiàn)[3] 根據(jù)導(dǎo)彈目標(biāo)運(yùn)動(dòng)方式及其回波特點(diǎn)，提出了一種基于一維距離像的運(yùn)動(dòng)目標(biāo)特征提取方法。在對(duì)回波進(jìn)行全去斜率處理后獲得目標(biāo)一維像。文獻(xiàn)[4] 采用基于特征的光流法，由單面冠狀動(dòng)脈造影圖像序列估計(jì)二維血管的運(yùn)動(dòng)。類似研究還有很多，這些方法的特點(diǎn)是針對(duì)某一個(gè)特定的場(chǎng)景或問(wèn)題有效，缺乏通用性，并且算法復(fù)雜性較高，影響行為識(shí)別的整體效率，為解決這些問(wèn)題，本文提出基于三階幀差的運(yùn)動(dòng)特征提出方案。

1 幀差與運(yùn)動(dòng)

從理想狀態(tài)來(lái)說(shuō)，視頻中沒(méi)有幀差即沒(méi)有運(yùn)動(dòng)，即當(dāng)場(chǎng)景中所有物體靜止時(shí)，視頻幀差為0。設(shè)相鄰兩幀為F1、F2，運(yùn)動(dòng)強(qiáng)度為Q，他們的幀差為U則有:

U=0，若Q=0。

即:U=0，則有F1=F2，U隨Q增大而增大。

一階幀差直接反映了視頻中運(yùn)動(dòng)的像素，所不足的是，一階幀差不能體現(xiàn)運(yùn)動(dòng)的變化，即物體本身的受力情況。實(shí)際上，我們?cè)诳紤]運(yùn)動(dòng)時(shí)通常更關(guān)心它的變化，沒(méi)有狀態(tài)變化的勻速運(yùn)動(dòng)沒(méi)有太大實(shí)用價(jià)值。為獲得運(yùn)動(dòng)的變化情況，可以使用二階幀差提取信息，若對(duì)象運(yùn)動(dòng)為均速運(yùn)動(dòng)，則二階幀差保持不變，若對(duì)象運(yùn)動(dòng)加速，則二階幀差較大，相反，則二階幀差會(huì)減小。

物體運(yùn)動(dòng)速度變化體現(xiàn)的是物體的受力情況。若一個(gè)物體受力情況不變，則其運(yùn)動(dòng)變化也不值得關(guān)注，更值得關(guān)注的是物體受力的變化，在視頻中則是說(shuō)二階幀差的變化，也就是三階幀差。若相鄰三幀為F1、F2、F3，則它們的三階幀差D(F1，F(xiàn)2，F(xiàn)3)可以使用以下公式表達(dá):

D(F1，F(xiàn)2，F(xiàn)3)=abs(D(F1，F(xiàn)2)-D(F2，F(xiàn)3))=abs(abs(F1-F2)-abs(F2，F(xiàn)3))

2 運(yùn)動(dòng)特征的選取

如上所述，視頻的三階幀差體現(xiàn)的是運(yùn)動(dòng)變化的趨勢(shì)，因此，基于三階幀差進(jìn)行運(yùn)動(dòng)特征提取比較方便。本文分別使用積分、值分布直方圖、位置分布直方圖來(lái)提取運(yùn)動(dòng)特征中的變化大小、運(yùn)動(dòng)變化的一致性、運(yùn)動(dòng)方向的一致性等特征。

顯然，三階差分的積分越大，說(shuō)明了視頻對(duì)象的受力變化越快，視頻對(duì)象的運(yùn)動(dòng)穩(wěn)定性越差。

三階差分的值分布體現(xiàn)了物體間運(yùn)動(dòng)變化的分布情況，分布范圍越廣，物體間的受力情況越多，從而可知視頻的運(yùn)動(dòng)一致性更差。

物體受力的位置越多，則其運(yùn)動(dòng)越復(fù)雜，方向越多，因此三階差分的位置分布情況直接反映視頻方向運(yùn)動(dòng)的一致性。

3 運(yùn)動(dòng)特征的表達(dá)

如何選擇特征來(lái)充分表達(dá)運(yùn)動(dòng)成為行為理解的關(guān)鍵問(wèn)題之一。一般是盡可能選擇較多的特征或者是在連續(xù)特征的典型匹配過(guò)程中引入人運(yùn)動(dòng)模型的簡(jiǎn)化約束條件來(lái)減少、消除歧義性。但如果選取的特征過(guò)多、特征向量維數(shù)過(guò)大，則會(huì)增加計(jì)算的復(fù)雜度;而選擇特征過(guò)少，又可能不足以識(shí)別與理解人行為，而引入人運(yùn)動(dòng)模型的簡(jiǎn)化約束條件與一般的圖像條件卻又是不吻合的。因此，能否借鑒人類的學(xué)習(xí)、識(shí)別與理解機(jī)理，定義一個(gè)動(dòng)態(tài)特征模型，首先提取有關(guān)行為的主要特征，當(dāng)這些特征不足以完成識(shí)別與理解時(shí)，系統(tǒng)逐步提取候選的細(xì)節(jié)特征;另外一種更好的辦法是使用行為的二維表達(dá)捕捉行為的視覺(jué)不變特征，那樣對(duì)行為理解不會(huì)引起歧義。但是如何選擇視覺(jué)不變特征卻又是一項(xiàng)很困難的任務(wù)。此外，提取特征的不穩(wěn)定性也為行為理解帶來(lái)很大的困難，但多模特征融合將為行為理解提供一種很好的解決辦法。例如在某些環(huán)境中，可視信息受干擾，變得敏感不可靠時(shí)，聲音特征將為基于視頻的行為理解提供一個(gè)很好的補(bǔ)充;在遮擋的情況下，基于多攝像機(jī)信息融合方法由于能夠很好地解決遮擋問(wèn)題，在行為理解研究也將會(huì)得到快速的發(fā)展。

對(duì)于運(yùn)動(dòng)特征表征來(lái)說(shuō)，不同復(fù)雜程度的運(yùn)動(dòng)通常會(huì)采用不同的運(yùn)動(dòng)表達(dá)方法，即使是同一種動(dòng)作在不同的場(chǎng)合，由于快慢速度不一致等都會(huì)產(chǎn)生不同的時(shí)空關(guān)系。如何表征這些細(xì)微的時(shí)空變化并沒(méi)有一個(gè)很好的辦法。一個(gè)可行的辦法是采用多分辨率的方法來(lái)表征和分析運(yùn)動(dòng)，但計(jì)算量較大。采用基于特征的光流法，由單面冠狀動(dòng)脈造影圖像序列估計(jì)二維血管的運(yùn)動(dòng).從連續(xù)的兩幀圖像中提取出動(dòng)脈主要分支的中心線，沿中心線采用光流法計(jì)算出血管以及相關(guān)心外膜的運(yùn)動(dòng)參數(shù).

4 實(shí)驗(yàn)結(jié)果

為驗(yàn)證三階幀差提出運(yùn)動(dòng)特征的有效性，本文利用三階幀差法進(jìn)行了視頻行為分類實(shí)驗(yàn)。實(shí)驗(yàn)設(shè)備為Intel 2.8 G CPU，512M內(nèi)存的個(gè)人筆記本電腦。實(shí)驗(yàn)結(jié)果表明，新方法不公實(shí)驗(yàn)識(shí)別率高，而且速度快。

對(duì)akiyo， football， carphone， foreman， news等視頻進(jìn)行分類實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)視頻幀在50幀以上的時(shí)候，基于三階差分的行為分類可以達(dá)到10%的準(zhǔn)確率。

而且各視頻的測(cè)試速度均很快，平均處理時(shí)間小于秒/25幀，也就是說(shuō)，新系統(tǒng)完全可以適應(yīng)適時(shí)計(jì)算的要求。

5 結(jié)論

根據(jù)理論推導(dǎo)與實(shí)驗(yàn)證明，本文提出的三階幀差法提取特征速度快，效果好。若能將三階幀差進(jìn)一步分解，則可以提取其它運(yùn)動(dòng)特征。三階幀差法提取運(yùn)動(dòng)特征可以提高基于視頻的行為識(shí)別的精度與速度。

參考文獻(xiàn):

[1] 馬梁， 王濤， 馮德軍， 等. 旋轉(zhuǎn)目標(biāo)距離像長(zhǎng)度特性及微運(yùn)動(dòng)特征提取[J]. 電子學(xué)報(bào)， 2008， 36(12): 2273-2279.

[2] 張培珍，沈玉利，江華俊. 視頻運(yùn)動(dòng)特征提取模塊的實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì)， 2006， 27(10): 1780-1781.

[3] 馮德軍， 陳志杰， 王雪松，等. 基于一維距離像的導(dǎo)彈目標(biāo)運(yùn)動(dòng)特征提取方法[J]. 國(guó)防科技大學(xué)學(xué)報(bào)， 2005， 27(6): 43-46.

[4] 孫正， 郁道銀， 陳曉冬，等. 冠狀動(dòng)脈造影圖像序列中血管運(yùn)動(dòng)特征的提取[J]. 天津大學(xué)學(xué)報(bào)， 36(6): 739-742.