基于幀間相關(guān)測量的視頻幀運動程度分類

岳宇辰

（陸軍裝甲兵學(xué)院 兵器與控制系，北京 100072）

0 引 言

壓縮感知理論的提出，有效地解決了頻帶較寬的數(shù)字圖像與視頻信號按傳統(tǒng)Nyquist-Shannon采樣定理進(jìn)行數(shù)據(jù)采樣時，按照先采樣后壓縮的數(shù)據(jù)處理方式造成采樣資源嚴(yán)重浪費的問題[1]。它在采樣端合并了數(shù)據(jù)采樣與數(shù)據(jù)壓縮過程，尋找最少的測量系數(shù)線性表述信號，并利用圖像或視頻信號的稀疏性作為先驗，在重建端通過重建算法從測量值中實現(xiàn)重建原始信號的高概率重建[2,3]。視頻信號可以通過在采樣端將每個視頻幀分塊處理，然后再分別使用相同的測量矩陣獨立采樣[4]。此類方法雖然具有較快的重建速度與重建質(zhì)量，但忽略了視頻幀間存在的強(qiáng)相關(guān)性。因此部分學(xué)者在測量域?qū)⑦\動估計和運動補(bǔ)償加入視頻壓縮感知過程，形成了基于多假設(shè)預(yù)測的視頻壓縮感知，在重建端先進(jìn)行測量值的初始重建，再通過運動估計得到更高質(zhì)量的預(yù)測輔助重建，但該方法忽略了視頻序列中的運動特性。文獻(xiàn)[5]通過自適應(yīng)塊采樣的方式在一定程度上利用了視頻序列內(nèi)不同區(qū)域的運動特性，但極大增加了采樣端的計算復(fù)雜度，反而背離了壓縮感知的初衷。綜上所述，為利用視頻序列的幀間相關(guān)性，簡單直接地獲取視頻幀的運動情況，本文提出一種基于幀間相關(guān)測量的視頻幀運動程度判斷方法，根據(jù)待重建視頻塊與其在參考幀中匹配塊測量值之差將待重建視頻塊劃分為近似靜止塊、緩速運動塊以及快速運動塊，為視頻幀有針對性的分類重建奠定基礎(chǔ)。

1 視頻塊運動程度判斷方法

視頻信號的測量值維數(shù)與視頻幀的采樣率呈正相關(guān)，使用相同的重建算法時，視頻序列測量值與重建質(zhì)量同樣呈正相關(guān)，即隨著視頻幀的采樣率增加，視頻序列的測量值維數(shù)越高，重建質(zhì)量越好。另外，雖然視頻存在幀間相關(guān)性，但視頻中各視頻幀的運動情況也不盡相同，采用相同的重建算法對視頻序列中每一幀的重建質(zhì)量也會存在較大差異。綜上，可以總結(jié)出影響視頻幀重建質(zhì)量的兩個因素為視頻幀采樣率和視頻幀運動程度。視頻幀重建質(zhì)量常用峰值信噪比（Peak Signal to Noise Ratio，PSNR）進(jìn)行客觀評價，其定義式為：

式中，MSE為均方誤差，定義M×N維圖像x的MSE為：

設(shè)xt,i是視頻序列X第t幀中的第i塊，它與前一幀中相同位置塊xt-1,i之間的殘差能量反映了幀Xt與Xt-1在此位置上的幀間相關(guān)性，表達(dá)式為：

式中，殘差能量E(xt-1,xt,i)很大程度上會受視頻序列亮度和對比度等信息的影響。為消除結(jié)果對視頻信息的依賴性，采用相對能量來表述視頻幀運動程度，即：

在重建端只能獲取視頻幀的測量值，于是采用測量域相對殘差能量描述視頻幀運動程度，公式為：

設(shè)定閾值τ1和τ2區(qū)分各視頻塊的運動程度，若e(yt-1,yt,i)＜τ1，則將xt,i劃分為近似靜止塊；若τ1＜e(yt-1,yt,i)＜τ2，則將xt,i劃分為緩速運動塊；若e(yt-1,yt,i)＞τ2，則將xt,i劃分為快速運動塊。

2 判斷條件有效性與分類閾值分析

首先通過實驗驗證提出的e(yt-1,yt,i)能發(fā)揮和e(xt-1,xt,i)相同的作用，可以用于視頻塊運動程度分類條件。通過實驗對比相同采樣率下e(xt-1,xt,i)與e(yt-1,yt,i)對相同視頻幀進(jìn)行運動程度判斷結(jié)果。為保證較快的采樣速度與較多的采樣信息，設(shè)定采樣率為0.2，分塊尺寸為8×8，單位為像素，實驗對象為352×288的CIF格式的標(biāo)準(zhǔn)測試序列Hall、M&D、Tempete、Foreman、Coastguard、Stefan、Football以及Soccer的若干連續(xù)視頻幀，此時序列的每一幀都會被分為1 584個視頻塊。以序列的第10幀為例，運動程度判斷結(jié)入圖1（a）和圖1（b）所示，橫坐標(biāo)視頻塊序號完全相同。

圖1 Foreman序列兩類方法判斷結(jié)果對比圖

e(xt-1,xt,i)和e(yt-1,yt,i)的判斷結(jié)果具有相似的分布狀態(tài)和變化趨勢，可以直觀看出兩種判斷方法能發(fā)揮相同作用。接下來通過實驗分析并計算運動程度判斷閾值τ1和τ2，實驗對象選用相同的標(biāo)準(zhǔn)視頻序列，以e(xt-1,xt,i)結(jié)果作為標(biāo)準(zhǔn)，對比驗證e(yt-1,yt,i)判斷結(jié)果的準(zhǔn)確性。以8個實驗對象的第17幀和第18幀為例，計算并統(tǒng)計不同的判斷閾值τ1和τ2對8個視頻序列的第10幀，共12 672個視頻塊的分類結(jié)果，其中統(tǒng)計e(yt-1,yt,i)分類正確視頻塊數(shù)及正確分類概率，設(shè)定當(dāng)通過e(yt-1,yt,i)得出的視頻塊分類結(jié)果與通過e(xt-1,xt,i)得出的分類結(jié)果相同，即劃分視頻塊類型一致且所處位置相同時，認(rèn)為e(yt-1,yt,i)分類結(jié)果正確。通過多次反復(fù)實驗，得出當(dāng)τ1=3×10-3，τ2=0.15時，e(yt-1,yt,i)對視頻塊分類的正確率達(dá)到最高，正確判斷近似靜止塊的平均概率為91.34%，正確判斷緩速運動塊的平均概率為92.74%，正確判斷快速運動塊的平均概率為95.38%。可見測量域相對殘差能量也可以按照視頻塊運動情況大概率做到正確分類，證明了e(yt-1,yt,i)條件的有效性。

3 結(jié) 論

本文提出的基于幀間相關(guān)測量的視頻幀運動程度分類方法可以在重建端快速判斷視頻塊的運動程度，計算復(fù)雜度低且正確率很高，有效提高了采樣效率，并且為后續(xù)視頻塊的分類重建打下了基礎(chǔ)。