基于時空預(yù)測模型的視頻碼率控制算法

李汶隆，劉念林，柳春青

（1.四川科瑞軟件有限責任公司，四川 成都 610041；2.四川湖山電器股份有限公司，四川 成都 610041）

0 引 言

在實際視頻應(yīng)用過程中，視頻需要在各種復(fù)雜條件下采集與傳輸，如無人機動態(tài)視頻采集與無線傳輸。因此，針對視頻內(nèi)容變換頻繁的應(yīng)用場景，進行低碼率或碼率波動較小的的視頻流傳輸是當前的研究熱點。在當前主流視頻編碼過程中，編碼比特率主要由輸入的視頻內(nèi)容特性及編碼策略等因素共同決定。對于細節(jié)豐富、內(nèi)容跳變頻繁的視頻圖像，編碼所占用的比特數(shù)就較多；對于視頻內(nèi)容單一、運動量不大的視頻圖像，編碼所占用的比特數(shù)就較小。因此，當前業(yè)內(nèi)研究熱點是：恒定碼率條件下，盡可能降低碼率波動；可變碼率條件下，在保障圖像質(zhì)量的情況下，盡可能使編碼的碼率較低。

當前主流視頻編碼算法主要通過視頻待處理單元的像素絕對誤差均值（以下簡稱MAD值）來表征待處理單元的“運動”劇烈程度，MAD值越大，表明當前處理單元和前一幀圖像相比“運動”劇烈，則需要為當前處理單元分配更多的編碼比特數(shù)來表征細節(jié)，即為量化參數(shù)（以下簡稱QP）值要小；MAD值越小，表明當前處理單元和前一幀相比，“運動”不劇烈，可以采用較大的QP值，用較少的編碼比特來表征細節(jié)。

從上述描述可以看出，MAD值和QP值關(guān)系到編碼比特數(shù)的分配，與視頻圖像質(zhì)量和傳輸帶寬等指標等息息相關(guān)。由于QP值將作為參數(shù)用于碼率控制與率失真優(yōu)化（Rate Distortion Optimation，RDO），其中，RDO的計算需要MAD值與QP值作為輸入?yún)?shù)，而視頻圖像幀的待處理單元的MAD需要通過RDO來計算。為了解決上述難題，傳統(tǒng)方法主要通過線性模型對即將處理的圖像單元的MAD進行線性預(yù)測，預(yù)測出當前待處理圖像單元的運動復(fù)雜度，之后通過二次RD模型計算得到QP值，從而為該圖像處理單元進行編碼比特的分配。

1 相關(guān)研究

主流的視頻編碼處理都是在率失真理論指導(dǎo)下進行視頻壓縮處理，即在特定的碼率下能達到的最小期望失真或者在一定的失真限制條件下，能夠用最小的碼率來盡可能多的信息表示。在率失真理論的支撐下，視頻編碼根據(jù)實際輸出碼流的特點，業(yè)內(nèi)碼率控制方法主要分為固定碼率控制方法（Constant Bit Rate，CBR）和變長碼率控制方法（Variable Bit Rate，VBR）。

1.1 率失真理論

香農(nóng)于1948年在論文《通信的數(shù)學(xué)理論》中首次提到了信息率-失真函數(shù)的概念，證明了信息是可以被量化的，并闡述了如何在保證準確率的前提下用數(shù)字編碼對信息進行壓縮和傳輸。率失真理論正是在這一基礎(chǔ)上進行理論定義：對于確定的信源和失真度量，在規(guī)定的碼率條件下，能夠使得失真度最小；或者在一定的失真限制情況下，使得碼率盡可能小。在視頻圖像處理領(lǐng)域，率失真理論是碼率控制算法的基礎(chǔ)，描述了編碼碼率與失真度之間的關(guān)系。

1.2 傳統(tǒng)的碼率控制算法

當前主流視頻編碼標準僅對視頻壓縮的過程和碼流的比特代表的含義等有明確的要求。為了促進視頻處理技術(shù)的發(fā)展，未對碼率控制方法進行定義，在率失真理論的支撐下，讓各個機構(gòu)根據(jù)實際應(yīng)用場景的側(cè)重點進行碼率控制的研制，這也促進了視頻技術(shù)的大力發(fā)展。業(yè)內(nèi)比較經(jīng)典的碼率控制算法主要有應(yīng)用于H.261的RM8模型算法、應(yīng)用于MPEG2的TM5模型算法、應(yīng)用于MPEG-4的VM8模型算法以及應(yīng)用于H.263的TMN8模型算法。以上算法能夠較好地針對普通視頻應(yīng)用場景進行碼率控制，但仍然存在應(yīng)用場景缺陷，主要表現(xiàn)如下。

（1）針對視頻內(nèi)容突變帶來的問題沒有較好地解決。當視頻內(nèi)容發(fā)生突變時，由于視頻幀間編碼采用前面參考幀進行編碼壓縮，因此，在這種情況下，幀間編碼的參考幀與待編碼幀存在較大差異，由此計算出來的估計值不準確。

（2）同一幀視頻圖像中，相鄰視頻圖像處理區(qū)域有明顯塊效應(yīng)。由于視頻編碼過程中，量化參數(shù)（QP）決定了視頻圖像的編碼質(zhì)量，但視頻幀中各個量化參數(shù)可能差異較大，從而造成同一幀視頻圖像在編碼后有方塊效應(yīng)，影響人眼視覺主觀感受。

1.3 本文碼率控制算法

H.261、AVS、H.264及H.265等國際國內(nèi)壓縮標準對視頻編碼最終形成的碼流信息語法結(jié)構(gòu)進行了定義，對碼率控制采用的方式?jīng)]有做明確的限制，開發(fā)人員可以結(jié)合各自行業(yè)特點，采用不同的編碼策略來滿足各自需求。隨著基于視頻應(yīng)用的行業(yè)的大力發(fā)展，視頻編碼過程中碼率控制算法在不斷地演進與更新[3]。

1.3.1 基本思想

主流的碼率控制算法主要基于率失真理論，在失真與信息表示之間得到最優(yōu)解。通過對當前待處理區(qū)域分配的比特數(shù)及幀間像素絕對誤差均值進行估計，基于線性算法模型，計算得到當前待處理區(qū)域的量化參數(shù)QP值。該方法能較好地解決“蛋雞悖論”，但適應(yīng)場景有局限性，如已編碼幀與當前幀視頻內(nèi)容差別較大的情況和視頻內(nèi)容中有劇烈運動的情況，就不能很好地預(yù)測出待處理區(qū)域的MAD值[4]。在實際視頻應(yīng)用場景中，視頻內(nèi)容劇烈變化的情況時有發(fā)生。因此，針對場景變換的視頻場景，如何準確地進行MAD值的預(yù)測至關(guān)重要。

1.3.2 算法建模

參考文獻[1]針對視頻圖像產(chǎn)生的白噪聲，通過MAD的方差來表征視頻圖像在時間通道中的內(nèi)容變化情況。本文針對視頻內(nèi)容的突變，在時空網(wǎng)絡(luò)場景中對視頻內(nèi)容的動靜屬性相對關(guān)系進行建模，得到視頻幀中在時空通道中的視頻變化因子表征值。主要過程如下。

（1）根據(jù)視頻序列在時空通道中的關(guān)系屬性，計算視頻運動屬性因子，并通過運動屬性因子來判斷視頻內(nèi)容是靜止還是運動。運動屬性因子的選擇直接影響到當前待處理視頻序列在時空網(wǎng)絡(luò)中的收斂速度及效果，因此，選擇一種適合的方式是本文需要解決的關(guān)鍵問題。

假設(shè)在一定時間區(qū)間內(nèi)，視頻采集鏡頭沒有發(fā)生角度變化且未引入噪聲，圖像間的差異主要由視頻中的運動內(nèi)容產(chǎn)生，則有：

式中：Yx,y(t)表示視頻圖像內(nèi)容值；Bx,y表示背景圖像的內(nèi)容值，是定值；M(t)表示當前視頻內(nèi)容中的運動部分，是變化值。則時空信息中幀間差分圖像定義為：

式中：Diffx,y(t)代表t時刻前后幀圖像的差分值。假設(shè)在時空網(wǎng)絡(luò)中視頻采集鏡頭沒有進行切換且沒有引入噪聲，則計算差分圖像相臨3個處理區(qū)域塊都大于運動屬性因子TH或都小于運動屬性因子TH的概率，計算公式為：

式中：u代表區(qū)間（TH，+∞）變數(shù)，相臨3個處理區(qū)域塊大于閾值的概率為：

參考文獻[1]通過概率方式對δ及TH的取值進行了論證，本文也采用類似的取值思路。考慮到實際視頻序列的特征，本文取動靜屬性因子TH為。

（2）對待處理區(qū)域MAD值進行基于動靜趨勢屬性進行矯正。參考文獻[2]中，作者提出了一種基于空間相關(guān)性的MAD預(yù)測模型的改進算法，能夠較好地對原線形預(yù)測模型進行矯正。本文在考慮時空屬性的基礎(chǔ)上提出空間關(guān)聯(lián)因子與時間關(guān)聯(lián)因子。

空間關(guān)聯(lián)因子為：

MADcb-1和MADRcb-1分別為前一基本單元的預(yù)測MAD和實際MAD。時間關(guān)聯(lián)因子為：

當MADcb大于動靜屬性閾值，表征視頻內(nèi)容發(fā)生運動，進行空間屬性預(yù)測補償，得到補償后的最終 MAD 值MADc。

當MADcb小于動靜屬性閾值，表征視頻內(nèi)容未發(fā)生運動和鏡頭切換等，進行時間屬性預(yù)測補償，得到補償后的最終MAD值MADc。

1.3.3 算法分析

和傳統(tǒng)碼率控制算法相比，本文將方差物理特性基礎(chǔ)理論與視頻圖像在時間與空間的關(guān)聯(lián)屬性特征相結(jié)合，對視頻圖像在時空網(wǎng)絡(luò)中的運動屬性因子進行計算，用幀間圖像像素的絕對誤差均值的方差來表征視頻序列在時間網(wǎng)絡(luò)信息中的運動狀態(tài)[5]。在碼率控制的過程中，在時空網(wǎng)絡(luò)中建立時空預(yù)測模型，通過視頻動靜屬性因子來表征視頻圖像運動和靜止屬性，分別對待處理區(qū)域的MAD值進行基于時空維度的補償矯正。本文通過視頻圖像幀間像素MAD的方差來表征視頻運動屬性因子，對視頻序列在時間通道中的運動情況進行動態(tài)分析，使得動靜屬性因子能根據(jù)視頻的應(yīng)用場景動態(tài)調(diào)整。

本文采用的碼率控制算法在實際工程應(yīng)用中能有效解決傳統(tǒng)算法在視頻圖像發(fā)生內(nèi)容突變時碼率較高、碼率抖動劇烈以及視頻質(zhì)量不好的問題，對后續(xù)基于視頻圖像的挖掘分析應(yīng)用具有較好的實際意義。

1.3.4 實驗分析

在H.264測試模型JM上對傳統(tǒng)碼率控制算法及本文提出的基于時空預(yù)測模型的視頻碼率控制算法在不同碼率要求及不同視頻內(nèi)容情況下進行比較分析和討論。其中，碼率控制模式為CBR與VBR；測試序列選用標準測試序列blue_sky與dinner。結(jié)果如表1和表2所示。

表1 原測試模型與本文模型算法對比（1 024 kb·s-1）

表2 原測試模型與本文模型算法對比（2 048 kb·s-1）

可以看出，本文所采用算法在CBR碼率控制模式下，在代表圖像質(zhì)量的圖像峰值信噪比PNSR值不降低的情況下，碼率偏移及碼率峰值波動更小；在VBR碼率控制模式下，圖像峰值信噪比PNSR基本不變化的情況下，所用到的視頻編碼碼率更低。

2 結(jié) 語

本文重點闡述了利用時間和空間網(wǎng)絡(luò)對視頻圖像進行內(nèi)容理解，基于方差物理特性，結(jié)合視頻時空特征，分析視頻圖像序列在時間通道中的運動情況，對運動趨勢用方差進行表達、動態(tài)分析及識別。本文基本思想在于，在時空通道中，以視頻幀間圖像的像素絕對誤差均值（MAD）來表征視頻圖像運動趨勢，用MAD的方差來計算動靜屬性因子，并對待處理區(qū)域進行動靜狀態(tài)分類，建立預(yù)測MAD的補償模型。在實際工程應(yīng)用中，特別是對于視頻場景切換頻繁、對網(wǎng)絡(luò)抖動要求嚴格這一業(yè)內(nèi)較難處理的應(yīng)用場景，本文提出的算法可動態(tài)、快速地完成收斂，具有較好的場景適應(yīng)性。本文采用的基于時空預(yù)測模型的基本思想也可應(yīng)用于其他視頻圖像處理場景。