H.264/AVC率失真優化技術綜述*

馬宏興，張 伶

（北方民族大學 電氣信息工程學院，寧夏 銀川 750021）

1 引言

H.264/AVC視頻編碼標[1]在編碼模式、編碼參數、熵編碼、參考幀、高精度預測、去塊濾波以及抗誤碼等方面采取了一系列切合實際的技術措施，相對于H.263和MPEG-4，視頻壓縮比提高1倍，節約了50%的碼率[2]。然而，H.264/AVC仍以傳統的混合編碼框架為基礎，編碼器依據圖像內容，采用率失真優化的方法[3]，在幀內和幀間眾多的可選模式里選取最佳的編碼模式，對每一種編碼模式都要計算其失真度和比特率，致使編碼過程變得復雜，編碼時間增加。但是，正是率失真優化技術的應用，H.264/AVC在運動估計及編碼模式的選擇過程中，盡可能獲得最佳運動信息，得到最佳匹配，從而保證了圖像的質量，節省碼率，整體編碼性得到了顯著提高。

2 視頻編碼的率失真理論

視頻壓縮是典型的限失真編碼，率失真理論同樣適應于視頻編碼。視頻編碼率失真優化指的是在限比特率為R的條件下，即R值不能超過信道傳輸率Rc，如何選擇最佳編碼模式，使得失真D最小，約束條件為R≤Rc[4-5]。要實現該目標，在R和D之間必須選擇一個恰當的折中。

在實際解決問題的過程中，可由量化步長、宏塊編碼模式等組成的編碼參數集，對視頻序列進行編碼，得到一系列相應的編碼比特率R和失真D點，從而形成R-D率失真曲線。如果給定一個目標碼率Rc，與其對應的最小失真D點必然在這一曲線上。視頻編碼的率失真優化目標正是尋找這些合適的編碼參數集，使其代表的R-D點盡可能地位于或接近這條曲線，如圖1所示。

約束條件下的極值求解常用拉格朗日乘子法，部分拉格朗日方法不能很好解決的可以用動態規劃求解[4]。拉格朗日乘子法能夠找出一個或數個性能最好的編碼參數集，這些參數可被用于視頻編碼器以獲得最佳的編碼性能。但如果編碼參數組合的數目極大，率失真計算的復雜性常常比編碼算法本身還高，要使率失真優化方法更實用，可以對編碼參數簡化。

圖1 視頻編碼的R-D模型

3 H.264/AVC率失真優化

3.1 理論分析

根據率失真理論，H.264/AVC視頻標準中，每幀圖像的編碼模式選擇問題便是可選模式中最佳模式的選擇問題，使得在限定碼率Rc下，D最小。

設 X＝｛X1， X2，…， XN｝表示當前幀中的所有宏塊，M表示視頻編碼可選的編碼模式集，那么當前幀率失真優化編碼就可以表示為

因為H.264/AVC是基于宏塊的編碼結構，當前幀的失真和碼率可以由各個宏塊的失真或比特數累加，即有

因此，當前幀的率失真函數可以轉換成

式中：J（X，M，λ）=D（X，M）+λ×R（X，M）。

顯然，只要參數λ可知，該式的極值就可以決定出最優編碼模式M*，使得此時的編碼失真D（X，M*）就是在限率Rc下的最小失真。但是，由于單個宏塊Xi在編碼模式M*下的比特數R（Xi，M*）必須在其他所有宏塊計算完畢才能獲得，所以嚴格地講，當前幀各宏塊最佳編碼模式的決定是相互依賴的，將導致問題非常復雜，難于求解。為了將問題簡化，設各宏塊的編碼模式率失真優化決定是相對獨立的，忽略各宏塊的碼率對其他宏塊的編碼模式的影響[7]，即有：

式中：Mi表示宏塊Xi的編碼模式參數集。整幀圖像的最優化問題可以進一步分解為

由此，全幀的率失真優化轉化為每個宏塊的優化，只需要計算單個宏塊的率失真開銷就行了。

3.2 拉格朗日系數λ的確定

Wiegand等[5-7]依照R-D的近似數量關系和大量的實驗結果，得出參數λ與量化步長QP有著某種關系，目前H.264/AVC采用的λ和量化參數QP關系有[3]：

1）對I幀、P幀，如果編碼時沒有B幀，則

2）對I幀、P幀，如果編碼時有B幀，則

3）對B幀，則有

3.3 運動估計的率失真優化

運動估計的率失真優化包括決定最佳運動向量和最佳參考幀及相應的運動信息兩個方面。公式分別為

式中：m=（mx，my）T表示運動估計所得到的運動向量；p=（px，py）T表示通過對相鄰宏塊預測得到的運動向量；λMOTION為拉格朗日參數，R（m-p）表示運動向量差值編碼所需比特數，SA（T）D為失真度，計算公式為

式中：B＝16，8 或 4；s表示原始視頻信號值；c表示實際編碼的視頻信號值。如果運動向量是小數精度，則失真度在Hadamard Transform 后采用 SA（T）D 來度量，R（REF）表示選取參考幀REF編碼所需的比特數。

3.4 宏塊編碼模式決定的率失真優化

H.264/AVC在進行宏塊模式的選擇時，要對各種可選模式進行遍歷，計算出每種模式下的編碼比特數和失真度，計算公式[8]為

計算拉格朗日函數值J即率失真開銷，經過比較，選取最小值下的編碼模式MODE做為宏塊的最終編碼模式。其中QP為宏塊的量化參數，s，c分別表示原始圖像和重建圖像的像素值，R（s，c，MODE|QP）表示在特定QP和 MODE下當前宏塊的編碼輸出比特數，SSD（s，c，MODE|QP）表示圖像失真度，計算公式為

式中：λMODE為拉格朗日系數，MODE為當前宏塊可選的一種編碼模式，針對不同圖像類型，編碼模式集見表1。

表1 編碼模式集

另外，INTRA4×4亦有多種預測模式選擇，見圖2。

圖2 INTRA4×4預測模式

INTRA4×4的預測模式選擇率失真優化計算公式為

式中 ：IMODE代表可選的多種預測模式，SSD（s，c，IMODE|QP）表示失真，R（s，c，IMODE|QP）表示編碼輸出比特數，包括幀內預測模式和DCT亮度系數所需比特數。

4 H.264/AVC率失真優化算法及改進情況

4.1 JM7.6率失真優化算法

以測試模型JM7.6為例，下面分析視頻標準H.264/AVC在宏塊編碼所采用的率失真優化算法詳細步驟。

算法描述如下：

在三位負責人的帶領下，我們身著工作服，參觀了從上鋁卷到電化學處理、涂布和干燥、在線分切、包裝，直至儲運、物流的完整生產流程。我們看到，在監控室里高速生產線的實時數據不斷閃現，所有數據可以保留2年；生產全過程參數自動檢測，全球同步；安裝于生產線上的在線檢測系統，可檢測到50微米缺陷，自動切走缺陷部分；采用環保包裝方式，自動打包。此外，我們了解到，其關鍵材料由總部統一進口；新開發產品，需經過12個月嚴格測試，才能投入正式生產……或許正因為執行著最嚴苛的生產要求，無錫工廠才敢于做出最高質量標準的莊重承諾。

1）參數初始化，確定宏塊的量化參數QP及參考幀信息，依照當前編碼圖像類型，計算拉格朗日參數λMODE，λMOTION；

2）決定當前宏塊決定最佳INTRA4×4預測模式；

3）通過計算SA（T）D，最小值對應的預測模式為當前宏塊最佳INTRA16×16預測模式；

4）為當前宏塊選取運動估計的最佳參考幀及相應運動信息；

5）在 2），3），4）基礎上，計算各種編碼模式下的率失真開銷J，選取最小值對應的編碼模式作為當前宏塊最佳的編碼模式；

6）當前宏塊編碼后續處理，準備下一宏塊的編碼。

4.2 各種改進率失真優化算法

在H.264/AVC進行編碼時，要依據率失真優化，對I，P，B幀的多種模式（見表1）進行遍歷計算。但在實際的編碼過程中，可以依據圖像中的某些相關信息，例如紋理，對編碼模式進行預判，從而減少計算的復雜性。D.Wu，F.Pan等人就提出了一種改進的算法[8]，該算法對紋理比較均勻，變化比較緩慢的視頻，在視頻質量PSNR減少小于0.06 dB時，編碼時間可節省近50%。目前，針對H.264/AVC的率失真優化技術的改進較多，大致分為：1）建立視頻圖像在時間、空間域相關性基礎之上的算法，此類方法可處理幀內及幀間眾多編碼模式；2）建立運動估計和補償基礎之上的率失真算法，利用殘差大小在眾多編碼模式中快速選擇。還有諸如基于DCT變換、直方圖等改進的率失真優化算法，在此不再一一贅述。

1）如果當前宏塊的平均絕對差MAD值小于T1，則當前宏塊采用SKIP/DIRECT模式；

2）如果當前宏塊的宏塊平均絕對差MAD值小于T2，則當前宏塊采用 16×16，16×8，8×16 的宏塊進行預測；

3）否則，按標準算法進行預測。其中 T1，T2定義如下

式中：MADSKIP/DIRECT為當前宏塊之前所采用SKIP/DIRECT模式的宏塊所對應的MAD值，MAD16×16為當前宏塊之前所采用 16×16 模式的宏塊所對應的 MAD 值；△1，△2為修正值，其隨著MAD值的變化而變化。

在采用測試模型JM7.6的標準參數時，該算法的實驗結果如表2所示，其中△t為所用時間差，△PSNRY為亮度峰值信噪比之差，△Rbit為新算法碼率之差，Rbit264為原H.264碼率，負值表示改進算法比H.264/AVC算法節省或減少，正值表示增加。由實驗結果來看，該算法基本能夠保持圖像質量，碼率沒有太大增加的情況下，各種視頻序列在編碼時間上都有不同程度的節省，從而彌補了標準算法在進行幀間模式選擇時計算時間的不足，提高了編碼器的工作效率。

表2 實驗結果

5 小結

率失真優化技術是當前圖像視頻處理中的一項十分活躍的技術，在H.264/AVC視頻標準中，其應用雖然保證了圖像的質量，節省了碼率，但也會致使編碼過程變得復雜，編碼時間增加。針對這種情況，現有很多的改進率失真優化算法，可在保證圖像質量，碼率不會有太大變化的情況下，節省編碼時間，減少計算的復雜性。隨著人們更進一步的研究，相信在未來幾年內，該領域內一定會出現大量的學術研究和成果。

[1]Joint Video Team （JVT）of ISO/IEC MPEG and ITU-T VCEG.H.264|ISO/IEC 14496-10 AVC,Document JVT-G050[S].2003.

[2]WIEGAND T，SULLIVAN G J，BJOTEGAARD G，et al.Overview of the H.264/AVC video coding standard[J].IEEE Trans.Circuits and Systems for Video Technology，2003，7（13）：560-572.

[3]WIEGAND T，SCHWARZ H，JOCH A，et al.Rate-constrained coder control and comparison of video coding standards[J].IEEE Trans.Circuits and Systems for Video Technology，2003，13（7）：688-703.

[4]ORTEGA A，RAMCHANDRAN K.Rate-distortion methods for image and video compression[J].IEEE Signal Processing Magazine，1998，15（11）：23-50.

[5]SULLIVAN G J，WIEGAND T.Rate-distortion optimization for video compression[J].IEEE Signal Processing Magazine，1998，15（11）：74-90.

[6]WIEGAND T，LIGHTSTONE M，MUKHERJEE D，et al.Rate-distortion optimized mode selection for very low bit rate video coding and the emerging H.263 standard[J].IEEE Trans.Circuits and Systems for Video Technology，1996，6（2）：182-190.

[7]WIEGAND T，GIROD B.Lagrange multiplier selection in hybrid video coder control[EB/OL].[2009-09-20].http：//www.asicfpga.com/site_upgrade/asicfpga/pds/image_pds_files/icip01c.pdf.

[8]WU D，PAN F，LIM K P，et al.Fast intermode decision in H.264/AVC video coding[J].IEEE Trans.Circuits and Systems for Video Technology，2005，15（7）：406-409.