一種快速HEVC幀內預測算法

成益龍，滕國偉，2，石旭利，王國中，2

(1.上海大學通信與信息工程學院，上海 200072;2.上海國茂數字技術有限公司，上海 201204)

HEVC(High Efficiency Video Coding)是由ISO/IEC(MPEG)和ITU－T(VCEG)正在規劃的新一代視頻編碼標準，它的核心目標是在 H.264/AVC High Profile[1]的基礎上，壓縮效率提高1倍，即在保證相同視頻圖像質量的前提下，視頻流的碼率減少50%。HEVC部分繼承了現有的視頻編碼標準H.264/AVC的技術，同時對一些相關的技術進行了改進，其中包括幀內預測技術[2－5]。

為了對高分辨力的視頻進行有效壓縮，HEVC采用CU(Code Unit)，PU(Prediction Unit)以及 TU(Transform Unit)進行編碼、預測和變換等操作。CU和H.264/AVC中宏塊以及子宏塊的概念類似，但是其尺寸更加靈活。CU的尺寸按四叉樹遞歸的方式，根據深度的不同可以分為64×64，32×32，16×16，8×8。在每個深度的CU 中，多個不同尺寸的PU進行幀內預測編碼，從高達34個預測方向中選取最佳預測方向。在所有不同深度的CU遍歷完成之后，根據計算得到的率失真代價值確定CU的最佳劃分尺寸以及幀內預測方向。

由于更加靈活的編碼塊CU的采用以及高達34個的幀內預測方向，HEVC的幀內預測十分精準，但是這也帶來了極大的計算量。HEVC的幀內預測過程比H.264/AVC更為復雜，復雜度可達其數倍以上，這將極大影響HEVC標準的實際應用，因此提高HEVC幀內預測處理速度是十分必要的。

1 HEVC幀內預測

1.1 HEVC 編碼結構

HM(Tmuc)是JCT－VC采用的HEVC的標準測試模型[6]，該模型采用樹型結構編碼單元CU，對于亮度像素CU，其尺寸可以從64×64一直遞歸劃分至8×8。圖1表示CU的劃分結構。

每一深度的CU可以被劃分稱為較小的CU，例如，對于depth=n的CU，如果它的劃分標志位(split flag)為1，那么它將繼續劃分為depth=n+1的4個較小CU，每個較小CU的尺寸是上一深度CU的1/4。

PU(Prediction Unit)是預測單元，它是定義在一個CU中的，對于幀間預測、幀內預測以及SKIP模式，PU具有不同的劃分結構。

TU(Transform Unit)是變換以及量化的單元。TU的尺寸必須小于或等于CU的尺寸，但是需要大于PU的尺寸。TU的尺寸可以分為2N×2N，N×N或者N/2×N/2。

圖1 CU的樹型結構

1.2 HEVC 幀內預測

和H.264/AVC一樣，HEVC也采用RDO準則進行最佳幀內預測方向的選取，但是不同于前者的是，在HEVC的參考模型HM中，預測方向多達34個，對于不同的PU尺寸，預測方向的數目不同。

在HEVC的參考代碼HM2.0中，尺寸為4×4，8×8，16×16，32×32，64×64的 PU，其對應的幀內方向個數分別為17，34，34，34，3。結合不同尺寸 PU 的特點，預測方向分別不同。如此多的預測方向極大地提高了幀內預測的準確性，但也急劇增加了預測的復雜度。

1.3 幀內快速預測算法分析

目前對于HEVC快速幀內預測算法的研究工作還處于起步階段，HEVC的參考模型HM2.0采用了三星公司提出的幀內快速算法[7]來減少預測方向，取得了良好的效果。三星的快速幀內預測算法流程[7－8]是:

1)確定最大候選預測方向個數。對于不同尺寸的PU，最大的候選預測方向個數不同，其中對于16×16，32×32，64×64的PU只有3個預測方向，對于4×4和8×8的PU有8個預測方向。

2)對于每個可用的PU進行預測，對殘差進行Hadamard變換得到HSATD(Hadamard Sum Absolute Transform Difference)，選擇使公式(1)最小的幾個預測模式作為候選模式

3)將上一步得到的幾個候選模式加上最可能模式之后利用公式(2)選取使RDCost最小的方向為最佳預測方向。其中最可能方向是當前PU左方以及上方的預測模式的最小值，若左方以及上方均不可用，則將最可能模式設為DC模式。

經過三星公司快速算法選擇后，預測方式的數量可以有效降低，但相對而言候選預測方向仍然較多，可以進一步優化。

實際上，考慮到幀內預測方向的時間相關性，相鄰幀共同位置處的最佳預測方向可以為當前幀最佳預測方向的確定提供參考。另外，最佳CU尺寸亦存在時間上的相關性。由于視頻序列的連續性，相鄰兩幀相同位置處CU的尺寸不會相差太大。例如對于相鄰的兩個圖像A和B，若A中x位置處的CU最佳尺寸為64×64，那么B圖像x處的CU的最佳尺寸也應多為64×64或者32×32;若A中y位置處的CU最佳尺寸為8×8，那么B中y處的CU的最佳尺寸也應多為8×8或者16×16，如圖2所示。因此可以利用這一特性對當前幀最佳CU尺寸進行提前判定。

圖2 當前幀與前一幀共同位置的CU

2 快速幀內預測算法

本文提出的算法從兩個層面對HEVC的幀內預測技術進行優化，首先在CU層，然后在PU層:在CU層利用前后幀CU尺寸的相關性，根據前幀相同位置以及周圍CU尺寸來減少當前幀CU的劃分;在PU層在已有的三星快速算法[7]基礎上結合CU層相關性進一步減少了幀內預測的模式數。

2.1 CU層快速算法

最佳CU尺寸存在時間上的相關性，相鄰幀共同位置處CU以及共同位置處周圍的CU可以用來預測當前幀CU的最佳尺寸。CU層快速算法基于這一思想來提前終止CU的劃分或者跳過某些深度的CU編碼，具體算法如下:

1)第一幀圖像進行正常編碼，存儲編碼后各位置的CU深度(Depth)。

2)若當前CU的深度等于前一幀相同位置處、相同位置處上方、相同位置處左方CU的深度，則僅對當前深度CU編碼并結束CU的劃分;若當前CU的深度僅等于前一幀相同位置處CU深度，則對當前CU以及下一深度進行編碼，隨后結束CU的劃分。

3)否則，若當前CU的深度Depth(Cur)小于前一幀相同位置處CU的深度減1，跳過當前CU的編碼，進入下一深度的CU。

4)否則，對當前CU進行編碼和劃分。

2.2 PU層快速算法

三星公司的快速算法雖然能取得較好效果，但是它沒有考慮到視頻圖像間的空間和時間的相關性，因此需要計算的預測方向仍很多，尤其對于4×4和8×8尺寸的PU而言，數量較大。

實際上對于時間相鄰的兩幀，其相同位置處的預測方向是存有較大的相關性，如表1針對各種序列的統計結果所示。

表1 相鄰幀預測方向的相關性

由表1可見，56.36%的當前幀的預測方向是前一幀相同位置處預測方向或者該方向周圍的4個方向。因此可以在選出候選模式之后，考察各個候選模式(HCost最小的候選塊除外)是否是前一幀共同位置CU預測方向或者左右的各兩個方向，若候選模式不在此范圍中，且其HCost大于最小HCost(min)的a倍，則將其排除出候選模式。其中a是經驗值，經實驗驗證取1.2為宜。考慮到4×4以及8×8尺寸PU的候選模式為要明顯多于其他尺寸的，因此改進算法只應用于4×4以及8×8的PU，具體流程如圖3所示。

1)對第一幀圖像正常編碼。

2)利用三星的快速算法得到候選模式集合，確定HCost最小的候選模式。

3)考察除了HCost最小的候選模式，若候選模式不在前一幀共同位置CU預測方向周圍，且其HCost＞1.2×HCost(min)，則將其排除出候選模式集。重復步驟3)，直到所有候選模式考察完畢。

4)從由步驟3)得到的候選模式集中選出最佳的預測模式。

3 實驗結果及分析

圖3 PU層快速算法流程

本文的快速幀內預測算法在HEVC的測試模型HM 2.0已經實現，編碼格式為全I幀。考慮到HEVC未來會應用到高分辨力圖像中去，因此測試序列以高清和標清為主，具體為1920×1088p，1280×720p和720×576p，共6個序列。每個序列的QP分別為26，32和38，HM2.0采用低復雜度檔次，最大CU的尺寸為64×64，最大劃分深度為4。

表2給出本文算法相對于HM2.0中三星公司算法的改進結果。由表2可見，本文算法相對于三星公司的算法可節省最小27%、最大可達81%的時間，碼率最大增加0.1%，PSNR降低最大僅有0.1 dB，相對于節省的計算代價而言，性能降低幾乎可以忽略。

進一步分析實驗結果可以看到，本文算法對于高分辨力、大尺寸視頻的編碼時間降低得尤為明顯，主要是因為分辨率越高的視頻圖像采用大尺寸CU的數目編碼的數目較多，通過較早地提前判斷CU的尺寸，省去繼續劃分以及編碼的時間。因此本文算法具有較高的實際應用價值，未來可應用于HEVC的實時高清編碼中。

4 結論

本文在分析了HEVC中幀內預測算法和已有快速算法的基礎上，提出了一種基于時域相關性的幀內模式快速選擇算法。該算法從CU層和PU層兩個層面進行優化，通過利用相鄰幀之間CU尺寸以及預測模式的相關性，減少了CU的劃分深度以及PU的預測方向。相比于HEVC中已有的快速算法，本文提出的算法在編碼效率損失非常小的情況下，顯著提高了編碼速度，取得了良好的實際應用效果。

表2 實驗結果

[1]JCT－VC.Architectural outline of proposed high efficiency video coding design elements，A202[R].Dresden，Germany:JCT－VC，2010.

[2]MARPE D，WIEGAND T，SULLIVAN G J.The H.264/MPEG4 advanced video coding standard and its applications[J].IEEE Communications Magazine，2006，44(8):134－143.

[3]王海勇，孫雁飛，吳啟宗.H.264編碼中幀內預測算法研究[J].電視技術，2009，33(8):11－12.

[4]CHANG K，MEN A D，ZHANG W H.Fast intra－Prediction mode decision for H.264/AVC[J].ISECS International Colloquium on Computing，Communication，Control and Management，2009，3(14):69－73.

[5]霍利嶺，張有會，王志巍，等.一種新的H.264/AVC幀內模式快速選擇算法[J].電視技術，2010，34(12):39－42.

[6]MIN J H，LEE S，HAN W J，et al.Unification of the directional intra prediction methods in TMuC，B100[R].Geneva，CH:JCT－VC，2010.

[7]PIAO Y J，MIN J，CHEN J L.Encoder improvement of unified intra prediction，C207[R].Guangzhou，CN:JCT－VC，2010.

[8]KEN M C，HAN W J，KIM K.Samsung＇s response to the call for proposals on video compression technology ，A124[R].Dresden，Germany:JCT－VC，2010.