HEVC色度幀內預測模式搜索優化

高搴檜

(上海交通大學電子信息與電氣工程學院，上海 200240)

0 引言

視頻是多媒體技術中重要的信息載體，而視頻應用的核心技術就是視頻編碼，也稱為視頻壓縮，目的是盡可能去除視頻數據中的冗余成分，減少表征視頻的數據量，便于視頻存儲與實時傳輸。新一代視頻編碼標準——高性能視頻編碼(High Efficiency Video Coding，HEVC)是目前主流的國際正式標準，與前代AVC/H.264標準相比，HEVC/H.265在同樣的編碼質量下將壓縮效率提高了50%左右，軟硬件實現也具有更好的實用性[1]。

預測編碼是視頻編碼中的核心技術，其中幀內預測利用當前圖像內的相鄰已編碼塊的像素重建值對待編碼塊進行預測填充，可以有效去除視頻的空域相關性。由于待編碼像素塊的預測值往往和它的真實像素值相差無幾，因此，幀內預測對預測殘差而不是原始像素進行編碼和傳輸，可以節省編碼比特數，大幅提高編碼效率。在實際的高清視頻應用中，為了達到實時編碼，編碼器硬件對流水時序的要求很高。然而在HEVC官方測試模型HM中，色度幀內預測模式依賴于亮度分量最終模式的確定，其搜索過程需在亮度幀內預測模式搜索結束并延遲一段周期之后才能啟動，這將導致幀內預測編碼階段占據非常長的時鐘周期。為了實現硬件流水線優化，可以在傳統算法的基礎上適當做一些預搜索改進。本文基于HM傳統幀內預測算法的基本思想，提出了色度幀內預測模式搜索優化算法，并在不同類別的視頻測試序列下進行性能測試。

1 傳統幀內模式搜索算法描述

預測單元(PU)是預測編碼的基本單元，每個PU包含1個亮度預測塊(PB)和2個色度預測塊。兩個色度PB分別對應Cb、Cr分量信息，同一亮度PB的兩個色度PB共享同一個彩色幀內預測模式。幀內PU的劃分分為2N×2N和N×N兩種劃分模式，如圖1所示。其中2N×2N劃分模式指對于8×8、16×16、32×32、64×64全尺寸的CU，PU尺寸與CU尺寸相同，不再向下劃分；N×N劃分模式只針對最小尺寸即8×8大小的CU，PU可選擇繼續往下劃分為4個4×4大小的PU，該劃分模式比較適應圖像的局部統計特性，可獲得更加準確的幀內預測結果[2]。

圖1 幀內預測PU的劃分

本文采用的視頻測試序列均為 4 ∶2 ∶0色度采樣格式。由于亮度PB和色度PB的最小尺寸均為4×4，在 4 ∶2 ∶0色度采樣格式下采用N×N劃分模式，8×8亮度PB會向下劃分為4個4×4的亮度PB，4個亮度PB可以采用不同的幀內亮度預測模式；而色度PB受尺寸制約將不再繼續劃分，此時色度PB雖然像素尺寸為 4×4，但其實覆蓋了整個8×8圖像區域的像素點。HEVC通過遍歷CU下的每一種PU劃分情況，以PU為基本單元，分別進行亮度、色度幀內預測。

1.1 亮度模式搜索過程

HEVC的亮度分量幀內預測共支持35種預測模式，如圖2所示。其中模式0為平面(Planar)預測模式，適用于像素值呈漸變趨勢的區域；模式1為直流(DC)預測模式，適用于圖像的大面積平坦區域；模式2-34為角度預測模式，預測像素值由當前像素位置按照模式規定方向向參考像素數組進行映射獲取，下圖中的33個預測方向用格數來表示角度。

圖2 HEVC幀內預測模式

相比于H.264/AVC標準中僅采用9種幀內預測模式，HEVC幀內預測模式的增加會顯著提高編碼效率。但由于所需率失真優化(RDO)計算次數大幅增加，編碼過程將變得更加復雜且耗費時間。因此，HM模型默認使用幀內快速搜索算法，分為粗略的模式決策(Rough Mode Decision，RMD)和RDO判決兩個階段進行[3]。在RMD階段，對參考像素值進行填充和平滑濾波后，遍歷35種幀內預測模式，通過參考像素計算出每種模式下的預測像素值及每種模式基于哈達瑪變換的率失真代價JRMD：

JRMD=SATD+λ·RHADmode

(1)

其中，SATD作為失真量度，是源圖像的原始亮度像素值與預測塊的預測像素值相減得到的預測殘差經哈達瑪變換后的絕對值誤差和；λ是基于量化參數(QP)確定的拉格朗日乘子；RHADmode表示相應模式進行編碼時的碼率比特數。通過從35個模式中選取相應數量的JRMD最小的模式，構建全率失真優化候選模式列表，RMD階段候選模式數量與PU尺寸的關系如表1所示。

表1 RMD階段候選模式數量

為進行高效編碼，HEVC為每個幀內PU引入了3個最可能模式(Most Probable Mode，MPM)，MPM由當前PU左側和上方的相鄰已編碼塊的模式確定，所選取的相鄰PU的位置如圖3所示。在確定全率失真優化候選模式列表后，構建MPM列表進行補充，并開始啟動RDO判決階段。

圖3 MPM列表參考塊位置關系

在RDO判決階段，HEVC遍歷RMD全率失真優化候選模式列表中的每個模式，利用：

JRDO=SSD+λ·Rtotal

(2)

計算出每種模式的率失真代價JRDO，式中SSD為誤差平方和。式(2)與式(1)相比，用SSD計算的率失真代價包含各模式的實際編碼過程(變換、量化、反變換、反量化、重建等)，計算量巨大的同時提升了模式決策的準確度；而相比于Rtotal，RHADmode中減少了對殘差數據的編碼，減少了運算復雜度。最終，選取JRDO最小的模式作為亮度分量幀內預測模式。

1.2 色度模式搜索過程

在確定最終的亮度幀內預測模式后開始執行色度幀內預測模式的搜索。色度分量在幀內預測中共采用5種預測模式：

(1)色度模式0——Planar模式，相當于亮度模式0；

(2)色度模式1——垂直模式，相當于亮度模式26；

(3)色度模式2——水平模式，相當于亮度模式10；

(4)色度模式3——DC模式，相當于亮度模式1；

(5)色度模式4——亮度分量的最終模式X(0 ≤ X ≤ 34)。

若亮度分量的最終模式X是亮度模式集{0，26，10，1}(記為模式集Ψ)中的一種，則將對應的色度預測模式替換為對角模式34，如表2所示。同一亮度PB的兩個色度PB建立同一個色度幀內預測候選模式列表，共享同一幀內色度預測模式。對于 4 ∶2 ∶0色度采樣格式下的N×N劃分模式，色度模式4將對應8×8亮度PB左上角4×4子塊的亮度幀內預測模式，而不考慮另外3個亮度子塊對應的預測模式。遍歷以上5種模式，通過RDO判決出率失真代價最小的模式作為最優的色度分量預測模式。

表2 色度幀內預測模式

2 色度幀內模式搜索優化算法

目前，快速幀內編碼算法的研究主要集中于利用CU的深度信息跳過一些不太可能選擇的模式，或利用當前PU內像素的梯度信息減少進入率失真決策的幀內模式的數量[4-5]，但對色度模式搜索的快速算法的研究非常少。文獻[6]中雖然提出了快速色度幀內模式決策方案，降低了色度模式決策的復雜度，但對硬件流水的優化效果不明顯。由于在硬件流水上，色度幀內預測編碼需要等到亮度模式確定后才可以構造色度幀內預測候選模式列表，這需要等待非常長的時間。尤其當整個CTU被劃分為較多8×8尺寸的CU時，CU數目較多，而如表1所示，8×8 CU在RMD階段的候選模式數量為8，遠多于其他尺寸CU的候選模式數量，這種情況下每個8×8 CU需要對8種模式做變換、量化、反量化、反變換以及進行RDO優化計算，全部亮度幀內預測編碼階段占據非常長的周期。為了在硬件流水上提前搜索色度幀內預測模式，考慮到色度幀內預測共5種預測模式，且只有色度模式4采用對應的亮度幀內預測模式，其余4種色度模式為固定模式，又考慮到色度模式命中亮度幀內預測模式的概率約70%，故而本文研究了可實現硬件流水線優化的色度幀內預測模式搜索優化算法，綜合提出了六種不同的搜索優化方案并進行相互比較。這些方法如下：

(1)直接使用亮度最終模式LM作為色度最終模式。

(2)在亮度最終模式LM確定后，使用類似于亮度幀內預測RMD階段的模式判決方法，選擇色度幀內預測候選模式列表中基于哈達瑪變換的率失真代價JRMD最小的模式作為色度最終模式。

(3)在亮度幀內預測RMD階段結束后，使用亮度RMD階段的最優模式LRM(JRMD最小)代替亮度最終模式LM，構建色度模式候選列表{Ψ，LRM}。針對N×N劃分模式，將調用8×8亮度PB的第一個4×4子塊在RMD階段的最優模式作為LRM；若LRM命中模式集Ψ中的一種時，將Ψ中對應的模式替換為對角模式34。對所得到的色度模式候選列表{Ψ，LRM}中的5種模式分別進行色度RMD，即進行基于哈達瑪變換的率失真優化模式判決，并選出色度最優模式、次優模式。最終，對比真正的亮度最優模式LM與RMD階段的最優模式LRM，進行色度模式修正：如果LM=LRM，色度最優模式保持不變；如果LM≠LRM，具體模式修正操作如表3所示。

表3 模式修正方法

為了保證解碼無誤，用亮度最終模式LM構建真正的色度模式候選列表{Ψ，LM}，并將修正后的色度最優模式與{Ψ，LM}相對比，確定最終色度幀內預測模式編號。

(4)方案D與方案C的流程基本相同，區別在于針對N×N劃分模式，將調用整個8×8亮度PB在RMD階段的最優模式作為LRM。

(5)方案E針對8×8與非8×8尺寸的CU設定了兩套模式判決算法流程，如圖4所示。

圖4 方案E算法流程示意圖

①對于8×8尺寸的CU，按照方案C的流程進行模式判決；

②對于其他尺寸的CU，首先選擇出模式集Ψ中基于哈達瑪變換的率失真代價JRMD最小的模式CRM。在亮度最終模式LM確定后，若LM=CRM，直接選取CRM作為最終的色度模式；若LM≠CRM，對模式LM和CRM進行RDO模式判決，對比率失真代價再確定色度最終模式。

(6)方案F與方案E的流程基本相同，區別在于針對8×8尺寸的CU采用方案D進行模式判決。

3 實驗結果

本文采用了六個類別下共22個JCT-VC官方視頻測試序列，在AI配置下，分別基于BD-Rate和BD-PSNR指標將以上六種色度幀內預測模式搜索優化方案與官方HM16.20模型進行性能對比。為提升實驗結果的準確性，本次實驗基于兩組不同的QP范圍對以上視頻測試序列進行測試：在正常QP設置(nm)下，QP值分別取22、27、32、37；在高QP設置(lb)下，QP值分別取32、37、42、47。表4展示了在nm情況下，該六種方案與HM16.20模型的傳統色度幀內預測模式搜索方案相比較的實驗對比結果。表中性能數據BD-Rate和BD-PSNR均為各方案相較于HM16.20的變化量。

表4 正常QP(nm)下六種方案與HM16.20相比較的實驗對比結果

綜合全部的測試序列，總結各方案分別在nm和lb設置下的平均測試性能如表5所示，并列舉了各方案在不同類別的典型視頻測試序列下的RDO擬合曲線如圖5所示。

表5 六種方案的平均測試性能數據總結

(a)ClassA/Traffic_2560×1600_30_crop-AI(b)ClassB/Kimono1_1920×1080_24-AI

通過不同視頻測試序列下的RDO擬合曲線，不難看出在同一視頻測試序列下各方案的RDO擬合曲線均幾乎重合，說明各方案對測試序列的類型依賴性較弱，性能趨向平穩。由表5所示的各方案平均測試性能總結，可以看出各方案的性能相較于HM16.20均有不同程度的下降，但性能影響不大。考慮到本文主要目的為在硬件流水上提前搜索色度幀內預測模式，6種方案中只有方案C、D、E、F可以達到這種效果，而這4種方案中方案E的性能最好，故而最終選用方案E作為色度幀內預測模式搜索優化最優方案。方案E的性能總結如表6所示。最后，通過在NCsim上進行仿真得出：一個8×8 CU在使用原始HM幀內預測算法的情況下，從啟動亮度RDO判決到得到色度最終模式共需82個時鐘周期，而使用方案E后該過程僅需要60個時鐘周期，可節省22個時鐘周期。對于一個64×64尺寸的CTU則共可節省1408個時鐘周期，硬件流水線優化效果顯著。

表6 色度幀內預測模式搜索優化最優方案E性能總結

ClassD2.56511.3036-0.1119-0.0816ClassE3.11892.0569-0.1529-0.0987ClassF2.50301.4593-0.1895-0.1276

4 結語

本文提出了針對高性能視頻編碼器HEVC的色度幀內預測模式搜索優化算法的六種方案，并在不同類別的視頻測試序列下進行性能測試。最終所選取的最優算法方案與HM16.20相比性能影響非常小，但硬件流水線優化效果顯著，可用于對高清視頻有實時編碼需求的編碼器硬件設計應用中。