基于空域相關性的快速HEVC幀間預測方法

劉梅鋒，鐘國韻，徐洪珍，吳有用

（東華理工大學 機械與電子工程學院，江西 撫州 344000）

現有視頻編碼標準（包括動態圖像專家組第四版本（MPEG-4）、國際視頻編碼標準/高級視頻編碼（H.264/AVC）[1]和音視頻編碼標準（AVS）等）對于標清（720×576）及其以下規格的視頻，有著較好的視頻編碼性能。但是，對于高清（1 280×720）以上分辨率的視頻編碼，其性能還遠未達到市場應用的需求[2]。目前正在制定的新一代國際視頻標準，即高性能視頻編碼（HEVC）標準[3-5]，其目標是在保持H.264/AVC標準視頻質量的基礎上，使比特率降低一半，即壓縮率提高一倍。經過近兩年的發展和研究者的努力，目前在HEVC的初步框架下，其壓縮率較H.264已有一定程度的提升，但是其視頻編碼計算復雜度為H.264/AVC的4~5倍。

相比以前的視頻壓縮編碼標準，HEVC主要是采用3種新編碼技術：編碼單元（CU）、預測單元（PU）和變換單元（TU）。HEVC采用了4個深度的CU和8種不同的PU預測模式，各種CU深度和PU模式的組合下均要進行率—失真代價計算，因此，HEVC視頻編碼具有很高的編碼計算復雜度。于是，若要實現HEVC的實時應用，則必需降低其編碼的計算復雜度。針對H.264/AVC，近些年國內外的研究人員已經提出了一些快速模式判決的方法。文獻[6]提出利用先驗預測的幀間編碼模式來加速當前模式選擇。文獻[7]根據層間相關性，利用基本層的模式信息來預測提高層的幀間預測模式，從而降低了編碼計算復雜度。文獻[11]根據時域上相鄰幀的預測模式分布模式，提出了自適應的快速幀間預測方法。文獻[12-13]通過分析4×4塊的運動向量場得到MV的一致性，判決當前的幀間預測模式，從而降低幀間預測的編碼計算復雜度。文獻[14]利用16×16塊與最優的分塊預測模式之間率—失真的相似性，跳過其他分塊的預測模式。文獻[15]利用空域上和時域上相鄰塊之間的預測模式的相關性，構成了最大可能模式列表，降低了編碼的計算復雜度。

對H.264來說，上述方法均獲得較好的編碼性能，但針對HEVC新提出的新編碼方法，必需研究新的方法來降低其編碼計算復雜度。本文通過實驗及分析認為，時域上相鄰幀中對應塊平滑時，當前分塊的幀間預測的CU尺寸將比較大，并且其PU模式將有很大的概率為PART_2N×2N，于是，當滿足該條件時，將能跳過一些不太可能的幀間預測模式，從而降低編碼的計算復雜度。

1 HEVC幀間預測模式判決

對于CU中的每個PU，編碼器將進行單獨的運動搜索，如圖1所示，設當前的PU預測模式為PART_nL×2N，該CU分為p和q兩個PU，這兩個PU將進行獨立的運動估計和率—失真代價的計算，兩個PU對應的率—失真代價值的和為該模式下總的代價值，對于當前CU，將遍歷所有的PU模式，取其中率—失真代價值最小的一種PU模式作為最佳PU預測模式。

HEVC總體幀間模式判決過程如下：

1）對于一個LCU，將通過計算判決所有尺寸的各個CU的最佳PU模式，然后從下往上，將4個8×8尺寸CU總的率—失真代價值與16×16尺寸CU的率—失真代價值相比，取其中較小的模式。

2）計算4個16×16尺寸CU總的率—失真代價值。

3）將4個16×16尺寸CU總的率—失真代價值與32×32尺寸CU的代價值相比，也取其中較小的。

4）計算4個32×32尺寸CU總的率—失真代價值。

5）將4個32×32尺寸CU總的率—失真代價值與64×64尺寸CU的代價值相比，也取其中較小的。最終就形成了該LCU各個CU分割尺寸及其最佳的PU預測模式。

2 基于時域相關性的快速幀間模式判決

假想這樣一種情況：當之前一幀中對應位置區域為平坦的或者其中的運動對象有著相同的運動向量時，根據時域上的相關性，則當前CU分塊所處區域也應有著類似的特性。考慮到時域上的運動，當前幀中的部分對象可能是從前一幀中對應位置CU分塊的周圍CU分塊中移動過來的，此時，當前CU分塊所處的區域中還是平滑的或者其中的對象還是有著相同的運動向量。由于HEVC中定義了4種深度的CU，因此，必須分析對應CU分塊與其空域上相鄰的CU分塊之間的關系。在HEVC中的8中PU模式中，模式PART_2N×2N代表最平滑的PU預測模式。因此，如果對應CU分塊及其周圍的CU分塊的PU模式均為PART_2N×2N，則當前CU分塊的PU模式將很有可能為PART_2N×2N，而其他的PU模式可以跳過，從而降低幀間預測的計算復雜度，如圖2所示。接著將對上述的假設條件進行測試，并通過對測試結果的分析，構建該條件下快速算法。

為了描述對應CU分塊及其周圍CU分塊所處區域的平滑程度，本文定義了一種區域平滑的條件

式中：Lj為對應塊周圍CU分塊的邊長，j取0，1，2，3分別表示對應CU分塊的上、左、右和下方的CU分塊；Pj分別表示對應CU分塊的上、左、右和下方的CU分塊的PU模式，下標i表示CU深度，其取值0，1，2或3；條件Suri表示對應CU分塊周圍的CU分塊尺寸比對應CU分塊尺寸大，或者前者尺寸相對，但其PU模式為PART_2N×2N。

基于條件Suri，本文定義另一個條件

式中：C1表示當條件Suri和Lcu＜Lco滿足時的條件。于是，可以定義3種概率

式中：Ni，s表示條件Suri滿足時對應 CU 分塊的數量；Ni是總的對應CU分塊的數量；下標s表示條件Suri滿足；下標i表示CU 深度；Ri，s表示滿足條件Suri的概率。

式中：Ni，d表示條件C1滿足時對應CU分塊的數量；下標d表示條件更深的CU深度；Ri，d表示條件Suri下當前CU尺寸小于對應CU的概率。

式中：Ni，p表示條件C1下當前塊中 PU模式為PART_2N×2N的CU分塊的數量；Ni，c表示條件C1下當前塊中所有CU分塊的數量；Ri，e表示條件C1下其PU模式為PART_2N×2N的當前CU分塊的概率；下標e表示PU模式為PART_2N×2N的當前CU分塊的索引號。

為了更直觀地描述現象，本文定義了一個比例系數

式中：Ri表示條件Suri下當前CU尺寸小于對應CU且其PU模式為除PART_2N×2N外的其他模式的概率。

為了分析概率Ri，s，Ri，d，Ri.e和Ri，本文在 HM7.0平臺上測試了6種不同分辨率和運動特性的不同CU尺寸，結果如表1~3所示。

表1 64×64的CU分割深度下Ri，s，Ri，d，Ri.e 和Ri的結果 %

表2 32×32的CU分割深度下Ri，s，Ri，d，Ri.e 和Ri的結果 %

表3 16×16的CU分割深度下Ri，s，Ri，d，Ri.e 和Ri的結果 %

從表 1～3 中的結果可以看出，概率R0，s，R1，d和R2，d的范圍分別為29.35%～52.78%，28.32%～57.62%和29.35%～71.92%。這說明了在實際視頻編碼過程中條件Suri占一定的比例，因此，如果能把該條件中冗余的PU模式去除，則能較大地降低編碼的計算復雜度。

表1～3顯示，R0，d的范圍為5.56%～11.96%，R1，d和R2，d的范圍分別為12.78%～20.74%和21.19%～29.80%。該結果說明了：對于64×64尺寸的對應CU分塊，當條件Suri滿足時，當前CU尺寸小于對應CU分塊尺寸的概率為5.56%～11.96%，而對于32×32和16×16尺寸的對應CU分塊，當條件Suri滿足時，當前CU尺寸小于對應CU分塊尺寸的概率分別為12.78%～20.74%和21.19%～29.80%。這個現象可以解釋如下：條件Sur0表示對應CU分塊的周圍CU分塊尺寸均為64×64且其PU模式均為PART_2N×2N。當條件滿足時，對應CU分塊及其周圍CU分塊均有著最大的尺寸及最平滑的PU分割模式，該現象也預示著對應CU分塊所處區域是平坦的，或者其中的對象有著相同的運動向量，于是，即使有運動對象從對應CU分塊的周圍的CU分塊中移動到當前CU分塊中，當前CU分塊中的對象也會有著相同的運動向量。然而，對于Sur1和Sur2，對應CU分塊及其周圍的CU分塊不全是最大的尺寸，這就意味著當前CU分塊中將可能出現更多的紋理或者不同的運動向量。

表1～3也顯示了R0，e范圍為90.35%～96.04%，而R1，e和R2，e的范圍分別為67.21%～72.79%和52.45%～58.53%，這說明了當條件C1滿足時，64×64尺寸的CU分塊要比32×32和16×16尺寸的CU分塊更有可能具有PART_2N×2N的PU預測模式。

表1～3還顯示了R0范圍為0.23%～1.15%，而R1和R2的范圍分別為3.66%～6.80%和7.93%～13.80%，這些結果說明了以下現象：當條件Suri滿足時，對于64×64尺寸的對應CU分塊，當前塊中的CU分塊尺寸小于對應CU分塊尺寸時，當前CU分塊的PU模式幾乎均為PART_2N×2N。而對于32×32和16×16尺寸的對應CU分塊，當前CU分塊的PU模式就有一定概率非PART_2N×2N模式。因此，當條件Suri滿足時且對應CU分塊的尺寸為64×64時，對于當前塊，只需檢測各層深度CU下的PART_2N×2N的PU模式，其他的PU模式可被跳過以節省編碼計算復雜度。但是，當對應CU分塊的尺寸為其他尺寸時，則當前塊中各層深度CU下的其他PU模式不能被跳過。

基于上述的分析，當對應CU分塊尺寸大于當前CU分塊尺寸時的快速幀間預測方法可以如圖3所示。

圖3 當對應CU分塊尺寸大于當前CU分塊尺寸時的快速幀間預測方法流程圖

3 實驗結果及分析

為了測試提出的算法的性能，本文將提出算法與HEVC標準幀間預測方法相比，實驗平臺均為HEVC標準參考軟件JM，實驗中JM采用的為默認配置。另外，為了闡述并討論分析最終算法與算法過程步驟之間的對應關系，本文編碼性能的比較還基于以下3個性能指標

式中：ΔBitrate是比特率增量；Bitratepro和Bitrateref分別是所提出的快速模式選擇算法和HM7.0的比特率；ΔPSNR是峰值信號噪聲比的增量；PSNRpro和PSNRref分別是所提出的算法和HM7.0的PSNR；ΔTime是模擬時間增量；Timepro和Timeref分別是所提出的算法和HM7.0的仿真時間。從表4中可以看出，相比HM7.0，本文算法在損失了0.21%~0.69%的壓縮率和0~0.05 dB的視頻質量的前提下，節省了8.30%~34.14%的編碼時間。

表4 本文算法與HM7.0在比特率、視頻質量和編碼時間方面的比較

4 結論

本文首先分析了前一幀中當前塊對應塊所處區域的平坦性和區域中對象運動向量的一致性，分析并用實驗驗證了當前塊與前一幀對應塊幀間模式的相似性，提出當前塊幀間模式的判決方法，從而跳過一些不太可能的模式，降低了編碼的計算復雜度。實驗結果顯示，與HM7.0相比，本文提出的方法在比特率和視頻質量損失很小的情況下，節省了8.30%～34.14%的編碼時間。

：

[1]WIEGAND T，SULLIVAN G，BJONTEGAARD G，et al.Overview of the H.264/AVC video coding standard[J].IEEE Trans.Circuits Syst.Video Technol.，2003，13（7）：560-576.

[2]LEE K，ALSHINA E，MIN J.Technical considerations for Ad Hoc group on new challenges in video coding standardization[S].2008.

[3]UGUR K，ANDERSSON K，FULDSETH A，et al.High performance，low complexity video coding and the emerging HEVC standard[J].IEEE Trans.Circuits Syst.Video Technol.，2010，20（12）：1688-1697.

[4]劉梅鋒，陸玲.新一代視頻編碼標準HEVC變換方法的研究[J].電視技術，2012，36（1）：1-5.

[5]李元，何小海，鐘國韻，等.基于時域相關性的HEVC快速幀內預測算法[J].電視技術，2012，36（9）：1-4.

[6]干宗良，齊麗娜，朱秀昌.H.264中基于先驗預測的幀間編碼模式選擇算法研究[J].電子與信息學報，2006，28（10）：1883-1887.

[7]LI H，LI Z，WEN C.Fast mode decision algorithm for inter-frame coding in fully scalable video coding[J].IEEE Trans.Circuits Syst.，Video Technol.，2006，16（7）：889-895.

[8]KIM S，HO Y.Fast mode decision algorithm for H.264 using statis?tics of rate-distortion cost[J].Electron.Lett.，2008，44（14）：849-850.

[9]LIU Z，SHEN L，ZHANG Z.An efficient intermode decision algo?rithm based on motion homogeneity for H.264/AVC[J].IEEE Trans.Circuits Syst.Video Technol.，2009，19（1）：128-132.

[10]SHEN L，LIU Z，ZHANG Z，et al.Fast inter mode decision using spatial property of motion field[J].IEEE Trans.Multimedia，2008，10（6）：1208-1214.

[11]KNESEBECK M，NASIOPOILOS P.An efficient early-termina?tion mode decision algorithm for H.264[J].IEEE Trans.Consum.Electron.，2009，55（3）：1501-1510.

[12]ZHAO T，WANG H，KWONG S，et al.Fast mode decision based on mode adaptation[J].IEEE Trans.Circuits Syst.Video Tech?nol.，2010，20（5）：697-705.