









摘" 要: 隨著視頻應用和新興業務的快速發展,對視頻編碼速度和質量的要求也不斷提高。為了降低H.265/HEVC的幀內編碼復雜度,提出一種基于最有可能模式(MPM)的模糊搜索算法,通過減少搜索候選模式的數量來降低計算復雜度;同時提出一種簡化編碼單元劃分過程的方法,利用相鄰編碼單元率失真代價計算的閾值,提前終止編碼單元劃分,避免了傳統算法的遍歷劃分,提高了編碼效率。實驗結果表明,所提算法與HEVC傳統模型比較,能夠平均降低39.38%的編碼時間,而碼率只增加了1.62%,峰值信噪比差值僅降低0.085 dB。在保證視頻質量的前提下,所提算法大幅降低了編碼的復雜度。
關鍵詞: HEVC; 視頻編碼; 幀內編碼; 最有可能模式; 編碼單元劃分; 率失真優化
中圖分類號: TN919.81?34" " " " " " " " " " " " "文獻標識碼: A" " " " " " " " " " " "文章編號: 1004?373X(2025)08?0051?05
Research on fast intraframe coding based on H.265/HEVC
MA Zhenhua1, JIA Huayu1, LUO Biao2
(1. College of Electrical and Power Engineering, Taiyuan University of Technology, Taiyuan 030024, China; 2. Accelink Technologies Co., Ltd., Wuhan 430074, China)
Abstract: With the rapid development of video applications and quality businesses, the requirements for video encoding speed and quality are increasing constantly. In order to reduce the H.265/HEVC (high efficiency video coding) complexity of intra frame coding, a fuzzy search algorithm based on the most probable mode (MPM) is proposed, which can reduce computational complexity by reducing the number of candidate search patterns. At the same time, a method for simplifying the process of encoding unit division is proposed, which can use the threshold calculated by the rate distortion cost of adjacent encoding units to terminate encoding unit division in advance, avoiding the traditional algorithm's traversal division and improving encoding efficiency. The experimental results show that compared with the traditional HEVC model, the proposed algorithm can reduce the encoding time by an average of 39.38%, while the bit rate is only increased by 1.62%, and the peak signal?to?noise ratio difference is only reduced by 0.085 dB. Under the premise of ensuring video quality, the proposed algorithm can greatly reduce the encoding complexity.
Keywords: HEVC; video coding; intra coding; most probable mode; coding unit partition; rate?distortion optimization
0" 引" 言
隨著人們對高清視頻的需求不斷增大,視頻編碼聯合協助小組推出了新一代的高效視頻編碼(HEVC)標準[1],也稱H.265,通過引入四叉樹結構、更多預測模式等新算法,并新增編碼單元(Coding Unit, CU)、預測單元(Prediction Unit, PU)和變換單元(Transform Unit, TU)等概念,使HEVC能夠更有效地處理視頻數據,實現更高質量的視頻壓縮,提高了50%以上的率失真性能。但這種性能改進是以增加編碼復雜度為代價的,為了滿足當前市場對實時高清視頻的需求,降低HEVC的編碼復雜度已成為當前研究的熱點問題。近年來,許多學者致力于降低HEVC幀內編碼復雜度的研究,主要集中在三類方法:基于預測模式選擇、基于編碼單元劃分、基于機器學習的方法。
在第一類方法中,研究者們嘗試通過不同的途徑來優化預測模式的選擇,減少編碼復雜度。文獻[2]利用圖像梯度信息估計CU的紋理方向,從而確定最優幀內預測方向;文獻[3]利用統計概率分層構建進入粗選擇模式(Rough Mode Decision, RMD)過程的模式列表,從而減少進入RMD過程模式數量。上述快速幀內預測模式算法通常在計算梯度或者運用特定算法進行信息提取時,會帶來較為復雜的計算過程,對硬件要求也很高,同時,梯度和紋理信息只能粗略反映當前塊的紋理特征。因此,基于這些信息進行預測模式的計算與實際最優預測模式之間可能會存在一些差異。在第二類中,文獻[4?5]給出了快速CU分割算法,這些算法使用時空相鄰CTU的編碼信息來估計CU的深度搜索范圍,以減少不必要的CU分割;文獻[6]提出一種基于AVS2的編碼單元快速劃分算法,對當前CU劃分進行快速決策。在第三類的機器學習方面,文獻[7?8]中提出了使用支持向量機處理CU的紋理和熵信息來決定CU的大小;文獻[9]訓練了一個深度CNN模型來提取特征,尋找每個樹塊中的最優編碼單元并減少預測模式的數量。基于機器學習的幀內快速算法雖然訓練參數數量可超過100萬,但模型很容易過擬合,并且訓練階段會帶來巨大的計算成本。
針對上述HEVC的幀內快速算法存在的問題,本文從幀內預測模式和編碼單元劃分兩方面入手,降低編碼復雜度。首先,利用視頻空間相關性的特點,以相鄰編碼單元的最佳率失真代價(Rate Distortion Cost, RDCost)為閾值,判斷是否需要提前終止當前CU的劃分,從而降低編碼的復雜度。其次,以最有可能模式(Most Probable Mode, MPM)中預測模式的索引為初始基準值,向兩邊33種預測模式進行模糊搜索,減少候選模式的計算量。本文提出的算法是在傳統算法已有信息的基礎上進行的改進,不需要進行額外的計算,在基本不降低視頻質量與輸出碼率的基礎上,降低編碼的復雜度,縮短編碼時間。
1" CU劃分及預測模式統計分析
1.1" CU的遞歸劃分過程
在HEVC幀內預測編碼單元的劃分過程中,首先將視頻序列中每一幀劃分為多個64×64的編碼樹單元(Coding Tree Unit, CTU),其初始深度為0。對每個CTU進行光柵掃描,將CTU通過四叉樹結構遞歸劃分,每次劃分后尺寸減半,深度值加1,當深度值為3時停止劃分。因此,只有將每一個CTU從深度為0劃分到3,才能得出劃分結果。圖1a)表示CTU劃分時所對應的四叉樹結構圖。其中黑色點表示停止劃分,白色點表示繼續劃分。
如圖1b)所示,分別計算CU0的RDCost0和4個子CU1的率失真代價之和RDCost1,如果RDCost0小于RDCost1,則不對CU0劃分,否則將其劃分為4個子CU1。依次類推,直到深度為3時結束。
表1統計了5個不同類型的視頻序列,并采用HEVC標準算法劃分得到了尺寸從64×64到8×8編碼單元的分布情況。從中可以看出,對不同分辨率的視頻序列,得到的最佳劃分結果中64×64、32×32、16×16尺寸占到了70.6%,由此可知沒有必要將CU都劃分至最后,可提前終止編碼單元劃分,從而減少CU劃分的次數,降低編碼復雜度。
1.2" 幀內角度預測模式的選擇
HEVC采用窮舉搜索方式將編碼單元從64×64的尺寸開始遍歷,且對每層編碼單元預測時,都要完成35種預測模式(包括Planar模式、DC模式和33種角度模式)的搜索,幀內預測模式編號和角度對應情況見圖2。
首先,利用35種幀內預測模式計算基于哈德瑪變換值SATD的代價值[10]HCost,得到粗選子集,驗證MPM模式,依據候選列表中的預測模式計算率失真代價RDO的值,代價最小的模式就是最優幀內預測模式。在粗略模式候選列表中被選為最優幀內預測模式的概率情況如表2所示。表2中統計了5類不同標準視頻序列中最優幀內預測模式的命中概率。第一種模式被選中的概率為45%~63%,前兩種模式被選中的概率為67%~86%。
由上述統計數據可知,雖然當前的幀內預測模式算法已經具備一定的有效性,但仍有進一步改進空間,可通過進一步優化預測模式選擇策略,降低編碼的復雜度,提高編碼效率。
2" 低復雜度幀內編碼優化算法
2.1" 基于RDCost閾值的CTU劃分算法
根據第1.1節分析,可對傳統的算法進一步優化。通過分析圖3中CU深度信息可知,在A~E類視頻中,深度差小于或等于1的相鄰CU的百分比都超過了80%。因此,基于這種空間相關性,利用編碼單元周圍的信息直接得出當前編碼單元的分割情況,加速編碼單元的劃分過程,且空域相鄰的編碼單元之間的率失真代價值的分布相似[11]。基于此,本文提出了一種基于RDCost閾值的劃分算法,利用相鄰CU的RDCost值的相關性提前確定當前編碼單元的劃分。閾值[TC]的計算公式如下:
式中:[μRCUp]、[μRCLeft]和[μRCUL]分別表示當前CU1上面、左面以及左上面相對應編碼單元的最佳率失真代價RDCost值。其中,圖4表示當前CU與相鄰CU的關系。利用公式(1)計算閾值TC,并與劃分前CU0的RDCost值進行比較,如果當前RDCost大于TC,則表示編碼單元需要進一步劃分;如果小于TC,則停止分割。因此,可以跳過不必要的計算,提高編碼效率。如果當前CU位于圖像邊緣時,不存在相鄰編碼單元,則使用傳統算法進行處理。
2.2" 基于MPM的模糊搜索算法
HEVC中定義了35種預測模式,如果計算每種模式對應的RDO值,會非常耗時。為了減少計算量,文獻[12]提到了相鄰塊MPM模式,且當前塊的MPM有很大的概率成為當前塊中的最佳模式,基于此結論提出了基于MPM的模糊搜索算法。
首先利用MPM的索引得出一個基準值P,該值的計算公式為:
式中:N是MPM中預測模式的數量,恒為3;Ta是預測模式的索引值。
在采樣過程中隨著迭代次數的增加,獲取的模式與初始基準點模式的相關性越來越弱,采樣距離dn取值公式如下:
以P為初始基準值對33種(planar模式和DC模式除外)預測模式向左右兩個方向進行迭代采樣,可表示為:
式中:[PLn]和[PRn]分別表示左采樣值和右采樣取值;n表示迭代次數,從1開始。
左采樣和右采樣集合為:
在粗略模式決策過程中將L與R合并成列表T,作為參與RDO計算的候選列表。然后將planar模式、DC模式和初始基準值代表的模式加入T列表中,如果當前CU的MPM不包含在T列表中,也將其加入列表T中進行后續計算,這極大地減少了編碼的復雜度。
3" 實驗結果及分析
利用HEVC標準編碼模型16.7驗證改進算法的有效性。實驗環境的配置為:Intel Core i7?12650H,主頻為2.30 GHz,內存為16.0 GB,操作系統為64位Windows 11,開發工具為VS2022。測試中使用了JCT?VC提供的5類視頻序列,全I幀模式,同時設置不同的量化參數值(QP為27、32、37、42)。編碼幀數為50幀,剩余參數均采用默認配置。編碼性能使用峰值信噪比(PSNR)的差值ΔPSNR、碼率的變化百分比ΔBR和編碼時間的變化百分比ΔT三個指標來衡量。計算公式分別如下:
式中:HM和Improve分別表示HM16.7和改進后的算法。
本文利用不同分辨率的視頻序列測試了算法效果,測試結果如表3所示。
使用本文算法編碼時,PartyScene序列的編碼時間減少最多,為50.67%;ParkScene序列減少最少,為29.83%。由此可知,在處理動態視頻序列時本文算法表現更加優異。
總體來看,本文提出的算法在編碼各類視頻序列時性能顯著提升,平均減少了39.38%的幀內編碼時間,而PSNR值平均僅下降0.085 dB,視頻質量基本不受影響。本文算法顯著提高了編碼效率,對視頻質量影響極小,具有較高的應用價值。
將本文算法分別與文獻[13?15]的算法相比,結果如表4所示。本文算法在編碼時間上比三個對比算法分別降低了1.98%、8.78%、12.62%,碼率略低于文獻[13]所提算法,高于文獻[14]和文獻[15]算法。因此,該算法在保持編碼質量基本不變的情況下,有更為出色的編碼時間優化能力。
為了更清晰地評估本文提出的快速算法對編碼器性能的影響,繪制了傳統算法與改進算法的率失真優化RD曲線。如圖5所示,對于不同序列的視頻,兩種算法的RD曲線基本重合,這表明本文算法幾乎不影響視頻質量。
4" 結" 論
為了降低HEVC幀內編碼計算復雜度,本文提出了一種幀內快速編碼算法。基于空間相似性,采取了兩方面的優化策略:一方面,以相鄰編碼單元RDCost的均值為TC,提前終止CU劃分;另一方面,利用MPM中預測模式索引的均值為基準點,進行模糊搜索,減少預測模式計算量。實驗結果表明,本文算法在幾乎不損失視頻質量的前提下,顯著減少了編碼時間,為HEVC幀內編碼的實際應用提供了更為高效的解決方案。
注:本文通訊作者為賈華宇。
參考文獻
[1] BROSS B. High efficiency video coding (HEVC) text specifica?tion draft 9 [C]// Proceeding of 11th JCT?VC Meeting. Shanghai: IEEE, 2012: 102?110.
[2] 李文武,孫書為,郭陽.基于梯度的H.265/HEVC幀內預測硬件加速算法研究[J].計算機工程與科學,2019,41(4):575?582.
[3] 石敏,席詩華,易清明.基于預測單元尺寸的高效視頻編碼幀內預測模式快速選擇的改進算法[J].激光與光電子學進展,2019,56(20):234?242.
[4] ZHU W, YI Y, ZHANG H, et al. Fast mode decision algorithm for HEVC intra coding based on texture partition and direction [J]. Journal of real time image processing, 2020, 17: 275?292.
[5] MENON V V, AMIRPOUR H, TIMMERER C, et al. Incept: Intra cu depth prediction for HEVC [C]// 2021 IEEE 23rd International workshop on multimedia signal processing (MMSP). [S.l.]: IEEE, 2021: 1?6.
[6] 周蕓,李日,郭曉強,等.基于AVS2的編碼單元快速劃分算法研究與實現[J].廣播與電視技術,2021,48(10):37?41.
[7] CHEN F, REN Y, PENG Z, et al. A fast CU size decision algorithm for VVC intra prediction based on support vector machine [J]. Multimedia tools and applications, 2020, 79: 27923?27939.
[8] FU B, ZHANG Q, HU J. Fast prediction mode selection and CU partition for HEVC intra coding [J]. IET image processing, 2020, 14(9): 1892?1900.
[9] KUANAR S,RAO R K,BILAS M, et al. Adaptive CU mode selection in HEVC intra prediction: a deep learning approach [J]. Circuits, systems, and signal processing, 2019, 38(11): 5081?5102.
[10] DONG X, SHEN L, YU M, et al. Fast intra mode decision algorithm for versatile video coding [J]. IEEE transactions on multimedia, 2021, 24: 400?414.
[11] BALAJI L, THYAGHARAJAN K K, RAJA C, et al. An optimal mode selection algorithm for scalable video coding [J]. International journal of computational vision and robotics, 2020, 10(2): 143?155.
[12] TARIQ J, ALFALOU A, IJAZ A, et al. Fast intra mode selection in HEVC using statistical model [J]. Computers, materials and continua, 2022, 70(2): 3903?3918.
[13] 劉暢,賈克斌,劉鵬宇.基于多分支網絡的深度圖幀內編碼單元快速劃分算法[J].電子與信息學報,2022(12):4357?4366.
[14] ZHANG Q, JING R, WANG B, et al. Fast mode decision based on gradient information in 3D?HEVC [J]. IEEE access, 2019, 7: 135448?135456.
[15] 謝豪,姜周,張雋祺,等.基于感知的幀內快速模式決策算法研究[J].中國儀器儀表,2022(2):67?72.
作者簡介:馬振華(1996—),男,山西忻州人,在讀碩士研究生,研究方向為視頻與圖像處理。
賈華宇(1977—),男,山西太原人,博士研究生,副教授,主要從事半導體激光器方面的研究。
羅" 飚(1977—),男,湖北武漢人,碩士研究生,研究方向為半導體激光器。
收稿日期:2024?06?16" " " " " "修回日期:2024?08?05
基金項目:國家自然科學基金項目:高速激光器芯片光學災變損傷過程實時分析儀(62027819)