應用于VVC 視頻編碼的感知率失真優化算法*

何委林，李立華，熊淑華，何小海＊

（1.四川大學，四川 成都 610065；2.河北省地質礦產勘查開發局第六地質大隊，河北 石家莊 050086）

0 引言

為了進一步提升視頻壓縮性能，增強視頻編碼技術的通用性，國際電信聯盟電信標準化部 門（International Tele-communication Union for Telecommunication Standardization Sector，ITU-T）和國際標準化組織/國際電工技術委員 會（International Standardization Organization/International Electrotechnical Commission，ISO/IEC）共同開發了新一代視頻編碼標準。2020 年7 月，新一代視頻編碼標準——多功能視頻編碼（Versatile Video Coding，VVC）[1]得以發布。與上一代高性能視頻編碼（High Efficiency Video Coding，HEVC）標準相比，VVC 標準性能提升能達到45%以上[2]。率失真優化（Rate-Distortion Optimization，RDO）是實現視頻壓縮失真與比特率平衡，確保編碼效率的重要環節。然而，VVC 標準和HEVC 標準一樣，在率失真優化中，仍然采用均方誤差（Mean Square Error，MSE）等客觀指標作為失真度量，未充分考慮人眼視覺感知特性，使得視頻壓縮編碼客觀質量與人眼主觀視覺感受并不完全一致。

結合人眼視覺感知特性對視頻編碼率失真優化過程進行改進，國內外學者進行了大量的研究。比如，文獻[3]提出采用結構相似度（Structure Similarity，SSIM）作為感知視覺度量指標，以代替傳統的客觀失真度量指標，能有效提升編碼增益。文獻[4]、文獻[5]、文獻[6]綜合考慮了編碼樹單元（Coding Tree Unit，CTU）空間與時間感知的相關性，利用這些感知特征調整相應的拉格朗日乘子來指導率失真優化過程，并以SSIM 作為失真度量指標，能有效提升HEVC 視頻感知編碼性能。文獻[7]提出了一種基于感知加權均方誤差的RDO 模型，推導出一種新的拉格朗日乘子。

本文參考上述研究成果，通過提取CTU 的紋理和運動特征構建感知因子，對拉格朗日乘子λ進行自適應調節，并應用于CTU 編碼過程，提高了VVC 視頻感知編碼的性能。

1 相關知識

1.1 率失真優化

視頻編碼的主要目標就是在保證一定視頻質量前提下盡量減少編碼速率，或在限定速率條件下盡量減小編碼失真。率失真優化[8]是基于率失真理論的編碼參數優化方法，是保證編碼器效率的主要手段，在視頻編碼中扮演著非常重要的角色，貫穿整個視頻編碼系統[9]。VVC 標準的率失真優化過程仍是基于λ選取最優編碼參數集的過程。

率失真優化過程就是在限定碼率RC條件下，搜尋編碼參數集B中的最優編碼參數，使得視頻編碼失真最小，即：

式中：RC為限定碼率；D(B)為使用編碼參數集B中參數進行編碼時的失真。該約束性問題可通過引入拉格朗日乘子λ，將其轉換為非約束性優化問題[8]：

假如編碼中子任務相對獨立，即編碼單元之間的失真和碼率互不相關，則最優編碼參數可通過最小化每個編碼子任務的率失真代價獲取[8]，即：

式中：Ji,j為第i個編碼子任務采用第j組參數進行編碼的率失真代價；Di,j為第i個編碼子任務采用第j組參數進行編碼的失真；Ri,j為第i個編碼子任務采用j組參數進行編碼的碼率。

1.2 人眼視覺感知特性

研究表明，人眼視覺感知機制通常包括對比敏感度、掩蔽、中央凹、視覺注意力以及注意力的多模態等[10]。其中，視覺掩蔽效應是一種常見的視覺現象，指一種刺激對象的存在對另一種刺激對象的可見性造成影響，使得另一刺激對象不可見或不可察覺甚至消除的效應。在視頻處理中，視覺掩蔽效應通常表現在空間域和時間域。在空間域表現為人眼對紋理復雜區域的失真不太敏感，而對紋理較平坦區域的失真較為敏感；在時間域表現為人眼對于運動緩慢區域的失真不太敏感，而對運動較劇烈區域的失真較為敏感。通俗講即是紋理較平坦區域和運動較緩慢區域的失真更容易被人眼所察覺。此外，大量實驗表明人眼對亮度分量比色度分量更為敏感[10]。基于人眼對視頻空間域和時間域不同特征的感知特性，利用CTU 的紋理和運動特征來指導視頻編碼的率失真優化過程，可有效提升視頻感知編碼性能。

2 優化算法

2.1 紋理特征感知因子提取

對于視頻圖像的紋理特征，可以采用各類濾波算子提取梯度信息描述，也可通過獲取亮度方差或頻域中的頻率信息等方式表征。為了使計算復雜度相對較低，通過提取當前幀CTU 的亮度方差值來表征紋理復雜度。通常來講，亮度方差值越大，表明當前CTU 紋理越復雜，反之則表明當前CTU 紋理越平坦。

從概率論的理論中可知，隨機變量X的方差可表示為：

式中：D(X)為隨機變量X的方差；E(X)為隨機變量X的均值。

同理，當前幀第k個CTU 的亮度分量平方均值和亮度分量均值可分別表示為：

式中：I(x,y)為第k個CTU 內位置為(x,y)的像素點的亮度分量值；L為CTU 的大小尺寸；Msq(k)為第k個CTU 的亮度分量平方均值；Ava(k)為第k個CTU 的亮度分量均值。

則第k個CTU 的亮度分量方差為：

式中：Var(k)為第k個CTU 的亮度分量方差。

在得到當前幀中CTU 的亮度分量方差后，可計算出當前幀所有CTU 亮度方差值的均值為：

人眼對于紋理復雜度不同區域具有不同的感知度，對紋理較平坦區域比紋理較復雜區域的失真更為敏感，能夠容忍的失真更小。因此，根據當前CTU 的亮度方差值，定義當前CTU 的紋理特征感知因子Ftex(k)為：

式中：Varmax為當前幀中CTU 亮度方差值的最大值；Varmin為當前幀中CTU 亮度方差值的最小值；C1是為避免分母為0 而設定的常數，取C1=1/2552。

由式（10）知，對于當前幀中紋理較平坦的CTU，Ftex(k)的值為0，對于紋理較復雜的CTU，Ftex(k)的值為正數，且紋理越復雜，Ftex(k)的值越大。紋理特征感知因子Ftex(k)線性歸一化在[0,1)范圍內。

2.2 運動特征感知因子提取

視頻圖像的運動特征可通過當前CTU 與參考CTU 的運動矢量差或幀間亮度差值等方式進行表征。由于當前CTU 的運動矢量在編碼前難以獲取，為了計算簡便，使用當前CTU 與前一幀（參考幀）同一位置CTU 的亮度分量的絕對誤差和（Sum of Absolute Difference，SAD）來表征當前CTU 的運動程度。SAD 值越大，則認為當前CTU 運動越劇烈，反之則運動越緩慢。

當前幀第k個CTU 與前一幀相同位置CTU 的SAD 值為：

式中：SAD(k)為當前幀第k個CTU 與前一幀相同位置CTU 的SAD 值；Ic(k)(x,y)為第k個CTU 內位置為(x,y)的像素點的亮度分量值；Ir(k)(x,y)為前一幀相同位置CTU 的像素點的亮度分量值；L為CTU 的大小尺寸。

在得到當前幀中CTU 的SAD 值后，可計算出當前幀中所有CTU 的SAD 值的均值為：

人眼對于運動程度不同的區域具有不同的感知度，對運動較劇烈區域的失真比運動較緩慢區域的失真更為敏感，能夠容忍的失真更小。因此，根據當前CTU 的SAD 值定義當前CTU 的運動特征感知因子Fmot(k)為：

式中：SADmax為當前幀中CTU 的SAD值的最大值；SADmin為當前幀中CTU 的SAD值的最小值；C2是為避免分母為0 而設定的常數，在本算法中取C2=1/255。由式（14）知，對于當前幀中運動較劇烈的CTU，Fmot(k)的值為0，對于運動較緩慢的CTU，Fmot(k)的值為正數，運動越緩慢，Fmot(k)值越大。運動特征感知因子Fmot(k)線性歸一化在[0,1)范圍內。

2.3 VVC 感知率失真優化算法

由當前幀第k個CTU 的紋理特征感知因子Ftex(k)和運動特征感知因子Fmot(k)，可構建當前CTU的感知特征因子F(k)，用于對拉格朗日乘子λ進行自適應調整，形成基于感知的自適應拉格朗日乘子λhvp，對非I 幀CTU 進行率失真優化編碼。

感知特征因子F(k)定義為：

式中：w1和w2為權重因子，分別表示紋理感知特征和運動感知特征在感知調節中所占的比重；w1,w2∈[0,1] 且w1+w2=1，在本算法中，設w1=w2=0.5，即紋理特征和運動特征在感知優化中同等重要；s為縮放因子，用于限定感知特征因子F(k)的數值范圍；α為自適應調整系數；F-pmot為當前幀中非0 值的運動特征感知因子的均值；F-ptex為當前幀中非0 值的紋理特征感知因子的均值。

α的計算方式為：

式中：NCTU為當前幀中CTU 的總個數；NZE為當前幀中紋理特征感知因子和運動特征感知因子均為0的CTU 的個數；NNZE為當前幀中紋理特征感知因子和運動特征感知因子不同時為0 的CTU 的個數。NZE+NNZE=NCTU。

式中：Npmot為當前幀中運動特征感知因子為非0 值的CTU 的個數；Nptex為當前幀中紋理特征感知因子為非0 值的CTU 的個數。

則基于人眼感知的自適應拉格朗日乘子λhvp為：

在VVC 標準碼率控制算法中，相鄰兩個CTU的λ值應限制在[1/21/3,21/3]之內[8]。因此，為了避免λhvp值過大造成編碼性能明顯下降，本算法對F(k)的取值進行限定，忽略λ值的負增量。設定F(k)的取值范圍為：

I 幀為后續幀的參考幀，其質量波動對后續幀的影響較大，因此僅對非I 幀的CTU 執行優化算法。經過大量實驗發現，當縮放因子s=0.05 時，具有較好的率失真性能。由以上論述知，用于VVC 視頻編碼的感知率失真優化算法可描述為：

3 實驗結果與分析

3.1 實驗環境配置

在VVC 標準參考軟件VTM12.0 上進行測試，以驗證本文所提算法的有效性。計算機配置為11th Gen Intel（R）Core（TM）i7-11730H CPU@ 3.30 GHz，16 GB 內存，Windows 10 操作系統。采用標準測試環境下的lowdelay_P 配置，編碼結構為IPPPPPPP；IntraPeriod 為-1，即僅第一幀為I 幀，其余為P 幀；GOPSize 為8，即1 個GOP 包含8 幀。測試序列從標準測試視頻序列集中選取，從ClassB～F 中每組選取3 個測試序列進行測試，ClassB～E 組視頻分辨率分別為1 920×1 080，832×480，416×240，1 280×720，ClassF 為分辨率不同的屏幕內容測試序列。量化參數QP 分別取22，27，32，37，在固定QP 模式下對所有測試序列前100 幀進行編碼測試。

3.2 實驗結果分析

分別以多尺度結構相似性（Multi-scale Structure Similarity，MS-SSIM）和峰值信噪比（Peak-Signalto-Noise Ratio，PSNR）作為視頻質量評價指標。MS-SSIM 是結合人眼視覺特性的圖像質量評價方法，綜合了場景的亮度、對比度和結構信息，同時考慮了多尺度信息，比單一尺度的SSIM 評價方法更能適應觀測條件的變化[11]。視頻圖像的平均MSSSIM 值通過Y，U，V分量的MS-SSIM 值加權和計算得到[12]，即：

式中：ωY=0.8；ωU=ωV=0.1。

PSNR 是常用的視頻質量客觀評價指標，通過逐個像素比較灰度值差別并進行統計平均來判別質量的優劣，反映的是整幅圖像的失真程度[13]。對于輸入視頻格式為4 ∶2 ∶0 的測試序列，視頻圖像的平均PSNR 值通過Y，U，V分量的PSNR 值加權和計算得到[14]，即：

采用BD-rate[15]來對比本文所提算法與VTM12.0標準算法的率失真性能。BD-rate 表示在相同質量評價指標（MS-SSIM或PSNR）下碼率變化的百分比，BD-rate 為負表示在相同MS-SSIM 或PSNR 下碼率降低，為正表示在相同MS-SSIM 或PSNR 下碼率增加。表1 為低延時配置（lowdelay_P，LDP）下所提算法相對于VTM12.0 的BD-rate 結果，表2 為LDP下各視頻組平均BD-rate 值比較。

表1 LDP 下本文所提算法相對于VTM12.0 的BD-rate 結果/%

表2 LDP 下各視頻組平均BD-rate 值比較/%

由表1 和表2 可知，本文所提方法相對于VTM12.0 標準算法，其率失真性能有所提升。以YUV-PSNR 作為視頻質量評價指標時，BD-rate 平均降低0.09%，即表明視頻序列在相同PSNR 下，能節省0.09%的碼率。以YUV-MS-SSIM 作為視頻質量評價指標時，BD-rate 平均降低0.15%，即表明視頻序列在相同MS-SSIM 下，能節省0.15%的碼率。通過表2 可以看出，ClassE 率失真性能提升較為明顯，BD-rate 平均降低0.15%和0.23%，而ClassB 性能提升效果則相對較小。其原因在于本算法僅對人眼非敏感區域CTU 的編碼參數進行修正，而ClassB 測試序列由于分辨率更高，CTU 數量更多，人眼敏感與非敏感區域CTU 占比可能存在較大差異，使得修正因子自適應取值范圍不能與其更好匹配。另外，亮度分量更易被人眼所感知。從實驗結果看出，對于Y分量而言，以Y-PSNR 作為視頻質量評價指標時，BD-rate 平均降低0.08%，以Y-MS-SSIM 作為視頻質量評價指標時，BD-rate 平均降低0.12%。

為了更直觀地比較兩種算法的率失真性能，以BQSquare 測試序列為例，圖1 給出了BQSquare測試序列以YUV-PSNR 作為質量評價指標的率失真曲線，圖2 給出了BQSquare 測試序列以YUVMS-SSIM 作為質量評價指標的率失真曲線。由BQSquare 序列的率失真曲線圖可以看出，本文所提算法的率失真曲線在VTM12.0 標準算法率失真曲線的上方，表明在相同視頻質量指標下，所提算法具有更低的碼率，同時也表明在相同碼率下，所提算法具有更好的視頻質量。

圖1 BQSquare 序列以YUV-PSNR 作為質量評價指標的率失真曲線

圖2 BQSquare 序列以YUV-MS-SSIM 作為質量評價指標的率失真曲線

4 結語

本文提出了應用于VVC 視頻編碼的感知率失真優化算法。該算法首先提取視頻幀中CTU 的紋理和運動特征因子；其次根據人眼視覺感知特征，聯合紋理和運動特征因子構建基于視覺感知的特征因子；最后利用構建的特征因子對率失真優化中的關鍵參數λ進行修正，并用于CTU 級的視頻編碼。通過在VTM12.0 平臺進行測試表明，該方法能有效提升新一代視頻編碼標準VVC 編碼器的率失真性能。本文所提方法是基于視頻幀失真無依賴關系的假設，然而實際編碼中采用了幀間預測技術，使得率失真性能相互依賴，下一步可考慮視頻幀間率失真性能的相互依賴關系，對率失真性能進行進一步優化。