基于ROI的直播視頻傳輸中碼率控制策略

李文龍 李興廣 徐 晨 衛(wèi)飛龍 胡冉冉

1(吉林交通職業(yè)技術學院交通信息學院 吉林 長春 130012) 2(長春理工大學電子信息工程學院 吉林 長春 130022)

0 引 言

隨著在線教學、視頻會議等視頻直播需求的激增，導致視頻傳輸受限，影響視頻效果。根據(jù)中國互聯(lián)網(wǎng)絡信息中心(CNNIC)截至2019年2月發(fā)布的統(tǒng)計報告，中國網(wǎng)絡直播用戶已達3.97億，其規(guī)模占到總網(wǎng)民規(guī)模的47.9%[1]。而目前這一數(shù)據(jù)已變得更加龐大。海量的在線視頻傳輸數(shù)據(jù)量對于網(wǎng)絡的承載能力提出了巨大的挑戰(zhàn)。通信技術和大規(guī)模硬件集成電路的發(fā)展[2]，雖然能夠提升硬盤的存儲容量以及增加傳輸信道的帶寬，但同時也會造成成本增加以及噪聲變大，因而網(wǎng)絡存儲空間和傳輸帶寬都是有限的。高質量的視頻傳輸需要更高標準的視頻編碼解決方案。與H.264/AVC相比，HEVC引入了更先進的編碼技術，使得其與H.264/AVC在具備相同視頻圖像質量的條件下，可節(jié)省50%以上的編碼比特流[3]。更加靈活的編碼結構和工具也對碼率控制和比特分配技術帶來了更大的挑戰(zhàn)。其中，根據(jù)人類視覺選擇注意機制(VSAM)[4]，對場景中不同敏感程度的區(qū)域分配不同的比特資源[5]，優(yōu)先考慮將更多的比特數(shù)分配給感興趣區(qū)域(ROI)，是近年來碼率控制領域研究的熱點和重點。

相關學者對基于ROI的碼率控制算法已有研究并取得了許多有參考價值的研究成果。如Liu等[6]第一次提出基于ROI的資源分配方案，通過ROI控制比特資源的優(yōu)化分配，提升ROI編碼質量。Kim等[7]對運動中的視頻實現(xiàn)實時的ROI(足球)跟蹤，為不同區(qū)域分配不同的量化參數(shù)(QP)，以實現(xiàn)視頻的自適應壓縮。Grois等[8]提出了一種復雜度感知的自適應ROI視頻處理方法，通過對圖像分級處理，提升了視頻的主觀質量。Zhou等[9]基于視覺顯著性，提出了一種自適應、快速地確定幀內(nèi)編碼尺寸的編碼方案。Delhaye等[10]針對有限帶寬的傳輸條件，提出一種基于ROI的視頻傳輸方法，為遠程醫(yī)療提供了一種解決方案。上述方法在提升編碼質量和重建視頻的質量方面有明顯的效果。然而，這些算法都是基于先前的編碼標準開發(fā)的，而最新的視頻壓縮標準HEVC采用靈活的圖像劃分等新技術，導致上述碼率控制技術不再適用。基于HEVC標準，朱威等[11]的基于智能目標檢測的HEVC感興趣區(qū)域編碼方案中，通過對ROI和非ROI區(qū)域的CTU按紋理感知權重值分別進行下調編碼量化參數(shù)和DCT頻率系數(shù)分級壓制，雖然取得了明顯的效果，但是其ROI檢測部分使用了基于深度卷積網(wǎng)絡的方法，給系統(tǒng)帶來了一定的復雜度。Zhang等[12]提出的ROI編碼模式碼率控制方案，雖然對于具有顯著ROI的測試序列性能尤為可觀，然而該算法的速率-失真模型的準確度和效率仍有待優(yōu)化。隨后，Zhang等[13]又為在有限帶寬和時變信道狀態(tài)條件下優(yōu)化視頻傳輸延遲，提出一種基于ROI編碼模式的視頻傳輸框架，采取了基于深度學習的方法用于信道狀態(tài)預測。Sun等[14]在HEVC中首次使用深度卷積網(wǎng)絡提高視頻顯著區(qū)域(ROI)的質量，在不降低視頻主觀質量的前提下減少帶寬的利用率，尤其適用于視頻會話和視頻監(jiān)控場景。然而，基于深度學習的方法中存在較高的算法復雜度，對于直播視頻場景的應用能力仍有待提升。

上述基于ROI的碼率控制方法基本都是對圖像進行ROI和非ROI區(qū)域的兩級劃分，這在對直播視頻處理時會導致視頻圖像不平滑，嚴重影響視頻的主觀質量。因此，受Grois等的啟發(fā)，基于文獻[15]，提出一種適用于直播視頻傳輸中的基于ROI的HEVC碼率控制方案，主要用于目前主流的較高分辨率和幀頻的直播視頻壓縮傳輸。首先，根據(jù)VSAM，將視頻圖像劃分為三級(ROI區(qū)域、非ROI區(qū)域、兩個區(qū)域之間的過渡區(qū)域)，形成感興趣區(qū)域圖(ROI map)，并利用ROI map實現(xiàn)幀級和編碼單元級的比特分配。在對幀層進行比特分配時，根據(jù)每幀圖片的權重為圖片組中的每一幀分配碼率，每幀圖片的權重依據(jù)幀級的ROI map衡量；在對編碼單元層比特分配時，根據(jù)ROI map，將不同數(shù)量的比特數(shù)動態(tài)地分配到各個最大編碼單元(LCU)中。最后，通過R-λ模型計算每一個最大編碼單元編碼時所需的QP，實現(xiàn)壓縮編碼。

1 理論基礎

1.1 碼率控制方法

碼率控制對于更好地利用有限的存儲空間和帶寬的處理環(huán)節(jié)上有著非常重要的作用[16]。通常，碼率控制主要包括比特分配和編碼參數(shù)獲取兩部分。具體地說，比特分配是對每一個圖片組(GOP)、每一幀圖片、每一個基本編碼單元或者更細的單元分配最合適的比特數(shù)；編碼參數(shù)的獲取由選擇合適的率失真模型得到，以此實現(xiàn)在比特分配階段分配目標比特數(shù)[17]。碼率控制的過程如圖1所示。

圖1 碼率控制過程

衡量碼率控制技術的指標如下：

(1) 失真：對于率失真函數(shù)，失真D相對于碼率R是遞減的，碼率控制算法即在限定的帶寬范圍內(nèi)使失真最小。

(2) 率失真性能：峰值信噪比(PSNR)是通用的衡量失真度的標準，計算公式如下：

(1)

(2)

式中：MSE是宏塊均方差；N是圖片中像素總數(shù)；Reci和Orgi分別是重建圖片和原始圖片像素值。

(3) 碼率控制誤差：碼率控制誤差越小，則表明算法的碼率控制能力越好。定義為：

(3)

式中：Rtar代表設置的初始碼率；Ract代表編碼以后的實際輸出碼率。

(4) 緩沖區(qū)的狀態(tài)：緩沖區(qū)的占用程度反映了碼率控制的調節(jié)控制能力。一般來說，較大的緩沖區(qū)有利于平穩(wěn)每幀消耗比特數(shù)目的波動從而獲取穩(wěn)定的碼流。然而，過大的緩沖區(qū)勢必會帶來較大的編碼延時。因此，要合理地調節(jié)緩沖區(qū)的狀態(tài)。

1.2 率失真模型

R-ρ模型、R-Q模型和R-λ模型是目前三種典型的率失真模型[12]。R-ρ模型中，由于ρ與碼率呈線性關系，從而簡化了整個碼率控制機制。ρ域的碼率控制方案在HEVC中有良好的性能，然而，對于基于ROI的編碼模式并不是最有效的方法。對于R-Q模型，速率和失真可以分別表示為QP的函數(shù)，但R-Q模型的前提是假設了碼率R主要是由量化參數(shù)QP來決定的，HEVC引入的新編碼技術使視頻編碼變得更復雜，而且編碼模式信息和運動信息等信息所占的非殘差比特并不能夠被量化，因此即便調整QP也很難達到精確的目標碼率。隨著HEVC的發(fā)展，Li等[18]意識到視頻編碼器將會變得越來越復雜，R-ρ模型和R-Q模型不能精確地描述非殘差信息所占的碼率的缺點更加突出，提出了拉格朗日乘數(shù)λ才是影響視頻編碼碼率最關鍵的因素，證明了基于R-λ模型的碼率控制方案能夠非常精準地分配目標碼率。通過大量實驗發(fā)現(xiàn)，R-λ模型具備更強的魯棒性。因此，后續(xù)也將通過R-λ模型獲取量化參數(shù)。

2 碼率控制策略

2.1 ROI提取

ROI部分的檢測有兩種方法，基于機器視覺的自動檢測和基于人機交互的手動檢測，可以根據(jù)需要具體選擇。ROI的提取主要也有兩種方法。一種是在視頻輸入HEVC編碼器之前將ROI部分提取出來，另一種是在視頻編碼過程中對ROI部分進行提取。通過實驗發(fā)現(xiàn)，方法一可以直接根據(jù)視頻圖像的自身性質進行提取，如游戲直播中的人物作為ROI，可以預先標記。它不需要考慮視頻幀之間的關系，從而節(jié)約編碼時間。此外，可以利用ROI的掩膜信息實現(xiàn)碼率控制，即控制比特的分配。因此，采用第一種方法對ROI區(qū)域進行提取。結構框圖如圖2所示。

圖2 ROI提取過程

2.2 算法流程

首先，從被編碼的視頻中檢測和提取出視頻序列的ROI，利用提取出的ROI形成ROI map；隨后，碼率控制算法利用形成的ROI map分別完成對幀層和編碼單元層的比特分配。最后，通過R-λ模型求取QP值及相關參數(shù)。算法框架如圖3所示。

圖3 算法框架

獲取到視頻畫面中的ROI以后，傳統(tǒng)算法則直接對ROI區(qū)域分配較多的編碼比特，以保證該區(qū)域的視頻質量，背景區(qū)域的編碼比特則相對較少。對于直播視頻來講，由于VSAM的參與作用，單純地將視頻圖像進行兩級分化處理(ROI和非ROI)，勢必會導致重建圖像中ROI和非ROI的質量變化明顯，給人以割裂感，不能達到視覺系統(tǒng)對于平滑舒適的高質量畫面的需求。因此，在ROI和非ROI之間設定了過渡區(qū)域，主要是為了平滑視頻質量，在實現(xiàn)節(jié)能視頻傳輸?shù)耐瑫r，保證直播視頻受眾的觀感質量。具體方案是將較多的比特分配給ROI，以最小的比特數(shù)目分配到非ROI，在過渡區(qū)域分配適當數(shù)量的中間比特數(shù)目，使ROI和非ROI區(qū)域平滑相接，以確保視頻質量。圖4是視頻圖像分類狀態(tài)的示意圖。

圖4 圖片分級狀態(tài)

獲得ROI后，ROI區(qū)域的所有像素值設為α，過渡區(qū)域的像素值設置為λα。其中，λ根據(jù)實際需求進行設置，取值范圍為λ∈(0,1)，非ROI的像素值統(tǒng)一設置為1，隨后得到每幀圖像的像素級ROI map，以此作為比特分配權重。數(shù)學表達式如式(4)所示。

(4)

ROI map的長度和寬度與原始的視頻圖像相同，(w,h)代表視頻圖像中像素點所處的位置。隨后將生成的ROI map發(fā)送至HEVC編碼器輸入端，以使比特分配更加合理。此外，ROI map權重值α可動態(tài)調節(jié)。對于某些畫面中某些重點目標，即所需的ROI質量較高時，可以通過增大權重值α來實現(xiàn)，反之亦然。

2.3 幀層比特分配

視頻編碼方案中，經(jīng)典的JCTVC-K0103碼率控制算法對每一幀圖像分配比特時，主要是由圖片中比特每像素(bpp)這個值決定[19]。該值受幀頻、信道帶寬、圖像的分辨率等客觀因素的影響。對于需要傳輸?shù)闹辈ヒ曨l而言，為了滿足直播視頻受眾的主觀需求，采取該值作為權重來進行幀層的比特分配是不合理的。因此，通過視頻幀間的ROI map比值作為權重進行比特分配。幀層ROI map通過式(5)求得。

(5)

式中：Fmi是幀層的ROI map，同時也作為GOP中為各幀分配比特時的權重；NROI,i是目前編碼幀的所有像素中含有ROI的像素；Mtr是目前編碼幀的所有像素中包含過渡區(qū)域的像素；W和H代表視頻圖像像素的寬和高。碼率控制算法中，把每幀的ROI map作為當前編碼幀的權重進行比特分配。當前時刻的GOP中第i幀比特分配計算如下：

(6)

式中：Fmcurr是分配給當前編碼幀的比特權重；Fmleft是當前GOP中未進行編碼的幀所占的總權重；TGOP,left為當前GOP中剩余未被編碼的幀所占的剩余比特數(shù)。

2.4 編碼單元層比特分配

JCTVC-K0103提案碼率控制算法在編碼單元層的分配是以預測得到的平均絕對差值(MAD)作為權重來執(zhí)行的。對于實時運動型直播場景來說，視頻存在劇烈運動、快速變化等特點，導致當前編碼幀的LCU已區(qū)別于已編碼幀相對位置的LCU。因而，MAD作為標準來衡量視頻復雜度的精確性已大大下降。對此，利用當前LCU中所包含的ROI信息的比重實現(xiàn)對LCU實行比特分配，避免當前編碼幀對已完成編碼幀的過度依賴。LCU層ROI map通過式(7)求得。

(7)

式中：Lm[i,j]是LCU層的ROI map，它是對第i幀中第j個LCU分配比特時的權重；aj和bj分別代表第i幀中第j個LCU塊左上角的橫縱坐標；W[j]和H[j]是第j個LCU塊的寬和高；NROI[i,j]是當前LCU的所有像素中所包含的ROI的像素數(shù)；Mtr是當前LCU的所有像素中所包含的過渡區(qū)域的像素數(shù)。對于當前LCU編碼時，依據(jù)ROI map的大小為其分配比特數(shù)目。ROI map的值越大，表明當前LCU所占的權重越大，獲得的比特數(shù)目越多。通過對ROI中權重α的調節(jié)可以適當?shù)乜刂飘斍熬幋a圖像中ROI的比特數(shù)，藉此實現(xiàn)對于ROI質量的調整。

對當前GOP中的第i幀完成比特分配后，通過LCU級的ROI map為第i幀中的第j個LCU分配比特數(shù)目計算如下：

(8)

式中：TL[i,j]是分配到的比特數(shù)目；Lmleft是當前編碼幀中所有未被編碼的LCU所占的權重之和；Tf,left是當前編碼幀中所有未被編碼的LCU所占的比特數(shù)目。每一次編碼完成一個LCU后，Tf,left通過式(9)進行更新。

Tf,left=Tf,left-Bact,j

(9)

式中：Bact,j代表對當前圖像進行編碼時的第j個LCU塊實際消耗的比特數(shù)目。Tf,left初始值為：

Tf,left=Tf[i]-Bheader

(10)

式中：Bheader是當前正在編碼的幀的頭信息所占的比特數(shù)目，它的值依據(jù)已編碼完成的幀所占的頭信息預測得出。

2.5 求取QP

通過以上步驟求得預先分配給LCU的比特數(shù)以后，由R-λ模型，求得λ：

(11)

式中：μ和ν的初始值[20]分別為3.200 3和-1.367。每次對一幀圖片編碼完成后，由最小二乘回歸法獲得μ和ν的值。隨后，QP值由式(12)求得。

QPcurrLCU=4.200 5×ln(λcurrLCU)+13.712 2

(12)

3 實 驗

3.1 實驗設置

為了驗證上述方法的有效性，基于VS2010，在HEVC官方參考軟件HM16.7平臺上進行仿真實驗。根據(jù)評價碼率控制性能的指標對本文方法進行測試。實驗中，以HEVC參考軟件HM16.7中的算法作為參考，將所提的碼率控制方法添加到HM16.7中與之對比。編碼器的主要設置如表1所示。

實驗采用HEVC標準的通用影像傳輸格式(CIF)測試序列(最接近于當前普遍應用的直播視頻的分辨率)，測試序列均為YUV格式。序列信息如表2所示。為驗證算法在不同帶寬條件下的適用性，2 560×1 600和1 920×1 080分辨率的視頻序列目標碼率分別設置為：4 Mbit/s,2 Mbit/s,1 Mbit/s,512 kbit/s,256 kbit/s。1 280×720和832×480分辨率的視頻序列目標碼率分別設置為：2 Mbit/s,1 Mbit/s,512 kbit/s,256 kbit/s,128 kbit/s。

表2 編碼測試序列

3.2 率失真性能

在率失真性能對比實驗中，采用低延時的P幀編碼模式。實驗中，在不同的目標碼率下，測試序列分別由HEVC中原碼率控制算法和本文的碼率控制算法在參考軟件HM16.7中進行編碼仿真對比測試實驗。視頻失真通常由YUV格式的視頻序列中Y分量的PSNR表示，即Y-PSNR代表視頻失真，其值越大，表示失真越小，率失真性能越好。表3給出了本文的碼率控制方法相比于HEVC原有的碼率控制算法所得的相對PSNR結果(ΔY-PSNR)。圖5給出了對比實驗得到的數(shù)據(jù)仿真結果。表3和圖5中，Whole代表重建視頻的總體平均Y-PSNR，ROI是重建視頻ROI的Y-PSNR,Non-ROI代表重建視頻的非ROI的Y-PSNR。

表3 相對HM16.7的率失真(ΔY-PSNR) 單位：dB

(a) POS, 2 560×1 600, 30 Hz

(b) T, 2 560×1 600, 30 Hz

(c) BD, 1 920×1 080, 50 Hz

(d) PS, 1 920×1 080, 24 Hz

(e) J, 1 280×720, 60 Hz

(f) FP, 1 280×720, 60 Hz

(g) RH, 832×480, 30 Hz

(h) F, 832×480, 50 Hz圖5 率失真曲線

從表3和圖5可以看出，本文算法在重建視頻中的ROI具備較高的率失真性能(Y-PSNR)。非ROI的率失真性能略低于HM16.7中原有算法，這是因為部分比特分配到了過渡區(qū)域。整幅圖像的率失真(Whole)并沒有明顯降低。這證明了本文方法在有限帶寬下能夠實現(xiàn)視頻的高質量傳輸。

3.3 碼率控制誤差

表4顯示了在不同的目標碼率下，用給定的方法、HM16.7中的初始算法和文獻[12]中的方法對8個標準測試視頻序列進行編碼所獲得的實際碼率。實際碼率和目標碼率之間的誤差通過式(3)來計算。結果表明，本文算法的誤差相對于HM16.7和文獻[12]分別降低了0.226百分點和0.055百分點，即在信道帶寬一定的情況下，本文方法能保證微小的誤碼率。

表4 碼率控制誤差對比結果(%)

3.4 緩沖區(qū)的狀態(tài)

為驗證本文方法對于緩沖區(qū)狀態(tài)的影響，在每次完成一幀圖像的編碼以后，記錄當前緩沖區(qū)的占用量。圖6是所記錄的緩沖區(qū)狀態(tài)。

圖6 緩沖區(qū)狀態(tài)

仿真實驗中，緩沖區(qū)的大小設置為1.25R/f，下溢值設置為0，分別對應圖6中兩條水平虛線。圖6中本文方法的結果曲線起始點較低，說明緩沖區(qū)剛開始時溢出較小，而且能夠將緩沖器占用率保持在緩沖器上限和下限內(nèi)之間的相對穩(wěn)定的范圍內(nèi)。此外，相比于HM16.7中的方法，本文方法在緩沖區(qū)的狀態(tài)更為穩(wěn)定。

3.5 圖像客觀質量

當像素權重α分別為4和8時，對測試序列進行編碼，同時以文獻[12]中的方法作為對比實驗，記錄不同區(qū)域的PSNR值。以通過HM16.7編碼獲得的PSNR值作為參考，獲得相對于原始HM16.7算法的圖像質量增益(IQG)。三種方法在目標碼率設置為1 000 kbit/s時進行對比實驗。

圖7 選取的ROI的PSNR增長對比

圖7中，自上而下三條線分別對應本文方法α=8，α=4、文獻[12]中方法所獲得的結果。可以看出，相比于文獻[12]中穩(wěn)定的IQG值，本文的IQG是可變的，隨α值的不同而不同。較大的α對應于較高的IQG，即通過調節(jié)像素權重α，可以自由地控制ROI的質量。

3.6 圖像主觀質量

為直觀地衡量本文算法得到的重建視頻的主觀質量，分別使用本文、HM16.7和文獻[12]三種算法對一些HEVC標準測試序列進行了比對測試，部分示例如圖8所示。

(a) HM16.7 (b) 文獻[12] (c) 本文

(d) HM16.7 (e) 文獻[12] (f) 本文圖8 主觀質量對比

圖8是在三種不同碼率控制算法下分別編碼兩個測試序列之后的結果比較。(目標碼率為512 kbit/s)。可以看出，本文方法的重建視頻質量相對最佳，圖像的主觀觀感也更為平滑。為了進一步的比較，對兩幀圖像中的一些細節(jié)進行了放大處理和分析。將圖片的ROI和非ROI分別放大比較，如圖9所示。

(a) ROI放大對比

(b) 非ROI放大對比圖9 局部放大對比

圖9選取的是重建視頻質量較好的文獻[12]和本文算法處理結果中的ROI和非ROI區(qū)域的局部細節(jié)來進行對比。可以看出本文算法對于ROI分配了更合適的比特數(shù)目，而非ROI圖像質量較為不佳，即在非ROI分配了更少的比特數(shù)目，但是本文算法得到的重建視頻圖像的整體質量稍好。此外，通過碼流分析軟件Elecard HEVC Analyzer查看到圖9的QP值進行對比，發(fā)現(xiàn)本文算法處理后的ROI的QP值均小于文獻[12]，非ROI的QP值均大于文獻[12]，說明本文算法確實在ROI區(qū)域增多了比特分配數(shù)目而非ROI區(qū)域減少了比特分配數(shù)目，圖像質量又相對平滑，進一步證明了本文算法的可行性。

4 結 語

為了在有限的帶寬下傳輸高質量的直播視頻信息，提出一種改進的基于ROI的碼率控制方法。通過對整幀圖像進行分層處理，得到像素級的ROI，并形成ROI map。根據(jù)ROI map再分別為幀層和LCU層進行比特分配，最后根據(jù)R-λ模型獲得QP來實現(xiàn)壓縮編碼。通過編碼仿真實驗，分析和比較了本文方法和其他兩種方法的對比實驗結果。在整幀圖像質量PSNR相對穩(wěn)定的情況下，該方案可以顯著提高ROI的率失真性能和重建視頻的整體質量。不僅實現(xiàn)了視頻有效的壓縮傳輸，而且考慮了視覺的主觀因素，為處理海量高清實時直播視頻的傳輸提供了思路。盡管本文方法取得了可觀的成果，但仍有一定的改進空間，例如，本文直接采用R-λ模型求取QP仍存在一定的局限性，在今后的工作中，我們將對R-λ模型進行改進，以求進一步完善。