新的可快速切入的H.264/AVC視頻編碼方法

曾嘉亮，鐘似玢

(1.汕頭職業技術學院機電工程系，廣東 汕頭 515078;2.中山大學計算機應用研究所，廣東 廣州 510006)

在視頻直播、視頻會議等多終端應用中，將新加入的觀眾從發出切入請求，到真正開始收看視頻的時間間隔，稱為切入時間。

在傳統的H.264/AVC［1］多終端視頻系統中，最長切入時間是由圖像組(Group Of Pictures，GOP)的長度決定的。GOP越長，切入時間被延長的概率就增大;而長時間等待勢必嚴重影響用戶體驗。一個簡單的解決方法為縮短GOP的長度。這樣做可以解決切入時間過長的問題，但與此同時也導致了壓縮效率下降的負面效果。

經過進一步研究發現一個較好的解決方案:利用H.264/AVC 標準所提供的多參考幀機制［1－4］，在編碼時令特定的 P 幀(Predictively coded picture［2］)成為長期參考幀，并對編碼服務器進行相應設置，既能解決切入時間過長的問題，又降低了對壓縮效率的影響。

1 傳統視頻系統切入等待的問題及其簡易解決方法

在多終端視頻系統中，由于新加入的觀眾必須在得到一個I(Intra)幀之后，才能正常收看視頻，而通常一個GOP只有第一幀是I幀，因此，傳統編碼方案中，最長切入時間由GOP的長度決定。另一方面，為提高編碼效率，編碼器一般會將GOP的長度設置盡可能大，這就增加了切入時間延長的概率?？梢姡趥鹘y視頻系統中，切入時間和編碼效率是一對矛盾。

1.1 傳統的多客戶端視頻系統的切入等待問題

1.1.1 服務器編碼發送碼流S

假設服務器端編碼和發送的視頻流GOP長度為100幀，整個視頻共200幀，則服務器需要發送的碼流記為S，如圖1所示。

圖1 碼流S

圖1中，字母I，P表示各幀的編碼類型，下標的數字表示各幀在視頻流中的編碼和顯示順序。I0～P99表示同一GOP中連續的100幀圖像，各幀上方帶箭頭的線段表示各幀間的參考關系。其中，I0的編碼預測模式為幀內模式，對它解碼不需參考其他幀;P1～P99的預測模式為幀間模式，因此每個P幀都被一個箭頭所指，箭頭的源端即該P幀的參考幀。

在碼流S中，各個P幀的默認參考幀都是其前面的一幀。這也是傳統H.264/AVC編碼器的典型編碼方案。

1.1.2 新觀眾

新觀眾是指當編碼服務器已經處于編、發碼流S的狀態時，才向服務器請求接收視頻流的客戶端。

由于P幀的解碼必須依賴于本GOP的I幀，因此，在傳統的系統中，無論新觀眾何時發出切入視頻流的請求，都必須等候S的下一個GOP的I幀到達，才能正確地解碼和顯示視頻流的后繼內容。

將新觀眾從服務器接收的、能正確解碼的視頻流記為碼流N。顯然，N是S的一個子集。由于新觀眾可能隨時發出切入視頻流的請求，因此不同的新觀眾收到N的情況千差萬別。假設某個新觀眾在圖1所示碼流S的P3處發出切入視頻流的請求。由于已經錯過了第一個GOP的I幀(I0)的廣播，因此該觀眾所得到的碼流N如圖2所示。

圖2 碼流N

假設圖1、圖2對應的應用中幀率為10 f/s(幀/s)，則新觀眾從發出切入請求，到正常收看視頻，需等待將近10 s。

可見，在傳統的視頻系統中，從概率上講，新觀眾的等候時間與GOP的長度有關——GOP越長，新觀眾等候的時間可能也越長。

1.2 切入等待問題的簡易解決方法

1.2.1 方法概述

針對1.1節所述問題，一個簡單的解決方法是縮短GOP的長度。即在編碼幀數相同的情況下，增加輸出碼流中I幀的數目。

例如，對于1.1節所述情況，采用此方法解決切入等待問題的一種方案如圖3所示。

圖3 碼流S′

圖3中，碼流S’的GOP長度縮短為20。若沿用1.1.2的假設:新觀眾在碼流S’的P3處發出切入視頻流的請求。由于S’每隔20幀就有一個I幀，因此該觀眾得到的碼流N’如圖4所示。

圖4 碼流N′

同1.1.2，設圖3、圖4 對應的應用幀率為10 f/s，則新觀眾從發出切入請求，到正常收看視頻，最多只需等待2 s，最長等待時間縮短為圖1、圖2所示情況的20%。換言之，切入速度提高了5倍?？梢姡@種方法簡單易行，并且對于縮短切入時間效果顯著。

1.2.2 簡易方法的缺點

上述簡易方法雖然可以有效縮短切入時間，但同時也存在著編碼效率降低的硬傷。下面通過一個對比實驗來說明這一缺點。

該實驗采用開源編碼器對3個測試視頻分別采用前文所述的2種方法進行編碼，為便于表述，下文將1.1節所述方法記為T1，1.2節所述方法記為T2。

實驗中，T1和T2的共同設置如下:

1)3 個編碼對象均為 CIF［3］(Common Intermediate Format)格式、200 幀;

2)幀率均為10 f/s;

3)輸出目標碼率均設為100 kbit/s;

T1和T2的編碼設置只有一點不同，即T1的GOP長度是100，而 T2是20。

實驗結果記見表1。

表1 T1，T2對比實驗數據表

表1 中，Y －PSNR［3］(Peak Signal to Noise Ratio)是壓縮圖像亮度分量的峰值信噪比。3組壓縮結果的YPSNR相差不超過1.36%，說明2種方法壓縮結果的圖像質量基本相同。較之T1，T2雖將切入時間縮短了80%，但其壓縮碼流最多比T1增大了9.62%，即T2的壓縮效率明顯低于T1。

根據H.264/AVC的技術原理，同樣的一幀圖像，將其編為I幀的輸出碼流將遠遠大于編為P幀?？梢?，導致T2編碼效率明顯低于T1的根本原因是——I幀過于頻密。因此，要解決T2編碼效率低下的問題，關鍵在于降低I幀的密度。這正是本文提交的方法所解決的問題。

2 一種新的可快速切入的H.264/AVC視頻編碼方法

如前文所述，T2已經解決了切入等待的問題，其缺陷在于編碼效率低，根源則是I幀過于密集。

研究發現，利用H.264/AVC標準所提供的多參考幀和內存管理控制操作機制，輔以編碼服務器端的相應設置，就可以用一種特殊的P幀代替T2中的多數I幀，從而既解決了切入等待問題，又保證了編碼效率。

2.1 相關術語

2.1.1 多參考幀

H.264/AVC的多參考幀機制，允許待編碼圖像在進行幀間預測時參考多個之前已編碼的圖像。該機制將參考幀分為長期參考和短期參考兩類:長期參考幀可用于預測其后相隔多幀的圖像，需要一直駐留在參考幀隊列;短期參考幀最多只能對其后面的5幀進行預測［5］，因此在參考幀隊列中停留的時間極短。

對于只含I，P幀的碼流，編碼時只需要一個參考幀隊列 list0［3］。

引入多參考幀機制的本意是提高壓縮效率。但在本文提交的方法中，這一機制被創新性地應用，其作用變為將新觀眾切入視頻流時所必需的最近的一幀保留在參考幀隊列中，以實現快速切入。

2.1.2 內存管理控制操作

內存管理控制操作(Memory Management Control Operation，MMCO)是H.264/AVC提供的一組命令集，編碼器通過該命令集來指示解碼器對參考幀隊列進行相應操作。

2.2 新方法的編碼思路和步驟

2.2.1 編碼思路

針對T2編碼效率低的問題根源，新方法的主要思路是:將T2中為了減少切入時間而插入的I幀，全部用指定為長期參考幀的P幀來取代。

按照這一思路，圖3所示的碼流可以用新方法重新編碼為圖5所示碼流S″。

圖5 碼流S″

對比圖3和圖5，很容易看出兩種方法的關鍵區別:

1)T2為減少切入時間而增加的 I20，I40，…，I180等 I幀，在新方法中被P20，P40，…，P180等P幀所取代。

2)在圖5 中，I0，P20，P40，…，P180被指定為長期參考幀。例如，圖5中I0和P20下方帶箭頭的長線，表明I0為P20的參考幀。這些長期參考幀的作用是幫助新觀眾快速切入視頻流，因此下文將其稱為切入幀。

2.2.2 編碼端實施步驟

圖6、圖7分別說明了利用新方法實現圖5所示碼流S″的過程中，編碼器對參考幀列表list0的控制過程，以及編碼服務器的輸出緩沖區數據的變化情況。

下面結合圖6和圖7，給出新編碼方案實現碼流S″的具體步驟［3－5］:

1)編碼前，設置參考幀數目為2。

2)編碼I0時，使用MMCO指令通知解碼器:I0為長期參考幀，如圖6中(a)所示;并將I0的壓縮碼流存入編碼服務器的輸出緩沖區，如圖7中(a)所示。

3)編完P1后，通過MMCO指定其為短期參考幀，推入參考幀隊列list0的位置［0］處，并將I0推入list0的位置［1］處，如圖6中(b)所示;同時將P1存入編碼服務器的輸出緩沖區，如圖7中(a)所示。

對P2～P19，編碼器重復P1的步驟，如圖6中(c)所示:新的短期參考幀覆蓋先前位于list0［0］處的短期參考幀，并保持I0的位置list0［1］不動。不過，P2～P19無須放入編碼服務器的輸出緩沖區。

4)編碼P20時，指定其參考I0，并設置P20為長期參考幀，P20編碼完成后，便覆蓋掉I0，存入list0的位置［1］，如圖6中(d)和(e)所示;此外，P20也需要存入編碼服務器的輸出緩沖區，如圖7中(a)所示。

5)對于P21～P39幀，編碼器重復執行步驟3)，如圖6中(f)所示。

其余步驟可按上述5步進行類推后得出。

2.2.3 解碼端的切入步驟

仍然用1.1.2節的假設進行舉例說明:新觀眾在碼流S″的P3處發出切入視頻流的請求。

編碼服務器收到切入請求，就將輸出緩沖區中的I0和P1發送給新觀眾，等待下一個切入幀P20到達后，就將壓縮碼流源源不斷地送出，該觀眾得到的碼流N″如圖8所示。

圖8 碼流N″

圖9說明解碼器如何根據MMCO指令來管理參考幀隊列，正確、快速地進行切入。

圖9 新觀眾的解碼器對參考幀隊列list0的控制

由上述過程不難理解，圖7將非切入幀P1緩存起來發送給新觀眾的目的是讓解碼器利用P1將I0推入list0［1］位置。

至此，新方法實現了對任意時刻新觀眾切入請求的快速響應。

3 實驗結果

為便于表述，將第2節所述新方法記為PP。對開源編碼器按照第2節所述內容進行相應修改，實現PP的編碼程序。PP編碼器生成的碼流N″，可以直接用開源解碼器進行正確解碼。本實驗以1.2.2所述實驗為基礎。

T1，T2和PP的共同設置是:

1)3個編碼對象均為CIF格式、200幀;

2)幀率均為10幀/秒;

3)輸出目標碼率均設為100 kbit/s。

T1，T2和PP三者的不同設置是:

1)T1的GOP長度是100;

2)T2的GOP長度是20;

3)PP的GOP長度是100，而切入幀的間隔是20。

實驗結果記見表2。

由圖2、圖4、圖9可知，T2和PP的切入速度都是T1的5倍。

由表2可知:1)圖像質量方面:由Y-PSNR數據可知三種方法的圖像質量基本相同;2)碼流大小方面，PP輸出的碼流比T1不但沒有增加，甚至還減小了，而T2的碼流比T1最多增大了9.62%。

綜上所述，新方法是在保持與T1相同的壓縮效率的情況下，將切入速度提高為T1的5倍。

4 結論

本文提出一種新的可快速切入H.264/AVC視頻的編碼方法，該方法通過H.264/AVC標準所提供的多參考幀和內存管理控制操作等機制得以實現。

表2 PP，T1和T2對比數據表

理論分析及實驗結果表明:現有的H.264/AVC解碼器，不須任何修改，就可直接解碼由新方法生成的碼流;并且新方法在壓縮效率不變的情況下可將切入速度提高5倍以上。

本方法還允許更為深入的靈活設置。例如，切入幀的間隔可以不固定，任何新觀眾發出切入請求時，就將當時的待編碼幀指定為切入幀，這就允許視頻編碼服務器即時響應新觀眾的請求，使得切入時間趨近于0。

可見，本文所提交的方法以極低的代價實現了視頻編碼服務器對用戶需求的快速響應能力。

［1］Joint Draft ITU－T Rec.H.264 ISO/IEC 14496－10/Amd.3 scalable video coding［EB/OL］.［2012－07－14］.http://ip.hhi.de/imagecom_G1/savce/downloads/H.264－MPEG4－AVC－Version8－FinalDraft.pdf.

［2］WIEGAND T，SULLIVAN G J，BJONTEGAARD G，et al.Overview of the H.264/AVC video coding standard［J］.IEEE Trans.Circuits and Systems for Video Technology，2003，13(7):560－576.

［3］RICHARDSON I E G.H.264 and MPEG－4 video compression［EB/OL］.［2012－07－14］.http://ishare.iask.sina.com.cn/f/9982600.html.

［4］RICHARDSON I E G.H.264_MPEG－4 Part 10 white paper［EB/OL］.［2012－07－14］.http://www.vcodex.com.

［5］鐘似玢，曾嘉亮.一種視頻壓縮方法:中國，200810216851.4［P］.2008－10－15.