基于Non-dyadic自適應GoP結構的H.264/SVC算法改進

周 熙，于鴻洋，張 萍

（電子科技大學 電子工程學院，四川 成都 610054）

1 引言

為了適應網絡的異構，JVT在原來H.264/AVC的基礎上，提出了可分級的視頻編碼擴展H.264/SVC[1-3]。在SVC中，時間可分級特性是其中很重要的一部分。在SVC草案設計初始的時候，是用運動補償時域濾波（MCTF）的方法來實現時域可分級特性。僅管MCTF有著開環結構不會引起誤差漂移等一些優點，但是MCTF的編碼復雜性和效率改進的有限性使得JVT放棄了MCTF，而改用分級B幀來實現時域可分級[4-5]。

分級B幀的預測結構如圖1所示，圖中，每一幀下方的數字表示該幀的編碼順序，幀號下面的TN表示該幀所在的分層。

圖1中展示了兩種不同的分級B幀預測結構：Dyadic預測和Non-dyadic預測。圖1a中是傳統的分級B幀預測，首先，T0層進行前向預測，形成關鍵幀（圖中以黑色顯示），然后T0層之間進行雙向預測，形成T1層，T1和T0層之間再進行雙向預測，形成T2層，如此下去，直到構成一個完整的GoP。當需要提取一定的時間分辨力時只需要將相應的層及以下所有的層提取出來就可以。以圖1a為例，假設序列的原始幀率為30 f/s（幀/秒），那么提取15 f/s時，只需要把T2層和以下所有的層提取出來；提取7.5 f/s時，只需提取出T1和T0層。由圖1a可以看出，Dyadic預測的幀數是以2為底的指數增長的，從小到大依次為1，2，4和8，與每種時間分級的幀數相對應，所以Dyadic預測結構下GoP大小（SGop）也必須為2的指數，此時可以提取出lb SGop個時間分級。

圖1b的Non-dyadic預測結構有些許不同：預測的幀數不再是成指數增長的，從低到高依次為1，3，6和12，因此，所需的GoP大小也不必是2的指數。這種結構下，GoP大小的限制被放寬。Dyadic和Non-dyadic預測方式都符合H.264/AVC規范。

在以GoP為單元進行編碼的H.264/SVC模型中，每一層的GoP的大小是固定的，但是往往不同的視頻內容可能有著各自最合適的GoP大小。基于此，筆者提出了AGS改進算法。

2 AGS原理

圖1 分級B幀的預測結構

同一段視頻序列用不同的GoP大小進行編碼的效率是不相同的。具體來說，視頻內容變化劇烈的圖像GoP應該越小越好，這樣將要編碼的序列限制在一個小的時間段內，圖像之間的相關性才不會明顯減弱，編碼效率也就越高。反之，如果視頻內容變化平緩，那GoP應該越大越好，就可以充分利用圖像間的相關性。這就是AGS的出發點。AGS曾被用在SVC的MCTF中，但現在MCTF已被移除。而在分級B幀上做AGS研究的還比較少。

AGS里每個GoP傳統的預測結構是Dyadic預測，因此，GoP大小被限制為2N，N非負整數。在這種結構下，每種GoP尺寸有不同的時間分級，整個序列的時間分級的級數由最小GoP（SminGop）來決定，即時間分級的級數由為lb SminGop+1。現有的很多關于AGS的研究基本上都是基于這種結構[6-9]，這種結構有一個缺點，就是沒有充分利用到幀間的相關性。舉個例子來說，假設有一個編碼序列，設定SminGop為4，第1幀到第14幀之間相關性很強，適于編碼到一個GoP，而第15幀以后適于編碼到另一個GoP，那么用Dyadic結構預測時，自適應結果就很可能是8 SminGop+4 SminGop+4 SminGop，如圖2a所示。

Non-dyadic預測結構比Dyadic結構在GoP上有更大的彈性，那么Dyadic結構下GoP尺寸滿足式（1）所示的關系

而Non-dyadic結構滿足式（2）所示的關系。從該式可以看出，Non-dyadic結構的關系是線性的。

圖2 AGS的預測結構

因此，采用Non-dyadic預測結構，就會更充分的利用幀間相關性，結果就可能變為12 SminGop+4 SminGop。如圖2b所示。因此，Non-dyadic相比Dyadic可以具有更好的編碼性能。另外，一些AGS的研究中引入了場景切換檢測（Scene Change Detection，SCD）[10]，即 GoP 在場景切換處被截斷，以提高編碼效率，但是GoP截斷后會導致時域可分級性失效，從而不能進行時間可分級，因此，本文并沒有采用這種方法。

決定了所采用的GoP預測結構，下一步就是如何確定當前的最佳的GoP大小。在文獻[8]中，每種GoP都被計算一次，然后從中選擇最佳編碼效率的GoP作為最后的大小。這種方法盡管可以獲得很高的PSNR，但是復雜度大大增加。因此，找到一個復雜度低又不失編碼效率的方法成為研究的重點。借鑒于視頻邊緣檢測的塊直方圖差（Bock Histogram Difference，BH）的概念[11]，筆者找到了一個編碼效率較高而復雜度低的AGS算法。

3 Block Histogram Difference

BH這個概念最先被用在視頻索引與存儲的場景切換檢測算法上，BH在場景切換檢測中，被用做檢測場景切換的因子。BH是基于圖像的直方圖絕對誤差和（Sum of Absolute Difference，SAD），SAD 的計算公式為

式中：SADhist表示直方圖絕對誤差和，l表示直方圖等級，n表示第n幀，Hn（l）表示第n幀的第l級的直方圖值。計算Hn（l）的時候，可以基于整個圖像來統計，也可以基于部分圖像來統計。基于整個圖像來統計時，被稱為DOH（Difference of Histogram），當基于塊（此處的塊不一定和H.264編碼時的宏塊大小相同）來統計時，就是要討論的BH。BH計算公式為

圖3 測試序列的BH圖（截圖）

圖3中，Akiyo值較小，這是由于Akiyo序列的變化相對較平緩；Bus和Bus2序列的變化劇烈些，所以BH值較大；而Coastguard序列的BH值在Akiyo和Bus之間。Coastguard序列在第23～25幀之間有一個峰，這是因為這之間突然有大部分背景出現，所以造成一個峰值。圖4顯示了背景出現的過程。利用BH，就可以度量圖像序列的變化程度。這種度量很適合用在AGS里。

4 AGS算法

基于BH，可以量化一個序列內圖像的變化程度，稱這個變化程度為視頻變化因子 （Video Change Factor，VCF）。長度為N的序列的VCF計算如下

用VCF（N）和指定的閾值作比較，就可以用來判斷最合適的SGoP

圖4 Coastguard第22～25幀圖像

式中：T表示閾值。?」運算表示向下取整。但是，直接使用式（7）會處理不了一種特別的情況，如在將要編碼的圖像序列中，第5幀和第6幀之間有一個場景切換（就是從一個場景切換到另一個場景），而序列的第1～4幀之間的SCF因子變化很小，以至于可以忽略，在這種情況下，場景切換時帶來的BH值的突變很可能被抵消掉，用式（7）作判決時，場景切換的兩幀圖像將很可能會被編碼到同一個GoP中。而正常情況下，場景切換處的兩幀應該分屬于不同的GoP。鑒于此，對式（7）的GoP判決方式進行了如式（8）的改進。

式中：α表示另一個閾值。式中最后一個條件表示，如果下一幀圖像的BH明顯大于之前圖像的BH平均值時，那么GoP應該從此處截斷，這樣就可以將場景切換的影響減少到最小。AGS的整個算法的流程圖如圖5所示。

圖5 AGS算法的流程圖

圖6 AGS實驗結果

5 實驗結果及改進

將6種編碼方式做了對比實驗：GoP 為 2，4，8 和 16的常規SVC編碼、使用Dyadic AGS的SVC編碼和使用Non-Dyadic AGS的SVC編碼。AGS實驗參數如下：直方圖采用64個等級，塊的大小為16像素，AGS采用的最小GoP為 4，閾值 T為 155，閾值 α為 3。測試是基于JSVM9.18 模型。 每種編碼方式分別用 20，22，24，…，50，共16個量化參數QP進行編碼。

所有的測試序列都被經過了時間的下采樣。這是因為原始序列的變化幅度不是很大，經過下采樣后，會增加VCF，從而可以測試GoP更小的情況。實驗分別對Akiyo，Bus，Silent，Foreman，Akiyo+Bus和 Silent+Foreman 進行了測試。實驗結果顯示，Akiyo和Bus序列的改進不是很大，基至略微下降，這是因為這兩個序列內容的變化相對穩定，所以最佳GoP會也不會有大的改變，AGS沒有起到過多的作用。Bus測試序列的結果如圖6a所示。而Silent和Foreman序列的變化則相對劇烈些，AGS從而起到了一定的效果，Foreman的結果如圖6b所示，從圖中可以看出，相比較最佳的常規SVC編碼（此時GoP為8）而言，平均約有0.06 dB的改善。序列Akiyo+Bus和Silent+Foreman是將兩個不同序列聯接起來，這樣AGS更能夠起到自適應的作用，Silent+Foreman的實驗結果如圖6c所示，采用AGS后，相比較最佳的常規SVC編碼（此時SGoP為16）而言，平均約有0.13 dB的改善。圖6也顯示出Non-dyadic相比Dyadic結構也有一定程度的改進。

6 結論

本文主要討論了對H.264/SVC編碼算法的改進，提出了在分級B幀的基礎上應用Non-dyadic AGS來改進編碼效率的算法，算法利用Non-dyadic預測結構來做分級預測，場景切換的BH概念來計算最佳的GoP大小。實驗結果表明，Non-dyadic AGS對于那些內容變化不穩定的視頻序列能夠發揮不錯的效用，能進一步地提高編碼效率。

[1]ITU-T and ISO/IEC JTC 1.ITU-T Recommendation H.264 and ISO/IEC 14496-10 （MPEG-4 AVC）.Advanced Video Coding for Generic Audio/Visual Services[S].Version 9.[S.l.]：ITU-T and ISO/IEC JTC 1，2009.

[2]WIEGAND T，SULLIVAN G J，BJ?NTEGAARD G，et al.Overview of the H.264/AVC video coding standard[J].IEEE Trans.Circuits and Systems for Video Technology，2003，13（7）：560-576.

[3]SCHWARZ H，MARPE D，WIEGAND T.Overview of the scalable video coding extension of the H.264/AVC standard[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17 （9）：1103-1120.

[4]SCHWARZ H，MARPE D，WIEGAND T.Analysis of hierarchical B pictures and MCTF[C]//Proc.2006 IEEE International Conference on Multimedia and Expo.[S.l.]：IEEE Press，2006：1929-1932.

[5]SCHWARZ H， MARPE D，WIEGAND T.Comparison of MCTF and closed-loop hierarchical B pictures.JVT-P059[R].[S.l.]：Joint Video Team，2005.

[6]YOKOYAMA Y.Adaptive GoP structure selection for real-time MPEG-2 video encoding [C]//Proc.2000 IEEE International Conference on Image Processing：Volume 2.[S.l.]：IEEE Press，2000：832-835.

[7]PARK G H，PARK M W，JEONG S，et al.Adaptive GoP structure for SVC.M11563[R].[S.l.]：MPEG Standards Contribution，2005.

[8]PARK G H，PARK M W，JEONG S，et al.Improve SVC coding efficiency by adaptive GoP structure（SVC CE2）.JVT-O018[R].[S.l.]：Joint Video Team，2005.

[9]CHIOU C-W，TSAI C-M，LINFAST C-W.Mode decision algorithms for adaptive GoP Structure in the scalable extension of H.264/AVC[C]//Proc.2007 IEEE International Symposium on Circuits and Systems.[S.l.]：IEEE Press，2007：3459-3462.

[10]DING Jun-Ren.Joint adaptive GoP and SCD coding for improving H.264 scalable video coding[C]//Proc.2007 IEEE International Symposium on Multimedia Workshops.[S.l.]：IEEE Press，2007：96-103.

[11]LEE J，DICKINSON B W.Hierarchical video indexing and retrieval for subband-coded video[J].IEEE Trans.Circuits and Systems for Video Technology，2000，10（5）：824-829.