多標準視頻解碼器頂層重用機制的設計與實現*

董志文 ，張 遠 ，史 萍

（1.中國傳媒大學 信息工程學院，北京 100024；2.聯合信源數字音視頻技術（北京）有限公司，北京 100085）

1 引言

視頻編碼標準的制定和推廣極大地推動了多媒體應用技術的發展。目前主流的視頻編碼標準和技術主要包括MPEG活動圖像專家組開發的MPEG-2及MPEG-4標準、ITU-T的VCEG（視頻編碼專家組）和ISO的MPEG（活動圖像專家組）組成的聯合視頻組（JVT）開發的H.264/MPEG-4 AVC標準[1]、國內的AVS標準[2]以及微軟公司開發的VC-1（Video Codec 1）視頻編碼壓縮技術[3]。多樣化的視頻編碼標準使得不同格式的數字視頻編解碼技術及相關產品將長期共存。如何使一臺終端能夠兼容多個標準的視頻碼流成為亟待解決的問題。為解決這一問題，可以采用轉碼方案，即將多個不同標準的視頻碼流利用轉碼技術生成終端可識別的視頻碼流，但這樣通常會使視頻質量下降。第二種方案是在解碼終端設備中，配置各種視頻標準的解碼器，以實現終端設備對各種視頻信號的兼容，但是這樣會隨著兼容視頻標準數目的增加而提高設計成本。第三種方案是以通用處理器為基礎設計支持多標準視頻格式的解碼器芯片，將多個視頻標準的運算單元與存儲單元復合在一起，從而在一個解碼器芯片上實現多標準視頻解碼的任務。采用這種方案可克服第一種方案中轉碼帶來的視頻質量下降問題，也可大大的降低設計成本[4]。

各視頻標準碼流在數據格式上以及算法結構上存在著一定程度的相似性，這為支持多標準視頻解碼的芯片設計提供了可能性。例如在數據格式上，各視頻標準均符合序列層、圖像層、片層、塊數據層這樣一個數據組織形式，因此可將傳統的解碼流程設計成系統層、圖像層、宏塊層、子塊層這樣一個通用的解碼流程；在算法結構上，基本上都采用了離散余弦變換（DCT）算法去除空間冗余、采用幀間預測及運動補償算法去除時間冗余、采用熵編碼等算法進一步進行視頻流數據的壓縮等，因此，在解碼器的設計中，可將這些算法單元復合在一起使用，實現各標準之間的算法重用。

本文主要討論多標準視頻解碼器頂層部分，也就是在解碼流程中處于宏塊層以上部分的重用機制，并在文獻[4]和文獻[5]中介紹的重用機制的基礎上分析并設計了一種適用于 MPEG-2，MPEG-4，H.264，AVS 以及 VC-1 等標準的頂層模塊重用機制。

2 多標準解碼器重用機制的可行性分析

目前主流的視頻編碼標準采用的都是基于變換、運動補償預測和熵編碼的混合編碼結構框架[6-7]。變換采用DCT變換，量化采用標量量化方式，運動補償采用基于塊匹配的運動估計方法，熵編碼采用變長編碼。因此，解碼端的主要處理流程和處理技術基本相似，如圖1所示。在處理流程上，這些標準基本都符合熵解碼、反量化、反變換、幀間預測、運動補償的解碼順序，且基本都符合序列層、圖像層、宏塊層、塊層的語法結構層次。這些特點為運算和控制單元可重用的多標準解碼器設計提供了理論基礎。同時，視頻解碼器芯片的設計普遍采用宏塊級的數據流驅動控制策略，所以緩沖區和參考幀存儲區也可以被重用。

3 多標準解碼器頂層重用方案設計

3.1 解碼器頂層結構重用

在視頻標準中，頂層模塊是指在語法結構層次中處于宏塊級以上的解碼部分，其他處于語法結構層次中宏塊級及其以下的解碼部分稱為底層模塊。在MPEG-2，MPEG-4，H.264，AVS標準和VC-1中，碼流結構基本都由序列頭、圖像頭、片頭及像素編碼數據組成，但在細節方面存在差異。以圖像頭信息為例，在H.264碼流中并非所有的圖像幀都有圖像頭。AVS規定一幀中的兩場至少有一個圖像頭。MPEG-2及MPEG-4標準規定所有的圖像數據前都有圖像頭。在MPEG-4中并沒有片頭的概念，只有宏塊組的概念。在VC-1中并非所有的圖像前都有圖像頭，且VC-1的簡單檔次中沒有起始碼前綴標志（0x000001），這與其他標準不同。盡管存在這些差異，這幾個視頻標準采用了相似的頂層解碼流程結構。在多標準解碼器的設計中可使用圖2中的結構，從而實現頂層結構的重用。圖2中虛線內部分表示底層模塊，虛線外部分表示頂層模塊。頂層模塊主要包括Head_Parse，Initialize_Sequence，Ref_Buffer_Control，Bbv_Buffer_Ctrl，和Update_Buffer_Idx等。Head_Parse模塊解析頂層的部分頭信息，包括序列參數、圖像參數和一些擴展信息等；Initialize_Sequence模塊初始化解碼當前序列所需要的一些參數；Ref_Buffer_Control模塊負責參考幀管理的操作；Bbv_Buffer_Ctrl模塊中進行刷新碼流緩存區的操作；Update_Buffer_Idx模塊進行刷新參考幀幀存索引以及幀存顯示的操作。

3.2 頂層語法元素

解析重用

頂層語法元素是指視頻碼流中處于宏塊級以上的語法元素，主要包含解碼所必需的參數，如序列參數和圖像參數等。在不同的標準中，一般使用不同的編碼方法表示這些頂層的語法元素，如無符號定長編碼和哥倫布編碼。通過對各標準的分析與歸納，頂層使用的語法元素編碼方式如表1所示。

表1 各標準頂層語法元素的編碼方式

從表1可看出，n位定長編碼是幾種標準都使用的編碼方法，k階指數哥倫布編碼用于H.264及AVS的頂層語法元素。定長碼的解碼過程比較簡單，只需要按照給定的碼字長度，從碼流中截取相應位數的比特位，再根據需要選擇查表或者是直接返回截取的比特位即可。哥倫布編碼是變長編碼，解碼要相對復雜一些。

AVS標準中定義了9種不同的語法元素解析方式，頂層解碼用到的主要有以下幾種：

1）u（n），n位無符號整數。在語法表中，如果n的值為v，其比特數由其他語法元素值確定。解析過程由函數read_bits（n）的返回值規定，該返回值用高位在前的二進制表示。

2） r（n），連續 n 個 0。 解析過程由函數 read_bits（n）的返回值規定。

3）i（n），n 位整數。 在語法表中，如果 n的值為 v，其比特數由其他語法元素值確定。解析過程由函數read_bits（n）的返回值規定，該返回值用高位在前的2的補碼表示。

4）f（n），取特定值的連續n個比特。解析過程由函數 read_bits（n）的返回值規定。

5）b（8），一個任意取值的字節。解析過程由函數read_bits（8）的返回值規定。

6）ue（v），無符號整數指數哥倫布碼編碼的語法元素，左位在先。

在H.264標準中，頂層用到的語法元素解析方式主要有 b（8），f（n），i（n），u（n）及 ue（v），其含義與 AVS 中的相同。

MPEG-2與MPEG-4標準中的語法元素解析方式主要有以下幾種：1） Bslbf（bit string，left bit first），比特串，左位優先。2）Uimsbf（unsigned integer，most-significantbit first），無符號整數，最高位優先。

3） Simsbf（signed integer，in twos complements format，most significant（signed） bit first），有符號整數，2 的補碼形式，最高位（符號位）在先。

VC-1標準中，頂層用到的語法元素解析方式主要有Uimsbf和Bslbf，其含義同MPEG-2標準中的定義。因此，在多標準解碼器的設計中，可在頂層語法元素解析模塊中重用定長解碼模塊，對于H.264及AVS標準可重用哥倫布解碼，從而實現有效的重用結構，以實現代碼的優化與管理。

3.3 參考幀管理機制重用

在前文所述的5個視頻標準中，H.264采用最多16個參考幀的參考幀管理方式；AVS采用最多兩幀的參考幀管理方式（其中P幀前向最多兩幀，B幀前后各一幀）；MPEG-2，MPEG-4和VC-1采用最多兩幀的參考幀管理方式（其中P幀前向最多一幀，B幀前后向各一幀）。

鑒于H.264的參考幀管理方式與其他標準不同，筆者設計了兩種管理方式，一種是專門針對于H.264的參考幀管理機制，另一種是為AVS，MPEG-2，MPEG-4和VC-1這4個標準而設計的一種參考幀管理重用方案。其中適用于AVS，MPEG-2，MPEG-4以及VC-1的參考幀管理重用方案的主要技術要點如下：

1） 分配4個幀存緩沖區，分別標識為 0，1，2，3。 其中，3表示寫入緩存區的索引號，0表示后向參考幀的緩存區索引號，1表示前向參考幀的緩存區索引號。

2）每次幀存索引號的刷新都在解碼一幀后進行。索引刷新過程為：當前解碼幀為非B幀時，幀存索引值均加1（3號要變為0號）；當前解碼幀為B幀時，幀存索引值中的2號與3號互換。

3）幀圖像的顯示在幀存號索引刷新之后進行。幀圖像顯示過程為：當前解碼幀為非B幀時，顯示1號所指向的幀存空間數據；當前解碼幀為B幀時，顯示2號所指向的幀存空間數據。參考幀管理的過程如圖3所示。

4）對于場的情況，只對本幀的第一場進行幀存索引號的刷新操作。

3.4 碼流緩存區設計與管理

在多標準視頻解碼的流水線設計中，需要為頂層解碼以及VLD模塊提供足夠的碼流以防止緩沖區下溢，從而流暢地解碼，因此需要設計一個適用于多標準解碼并且可重復利用的碼流緩存區域，這部分的主要技術要點有：

1）為保證VLD解碼對碼流數據的正確請求，必須保證碼流緩存中的有效數據足以維持至少一個片或一幀圖像的所有宏塊數據解碼。

2）碼流緩存的刷新操作位于解碼完畢一個片或一幀圖像之后。

3）緩存區的管理必須能夠模擬硬件對碼流數據的刷新操作。

4）為適應硬件讀寫操作，緩存區的讀寫位寬為32 bit。

根據以上技術要點，設計出如下方案。碼流緩存區的大小根據不同的圖像格式進行動態分配。以CIF（352×288），4∶2∶0格式的視頻圖像為例，首先設定碼流緩存區大小為0x80000 byte（考慮到無壓縮情況下4幀碼流的數據量大小）。在第一次刷新緩存區的碼流數據時，首先填充0x40000 byte（如果碼流足夠），之后在每次解碼一幀后進行緩存區的刷新操作。

緩存區的刷新判斷操作位于頂層的Bbv_Buffer_Ctrl模塊，在每次解碼完一個片后進行。如圖4所示，SRAM為碼流緩存區，DRAM為外部大容量存儲器。VLD解碼一個片后所得到的碼流數據偏移地址通過DMA及寄存器REG模塊傳給頂層模塊，當發現緩存區的有效數據小于整個碼流緩存區容量的1/4時，頂層模塊執行緩存區的刷新操作，將碼流數據從DRAM讀入到SRAM中；否則不執行刷新操作。設定碼流緩存區的1/4大小為判定依據是因為考慮到每幀只劃一個片時所對應的最大片數據量。緩存區的刷新仍通過DMA模塊完成，且刷新操作要使得碼流數據填充滿所有的緩存區空間。

4 小結

本文對多標準視頻解碼器的頂層結構的重用方案進行了分析和設計。通過cmodel的驗證，設計的頂層方案可實現正確解碼。該方案對于多標準解碼器的軟硬件協同設計有一定的指導意義。

[1]Draft ITU-T recommendation and final draft international standard of joint video specification（ITU-T Rec.H.264/ISO/IEC 14496-10 AVC）[S].2003.

[2]數字音視頻編碼技術標準工作組.信息技術 先進音視頻編碼 第2部分：視頻[S].2006.

[3]SMPTE，VC-1 compressed video bitstream formatand decoding process[S].2005.

[4]謝朝輝.多模視頻解碼器復用方法研究與運動補償的實現[D].蘭州：蘭州大學，2006.

[5]汪毅，林祖倫.新一代多模視頻解碼芯片的硬件結構設計[D].成都：電子科技大學，2008.

[6]畢厚杰.新一代視頻壓縮編碼標準——H.264/AVC[M].北京：人民郵電出版社，2005.

[7]李玖玲，鄧記才.H.264/AVC中運動估計搜索算法研究[J].電視技術，2009，33（S1）：38－39.