未來視頻編碼器的主流——軟編碼

王 賀

(上海國茂數字技術有限公司，上海201203)

責任編輯:許 盈

我國自主產權的高級視頻編碼協議AVS、AVS+[1]相繼成熟并確定，其編碼效率與H.264/AVC[2]達到了同一檔次[3]。近幾年，AVS實時高清編碼器在各類市場中都有較大的需求，最有代表性的是廣播級視頻編碼器。廣播級視頻編碼器產品按照平臺來分類，大致可以分為兩類:一類是“硬編碼”，另一類是“軟編碼”。

最傳統的硬件編碼器是沒有操作系統參與的完全由數字邏輯電路完成編碼操作的數字電路設備，如廣為應用的74系列編碼器。在視頻編碼器領域的硬編碼，指的是所有編碼工作都由ASIC芯片完成，沒有操作系統和軟件參與的編碼方案，比如富士通的MB86H50芯片，能夠實現H.264的準高清編碼，但是編碼質量有限制。由于商用視頻編碼器功能要求高，其功能模塊中不僅包含視頻編碼模塊，一般還包括了音視頻采集、音頻編碼、碼流復用、加密等功能模塊，沒有操作系統和軟件的支持是無法實現的。只要編碼器需要操作系統支持，并且有軟件參與工作的都屬于軟件編碼器，即行業內所說的軟編碼，軟編碼按照所使用的操作系統分為兩大類，一類是加載嵌入式操作系統的方案，如DSP+FPGA，ARM+DSP，ARM+FPGA以及CPU+FPGA;另一類是基于多媒體服務器的方案。下一節對現有的幾種常見的軟編碼方案進行介紹。

1 軟編碼方案介紹

1.1 DSP+FPGA方案

該方案中FPGA只承擔了視頻數據采集與編碼碼流輸出的功能，而主要的編碼工作由DSP處理器承擔，DSP加載了裁剪的Linux操作系統或者定制的Sysbios系統完成編碼軟件的調度，編碼過程中DSP與FPGA之間存在數據交互[4]。因此對于DSP的處理能力要求較高，較低端的DSP處理器無法滿足廣播級編碼的要求，因此各大廠商也推出了針對視頻處理的DSP產品，比如TI公司的Keystone系列DSP芯片。該方案的邏輯圖如圖1所示，FPGA首先將輸入信號復合YUV圖像數據，送到SDRAM中間緩存中，DSP讀取緩存中的YUV數據進行壓縮編碼，DSP的程序架構是完全的軟件架構，不同的DSP處理器對多線程的處理方式有所不同。最后將壓縮的碼流再轉交給FPGA模塊，由FPGA模塊負責將TS(Transport Stream)數據發送出去。

1.2 ARM+DSP方案

ARM處理器具有體積小、功耗低、成本低的特點，同時作為一種通用處理器，數據管理能力強，擴展接口豐富。如圖2所示，該方案的系統主控制模塊以ARM處理器為核心[5]，負責系統的通用控制，也負責與DSP視頻處理的通信控制。視頻處理模塊以DSP芯片為核心，負責視頻數據的采集、視頻存儲等功能。系統可以包括多路的音頻、視頻輸入。DSP視頻處理模塊作為子系統，接受ARM的控制，與ARM有大量的視頻數據通信。ARM控制模塊與DSP視頻處理模塊，各自是一個獨立的嵌入式計算系統，除了數據交互外，二者的開發調試都是分開和獨立的。自下向上，都包括硬件設備層、設備驅動層、操作系統層和應用程序層四層。

圖1 DSP+FPGA方案邏輯框圖

圖2 ARM+DSP系統框圖

在ARM主控制模塊中，硬件設備包括SDRAM、Flash、時鐘管理、電源管理等核心模塊，構成一個最小系統，能支持整個編碼系統的運行。為了軟硬件開發和外部設備擴展，硬件設備包括如下幾部分:JTAG調試電路，模擬/數字信號采集模塊，DSP數據交換總線等。DSP視頻處理模塊的硬件設備包括視頻采集、編碼、存儲等部分。該方案加載的DSP/BIOS是一個簡易的實時嵌入式操作系統，主要用于完成同步、編碼控制通信以及實時檢測等功能。

ARM與DSP的通信方式有多種，比如串口通信、網絡通信、HPI并行連接通信等方式。這些方式各有優缺點和適用場合，該方案采用的是HPI連接方式。當采集數據隊列準備好之后，ARM通過HPI收到采集完成信號，然后ARM發送編碼啟動的信號給DSP，調用DSP的一個核來啟動一個線程，通過這種方式完成編碼。對外圍設備的調度、碼流的輸入輸出以及網絡功能的實現等也由ARM處理器加載的嵌入式操作系統完成。

1.3 ARM+FPGA和CPU+FPGA方案

這兩種方案中，ARM和CPU加載嵌入式操作系統，完成編碼流程調度和數據輸入輸出功能。FPGA承擔大部分的編碼工作量，比如運動估計、變換量化等編工作。方案[6]如圖3所示，ARM與FPGA之間通過AHB總線通信，由于計算能力的限制，編碼任務量是非對稱地分布在兩個處理核心之間，ARM承擔了碼流復用和可變長熵編碼，主要的預測工作由FPGA完成。FPGA中的編碼模塊被分為前向、后向兩個通路，在前向通路中，宏塊數據的地址由地址發生器產生，根據地址送入幀內或者幀間預測單元。然后根據預測結果得到殘差值，將殘差值送入DCT變換和量化單元，根據不同的QP設置輸出不同質量的變換量化結果。變換量化后的數據作為編碼數據通過AHB總線送入ARM進行可變長編碼。在FPGA的后向通路中，編碼數據被解碼后重建作為參考圖像為后續圖像作參考幀。FPGA內部所有的編碼流程是由一個邏輯控制單元控制的，在一幀圖像內的編碼順序是依照宏塊的排列順序。CPU+FPGA的方案與ARM+FPGA方案基本一致，不同之處在于多核CPU可以更多地分擔編碼工作量，提供更好的編碼質量。

圖3 ARM+FPGA系統框圖

FPGA的功能是由硬件描述語言實現的，如果FPGA運行出錯，那么錯誤排查非常復雜。而且由于FPGA開發要顧及時序和布線等問題，FPGA上任何一個編碼工具的調整都會影響其他編碼工具的實現，那么就使得對FPGA的功能升級困難，而且FPGA與主控核心之間的數據通信依然是系統開發的難點。

1.4 高性能服務器平臺

在多核技術廣泛應用之前，單核CPU的處理頻率存在瓶頸，使得單個CPU無法負擔高清實時編碼巨大的計算量，不得不借助于專用ASIC處理芯片;多核技術的成熟，使得CPU的計算能力出現了飛躍，隨著CPU的并行處理核心數增加，其處理能力得到了數倍甚至數十倍的提高，選擇ASIC芯片輔助編碼的必要性已經失去。知名的編碼器廠商都有自己的廣播級軟件視頻編碼器產品。由于編碼工作都是由多核CPU運行軟件完成的，能夠完善地繼承參考模型中各個編碼工具的功能。在該類編碼器的研發中無需考慮其他幾種方案遇到的工程問題，比如不同處理核心之間的通信問題，主要工作內容就集中在提高編碼效率、完善軟件架構。

方案[7]的并行架構如圖4所示，原始圖像Fn通過前向路徑:預測(幀內或幀間)、整數變換、量化和熵編碼獲得編碼碼流，而通過重構路徑，即反量化、反變換、運動補償來獲得重建圖像F'n，用作預測編碼的參考幀。為經過并行預處理后的原始圖像，MV’為經過整像素運動估計后的運動矢量，MV為經過亞像素運動估計后的最終運動矢量。該框架主要可分為3大部分，分別為預處理模塊、運動估計模塊以及編碼模塊。雖然3個模塊是串行連接的，但各模塊之間有一定的幀數量延遲時間，因此各個模塊就可以獨立并行工作:當第1個模塊進行了M幀數據的處理后，第2個模塊便開始運行;當第2個模塊對數據進行了N幀處理后，第3個模塊就開始進行編碼處理。由于在實際的視頻編碼系統中，除去視頻數據的輸入輸出、存儲設備的初始時間以及硬件平臺的啟動時間，單純在編碼模塊中運動估計部分往往占據最多的編碼時間。而在運動估計中，整像素運動估計在多參考幀模式下占據最大的計算量和計算時間，因此，整像素運動估計的并行化是解決問題的關鍵。該方案的編碼框架利用了編碼延遲能夠緩沖幀的特點，同時充分利用預處理模塊獲得的幀類型參數，使運動估計模塊對每幀數據獨立地并行化運動估計，經過運動估計后視頻幀才進入編碼模塊。這種并行運動估計極大地提高了整個編碼框架的并行性，也極大地提高了多核計算資源的利用率。在并行運動估計完成后進行運動補償，然后對殘差圖像進行DCT變換、量化以及熵編碼來得到最終碼流。由于在這些模塊沒有整像素運動估計那么高的計算復雜度，因此計算速度提高很多，也提高了幀間預測的效率，從而能夠減小并行幀數。經實驗驗證，該方案的率失真性能相比理論最優的率失真性能僅僅低約0.2 dB，保證了編碼圖像的高質量。

高性能服務器的硬件平臺是經過了市場的多年驗證的，穩定性很高，而且專業級的操作系統的功能較為強大，可以靈活選用功能最優的輸入輸出設備，在更換外圍設備時對視頻編碼核心沒有任何影響。同時，可以針對不同用戶需求定制復用、加密等功能，而且可以通過對軟件的修改完成對各種復雜網絡功能的支持。當編碼器廠商在對編碼核心進行調整優化后，可以及時地對用戶的編碼器進行在線升級，換言之，在軟件編碼器的使用過程中，其性能可以隨著時間不斷提升，這就使得廣電運行商的帶寬壓力不斷減小，編碼功能的選擇也不斷增加，客觀上延長了產品的生命期。

圖4 多核服務器并行編碼軟件架構

2 各類編碼器的比較

由于不需要加載操作系統，硬編碼在啟動速度上快于軟編碼。也是因為沒有操作系統，所以硬編碼的功能有很大局限性，故大量的編碼芯片是應用在如視頻監控、移動設備數據壓縮等領域，廣播級的編碼設備沒有純粹的ASIC芯片編碼器。硬編碼的另一個缺陷是編碼質量稍遜，而且市場上尚無能支持1 080p全高清編碼的廣播級編碼芯片。

采用了ARM，DSP，FPGA等元件的編碼器，整體體積可以做得相對小，但各個器件之間存在設備間數據通信問題，在特殊條件下可能引起數據的不穩定。FPGA對串行性較強的數據處理能力較差，必須依賴其他處理單元協同處理。而且FPGA的功能更新困難，升級不便，如果運行出現錯誤，排除錯誤的周期也較長。由于該方案的硬件平臺不是通用平臺，都需要特殊定制，對平臺的穩定性需要長期觀察。

服務器平臺方案對視頻編碼工具的功能裁剪最少，故編碼圖像質量最好。該方案使用的編碼軟件是在成熟的環境中開發的，相關資源豐富、可靠，有利于功能的更新升級，而且對網絡功能的應用更友好。硬件平臺方面，國際廠商所提供的服務器平臺在設計、選材的能力方面強于普通廠商，其硬件平臺可靠性有保證，而且對于外圍設備兼容性更好，對潛在的功能擴展有好處。

表1是幾個主要性能評價標準的對比表格，可以看出在整體性能上，高性能服務器平臺具有巨大優勢。

表1 各類平臺性能對比

3 小結

本文首先介紹了硬編碼和軟編碼的定義，并且對常見的軟編碼方案進行了介紹，指出各個方案的特點，隨后進行了對比，指出軟編碼的優勢。在互聯網時代，廣播電視設備不可避免地在向網絡化、IP化過渡，因此對視頻編碼器是否能支持更復雜的網絡功能要求，比如視頻的網絡組播、視頻編碼器的遠程網絡管理，是評價一個編碼器是否合格的重要標準，而且未來的編碼器將集成各種各樣的媒體處理功能，那么對編碼器的整體性能的要求也非常高。當今視頻編碼技術和網絡技術更新的速度在加快，軟編碼必將是未來視頻編碼器的主流。

[1]GB/T 20090.2—2006，信息技術先進音視頻編碼第2部分:視頻[S].2006.

[2]ISO/IEC11496-10:2005(E)，Advanced video coding for generic audiovisual services[S].2005.

[3]張偉民.AVS+標準的主觀圖像質量對比分析[J].電視技術，2013，37(21):9-11.

[4]牛建偉，胡建平，毛士藝.基于DSP和FPGA的視頻編碼器協同設計與算法優化實現[J].航空學報，2005，26(1):90-92.

[5]王應莉.基于ARM+DSP架構的視頻處理系統[D].成都:電子科技大學，2007.

[6]LICCIARDO G，COSTAGLIOLA M.An H.264 encoder for real time video processing designed forSPEAr customizable system-on-chip family[C]//Proc.IEEE International Conference on Signal Processing and Communications(ICSPC).Dubai:IEEE Press，2007:824-827.

[7]蔣驍辰，李國平，王國中，等.基于AVS+實時編碼的多核并行視頻編碼算法[J].電子與信息學報，2014，36(4):810-816.