基于分層細化的Wyner-Ziv視頻解碼算法

楊 佳

(成都信息工程大學通信工程學院,四川 成都 610225)

0 引言

傳統(tǒng)的視頻編碼如H.264/AVC和HEVC采用基于分塊的混合預測視頻編碼方式,在編碼端深度挖掘視頻冗余,以此實現(xiàn)高性能的視頻壓縮。高復雜度編碼和低復雜度解碼的特點使傳統(tǒng)視頻編碼被廣泛應用于廣播和視頻點播等一對多通信架構(gòu)的多媒體傳輸系統(tǒng)當中。然而,在工農(nóng)業(yè)生產(chǎn)監(jiān)測、野外勘探、應急救援等多媒體應用中,數(shù)據(jù)采集節(jié)點往往分散在一個大的區(qū)域內(nèi),采集周邊的多媒體數(shù)據(jù)上傳到服務器端。由于環(huán)境和成本的限制,數(shù)據(jù)采集節(jié)點通常為輕量級終端設(shè)備,有限的計算能力和存儲容量是此類終端設(shè)備的共同特點。與此相反,服務器則具有強大的處理能力和穩(wěn)定的能耗供應。傳統(tǒng)視頻編碼標準由于高復雜度的編碼方式,不能很好地適應此類輕量級終端設(shè)備的低功耗視頻通信需求。在此背景下,以Slepian-Wolf[1]和Wyner-Ziv[2](WZ)定理為指導的分布式視頻編碼(distributed video coding,DVC)通過在解碼端挖掘利用信源相關(guān)性的方式,將繁重的計算負荷從編碼端轉(zhuǎn)移到了解碼端。DVC為輕量級多媒體通信應用提供了一種高效的視頻編碼技術(shù)。盡管如此,與傳統(tǒng)視頻編碼相比,DVC在壓縮性能方面還有待提高。

邊信息和虛擬信道模型是影響DVC壓縮性能的兩大核心因素。邊信息是當前待解碼WZ幀的帶噪估計,邊信息質(zhì)量越高,則能提供更準確的幀間信源相關(guān)性。目前利用已解碼WZ幀信息優(yōu)化邊信息質(zhì)量[3-10]是其主流的研究思想。虛擬信道模型的主要功能是挖掘和統(tǒng)計信源相關(guān)性,特別是邊信息所提供的相關(guān)性信息,計算當前待解碼幀的條件概率,為信道解碼提供軟輸入。軟輸入的準確性決定了信道解碼所需校驗信息的數(shù)量,從而影響DVC的壓縮性能。相比典型的虛擬信道模型——拉普拉斯(laplace)分布[11-15],高階統(tǒng)計模型[16-18]憑借更高效的信源相關(guān)性挖掘性能為DVC壓縮性能的提升開拓了一條新的研究思路。

目前已知先進的高階統(tǒng)計模型和部分邊信息優(yōu)化算法都是以離散小波變換(discrete wavelet transform,DWT)域DVC系統(tǒng)為基本的編解碼框架。與離散余弦變換(discrete cosine transform)相比,離散小波變換DWT可靈活控制DWT分解層數(shù),從而獲得不同分辨率圖像。每一分解層子帶之間,層間父子結(jié)點都具有較強的幀內(nèi)信源相關(guān)性[17],有利于DVC壓縮性能的提升。針對DWT域的DVC系統(tǒng),高階統(tǒng)計模型方面,Qing等[16-17]借鑒了JPEG2000的思想,采用啟發(fā)式方式選擇上下文特征(context features),提出了精細的自適應上下文模型及其改進算法。Yang等[18]利用決策樹充分挖掘和利用幀間和幀內(nèi)信源相關(guān)性,提出了更高效的高階統(tǒng)計模型。針對DWT域DVC的邊信息,Di等[7]將自適應卡爾曼濾波器融入基于塊的運動估計當中獲取光學運動矢量,再通過加權(quán)向量中值濾波器對其細化,從而優(yōu)化邊信息。Fang等[8]則通過融合多種運動估計策略來優(yōu)化超完備DWT中DVC的邊信息質(zhì)量。Liu等[9]充分挖掘小波分解子帶間信源相關(guān)性,利用每一分解層已解碼的低頻子帶信息更新運動矢量場,從而使邊信息質(zhì)量得到更有效的提升。Yang等[10]在文獻[9]的基礎(chǔ)上,通過挖掘高頻子帶已解碼信息,進一步優(yōu)化了邊信息質(zhì)量。

綜上所述,針對DWT域DVC,高階統(tǒng)計模型和邊信息優(yōu)化研究已取得了良好的進展,然而將高階統(tǒng)計模型和邊信息優(yōu)化相融合的WZ解碼算法還鮮有報道。因此,本文提出了基于分層細化的WZ解碼算法,在比特層面上,利用小波多尺度和多分辨率的特性,融合前期虛擬信息模型[18]和邊信息優(yōu)化[10]的研究成果實現(xiàn)DVC壓縮性能的進一步提升。

1 基于邊信息優(yōu)化的DVC系統(tǒng)

DWT小波多尺度和多分辨率的特性有助于挖掘更豐富的幀內(nèi)信源相關(guān)性。文獻[10]針對DWT域DVC,在多分辨率運動細化(multi-resolution motion refinement,MRMR)[9]編碼算法的基礎(chǔ)上,實現(xiàn)了邊信息質(zhì)量的優(yōu)化。基于邊信息優(yōu)化的MRMR-DVC系統(tǒng)[10]如圖1所示。

圖1 基于邊信息優(yōu)化的MRMR-DVC系統(tǒng)

邊信息優(yōu)化的基本思想是,在第n(n=1,2,…,N)小波分解層,首先利用參考幀的低頻子帶LLn(t-1)經(jīng)WZ解碼重建當前待解碼WZ幀的LLn(t),接著進行LLn(t-1)與LLn(t)之間的運動估計,細化第n小波分解層運動矢量場,并生成高頻子帶LHn(t)、HLn(t)、HHn(t)的初始邊信息,然后按照最高比特面(most significant bit-plane,MSB)到最低比特面(last significant bit-plane,LSB)的順序,利用初始邊信息解碼高頻子帶信息,當解碼的比特面包含的當前高頻子帶信息足夠多時,則利用式(1)。

2 基于分層細化的Wyner-Ziv解碼算法

2.1 邊信息優(yōu)化與高階統(tǒng)計模型的融合

邊信息優(yōu)化算法和基于決策樹的高階統(tǒng)計模型都是基于比特層面的,因此,兩者的融合具有結(jié)構(gòu)上的優(yōu)勢。高階統(tǒng)計模型的初始特征集如表1所示,與邊信息相關(guān)的特征有邊信息質(zhì)量分類QCSI和邊信息在比特面Bi(i=1,2,…,M,序號從低到高以次表示MSB到LSB比特面)上的重要性狀態(tài)SSI。SSI按照JPEG2000重要性傳播過程中的方法進行判定,QCSI則由文獻[18]中提出的比特面層面的邊信息質(zhì)量分類BQCSI(bit-plane-level quality classification of side information)算法計算所得。BQCSI基本思想是以當前WZ幀已解碼比特面B={B1,B2,…,Bi-1}與其邊信息之間對應比特面的差異作為WZ幀第i個比特面Bi的邊信息質(zhì)量分類,BQCSI計算如式(2)所示。

表1 高階統(tǒng)計模型初始特征

DBj代表WZ幀與其邊信息在第j個比特面上的差異。當融合高階統(tǒng)計模型和邊信息優(yōu)化算法時,關(guān)鍵步驟是確定在哪個比特面開始啟動邊信息優(yōu)化算法,然后將優(yōu)化的邊信息替換掉初始邊信息,按照高階統(tǒng)計模型中的計算方法,計算得到更新后的QCSI和SSI。

2.2 基于分層細化的Wyner-Ziv解碼

經(jīng)大量測試分析,在解碼得到LSB-2比特面,即BM-2后,利用當前WZ幀已解碼信息帶入式(1)所得結(jié)果能對初始邊信息的質(zhì)量作較精確判斷,因此在解碼LSB-1即BM-1時啟動邊信息優(yōu)化,并按優(yōu)化后的邊信息計算得到更準確的QCSI和SSI。因QCSI和SSI是影響高階統(tǒng)計模型的兩大重要特征,更準確的QCSI和SSI能進一步提高高階統(tǒng)計模型的性能,從而提升DVC壓縮性能。根據(jù)上述分析,在MRMR-DVC基礎(chǔ)上,基于分層細化的WZ解碼算法如圖2所示,過程描述如下:

圖2 基于分層細化的Wyner-Ziv解碼示意圖

(1)設(shè)置n=N,直接將LLn(t-1)作為LLn(t)的邊信息,經(jīng)WZ解碼得到LLn(t);(2)對LLn(t-1)與LLn(t)實施運動估計,更新n分解層運動矢量場;(3)利用更新后的運動矢量場,生成n分解層中HLn(t)、LHn(t)和HHn(t)的初始邊信息;(4)利用初始邊信息,對當前高頻子帶進行WZ逐比特面解碼;(5)在成功解碼LSB-2比特面后,啟動邊信息優(yōu)化算法;(6)從解碼第LSB-1比特面開始,融合高階統(tǒng)計模型和優(yōu)化后的邊信息;(7)HLn(t)、LHn(t)和HHn(t)的WZ解碼成功后,重建3個高頻子帶,n=N時,重建LLn(t)子帶;(8)對LLn(t)、HLn(t)、LHn(t)和HHn(t)實施小波逆變換,重建n-1分解層低頻子帶LLn-1(t);(9)設(shè)置n=n-1,n>0,跳轉(zhuǎn)到步驟(2),開始新一輪解碼,當n=0,解碼完畢。

值得注意的是,步驟(7)采用最小均方誤差(minimum mean square error)[19]逐層重建每一分解層高頻子帶,即能得到質(zhì)量更好的低頻子帶LLn-1(t),通過LLn-1(t-1)與LLn-1(t)之間的運動補償預測,可獲得更細化的運動矢量場,有助于優(yōu)化n-1層高頻子帶邊信息,而優(yōu)化后的邊信息能提升高階統(tǒng)計模型的性能,并且也有利于改善n-1層高頻子帶的重建質(zhì)量。因此,基于分層細化的WZ解碼算法充分利用了小波多尺度和多分辨率的特性,充分挖掘幀內(nèi)和幀間信源相關(guān)性,提升DVC壓縮性能。

3 系統(tǒng)總體率失真性能仿真與結(jié)果分析

為測試算法性能,在MRMR-DVC框架下,將基于本文算法的DVC系統(tǒng)與僅基于決策樹的高階統(tǒng)計模型的DVC系統(tǒng)[18]、基于邊信息優(yōu)化算法的DVC系統(tǒng)[10]以及基于上下文的高階統(tǒng)計模型的 DVC系統(tǒng)[17]進行總體率失真(rate distortion,RD)性能比較。實驗在邊信息運動搜索的初始參數(shù)和信道編碼參數(shù)的設(shè)置方面與文獻[10]保持一致。除選取了CIF格式(352×288)的視頻序列外,為更進一步展示算法性能,還選取了較高分辨率832×480和1280×7203的視頻序列,每個視頻序列100幀進行測試。所選視頻覆蓋了低速、中速和快速視頻運動場景。視頻序列按圖像組(group of pictures,GOP)大小為8進行分組。GOP8表示1個關(guān)鍵幀后緊跟7個 WZ幀。WZ幀采用2∧(QPWZ)的量化步長,量化參數(shù) QPWZ∈{3,4,5,6},關(guān)鍵幀采用HEVC幀內(nèi)編碼(HM16.5版本,profile為main-RExt,僅編碼亮度信息)進行編碼,關(guān)鍵幀量化參數(shù)為{18,22,26,30}。RD性能采用Bj?ntegaard度量方法[20]的BD-PSNR和BD-BR進行評價。

表2以BD-PSNR和BD-BR兩種方式展示了基于本文算法與基于參考文獻算法的MRMR-DVC系統(tǒng)總體RD性能比較結(jié)果。正的BD-PSNR和負的BD-BR數(shù)值表示相較于參考系統(tǒng),本文DVC系統(tǒng)PSNR的提升幅度和碼率的下降幅度。

表2 本文系統(tǒng)與參考系統(tǒng)的總體RD性能比較

表2的測試結(jié)果表明,本文算法性能明顯優(yōu)于參考文獻算法性能。相同碼率下,與文獻[18]、文獻[10]和文獻[17]算法相比,BD-PSNR最高分別能達到0.97 dB(Football序列)、1.19 dB(BQMall序列)和2.38(BQMall序列)。對于運動場景較為劇烈的視頻序列,如Football和BasketballDrill,本文算法也能取得良好的壓縮性能。此種測試結(jié)果主要歸功于結(jié)合了邊信息優(yōu)化算法和高階統(tǒng)計模型兩者的優(yōu)勢。利用小波多尺度和多分辨率的特性能有助于高效挖掘已解碼WZ幀信息,特別是高頻子帶信息促使邊信息優(yōu)化算法和高階統(tǒng)計模型的深度融合。隨著逐層解碼,漸進優(yōu)化的邊信息能提供更精確的信源幀間相關(guān)性,有助于提升高階統(tǒng)計模型的邊信息質(zhì)量分類QCSI和邊信息在比特面Bi上的重要性狀態(tài)SSI兩大特征的準確性,從而提升高階統(tǒng)計模型的性能,得到更準確的信道解碼軟輸入,以此降低校驗碼率,進一步提升DVC壓縮性能。

4 結(jié)論

本文針對MRMR-DVC框架,提出基于分層細化的Wyner-Ziv解碼算法,利用邊信息優(yōu)化算法和高階統(tǒng)計模型在算法作用域?qū)用嫔系囊恢滦?利用小波多尺度和多分辨率的特性,對兩者進行深度融合。以邊信息優(yōu)化作為基礎(chǔ),逐層優(yōu)化高頻子帶初始邊信息,以此提升高階統(tǒng)計模型與邊信息相關(guān)的特征的準確性,從而增強高階統(tǒng)計模型的性能,得到更準確的信道解碼軟輸入,最終達到提升DVC壓縮性能的目的。