改進(jìn)的基于AVS2的樣點(diǎn)自適應(yīng)補(bǔ)償濾波算法

陳智賢 王國(guó)中 趙海武 李國(guó)平 滕國(guó)偉

摘要：樣點(diǎn)自適應(yīng)補(bǔ)償（SAO）是第二代數(shù)字音視頻編解碼標(biāo)準(zhǔn)（AVS2）和高效視頻編碼（HEVC）標(biāo)準(zhǔn)中環(huán)路濾波耗時(shí)較多的一部分。針對(duì)現(xiàn)有自適應(yīng)樣點(diǎn)補(bǔ)償算法計(jì)算量大、復(fù)雜度高等問(wèn)題，提出一種改進(jìn)的快速率失真算法。該算法主要通過(guò)分析各個(gè)邊緣模式下不同補(bǔ)償值的變化與所對(duì)應(yīng)的率失真變化之間的關(guān)系，對(duì)原本定義的補(bǔ)償值與寫(xiě)入碼流的二元符號(hào)串之間的關(guān)系表進(jìn)行修改，在不需要計(jì)算每個(gè)補(bǔ)償值的率失真代價(jià)的情況下，設(shè)定一個(gè)提前終止條件，快速找到當(dāng)前樣值偏移補(bǔ)償單元最優(yōu)的補(bǔ)償值。實(shí)驗(yàn)結(jié)果表明，與AVS2下的計(jì)算結(jié)果相比，在保證圖像率失真基本不變的前提下，改進(jìn)的算法減少了尋找最優(yōu)補(bǔ)償值的計(jì)算量以及75%的循環(huán)次數(shù)和33%的環(huán)路濾波運(yùn)行時(shí)間，從而降低了計(jì)算的復(fù)雜度。

關(guān)鍵詞：第二代數(shù)字音視頻編解碼標(biāo)準(zhǔn)；高效視頻編碼；樣點(diǎn)自適應(yīng)補(bǔ)償；邊緣模式補(bǔ)償值；率失真代價(jià)

中圖分類(lèi)號(hào)：TN919.81 文獻(xiàn)標(biāo)志碼：A

Abstract：Sample Adaptive Offset （SAO） is a timeconsuming part of inloop filter in the second generation of Audio Video coding Standard （AVS2） and High Efficiency Video Coding （HEVC） standard. Aiming at the problem that existing SAO algorithms had large amounts of computation and high complexity， an improved fast ratedistortion algorithm was proposed. In this new method， the original defined table of the offset values and its binary bit string to be written into the code stream were modified by analyzing the relationship between the different offset values of each class in the edge mode and its change of the ratedistortion， so that an early termination condition was set to quickly find the best offset value for the current SAO unit without calculating the ratedistortion cost of each offset. The experimental results show that， compared with the calculation results in AVS2， the proposed algorithm reduces not only the calculation amounts but also the number of cycles by 75% to find the best offset values and the operating time of inloop filter by 33%， which effectively lowers the complexity of the calculation in ensuring the ratedistortion of image barely changed.

Key words：the second generation of Audio Video coding Standard （AVS2）； High Efficiency Video Coding （HEVC）； Sample Adaptive Offset （SAO）； offset values of edge mode； ratedistortion cost

0 引言

由于第二代數(shù)字音視頻編解碼標(biāo)準(zhǔn)（the second generation of Audio Video coding Standard， AVS2）和高效視頻編碼（High Efficiency Video Coding，HEVC）中采用的基于塊的混合編碼框架會(huì)帶來(lái)塊效應(yīng)，即解碼后的重構(gòu)圖像與原始圖像存在差異[1-2]， 因此，除了H.264/AVS原有的去塊效應(yīng)濾波（deblocking filter）外，HEVC/AVS2在編碼過(guò)程中新加入了自適應(yīng)樣點(diǎn)補(bǔ)償濾波（Sample Adaptive Offset，SAO）[3-4]。其中，自適應(yīng)樣點(diǎn)補(bǔ)償在去塊效應(yīng)濾波之后進(jìn)行[5]，其主要作用是為了抑制編碼中由變換量化等造成的振鈴效應(yīng)，從而進(jìn)一步減少重構(gòu)圖像的失真。

本文將對(duì)自適應(yīng)樣點(diǎn)補(bǔ)償濾波算法進(jìn)行詳細(xì)分析，在AVS2的標(biāo)準(zhǔn)下， 總結(jié)原邊緣模式下的率失真算法中補(bǔ)償值與對(duì)應(yīng)碼率代價(jià)之間的關(guān)系，在幾乎不影響圖像率失真代價(jià)的情況下，對(duì)原本定義的補(bǔ)償值與寫(xiě)入碼流的二元符號(hào)串之間的對(duì)應(yīng)表稍作修改，并總結(jié)規(guī)律從而找到一種新的快速率失真算法，有效地降低了計(jì)算邊緣模式下最優(yōu)率失真代價(jià)的復(fù)雜度。

1 自適應(yīng)樣點(diǎn)補(bǔ)償算法分析

1.1 SAO濾波設(shè)計(jì)

樣值偏移補(bǔ)償作為環(huán)路濾波的一部分，由于其主要目的也是為了減少原始圖像與重構(gòu)圖像之間的誤差，因此，SAO的關(guān)鍵思想是降低每個(gè)SAO單元的平均樣本損失。其中SAO單元是由最大編碼單元（Largest Coding Unit，LCU）導(dǎo)出，每個(gè)最大編碼單元的SAO參數(shù)被寫(xiě)入條帶數(shù)據(jù)中。為了能更大程度減少SAO參數(shù)的比特?cái)?shù)，還引入合并模式來(lái)標(biāo)記當(dāng)前最大編碼單元的SAO參數(shù)是否與它的相鄰塊相同。當(dāng)該SAO單元選擇合并模式時(shí)，當(dāng)前塊的SAO參數(shù)不是從碼流中傳入的，而是可以從它的相鄰塊中直接得到的。

在進(jìn)行樣值偏移補(bǔ)償時(shí)，首先把一幀圖像分為若干個(gè)LCU，把每個(gè)LCU作為一個(gè)SAO單元進(jìn)行處理，通過(guò)計(jì)算各個(gè)模式下的率失真代價(jià)，選擇最優(yōu)的模式為該LCU的濾波類(lèi)型[6]。SAO總共分為三種不同的模式：不補(bǔ)償（OFF）、合并模式（Merge）和新補(bǔ)償模式（New）。其中合并模式可分為上合并和左合并，新補(bǔ)償模式又分為邊緣補(bǔ)償模式（Edge Offset，EO）和區(qū)間補(bǔ)償模式（Band Offset，BO）。

1.2 樣本補(bǔ)償處理

為了減少重構(gòu)圖像與原始圖像的差，需要對(duì)每個(gè)LCU進(jìn)行樣本補(bǔ)償處理。其原理是把每個(gè)SAO單元中的樣本根據(jù)不同模式分為不同的多個(gè)類(lèi)，并為每個(gè)類(lèi)獲得一個(gè)補(bǔ)償（offset）的值，然后把屬于這個(gè)類(lèi)中的所有樣本值都加上該offset值。該SAO單元的模式索引以及每個(gè)類(lèi)的offset值會(huì)編寫(xiě)進(jìn)碼流。

1）邊緣補(bǔ)償模式。

為了保持復(fù)雜度與編碼效率之間的平衡，這里把邊緣模式再分為4種不同的方向：水平、垂直、135°對(duì)角線(xiàn)和45°對(duì)角線(xiàn)，如圖1所示。圖中c表示當(dāng)前樣點(diǎn)，a和b表示相鄰樣點(diǎn)。根據(jù)所給的方向，每個(gè)采樣點(diǎn)又可分為5類(lèi)，其分類(lèi)條件及每個(gè)類(lèi)所對(duì)應(yīng)的補(bǔ)償值的取值范圍如表1所示[7]。把當(dāng)前LCU中的每個(gè)樣本值與其相鄰的兩個(gè)樣本值作比較得到其所屬的類(lèi)，并加上對(duì)應(yīng)的offset值，其中第0類(lèi)不需要進(jìn)行補(bǔ)償操作。

從表1可看出，由于第1類(lèi)和第2類(lèi)對(duì)應(yīng)的樣點(diǎn)值小于等于相鄰點(diǎn)的樣本值，因此采用的補(bǔ)償值大多屬于正數(shù)范圍，第3和第4類(lèi)則相反。對(duì)于每個(gè)類(lèi)，在編碼時(shí)需要計(jì)算得到最優(yōu)的率失真所對(duì)應(yīng)的offset的值，然后寫(xiě)入碼流傳到解碼端。

2）區(qū)間補(bǔ)償模式。

在每個(gè)LCU中，對(duì)同一區(qū)間的所有像素對(duì)應(yīng)的樣本值采用同一補(bǔ)償值。如果每個(gè)采樣點(diǎn)的樣本值在0到255之間，則把整個(gè)樣本值劃分為32個(gè)區(qū)間，每個(gè)區(qū)間的寬度為8，并對(duì)應(yīng)不同的offset值[8]，每個(gè)offset的值在編碼端通過(guò)計(jì)算率失真代價(jià)獲得。在AVS2標(biāo)準(zhǔn)中，每個(gè)LCU只選擇4個(gè)補(bǔ)償值較大的區(qū)間進(jìn)行補(bǔ)償，其中兩兩相連， 因此當(dāng)選擇區(qū)間模式時(shí)，只需把兩個(gè)區(qū)間的起始位置及對(duì)應(yīng)的4個(gè)offset的值（取值范圍為[-7， 7]）傳到解碼端。

1.3 率失真代價(jià)計(jì)算

從以上對(duì)每個(gè)不同模式下的補(bǔ)償操作的分析可以看出，無(wú)論是邊緣模式還是區(qū)間模式都需要為每個(gè)類(lèi)選擇一個(gè)對(duì)應(yīng)的offset的值。在AVS2中，是通過(guò)一種快速率失真算法，估算出范圍內(nèi)每個(gè)offset所對(duì)應(yīng)的率失真代價(jià)，并選擇最小的為該類(lèi)的補(bǔ)償值。這里使用的比特?cái)?shù)并不是把offset的值真正寫(xiě)入碼流而獲得的，因此可以省去算數(shù)編碼的時(shí)間，其offset值與估計(jì)的比特?cái)?shù)如表2和表3所示[9]。這種算法的優(yōu)點(diǎn)在于能比較精確地估計(jì)出最優(yōu)的率失真代價(jià)所對(duì)應(yīng)的補(bǔ)償值，然而，圖像由多個(gè)LCU組成，每個(gè)LCU需要分為亮度和色度三個(gè)分量分別計(jì)算，每個(gè)分量對(duì)應(yīng)4種不同的邊緣模式，而每種邊緣模式又分為5類(lèi)（其中有4類(lèi)需要計(jì)算offset），這4類(lèi)offset的值總共有18個(gè)，如果一一計(jì)算其對(duì)應(yīng)的率失真代價(jià)，需要循環(huán)次數(shù)較多，而且由于原本定義的補(bǔ)償值與比特率之間的對(duì)應(yīng)關(guān)系沒(méi)有規(guī)律，所以在計(jì)算碼率代價(jià)時(shí)還需通過(guò)查表獲得，增加了計(jì)算量和計(jì)算的復(fù)雜度。

2 改進(jìn)的快速率失真算法

本文對(duì)計(jì)算率失真代價(jià)的公式進(jìn)行分析，在上述快速率失真算法的基礎(chǔ)上進(jìn)一步改進(jìn)，并且為了統(tǒng)一offset值的變化與比特?cái)?shù)變化的對(duì)應(yīng)關(guān)系，修改原本定義的第1和第4類(lèi)邊緣補(bǔ)償offset值與寫(xiě)入碼流的二元符號(hào)串之間的對(duì)應(yīng)表，修改后如表4所示。在初步算得一個(gè)offset值以后，不需要一一計(jì)算率失真代價(jià)的公式，只需通過(guò)計(jì)算offset值的變化引起的圖像質(zhì)量的損失和碼率代價(jià)之間的大小關(guān)系，得到一個(gè)提前終止的條件，從而減少了循環(huán)的次數(shù)和計(jì)算率失真代價(jià)的時(shí)間，有效地降低了計(jì)算的復(fù)雜度。

2.1.2 特殊情況分析

觀察表4，同樣以第1類(lèi)邊緣補(bǔ)償模式為例，可以看出，當(dāng)計(jì)算得到的最初offset值為6時(shí)，其比特率的變化并不滿(mǎn)足offset為-1～5時(shí)的變化規(guī)律，因此需要分開(kāi)進(jìn)行討論。由于當(dāng)offset的值為-1～5時(shí)，仍然滿(mǎn)足變化規(guī)律，這里只需將用上述快速率失真算法在-1～5時(shí)選出的最優(yōu)offset值與offset=6時(shí)的率失真代價(jià)進(jìn)行比較，得到一個(gè)較優(yōu)的offset值作為該模式下的最終補(bǔ)償值。另外，把表中offset=6和offset=5的情況進(jìn)行比較，可以容易得出，當(dāng)算得的最初offset值為6時(shí)，其率失真代價(jià)必定優(yōu)于offset=5。

2.2 算法流程

首先，把當(dāng)前最大編碼塊各個(gè)模式下統(tǒng)計(jì)得到的N和E代入式（2）。然后，把該值四舍五入到整數(shù)并歸到表1中的不同類(lèi)的取值范圍內(nèi)計(jì)算得到z，如果N等于0，則z等于0，令初始o(jì)ffset=z。最后，根據(jù)不同的類(lèi)，循環(huán)算得最優(yōu)的offset值，其具體過(guò)程如圖2所示。

1）第2類(lèi)和第3類(lèi)。由表2可以看出，這兩類(lèi)不同的offset值所對(duì)應(yīng)的碼率代價(jià)是相同的，即g（[x]）相同，因此，無(wú)需循環(huán)計(jì)算，初始的offset值即為最優(yōu)值。

2）第1類(lèi)。若z=-1，則無(wú)需循環(huán)，直接得到最終的offset=-1。若z=6，見(jiàn)2.1.2節(jié)；否則，讓補(bǔ)償值x從z到-1范圍內(nèi)循環(huán)。判斷式（3）是否成立：若成立，則提前終止循環(huán)，得到最優(yōu)的offset=x；否則得到最終offset=-1。

3）第4類(lèi)。若z=1，則無(wú)需循環(huán)，直接得到最終的offset=1。若z=-6，見(jiàn)2.1.2節(jié)；否則，讓補(bǔ)償值x從z到1范圍內(nèi)循環(huán)。判斷式（4）是否成立：若成立，則提前終止循環(huán)，得到最優(yōu)的offset=x；否則得到最終offset=1。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)平臺(tái)與參數(shù)配置

本文基于AVS2P2的參考軟件RD11.1，所使用的開(kāi)發(fā)環(huán)境為VS 2013。實(shí)驗(yàn)所用平臺(tái)配置為：Intel Celeron CPU N2920 1.86GHz，內(nèi)存為4GB，操作系統(tǒng)為Windows 8.1。本次實(shí)驗(yàn)中采用了4種不同分辨率的視頻序列來(lái)測(cè)試改進(jìn)算法的性能，每個(gè)視頻序列的分辨率與配置參數(shù)如表5所示。

3.2 實(shí)驗(yàn)結(jié)果與性能分析

表6是4種不同分辨率的測(cè)試序列在RA（Random Access）編碼模式下，打開(kāi)SAO并且關(guān)閉自適應(yīng)環(huán)路濾波（Adaptive Loop Filter，ALF）的情況下獲得的碼率和PSNR的對(duì)比。從表中數(shù)據(jù)可以看出，改進(jìn)的算法相比原算法，在圖像亮度分量（ΔPSNR_Y）的質(zhì)量上平均有0.01的損失，在色度分量U（ΔPSNR_U）和V（ΔPSNR_V）的質(zhì)量上分別有0.02和0.01的損失，在碼率上有0.77%的增益。這是由于本算法改變了某些offset值與寫(xiě)入碼流的二元符號(hào)串之間的對(duì)應(yīng)關(guān)系，但從實(shí)驗(yàn)結(jié)果看，對(duì)整體的編碼性能造成的影響可忽略不計(jì)。

表7為上述實(shí)驗(yàn)條件下統(tǒng)計(jì)的原算法與改進(jìn)后算法在邊緣模式下計(jì)算補(bǔ)償值的循環(huán)次數(shù)比較，從實(shí)驗(yàn)數(shù)據(jù)中可以看出，無(wú)論對(duì)于多少分辨率的視頻序列，改進(jìn)后的算法比原算法的循環(huán)次數(shù)平均減少了75.4%，且就環(huán)路濾波的運(yùn)行時(shí)間平均減少了約33%。不僅如此，原算法需要把當(dāng)前offset值帶入式（1）（二階）并且查表2和表3獲得對(duì)應(yīng)的比特率，從而計(jì)算得到率失真代價(jià)。而本文算法除了2.1.2節(jié)的特殊情況外，大部分的值只需通過(guò)循環(huán)計(jì)算判斷式（3）和（4）（一階）就可得到最優(yōu)的offset值，大大降低了計(jì)算的復(fù)雜度，提高了編碼器的效率。

4 結(jié)語(yǔ)

本文在分析AVS2視頻編碼標(biāo)準(zhǔn)中自適應(yīng)樣點(diǎn)補(bǔ)償?shù)目焖俾适д嫠惴ǖ幕A(chǔ)上，在初步得到一個(gè)補(bǔ)償值后，通過(guò)比較offset值的變化引起的圖像質(zhì)量的損失和碼率代價(jià)之間的大小關(guān)系，得到一個(gè)提前終止的條件，并在不需要計(jì)算每個(gè)offset值的率失真代價(jià)的同時(shí)獲得該模式下最優(yōu)的補(bǔ)償值。實(shí)驗(yàn)表明，改進(jìn)后的率失真算法大大減少了循環(huán)的次數(shù)和計(jì)算率失真代價(jià)的時(shí)間，在幾乎不影響圖像率失真性能的同時(shí)有效地降低了計(jì)算的復(fù)雜度，有利于本算法的實(shí)時(shí)應(yīng)用。

參考文獻(xiàn)：

[1]HE Z， YU L， ZHENG X， et al. Framework of AVS2video coding[C]// Proceedings of the 2013 20th IEEE International Conference on Image Processing. Piscataway， NJ： IEEE， 2013： 1515-1519.

[2]蔡曉霞， 崔巖松， 鄧中亮， 等. 下一代視頻編碼標(biāo)準(zhǔn)關(guān)鍵技術(shù)[J].電視技術(shù)， 2012， 36（2）：80-84.（CAI X X， CUI Y S， DENG Z L， et al. Model of nextgeneration video standard and relative key technologies [J]. Video Engineering， 2012， 36（2）：80-84.）

[3]黃鐵軍， 高文， 王國(guó)中.數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)AVS發(fā)展歷程與應(yīng)用前景[J].上海大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2013， 19（3）： 221-224.（HUANG T J， GAO W， WANG G Z. Development history and application prospect of AVS digital audio and video coding and decoding standard [J]. Journal of Shanghai University（Natural Science Edition）， 2013， 19（3）： 221-224.）

[4]馬思偉.AVS視頻編碼標(biāo)準(zhǔn)技術(shù)回顧及最新進(jìn)展[J].計(jì)算機(jī)研究與發(fā)展， 2015， 52（1）：27-37.（MA S W. History and recent developments of AVS video coding standards[J]. Journal of computer Research and Development， 2015， 52（1）： 27-37.）

[5]NORKIN A， BJNTEGAARD G， FULDSETH A. HEVC deblocking filter[J]. IEEE Transactions on Circuits and Systems for Video Technology， 2012， 22（12）：1746-1754.

[6]FU CM， ALSHINA E， ALSHIN A， et al. Sample adaptive offset in the HEVC standard[J]. IEEE Transactions on Circuits and Systems for Video Technology， 2012， 22（12）：1755-1763.

[7]PIAO Y， LEE S， KIM C， et al. Sample adaptive offset for AVS2[C]// Proceedings of the 46th AVS Conference. [S.l.]： Samsung Electronics， 2013： 2-3.

[8]MAANI E， NAKAGAMI O. Flexible band offset mode in SAO： JCTVCH0406[R]. San Jose， CA： Joint Collaborative Team on Video Coding， 2012： 1-10.

[9]AVS工作組.GB/T信息技術(shù)高效多媒體編碼第2部分：視頻（征求意見(jiàn)稿）[S]. 北京：全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)（SAC/TC 28）， 2015.（Work group of audio video coding standard. Information technology — advanced media coding， part 2： video [S]. Beijing： China National Information Technology Standardizaton Network （SAC/TC 28）， 2015.）

[10]唐華敏， 杜建超， 王慶雷. 視頻編碼標(biāo)準(zhǔn)HEVC中的環(huán)路濾波技術(shù)分析[J].電視技術(shù)， 2014， 38（11）：1-4.（TANG H M， DU J C， WANG Q L. Analysis of inloop filter technique in video coding standard HEVC [J]. Video Engineering， 2014， 38（11）：1-4.）

[11]MINEZAWA A， SUGIMOTO K， SEKIGUCHI S. Improved edge offset coding for SAO： JCTVCI0066[R]. Geneva， CH： Joint Collaborative Team on Video Coding， 2012.

[12]FU C M， CHEN C Y， HUANG Y W. Sample adaptive offset for HEVC[C]// Proceedings of the 2011 IEEE 13th International Workshop on Multimedia Signal Processing. Piscataway， NJ： IEEE， 2011： 1-5.