基于時(shí)域相關(guān)性的背景建模算法

李 豪 滕國(guó)偉

(上海大學(xué)通信與信息工程學(xué)院 上海 200444)

0 引 言

近年來(lái)，隨著科技的發(fā)展，人民生活水平日益提高，越來(lái)越多的人將精力放在享受生活中。為保障人們的生命財(cái)產(chǎn)安全，監(jiān)控設(shè)施成為了公共場(chǎng)合不可或缺的必需品。在如今大數(shù)據(jù)時(shí)代，視頻數(shù)據(jù)存儲(chǔ)量出現(xiàn)爆炸式的增長(zhǎng)，視頻監(jiān)控?cái)z像機(jī)從早期的10萬(wàn)像素到現(xiàn)在的200萬(wàn)、500萬(wàn)像素，如何妥善存儲(chǔ)視頻成為至關(guān)重要的問(wèn)題。

監(jiān)控視頻相較于普通視頻有一個(gè)很明顯的區(qū)別，即大多數(shù)監(jiān)控視頻的背景是幾乎不變的，或者說(shuō)變化極其緩慢，因此監(jiān)控視頻存在很大的背景冗余。我們可以利用這一特點(diǎn)，對(duì)監(jiān)控視頻進(jìn)行編碼時(shí)添加背景編碼，后續(xù)圖像在編碼時(shí)候參考背景幀，可以在編碼背景區(qū)域節(jié)省比特?cái)?shù)，從而提高視頻編碼效率。

現(xiàn)有的背景建模技術(shù)有很多[1-4]，最早提出背景建模時(shí)，有人提出單純地挑選一幀作為背景圖像被后續(xù)編碼參考，這種做法隨機(jī)性太強(qiáng)，而且很難出現(xiàn)一幀純粹都是背景沒(méi)有前景的圖像。后來(lái)提出選擇一定數(shù)量的圖像作為訓(xùn)練集，對(duì)訓(xùn)練集內(nèi)圖像取均值來(lái)得到背景圖像，相比之前的方法，該方法背景圖像有一定程度提高，但是由于前景的存在，求均值后會(huì)出現(xiàn)鬼影，不利于后續(xù)的參考。目前，背景建模的模型有很多種，大體上可分為兩類：參數(shù)模型和非參數(shù)模型。參數(shù)模型典型的代表有均值背景模型、單高斯模型、混合高斯模型[1]等，建模所得的背景效果也逐步提高，從均值建模所得背景中含有“鬼影”到混合高斯模型生成比較純凈的背景，進(jìn)一步提高了編碼效率。非參數(shù)背景建模模型有貝葉斯模型、均值漂移[5]、核密度估計(jì)[3]等，相比于參數(shù)模型，非參數(shù)模型不需要指定潛在的模型，不需要明確的估計(jì)參數(shù)，所以它們能應(yīng)對(duì)任何數(shù)據(jù)分布未知的情況。但是，非參數(shù)化模型在時(shí)間和空間復(fù)雜度上不如參數(shù)化模型那么有效，計(jì)算復(fù)雜度成為了它的主要缺陷。之后出現(xiàn)了快速高斯變換[6]、新ball-tree算法[7]、核密度估計(jì)和K近鄰(KNN)分類等多種算法來(lái)提高非參數(shù)化模型的速度。

盡管現(xiàn)有的背景建模算法已有許多，但是受到系統(tǒng)和硬件的限制，用于背景生成的內(nèi)存不會(huì)太大，而且考慮到建模的速度和質(zhì)量，滿足視頻編解碼需求的算法卻很少。Zhang[8]提出的低復(fù)雜度高性能算法獲得的背景相對(duì)純凈，但是在編碼時(shí)候需要額外高質(zhì)量編碼背景幀，這造成了編碼背景圖像時(shí)出現(xiàn)碼率激增，影響編碼性能。因此，考慮采用已編碼的圖像訓(xùn)練生成背景來(lái)避免單獨(dú)編碼背景圖像導(dǎo)致的碼流激增的出現(xiàn)。文獻(xiàn)[9]和文獻(xiàn)[10]中，提出在已編碼圖像中選擇靜態(tài)區(qū)域多的圖像直接作為背景圖像，文獻(xiàn)[10]提出通過(guò)比較位移誤差方差來(lái)選擇最佳背景圖像，但是用于運(yùn)動(dòng)補(bǔ)償?shù)奈灰剖噶看嬖诓粶?zhǔn)確性，最終選擇的背景圖像準(zhǔn)確性不高。而已編碼圖像中，不含有前景的純粹背景圖像是幾乎不存在的，所以上述兩種方法可行性不高。Chen[11]在2017年提出的BCBR算法中提出了基于塊更新的背景編碼模式，而且獲得的背景塊可供實(shí)時(shí)參考，為背景編碼技術(shù)的發(fā)展做出了重大貢獻(xiàn)。

然而，現(xiàn)有的背景建模算法依舊存在著以下問(wèn)題：(1) 訓(xùn)練生成完整背景圖像后單獨(dú)編碼，會(huì)造成碼率激增問(wèn)題。(2) 視頻序列中前景的時(shí)域相關(guān)性很強(qiáng)，對(duì)生成純凈的背景圖像有很強(qiáng)干擾。(3) 生成高質(zhì)量背景圖像所需建模時(shí)間較長(zhǎng)。為了解決上述問(wèn)題，本文提出基于時(shí)域相關(guān)性的背景建模算法。其中，LDBCBR算法引入幀差I(lǐng)BBS來(lái)削弱前景的時(shí)域相關(guān)性，同時(shí)使用BCBR生成背景圖像作為臨時(shí)背景參考幀，當(dāng)BCBR和LDBCBR在相同位置都生成背景塊時(shí)，將兩者生成的背景塊進(jìn)行二次建模獲得最終的背景圖像。

1 算法框圖和概述

眾所周知，監(jiān)控、會(huì)議視頻的攝像機(jī)幾乎是靜止不動(dòng)的，純凈的背景圖像可以有效地提高編碼此類視頻的效率。為了避免單獨(dú)編碼背景圖像帶來(lái)的碼率激增問(wèn)題，削弱前景時(shí)域相關(guān)性對(duì)背景建模的干擾，在此提出基于時(shí)域相關(guān)性的背景建模算法。圖1是該算法的框圖，主要可以分為以下幾點(diǎn)：

(1) 臨時(shí)背景塊的生成：不僅監(jiān)控、會(huì)議視頻的背景圖像存在很強(qiáng)的時(shí)域和空域相關(guān)性，而且前景也存在強(qiáng)烈的時(shí)域相關(guān)性。降低前景時(shí)域相關(guān)性能得到更純凈的背景圖像，所以本文提出LDBCBR算法，該算法在BCBR算法的基礎(chǔ)上引入幀差I(lǐng)BBS來(lái)降低前景的時(shí)域相關(guān)性，IBBS代表背景塊搜索間隔。其中背景塊的篩選條件參照BCBR算法，引入幀差I(lǐng)BBS之后像素的高斯模型的均值方差的計(jì)算如下式所示：

(1)

(2) 二次背景建模：LDBCBR算法能生成更純凈的背景圖像，但建模所需時(shí)間也相應(yīng)增長(zhǎng)，BCBR算法建模速度相對(duì)更快，但生成的背景圖像質(zhì)量不高。因此，我們將LDBCBR和BCBR結(jié)合使用，把BCBR建模生成的背景圖像作為臨時(shí)背景參考幀，當(dāng)BCBR和LDBCBR在相同位置都生成背景塊時(shí)，將兩者生成的背景塊進(jìn)行二次建模獲得最終的背景圖像。

圖1 基于時(shí)域相關(guān)性的背景建模算法框圖

2 基于時(shí)域相關(guān)性的背景建模算法

為了提高監(jiān)控類視頻的編碼效率，在此提出基于時(shí)域相關(guān)性的背景建模算法。該算法削弱前景的時(shí)域相關(guān)性。由于LDBCBR削弱前景的時(shí)域相關(guān)性，導(dǎo)致建模時(shí)間增長(zhǎng)，而B(niǎo)CBR算法相比于LDBCBR能更快地生成背景圖像，因此本文將把LDBCBR和BCBR結(jié)合使用，使用BCBR算法生成臨時(shí)背景圖像供后續(xù)圖像編碼參考，同時(shí)使用LDBCBR算法削弱前景時(shí)域相關(guān)性進(jìn)行背景建模，將兩者結(jié)合解決了BCBR算法建模生成的背景質(zhì)量不高和LDBCBR建模時(shí)間長(zhǎng)的問(wèn)題。當(dāng)BCBR和LDBCBR在相同位置都生成背景塊時(shí)，將兩者生成的背景塊進(jìn)行二次建模獲得最終的背景圖像。

LDBCBR算法引入幀差I(lǐng)BBS加大背景時(shí)域搜索的間隔。對(duì)于前景出現(xiàn)頻繁的編碼塊，IBBS越小，前景時(shí)域相關(guān)性越高，背景建模干擾性越高；隨著IBBS的增加，前景時(shí)域相關(guān)性減小，相同時(shí)間內(nèi)背景搜索的次數(shù)減小，背景建模所需時(shí)間增長(zhǎng)。由此可以推測(cè)，當(dāng)IBBS從0開(kāi)始逐漸增加，前景時(shí)域相關(guān)性逐漸降低，編碼效率逐漸提升，當(dāng)IBBS增大到特定值時(shí)，編碼效率提升達(dá)到最大；隨著IBBS繼續(xù)增大，圖像的時(shí)域相關(guān)性變化越來(lái)越小，但相同時(shí)間內(nèi)背景搜索的次數(shù)持續(xù)減小，導(dǎo)致生成純凈背景的時(shí)間持續(xù)增長(zhǎng)，最終編碼效率下降。下面通過(guò)實(shí)驗(yàn)驗(yàn)證不同IBBS值對(duì)編碼性能的影響，實(shí)驗(yàn)所用測(cè)試序列為AVS工作組標(biāo)準(zhǔn)測(cè)試序列。

在視頻編解碼領(lǐng)域，通常用bitrate和PSNR來(lái)衡量編碼性能，BD-Rate把兩者綜合起來(lái)作為一個(gè)衡量指標(biāo)，其中BD-Rate值為負(fù)代表性能提升。由于前景運(yùn)動(dòng)情況不同，建模后性能增益也不同。圖2所示為本文算法和BCBR算法對(duì)比的IBBS-BD-Rate曲線圖，其中BD-Rate為測(cè)試序列的平均BD-Rate。

圖2 IBBS-BD-Rate編碼性能曲線圖

圖中橫坐標(biāo)為背景時(shí)域搜索的間隔IBBS，縱坐標(biāo)為BD-Rate，散點(diǎn)代表當(dāng)前IBBS值所對(duì)應(yīng)的平均BD-Rate，可以看到IBBS從3遞增到18的過(guò)程中，總體上BD-Rate隨著IBBS的增大先減小，當(dāng)IBBS增大至某一特定值時(shí)，BD-Rate達(dá)到最低值，之后IBBS繼續(xù)增加時(shí)BD-Rate又逐漸增大。Fitted curve為擬合出來(lái)的IBBS-BD-Rate曲線，通過(guò)擬合公式可以計(jì)算得到當(dāng)IBBS為11時(shí)，BD-Rate取得最低值，此時(shí)編碼效率提升最大。

當(dāng)BCBR和LDBCBR在相同位置都搜索到背景塊時(shí)，把搜索到的背景塊作為輸入圖像進(jìn)行二次建模來(lái)進(jìn)一步削弱由于抖動(dòng)、重影、前景不規(guī)則運(yùn)動(dòng)對(duì)背景建模的影響。δ代表當(dāng)前臨時(shí)背景塊pbi,j和LDBCBR篩選出的ldi,j之間的偏差，可以用式(2)計(jì)算得到，difnum的計(jì)算如式(3)所示：

(2)

(3)

式中：MAXCU=64為CU的最大尺寸，i和j為一個(gè)CTU中的橫縱坐標(biāo)，遍歷pbi,j和ldi,j像素差，計(jì)算兩者的偏差，若δ<1%，則認(rèn)為兩個(gè)背景塊差異極小，將pbi,j作為當(dāng)前純凈背景塊被長(zhǎng)期參考；否則，判定兩個(gè)塊差異較大，ldi,j將作為臨時(shí)背景參考?jí)K，繼續(xù)建模搜索。

3 實(shí)驗(yàn)結(jié)果

這里我們對(duì)本文提出的算法和AVS2基準(zhǔn)檔次以及最近提出的BCBR算法進(jìn)行實(shí)驗(yàn)對(duì)比，實(shí)驗(yàn)在AVS2參考代碼RD19.2上進(jìn)行測(cè)試。

3.1 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證本文所提算法的編碼性能，將其與BCBR算法和AVS2基準(zhǔn)檔次進(jìn)行比較，把AVS2測(cè)試模型RD19.2作為基本實(shí)驗(yàn)平臺(tái)，本文所有實(shí)驗(yàn)均在通用測(cè)試條件的低延遲配置(LDP)中測(cè)試。

表1是實(shí)驗(yàn)采用的測(cè)試序列，這些序列都是AVS2工作組的標(biāo)準(zhǔn)測(cè)試序列。由于本文提出的算法是針對(duì)長(zhǎng)時(shí)間背景序列作出的改進(jìn)，所以選取的是幀數(shù)較長(zhǎng)的監(jiān)控測(cè)試序列。另外，我們用BD-Rate[12]來(lái)衡量編碼器性能，以此來(lái)判斷背景建模算法性能。

表1 測(cè)試序列

3.2 實(shí)驗(yàn)設(shè)置

(1) 重建背景對(duì)比 圖3是Overbridge視頻的原始圖像，圖4為建模生成的背景圖像。其中圖4(a)、(c)為本文提出的算法生成的背景，(b)、(d)為BCBR算法生成的背景。對(duì)比圖4(a)、(b)可以發(fā)現(xiàn)，圖4(b)中一名男子被誤判為背景留在背景幀中，而圖4(a)則是純凈的背景圖像。圖4(c)、(d)是Crossroad序列建模生成的背景圖像，可以看到圖4(d)中有較多人影殘留在背景圖像中，并且有一名男子被誤判為背景存留在背景圖像中，而圖4(c)僅有些許人影殘留，對(duì)比發(fā)現(xiàn)本文所提算法生成的背景質(zhì)量相比于BCBR算法有很大提高。

圖3 PKU_overbridge原始視頻

(a) (b)

(c) (d)圖4 重建背景圖像對(duì)比

(2) R-D性能分析 表2是本文算法與BCBR算法對(duì)比的實(shí)驗(yàn)結(jié)果，表3和表4是BCBR算法和本文算法分別與基準(zhǔn)的實(shí)驗(yàn)對(duì)比。其中Overbridge背景變化較少，前景移動(dòng)相對(duì)較少，所以編碼效率提升最大，而Office和Crossroad前景移動(dòng)頻繁且背景變化相對(duì)較大，總體編碼性能提升不大。但與BCBR算法相比，由于Campus、Office和Overbridge的前景時(shí)域相關(guān)性較強(qiáng)，采用本文算法降低了前景的時(shí)域相關(guān)性，提升了背景圖像質(zhì)量，最終算法性能提升較大。綜合來(lái)說(shuō)，本文算法與BCBR算法相比，在Y、U、V分量上平均BD-Rate收益達(dá)到3.12%、13.21%和11.26%，平均BD-PSNR提高0.05 dB，與基準(zhǔn)檔對(duì)比BD-Rate和BD-PSNR收益達(dá)到25.70%和0.79 dB，編碼性能表現(xiàn)都優(yōu)于BCBR算法。

表2 本文算法與BCBR算法性能對(duì)比

表3 BCBR算法與RD19.2基準(zhǔn)性能對(duì)比

表4 本文算法與RD19.2基準(zhǔn)性能對(duì)比

圖5為實(shí)驗(yàn)測(cè)試序列對(duì)應(yīng)的RD曲線，從圖中可以看到本文算法與基準(zhǔn)相比，在相同碼率情況采用本文算法編碼的圖像PSNR更高，在相同PSNR情況下本文算法所需碼率更少。由此可見(jiàn)本文算法在監(jiān)控序列編碼的表現(xiàn)優(yōu)于BCBR算法和基準(zhǔn)檔次。

(a)

(b)

(c)

(d)圖5 測(cè)試監(jiān)控序列的RD曲線

4 結(jié) 語(yǔ)

本文提出了一種基于時(shí)域相關(guān)性的背景建模算法，該算法對(duì)BCBR算法作出改進(jìn)，采用BCBR算法和LDBCBR算法同時(shí)建模，并將建模所得背景圖像作為輸入圖像二次建模。LDBCBR算法使用幀差I(lǐng)BBS減小前景的時(shí)域相關(guān)性，再通過(guò)二次建模進(jìn)一步削弱了前景對(duì)背景圖像的干擾，獲得更純凈的背景圖像。最后通過(guò)實(shí)驗(yàn)驗(yàn)證，本文所提算法相比于BCBR算法，BD-Rate(Y)增益為3.12%，BD-PSNR提升0.12 dB，相比于基準(zhǔn)檔次，本文算法的BD-Rate(Y)增益為25.7%，BD-PSNR提升0.79 dB，有顯著提升。

本文提出的算法主要針對(duì)監(jiān)控視頻等攝像機(jī)長(zhǎng)期固定的視頻，對(duì)于此類序列有很好的編碼提升，但是對(duì)于移動(dòng)的視頻序列，目前還沒(méi)有很好的解決辦法。未來(lái)考慮將基于塊更新的背景建模適用于更多更復(fù)雜的場(chǎng)景中。