基于Mask R-CNN的監(jiān)控視頻碼率控制研究

丁冬冬，陳世平

(上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

0 引言

隨著數(shù)字化時(shí)代的到來(lái)，監(jiān)控視頻的存儲(chǔ)與傳輸數(shù)據(jù)量越來(lái)越大，無(wú)壓縮的視頻將會(huì)消耗巨大的帶寬和存儲(chǔ)資源，而高效的視頻編碼算法可以解決視頻壓縮問題，碼率控制是視頻編碼中非常重要的技術(shù)模塊。現(xiàn)主流的編碼標(biāo)準(zhǔn)有VP9[1]，AVC（H.264）[2]，HEVC（H.265）[3]和AV1[4]等系列，均可以對(duì)視頻進(jìn)行壓縮編碼，但是沒有考慮到監(jiān)控視頻的特殊性[5]，大多數(shù)固定攝像頭安裝后場(chǎng)景基本不變，我們稱固定不變的背景為后景，移動(dòng)的人或者物稱為前景，就監(jiān)控視頻而言，前景一般為感興趣區(qū)域（ROI）[6]。

近些年來(lái)深度學(xué)習(xí)在很多領(lǐng)域都取得了突破性成果，本文基于兩階段Mask R-CNN 實(shí)例分割算法，將監(jiān)控視頻中的前后景進(jìn)行分離，計(jì)算出前后景占比，為后續(xù)碼率控制模型改進(jìn)做準(zhǔn)備。

對(duì)于監(jiān)控視頻的碼率控制，本文所提算法降低了視頻平均比特率且提高了前景比例高的幀數(shù)圖像的質(zhì)量，視頻比特率平均降低7.59kbps，PSNR 平均提升0.1141dB。

1 HEVC碼率控制模型

HEVC采用R-λ碼率控制模型[7]：

其中，R 為編碼碼率，一般使用每像素比特?cái)?shù)bpp 來(lái)表示，D 為失真，一般使用亮度分量的均方誤差MSE，c和k為常數(shù)。

R-λ碼率控制模型中的λ是RD曲線的斜率，所以對(duì)式⑴中R兩邊求導(dǎo)：

其中，α=ck，β=-k-1，α 和β 為編碼參數(shù)，一般和視頻序列的內(nèi)容有關(guān)。

HEVC碼率控制通常分為兩個(gè)步驟：

1.1 比特率分配

一般分為三個(gè)等級(jí)，分別為畫面組（GOP）級(jí)比特分配、幀（Frame）級(jí)比特分配、最大編碼單元（LCU）級(jí)比特分配。

一開始先定義視頻序列平均每幀的比特?cái)?shù)：

其中，為視頻序列平均每幀的比特?cái)?shù)，Rtg為目標(biāo)比特，F(xiàn)rRate為幀率。

1.1.1 GOP級(jí)比特分配

視頻在編碼前被劃分為多個(gè)連續(xù)的GOP，其中分配給GOP的目標(biāo)比特?cái)?shù)TGOP為[8]：

其中，為分配給Frame 的平均比特?cái)?shù)，NGOP為一個(gè)GOP所包含的圖像數(shù).。

1.1.2 Frame級(jí)比特分配

對(duì)于每一個(gè)GOP 中，又由多幀圖像組成，分配給每幀圖像的目標(biāo)比特?cái)?shù)TPic為：

其中，TGOP為分配給GOP 的目標(biāo)比特?cái)?shù)，RGOPCoded為當(dāng)前GOP 已消耗比特?cái)?shù)，ωPic為當(dāng)前GOP 中每一幀圖像比特分配權(quán)重，ωPicCurr為當(dāng)前幀圖像的比特分配權(quán)重。

1.1.3 LCU級(jí)比特分配

對(duì)于每一幅圖像，HEVC會(huì)將其劃分為多個(gè)最大編碼單元為L(zhǎng)CU，分配給每個(gè)LCU的目標(biāo)比特?cái)?shù)TLCU為：

其中，TPic為分配給Frame的目標(biāo)比特?cái)?shù)，BitH為所有頭信息編碼所需比特?cái)?shù)，RPicCoded為當(dāng)前Frame 已消耗比特?cái)?shù)。

1.2 碼率控制

計(jì)算拉格朗日乘數(shù)λ和量化參數(shù)QP。

1.2.1 拉格朗日乘數(shù)λ的計(jì)算

根據(jù)式⑵，利用R 來(lái)計(jì)算拉格朗日乘數(shù)λ，式⑵中α 和β 為編碼參數(shù)，一般和視頻序列的內(nèi)容有關(guān)，所以這里每一個(gè)Frame和LCU對(duì)應(yīng)的α和β都不相同：

其中，Rreal為編碼中實(shí)際使用的每像素比特?cái)?shù)，λreal為編碼中實(shí)際使用λ，δα和δβ為常數(shù)，用于調(diào)節(jié)公式的收斂速度。

1.2.2 量化參數(shù)QP的確定

量化參數(shù)QP，體現(xiàn)圖像細(xì)節(jié)壓縮情況。其值越小，量化越精細(xì)，圖像質(zhì)量越高。當(dāng)拉格朗日乘數(shù)λ確定以后，就可以進(jìn)一步計(jì)算QP：

其中，a和b為模型參數(shù)，取值為4.2005和13.7122[9]。

2 MaskR-CNN實(shí)例分割

對(duì)于感興趣區(qū)域（ROI）的圖像分割[10]，傳統(tǒng)的圖像分割算法在一些特殊場(chǎng)景分割效果較差，如樹葉搖曳會(huì)被識(shí)別為前景，且無(wú)法指定識(shí)別特殊前景，深度學(xué)習(xí)Mask R-CNN[11]算法可以解決這些問題。Mask R-CNN 基于Faster R-CNN[12]，是一個(gè)兩階段的實(shí)例分割算法，是在目標(biāo)檢測(cè)基礎(chǔ)上再進(jìn)行實(shí)例分割，第一階段先對(duì)輸入的圖像進(jìn)行掃描，然后生成建議框，第二階段分類建議框，然后生成邊界框和掩碼。

圖1 為主干網(wǎng)絡(luò)簡(jiǎn)化過(guò)程，Mask R-CNN 對(duì)輸入進(jìn)來(lái)的圖像的有尺寸要求，首先對(duì)輸入的圖像進(jìn)行預(yù)處理，將處理后的圖像輸入到一個(gè)預(yù)訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)中（ResNet50，ResNet101[13]等）獲得對(duì)應(yīng)的特征圖，對(duì)這個(gè)特征圖中的每個(gè)位置都設(shè)置一定數(shù)目不同大小的先驗(yàn)框（Anchor），從而獲得多個(gè)候選先驗(yàn)框，將這些候選的先驗(yàn)框送入?yún)^(qū)域建議網(wǎng)絡(luò)（RPN）進(jìn)行二值分類（前景或后景）以及坐標(biāo)回歸，選出有價(jià)值的先驗(yàn)框。

圖1 主干網(wǎng)絡(luò)簡(jiǎn)化圖

將上述選出的先驗(yàn)框進(jìn)行ROIAlign 操作，最終對(duì)這些先驗(yàn)框進(jìn)行N 類別分類，候選框回歸和引入全卷積網(wǎng)絡(luò)（FCN）[14]生成Mask，完成分割任務(wù)。

3 碼率控制模型改進(jìn)

監(jiān)控視頻的前后景劃分較為明顯，前景一般為感興趣區(qū)域，針對(duì)這一情況，本文在R-λ 碼率控制模型上進(jìn)行改進(jìn)。

利用MaskR-CNN 深度學(xué)習(xí)算法將視頻每一幀的前后景進(jìn)行分離，定義前景所占比例Rforground為：

其中，Sforground為視頻一幀圖像前景所占面積，Sbackground為視頻一幀圖像后景所占面積。

在Frame 級(jí)比特分配算法中，無(wú)法根據(jù)監(jiān)控視頻本身特點(diǎn)對(duì)每一幀圖像進(jìn)行更合理地分配的目標(biāo)比特，故將式⑸進(jìn)行改進(jìn)。因?yàn)楸O(jiān)控視頻感興趣區(qū)域一般為前景，人們希望前景占比高的圖像更加清晰，將式⑾的計(jì)算結(jié)果引入式⑸，根據(jù)當(dāng)前幀圖像前景比例，調(diào)整分配給當(dāng)前幀的比特?cái)?shù)，得到：

其中，TGOP為分配給GOP 的目標(biāo)比特?cái)?shù)，RGOPCoded為當(dāng)前GOP 已消耗比特?cái)?shù)，ωPic為當(dāng)前GOP 中每一幀圖像比特分配權(quán)重，ωPicCurr為當(dāng)前幀圖像的比特分配權(quán)重，Rforground為前GOP 中每一幀前景所占比例，RforgroundCurr為當(dāng)前幀前景所占比例，ε為權(quán)重調(diào)節(jié)常數(shù)，用于調(diào)整原公式參數(shù)與新引入?yún)?shù)權(quán)重。

4 實(shí)驗(yàn)與結(jié)果分析

本文實(shí)驗(yàn)的硬件為Intel Core i7-8750H 處理器，NVIDIA GeForce GTX 1070 顯卡、16GB 內(nèi)存。

4.1 MaskR-CNN實(shí)例分割實(shí)驗(yàn)

軟件 環(huán)境為Anaconda-3，CUDA-10.0，Python-3.6，tensorflow-gpu-1.13.1，keras-2.1.5，本文使用在COCO數(shù)據(jù)集上預(yù)訓(xùn)練權(quán)重mask_rcnn_coco.h5，對(duì)視頻圖像進(jìn)行前后景分割，將前景用不同顏色標(biāo)記，效果如圖2所示。

圖2 MaskR-CNN分割效果圖

再根據(jù)式⑽計(jì)算出每一幀圖像的前景所占比例，為后面計(jì)算做準(zhǔn)備。

4.2 HEVC碼率控制實(shí)驗(yàn)

使用HEVC 參考軟件HM-16[15]進(jìn)行實(shí)驗(yàn)，測(cè)試圖像數(shù)據(jù)為hall_cif.yuv、container_cif.yuv 和bridgeclose_cif.yuv，分別編號(hào)1，2，3。將HM-16與本文的改進(jìn)算法視頻編碼結(jié)果作對(duì)比。以hall_cif.yuv 為例，圖3 左側(cè)為HM16 算法編碼后的圖像，右側(cè)為本文算法編碼后的圖像。因原始視頻分辨率較低，對(duì)局部細(xì)節(jié)進(jìn)行放大后觀察，得到圖4，圖4 左側(cè)為HM16 算法進(jìn)行編碼后的局部放大細(xì)節(jié)圖像，右側(cè)為本文提出的改進(jìn)算法編碼后局部放大細(xì)節(jié)圖像。

圖3 HM16算法與改進(jìn)算法圖像對(duì)比

圖4 放大細(xì)節(jié)圖像對(duì)比

圖4 左側(cè)和右側(cè)圖像對(duì)比，可以看出監(jiān)控視頻中前景人物褲子細(xì)節(jié)圖像質(zhì)量有一定的提升。

因原始視頻分辨率較低，人眼對(duì)結(jié)果圖像主觀感受有所差別。本文再根據(jù)客觀數(shù)據(jù)進(jìn)一步進(jìn)行驗(yàn)證。分別選取量化參數(shù)QP 為22，27，32，37進(jìn)行實(shí)驗(yàn)，這里預(yù)設(shè)的QP值越大，編碼后質(zhì)量越低。

實(shí)驗(yàn)后得到不同QP 下HM16 算法與本文提出的改進(jìn)算法編碼后視頻在比特率分配上和PSNR（Peak Signal to Noise Ratio）方面的對(duì)比。表1 為HM16 算法在不同QP 下編碼得到的比特率和PSNR 值，表2 為本文改進(jìn)的算法在不同QP 下編碼得到的比特率和PSNR值，表3是表2數(shù)據(jù)與表1對(duì)應(yīng)數(shù)據(jù)相減而得到，用于反映分配比特率的降低和編碼質(zhì)量的提升。

表1 HM16算法編碼結(jié)果

表2 本文改進(jìn)算法編碼結(jié)果

表3 兩種算法的差值

對(duì)于視頻來(lái)說(shuō)，在同等QP 下，一般視頻分配的比特率越低，視頻的最終傳輸及存儲(chǔ)大小就會(huì)越低。從表3中可以看出本文提出的算法在比特率分配上有所降低，平均降低7.59kbps。

PSNR 為峰值信噪比，是一種廣泛運(yùn)用于評(píng)價(jià)視頻畫質(zhì)的客觀測(cè)量法。PSNR 值越大，代表著視頻圖像質(zhì)量越好，人眼對(duì)Y 明亮度分量比U、V 分量要敏感，從表3中可以看出，本文提出的算法在Y-PSNR 和分量上和整體YUV-PSNR 都有一定的提升。整體YUV-PSNR平均提升0.1141dB。

5 結(jié)束語(yǔ)

本文針對(duì)監(jiān)控視頻特點(diǎn)，在HEVC 視頻編碼基礎(chǔ)上，利用Mask R-CNN 對(duì)碼率控制算法進(jìn)行改進(jìn)，從實(shí)驗(yàn)結(jié)果可見改進(jìn)算法不僅降低了視頻碼率，且在視頻質(zhì)量上也有一定的提升，達(dá)到了目標(biāo)效果。

實(shí)驗(yàn)中發(fā)現(xiàn)，因改進(jìn)算法在原算法基礎(chǔ)上增加了更多參數(shù)和分配指標(biāo)，導(dǎo)致改進(jìn)算法的編碼時(shí)間高于HM16 算法編碼時(shí)間，對(duì)于視頻編碼技術(shù)而言，編碼時(shí)間也是算法非常重要的一部分，所以未來(lái)可以在此方面再做進(jìn)一步優(yōu)化。