賀 琨，李 智*，王國(guó)美，張 健

(1. 貴州省智能醫(yī)學(xué)影像分析與精準(zhǔn)診斷重點(diǎn)實(shí)驗(yàn)室，貴州 貴陽 550025；2. 貴州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，貴州 貴陽 550025)

1 引言

隨著視頻社交App用戶數(shù)量日益增加，越來越多的人在社交軟件上熱衷短視頻的拍攝與分享，隨著各類專業(yè)視頻編輯軟件，如Sony Vegas、會(huì)聲會(huì)影、愛剪輯等的普及，使得視頻編輯的門檻大幅降低，人們不再滿足于單純地拍攝分享短視頻，而是使用視頻編輯軟件對(duì)視頻短片進(jìn)行精心的后期處理后再上傳，正常使用視頻編輯軟件對(duì)原始視頻進(jìn)行后期處理本質(zhì)上也是一種篡改，但是這種篡改對(duì)原始視頻有著正面且無害的影響，比如常見的嵌入字幕、電影后期處理、視頻藝術(shù)加工等。而惡意地篡改視頻是指在視頻幀序列中加入不存在的人或物，這類篡改視頻[1-2]將產(chǎn)生不正確的輿論導(dǎo)向甚至造成嚴(yán)重的社會(huì)影響，為此，需要提出相應(yīng)的篡改檢測(cè)方案來應(yīng)對(duì)惡意篡改視頻的威脅。在各類篡改視頻中，視頻時(shí)域復(fù)制粘貼類篡改[3]的被動(dòng)取證研究具有較高的應(yīng)用價(jià)值與研究意義。時(shí)域復(fù)制粘貼類篡改是一種將原始視頻中某個(gè)時(shí)間段出現(xiàn)的視頻內(nèi)容復(fù)制粘貼到同一個(gè)視頻的其它時(shí)間段中的篡改，得到的篡改視頻無法憑肉眼辨別出篡改痕跡。如果將視頻作為法律證據(jù)，則必須證實(shí)其真實(shí)性。

視頻取證技術(shù)分為主動(dòng)取證和被動(dòng)取證，其中被動(dòng)取證無需往視頻中額外添加版權(quán)信息，僅靠視頻自身信息就可對(duì)視頻的真實(shí)性和完整性進(jìn)行判定，因此被動(dòng)取證方法適用場(chǎng)景更為廣泛，已成為當(dāng)前信息安全領(lǐng)域的一個(gè)研究熱點(diǎn)。視頻被動(dòng)取證大致分為幀內(nèi)取證與幀間取證：幀內(nèi)取證是對(duì)視頻單幀內(nèi)容進(jìn)行特征提取，通過提取的特征是否包含篡改痕跡從而判斷視頻是否被篡改，而幀間取證是觀察比較幀與幀之間的關(guān)聯(lián)性是否異常，從而判斷視頻是否經(jīng)過篡改。

針對(duì)幀內(nèi)取證的研究，研究學(xué)者們提出各類傳統(tǒng)方法對(duì)幀內(nèi)篡改來進(jìn)行檢測(cè)，徐俊瑜[7]提出通過檢測(cè)視頻幀是否經(jīng)過濾波的方式來判斷視頻是否經(jīng)過幀內(nèi)篡改，因?yàn)榇鄹恼咝栌脼V波使整個(gè)篡改視頻幀看起來更自然，但此算法在檢測(cè)沒有經(jīng)過濾波處理的篡改視頻時(shí)則完全失效。張璐波[5]等提出一種基于LK光流的視頻幀內(nèi)運(yùn)動(dòng)目標(biāo)復(fù)制粘貼篡改檢測(cè)算法，通過提取運(yùn)動(dòng)目標(biāo)區(qū)域的光流值然后根據(jù)光流的相關(guān)性篩選，尋找可能的篡改序列，最后利用特征匹配完成篡改檢測(cè)，但此算法針對(duì)運(yùn)動(dòng)目標(biāo)較小的復(fù)制粘貼篡改檢測(cè)效果比較有限。李倩[6]用對(duì)稱幀差法檢測(cè)單幀運(yùn)動(dòng)對(duì)象刪除區(qū)域，可以對(duì)篡改后的未壓縮視頻進(jìn)行有效的識(shí)別，但目前視頻均為壓縮視頻，該算法的應(yīng)用領(lǐng)域有著較大的局限性。Bidokhti[4]等提出將視頻幀分區(qū)，然后計(jì)算并觀察各個(gè)分區(qū)的光流系數(shù)是否異常，以此來判斷視頻幀是否經(jīng)過復(fù)制粘貼篡改，但該算法檢測(cè)結(jié)果容易受到視頻GOP長(zhǎng)度影響，算法魯棒性并不高。Li等[8]提出對(duì)運(yùn)動(dòng)矢量特征進(jìn)行分析，用于判斷靜止背景的視頻是否經(jīng)過移除類篡改，但該算法對(duì)于運(yùn)動(dòng)較為復(fù)雜的視頻檢測(cè)效果有限。Pandey[9]等使用SIFT算法從視頻幀內(nèi)的物品提取特征，并用該特征檢測(cè)出復(fù)制、移除型篡改，但由于SIFT算法計(jì)算復(fù)雜度較高，對(duì)視頻進(jìn)行SIFT計(jì)算負(fù)荷過于龐大。

隨著深度學(xué)習(xí)在圖像識(shí)別、目標(biāo)檢測(cè)等領(lǐng)域的廣泛應(yīng)用，研究者們開始使用深度學(xué)習(xí)對(duì)圖像與視頻幀內(nèi)取證進(jìn)行相關(guān)研究。Adobe公司提出將圖像與其所對(duì)應(yīng)的噪聲作為雙流[10]輸入到Faster R-CNN[11]進(jìn)行深度學(xué)習(xí)分類，可以很好地檢測(cè)出圖像的拼接、復(fù)制以及移除篡改區(qū)域。YeYao[12]等提出將輸入幀經(jīng)過特定的高通濾波器得到殘差信號(hào)，再經(jīng)過特定結(jié)構(gòu)的CNN進(jìn)行篡改判別的深度學(xué)習(xí)方案，與直接使用各類隱寫分析算法得到的篡改判別結(jié)果相比，其提出的算法取得更好的實(shí)驗(yàn)結(jié)果，但YeYao提出的網(wǎng)絡(luò)結(jié)構(gòu)中使用超大型池化層，這會(huì)造成特征圖的信息嚴(yán)重丟失，對(duì)分類的正確性造成較大的負(fù)面影響。陳臨強(qiáng)等[13]提出使用C3D神經(jīng)網(wǎng)絡(luò)結(jié)合SRM的空域?yàn)V波器進(jìn)行視頻幀篡改檢測(cè)，與不帶SRM層的C3D網(wǎng)絡(luò)相比，帶SRM層的C3D取得更好的實(shí)驗(yàn)結(jié)果。

為了進(jìn)一步提升視頻取證算法的準(zhǔn)確率，本文提出使用雙流CNN與通道注意力機(jī)制相結(jié)合對(duì)輸入視頻幀進(jìn)行幀內(nèi)取證的方案，一個(gè)CNN提取篡改特征，另一個(gè)CNN用于對(duì)輸入視頻幀的內(nèi)容進(jìn)行特征提取。兩個(gè)CNN分別獲得所提取到的特征后，將兩部分特征進(jìn)行融合處理，并使用通道注意力機(jī)制調(diào)整兩部分特征的通道權(quán)重，這樣網(wǎng)絡(luò)可以兼顧篡改特征和內(nèi)容特征。相比于傳統(tǒng)取證算法，本文算法具有以下優(yōu)勢(shì)：1)算法對(duì)預(yù)測(cè)結(jié)果的判斷不需要人工干預(yù)，減少了因人為失誤所帶來的誤差；2)將兩個(gè)取證思路不同的CNN各自輸出的結(jié)果結(jié)合起來作為總特征用于篡改檢測(cè)，進(jìn)一步地提高了取證算法的通用性與準(zhǔn)確性。

2 提出方法

2.1 隱寫分析思想與幀內(nèi)取證

隱寫術(shù)是通過向多媒體中隱秘地嵌入極少量的信息以滿足信息傳遞的保密性，如果非法使用隱寫術(shù)傳輸危險(xiǎn)的隱秘信息，會(huì)給社會(huì)帶來各種危害，且不容易被察覺。為此，針對(duì)隱寫術(shù)的非正常使用提出使用隱寫分析對(duì)隱寫術(shù)進(jìn)行檢測(cè)和防御。由于隱寫術(shù)是篡改隱秘程度的最高標(biāo)準(zhǔn)，本文借鑒隱寫分析的研究思路，用于檢測(cè)篡改幅度較大的幀內(nèi)取證算法，從而提高幀內(nèi)取證算法的分類性能。隱寫分析算法通常對(duì)輸入圖像使用多個(gè)的高通濾波，這些高通濾波被稱為空域富模型[14](Spatial Rich Model，SRM)，用于提取圖像不同類型的噪聲殘差。在隱寫分析中，由于隱寫通常只會(huì)對(duì)像素進(jìn)行較小的改動(dòng)，因此隱寫對(duì)圖像造成的改動(dòng)并不會(huì)使得圖像內(nèi)容產(chǎn)生改變，為此隱寫分析時(shí)通常使用SRM來提取輸入圖像的噪聲殘差，使得隱寫分析算法能夠?qū)Ｗ⒂谙袼氐男「膭?dòng)，而不去關(guān)注圖像內(nèi)容產(chǎn)生的變化[14]；本文使用SRM對(duì)視頻幀進(jìn)行噪聲殘差提取也是出于同樣的目的，視頻篡改時(shí)不一定會(huì)對(duì)視頻幀內(nèi)容產(chǎn)生較大的影響但會(huì)在視頻幀中留下較小的篡改痕跡，這類痕跡在高頻區(qū)域[15]往往會(huì)更加明顯[13]，取證算法通過視頻幀的高頻噪聲殘差能夠從像素層面關(guān)注到視頻幀像素因篡改而產(chǎn)生的細(xì)微變化，而非只是一昧地關(guān)注篡改對(duì)視頻幀內(nèi)容產(chǎn)生的影響，從而能更好地對(duì)篡改特征進(jìn)行提取。因此，本文提出的幀內(nèi)取證算法在網(wǎng)絡(luò)的起始位置加入SRM卷積層，使網(wǎng)絡(luò)通過噪聲殘差信息更好地獲得輸入視頻幀的篡改特征，并利用激活函數(shù)實(shí)現(xiàn)本算法的截?cái)嗖僮饕越档腿∽C算法的運(yùn)算負(fù)擔(dān)。

2.2 用于幀內(nèi)取證的Inception-V4 SRM CNN

1)SRM卷積層

空域富模型[14](SRM)算法是設(shè)計(jì)一系列的高通濾波器，如圖1所示，其主要作用是提取輸入視頻幀的噪聲殘差，不同的濾波器得到基于幀內(nèi)容的不同的噪聲殘差特征，因此聯(lián)合使用多個(gè)SRM高通濾波器可以檢測(cè)多種篡改情況的篡改特征，以在最后二分類實(shí)驗(yàn)中獲得更高的正確率。另外訓(xùn)練時(shí)將SRM卷積層的參數(shù)設(shè)置為不可訓(xùn)練，使得SRM高通濾波器提取噪聲殘差的功能不會(huì)受到影響。

圖1 部分SRM高通濾波卷積核

同時(shí)在SRM卷積層中使用TLU(截?cái)嗑€性函數(shù))作為激活函數(shù)，將得到的噪聲殘差信息截?cái)嘣谥付ǚ秶鷥?nèi)，如式(1)所示，這樣可以在保留關(guān)鍵殘差噪聲信息的同時(shí)，舍棄掉冗余的信息，從而降低深度學(xué)習(xí)網(wǎng)絡(luò)的運(yùn)算負(fù)擔(dān)。

圖2 CNN結(jié)構(gòu)

(1)

2)雙流CNN結(jié)構(gòu)

本文提出基于雙流卷積神經(jīng)網(wǎng)絡(luò)的視頻幀內(nèi)取證算法，其中一個(gè)CNN將SRM模塊放在整個(gè)網(wǎng)絡(luò)的最前端用于提取視頻幀的殘差特征，另一個(gè)CNN對(duì)視頻幀的內(nèi)容進(jìn)行學(xué)習(xí)，提取出基于視頻幀的內(nèi)容特征，之后將兩個(gè)CNN學(xué)習(xí)得到的特征進(jìn)行融合作為分類依據(jù)，這樣整體網(wǎng)絡(luò)既能提取到篡改特征，又包含視頻幀的內(nèi)容信息。本文以Google團(tuán)隊(duì)所提出的Inception-V4[16]神經(jīng)網(wǎng)絡(luò)為主要框架用于本文所提出的雙流CNN結(jié)構(gòu)，第一個(gè)CNN網(wǎng)絡(luò)框架在Inception-V4的起始位置處加入SRM卷積層，從輸入視頻幀的噪聲殘差中獲取篡改痕跡特征，另一個(gè)CNN網(wǎng)絡(luò)框架是使用Inception-V4 直接從輸入視頻幀中獲取每一幀的內(nèi)容特征，最后將兩個(gè)CNN學(xué)習(xí)到的特征進(jìn)行融合作為輸入視頻幀的總特征。雙流CNN總體結(jié)構(gòu)如圖2所示。

3)網(wǎng)絡(luò)主要模塊

Inception-V4中主要包含Stem、Inception與Reduction三大模塊。其中Stem模塊使用并行且不對(duì)稱的網(wǎng)絡(luò)結(jié)構(gòu)，使用尺寸1x1的卷積核來對(duì)輸入特征圖進(jìn)行降維，在保證信息損失足夠小的前提下，降低網(wǎng)絡(luò)的計(jì)算量。Inception模塊則使用四路并行結(jié)構(gòu)，獲取不同的感受野，結(jié)構(gòu)中部署各類尺寸的卷積核，但由于Inception模塊中層次更深，結(jié)構(gòu)更復(fù)雜，所以需要在其后面添加Reduction模塊，以降低運(yùn)算負(fù)擔(dān)。Reduction模塊是并行且不對(duì)稱的卷積結(jié)構(gòu)，跟Stem模塊一樣使用了1x1的卷積核以降低計(jì)算量，并且其卷積層步長(zhǎng)均為2，能進(jìn)一步地降低特征圖的尺寸，從而有效地降低計(jì)算復(fù)雜度。

4)雙流CNN特征融合

當(dāng)兩個(gè)CNN都學(xué)習(xí)輸出特征后，為得到更為全面的二分類判斷依據(jù)，需要融合兩個(gè)CNN的輸出結(jié)果得到合并特征圖。由于合并后的特征未體現(xiàn)各通道的重要性，因此兩個(gè)通道中既有重要特征也有冗余特征，需引導(dǎo)網(wǎng)絡(luò)將計(jì)算資源偏向合并特征中最為重要的部分，并抑制冗余特征，為此本文需要借助通道注意力機(jī)制來調(diào)整合并后兩個(gè)特征的通道權(quán)重。

本文通過SE(Squeeze and Excitation) Block來實(shí)現(xiàn)對(duì)合并特征圖中的各通道權(quán)重進(jìn)行調(diào)整，首先將全局空域信息壓縮(Squeeze)為通道描述子，實(shí)際操作為使用全局平均池化生成合并特征圖中各通道統(tǒng)計(jì)量z，如式(2)所示，其中U代表合并后的特征圖像，H代表圖像高度，W代表圖像寬度，C代表圖像通道數(shù)。SE Block整體結(jié)構(gòu)如圖3所示。

(2)

圖3 調(diào)節(jié)各通道權(quán)重的SE Block結(jié)構(gòu)

s=sigmoid(FC2(ReLU(FC1(z))))

(3)

最后將激勵(lì)權(quán)重與合并特征圖做乘積運(yùn)算，得到調(diào)節(jié)通道權(quán)重后的合并特征圖X，如式(4)所示，從而實(shí)現(xiàn)調(diào)節(jié)合并特征圖中各通道權(quán)重的目的。

X=FScale(s，U(i，j))=s·U(i，j)

(4)

5)輸出結(jié)果

在得到合并特征后，將其導(dǎo)入平均池化層以降低特征尺寸，并進(jìn)行Dropout以防止產(chǎn)生過擬合現(xiàn)象。最后做全連接處理得到二分類結(jié)果值，通過Softmax層使得分類結(jié)果收斂于0到1的閉區(qū)間中，最終得到的概率值便為輸入視頻幀的正常/篡改判定概率值。

6)損失函數(shù)

由于對(duì)輸入的視頻幀進(jìn)行取證本質(zhì)上是一個(gè)二分類問題，為此網(wǎng)絡(luò)損失的計(jì)算則為直接使用交叉熵函數(shù)，如式(5)所示

(5)

2.3 幀內(nèi)取證數(shù)據(jù)集

2.3.1 實(shí)驗(yàn)用數(shù)據(jù)集

本次幀內(nèi)取證實(shí)驗(yàn)，選取網(wǎng)上公開的由P.Bestagini等人[18]制作的REWIND幀內(nèi)篡改數(shù)據(jù)集[19]來進(jìn)行實(shí)驗(yàn)，REWIND基于由英國(guó)薩里大學(xué)的視頻取證團(tuán)隊(duì)[20]制作的SULFA數(shù)據(jù)集[21]所制作。SULFA中包含了大量由不同攝像機(jī)所拍攝的原始真實(shí)視頻，而REWIND在其中挑選部分視頻做復(fù)制粘貼型幀內(nèi)篡改，將篡改視頻與對(duì)應(yīng)的原始視頻組成取證數(shù)據(jù)集。

REWIND數(shù)據(jù)集中包含了40個(gè)原始視頻與40個(gè)篡改視頻(含不同壓縮程度的視頻)，其中每一個(gè)原始視頻均與一個(gè)篡改視頻所相對(duì)應(yīng)，原始視頻均未經(jīng)過任何形式的篡改操作，而篡改視頻則為通過將原始視頻中某個(gè)時(shí)間段出現(xiàn)的視頻內(nèi)容復(fù)制粘貼到同一個(gè)視頻中的其它時(shí)間段中所形成。所有視頻均為使用H.264進(jìn)行壓縮編碼，幀分辨率為320x240，數(shù)據(jù)集中的視頻幀率有25fps、29.97fps、30fps三種。

本文按照10：1的原則從整個(gè)數(shù)據(jù)集中劃分得到訓(xùn)練集與測(cè)試集，同時(shí)本文以分塊的形式對(duì)視頻幀進(jìn)行數(shù)據(jù)增強(qiáng)，以此來進(jìn)一步地?cái)U(kuò)充整個(gè)數(shù)據(jù)集的數(shù)量，并平衡原始視頻幀與篡改視頻幀的數(shù)量，防止訓(xùn)練的網(wǎng)絡(luò)產(chǎn)生欠擬合現(xiàn)象。

2.3.2 復(fù)制粘貼幀內(nèi)篡改數(shù)據(jù)集

本文使用的視頻數(shù)據(jù)集包含原始的無篡改視頻數(shù)據(jù)集和與原始無篡改視頻所對(duì)應(yīng)的篡改視頻數(shù)據(jù)集，將它們解碼后便能得到一系列的視頻幀。無篡改視頻解碼得到的全部幀均為無篡改視頻幀，而篡改視頻解碼得到的視頻幀一部分是正常視頻幀，另一部分是篡改視頻幀。同一時(shí)間點(diǎn)下的正常視頻幀與其所對(duì)應(yīng)的篡改視頻幀的對(duì)比如圖4所示。

圖4中右圖為篡改視頻幀，手拿大象藝術(shù)品為視頻幀的篡改部分，這其實(shí)是一種“復(fù)制粘貼”型篡改，它復(fù)制于同一視頻，其它時(shí)間段中某一視頻幀中手拿大象藝術(shù)品的內(nèi)容。鄰近篡改幀中也做了同樣的復(fù)制粘貼操作，這樣重新編碼得到的篡改視頻就在本不應(yīng)該有手拿大象藝術(shù)品的時(shí)間段內(nèi)出現(xiàn)手拿大象藝術(shù)品，光憑肉眼很難看出來該視頻經(jīng)過篡改。

圖4 正常視頻幀與篡改視頻幀的對(duì)比(左圖為正常視頻幀)

本文使用這類復(fù)制粘貼型篡改數(shù)據(jù)集輸入雙流CNN網(wǎng)絡(luò)框架來進(jìn)行訓(xùn)練，使得提出的算法能夠成功地分類識(shí)別出復(fù)制粘貼型幀內(nèi)篡改。但是這類幀內(nèi)篡改數(shù)據(jù)集通常存在著兩個(gè)問題：一是整體數(shù)據(jù)量偏小，很難滿足深度學(xué)習(xí)需要大量學(xué)習(xí)樣本的要求；二是視頻數(shù)據(jù)集中篡改幀數(shù)據(jù)集數(shù)量往往遠(yuǎn)遠(yuǎn)小于正常幀數(shù)據(jù)集的數(shù)量，這是因?yàn)檎Ｒ曨l解碼得到的視頻幀均為正常視頻幀，而篡改視頻解碼得到的視頻幀中只有部分為篡改視頻幀，剩余的幀皆為正常視頻幀，由于正常幀和篡改幀數(shù)量嚴(yán)重不平衡，將會(huì)影響到深度學(xué)習(xí)框架的訓(xùn)練效果。為解決上述兩個(gè)問題，本文對(duì)視頻數(shù)據(jù)集進(jìn)行擴(kuò)充，以解決數(shù)據(jù)量偏小以及正常和篡改數(shù)據(jù)集兩者數(shù)量不平衡問題。

2.3.3 數(shù)據(jù)增強(qiáng)

本文通過對(duì)原始視頻幀進(jìn)行分割得到新的視頻幀的方式對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)[17]。針對(duì)正常數(shù)據(jù)集，由于其自身數(shù)據(jù)量較多，所以只采用將單張正常視頻幀分割出三張視頻幀的方案來進(jìn)行數(shù)據(jù)增強(qiáng)。具體做法如下：

定義一個(gè)正方形分割框，框的高度和原始視頻幀的高度一致，框?qū)挾葎t與高度一致。將分割框放在正常視頻幀上滑動(dòng)，由于正常視頻幀只需分割出三張?jiān)鰪?qiáng)數(shù)據(jù)集，本文便將分割框分別滑動(dòng)到視頻幀的左、中、右三個(gè)位置進(jìn)行分割，因此得到對(duì)應(yīng)位置的分割視頻幀作為增強(qiáng)數(shù)據(jù)，分割流程如圖5所示。

針對(duì)篡改數(shù)據(jù)集，由于其自身數(shù)據(jù)量較少，所以本著盡可能多地增加篡改數(shù)據(jù)集的原則，本文使用同一個(gè)正方形分割框來分割出盡量多的分割視頻幀作為增強(qiáng)篡改數(shù)據(jù)集，為此設(shè)定每次拖動(dòng)分割窗的步長(zhǎng)為10個(gè)像素，每拖動(dòng)一次就得到一個(gè)篡改視頻幀。但是與分割正常數(shù)據(jù)集情況有所不同的是，針對(duì)于篡改數(shù)據(jù)幀要額外地關(guān)注幀的篡改內(nèi)容，在盡可能多地分割篡改幀的同時(shí)也要保證分割框要包含全部或部分的篡改內(nèi)容，這樣才能保證分割得到的為篡改視頻幀，分割流程如圖6所示。

圖5 在正常幀數(shù)據(jù)集上滑動(dòng)分割框得到3張分割的正常視頻幀

通過使用數(shù)據(jù)增強(qiáng)策略，使得原本數(shù)據(jù)量不夠豐富的視頻幀數(shù)據(jù)集得到了一定的擴(kuò)充。尤其是數(shù)量遠(yuǎn)少于正常視頻幀的篡改視頻幀，其原始篡改幀被盡可能多地分割出新的篡改幀，達(dá)到對(duì)數(shù)量稀少的篡改幀進(jìn)行增強(qiáng)的目的，這樣便能夠平衡正常視頻幀與篡改視頻幀彼此之間的數(shù)量差距。

圖6 在篡改幀數(shù)據(jù)集上滑動(dòng)分割框得到N張分割的正常視頻幀

3 幀內(nèi)取證算法

3.1 算法思想

本文對(duì)導(dǎo)入的視頻進(jìn)行解碼操作，得到一系列的視頻幀序列S，設(shè)fi代表視頻幀的第i幀，其中N是視頻幀長(zhǎng)度，得到式(6)。

(6)

將視頻幀fi逐一輸入到本文提出的雙流CNN，最后計(jì)算得到每一幀的篡改概率pi。

(7)

設(shè)定當(dāng)某一幀fi的篡改概率pi大于0.5時(shí)，則將此幀判定為篡改幀。由于式(7)每一幀的篡改概率pi與視頻幀序列fi一一對(duì)應(yīng)，因此篡改概率大于0.5就能判斷與之對(duì)應(yīng)的視頻幀fi存在篡改，如式(8)所示，同時(shí)利用這一點(diǎn)還能達(dá)到對(duì)導(dǎo)入視頻含有的篡改幀進(jìn)行定位的目的。

(8)

當(dāng)導(dǎo)入視頻中有一定數(shù)量的幀被算法判定為篡改幀時(shí)，則判定導(dǎo)入的視頻為篡改視頻，相反沒有幀被判定為篡改幀時(shí)，則將導(dǎo)入的視頻判定為正常視頻。但是要特別說明的是，當(dāng)導(dǎo)入視頻僅有零星數(shù)幀被判定為篡改幀時(shí)，依舊將導(dǎo)入視頻判定為正常視頻，這是因?yàn)榇鄹囊曨l如果要達(dá)到篡改效果，篡改者通常需要對(duì)視頻內(nèi)的很多幀均進(jìn)行篡改，如果只對(duì)少量幀進(jìn)行篡改，那么重編碼得到的篡改視頻的播放視覺效果跟原始視頻幾乎沒區(qū)別，這樣的做法沒有達(dá)到篡改目的，并且考慮到算法分類器通常存在一定誤差導(dǎo)致誤判，為此當(dāng)導(dǎo)入視頻只有零散的一兩幀被判為篡改幀時(shí)，基于誤差的考慮，將輸入視頻判定為正常視頻。

3.2 實(shí)驗(yàn)步驟

本文使用Facebook公司推出的深度學(xué)習(xí)框架Pytorch對(duì)Inception-V4網(wǎng)絡(luò)進(jìn)行搭建，訓(xùn)練時(shí)使用的GPU為NVIDIA Tesla V100，損失計(jì)算使用交叉熵函數(shù)，優(yōu)化器使用Adam，并設(shè)置學(xué)習(xí)率為5e-5，batchsize設(shè)置為16。

流程如下圖7所示，在實(shí)驗(yàn)中對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)并進(jìn)行分類標(biāo)記后，將所有訓(xùn)練集中每一幀輸入Inception-V4進(jìn)行訓(xùn)練，對(duì)整體模型進(jìn)行參數(shù)調(diào)整，直至損失率降到最低且參數(shù)完善后停止，訓(xùn)練好的參數(shù)與權(quán)重將直接用于之后的測(cè)試工作。測(cè)試時(shí)，將測(cè)試集中視頻的每一幀輸入Inception-V4得到篡改概率值，根據(jù)篡改概率值的大小判斷輸入幀是否被篡改，之后與測(cè)試集的實(shí)際情況進(jìn)行對(duì)比以判斷分類的正誤，對(duì)所有幀進(jìn)行了測(cè)試后，將根據(jù)測(cè)試結(jié)果來判斷網(wǎng)絡(luò)的分類性能。

圖7 CNN幀內(nèi)取證算法流程圖

3.3 評(píng)估指標(biāo)

為了驗(yàn)證該模型幀內(nèi)取證的性能，本文采用了以下的評(píng)估指標(biāo)：

1)視頻幀識(shí)別準(zhǔn)確率FACC(Frame Accuracy)，如式(9)所示。

(9)

TP(True Positive)：真正例，預(yù)測(cè)為篡改幀，實(shí)際為篡改幀的樣例數(shù)量。

TN(True Negative)：真反例，預(yù)測(cè)為正常幀，實(shí)際為正常幀的樣例數(shù)量。

FP(False Positive)：假正例，預(yù)測(cè)為篡改幀，實(shí)際為正常幀的樣例數(shù)量。

FN(False Negative)：假反例，預(yù)測(cè)為正常幀，實(shí)際為篡改幀的樣例數(shù)量。

2)正常視頻幀識(shí)別準(zhǔn)確率PFACC(Pristine Frame Accuracy)，如式(10)所示。

(10)

3)篡改視頻幀識(shí)別準(zhǔn)確率FFACC(Forged Frame Accuracy)與召回率Recall，如式(11)所示。

(11)

4)視頻識(shí)別準(zhǔn)確率VACC(Video Accuracy)，如式(12)所示。

(12)

5)篡改視頻識(shí)別精確率Precision，如式(13)所示。

(13)

6)綜合評(píng)價(jià)指標(biāo)F1-Score，如式(14)所示。

(14)

3.4 實(shí)驗(yàn)結(jié)果

1) 時(shí)域定位實(shí)驗(yàn)

在得到雙流Inception-V4的實(shí)驗(yàn)結(jié)果后，本文與其它取證算法作對(duì)比實(shí)驗(yàn)。對(duì)比的算法中SRM[14]、SPAM[22]、CC-JRM[23]算法為傳統(tǒng)隱寫分析算法，YeNet[24]算法則為基于深度學(xué)習(xí)的隱寫分析算法，Yao[12]算法與SRM+C3D[13]算法則和本文一樣是基于深度學(xué)習(xí)的幀內(nèi)取證算法。本文使用3.3節(jié)提出的各個(gè)評(píng)估指標(biāo)來評(píng)判算法的分類性能，將所有算法的實(shí)驗(yàn)結(jié)果進(jìn)行比對(duì)，得到的結(jié)果如下表1所示。

表1 各個(gè)算法的幀內(nèi)取證實(shí)驗(yàn)結(jié)果

從表1可以看出，本文提出的雙流CNN算法Inception-V4 Bi-Channel在大部分指標(biāo)中取得了最好的成績(jī)，體現(xiàn)算法的準(zhǔn)確性與有效性，尤其是與同為基于深度學(xué)習(xí)的幀內(nèi)取證算法Yao[12]和SRM+C3D[13]相比，本文的算法在FACC，PFACC，F(xiàn)1-Score等指標(biāo)上均有較大幅度的提高。

2) 消融實(shí)驗(yàn)

在1)中本文提出的雙流CNN幀內(nèi)取證算法已被證實(shí)具有較高的準(zhǔn)確率與有效性，但為了驗(yàn)證合并雙流CNN的思路對(duì)幀內(nèi)取證是否有正面效果，還需要進(jìn)行消融實(shí)驗(yàn)，為此使用雙流CNN中的兩個(gè)支流CNN：Inception-V4、Inception-V4 SRM分別進(jìn)行取證實(shí)驗(yàn)，得到的實(shí)驗(yàn)結(jié)果如下表2所示。

表2 消融實(shí)驗(yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果可知，本文提出的Inception-V4 Bi-Channel雙流CNN算法取證得到的實(shí)驗(yàn)結(jié)果大部分均優(yōu)于單個(gè)支流CNN的取證實(shí)驗(yàn)結(jié)果，證明本文提出的合并雙流CNN進(jìn)行幀內(nèi)取證的思路是正確的。

3) 迭代實(shí)驗(yàn)

從實(shí)驗(yàn)過程中發(fā)現(xiàn)，即使訓(xùn)練過程中損失早已趨近于0，但隨著訓(xùn)練迭代次數(shù)的不斷增加，算法得到的FACC還在隨之不斷地變化，為此本文進(jìn)一步地提高訓(xùn)練的迭代次數(shù)，以此來觀察隨著迭代次數(shù)的增加對(duì)取證準(zhǔn)確率的實(shí)驗(yàn)結(jié)果產(chǎn)生怎樣的影響，實(shí)驗(yàn)結(jié)果如圖8所示。由圖8可知，隨著迭代次數(shù)的逐漸增加，整體上FACC也是向上增加的趨勢(shì)，當(dāng)?shù)螖?shù)達(dá)到1000次的時(shí)候，F(xiàn)ACC值達(dá)到99%以上。說明對(duì)訓(xùn)練集進(jìn)行多次重復(fù)迭代的訓(xùn)練將有助于FACC的提高，但是伴隨迭代次數(shù)的繼續(xù)增長(zhǎng)，如迭代次數(shù)增長(zhǎng)到1100次—1200次時(shí)，F(xiàn)ACC增長(zhǎng)的趨勢(shì)最終也會(huì)趨于平緩，F(xiàn)ACC的值沒有伴隨著迭代次數(shù)的增加而無限增長(zhǎng)。

4) 重編碼攻擊實(shí)驗(yàn)

本文將原本編碼格式為H264的視頻數(shù)據(jù)集分別重編碼為MPEG2、MPEG4與H265這三種新的編碼格式視頻，然后對(duì)新得到的視頻數(shù)據(jù)集直接做取證實(shí)驗(yàn)，得到的實(shí)驗(yàn)結(jié)果如下表2所示。從表中數(shù)據(jù)可知，本文提出的算法對(duì)經(jīng)過其它編碼器重編碼的視頻數(shù)據(jù)集進(jìn)行取證后也取得較好的取證結(jié)果，說明本文提出的算法能夠抵抗重編碼攻擊，從而證明了本文提出的算法對(duì)內(nèi)容相同但是編碼格式不同的視頻也能順利地進(jìn)行幀內(nèi)取證。

圖8 隨著迭代次數(shù)增加FACC的變化趨勢(shì)圖

表3 重編碼攻擊的幀內(nèi)取證實(shí)驗(yàn)結(jié)果

4 總結(jié)

基于Inception-V4神經(jīng)網(wǎng)絡(luò)模型，本文構(gòu)建了一個(gè)雙流CNN幀內(nèi)取證網(wǎng)絡(luò)，利用兩個(gè)CNN對(duì)輸入視頻幀進(jìn)行特征提取。一個(gè)CNN借助隱寫分析思想在網(wǎng)絡(luò)中加入空域富模型(SRM)卷積層進(jìn)行噪聲殘差提取，網(wǎng)絡(luò)在得到的殘差中能夠?qū)Ｗ⒂趯?duì)篡改特征進(jìn)行提取，另一個(gè)CNN用于對(duì)輸入視頻幀的內(nèi)容進(jìn)行特征提取，根據(jù)監(jiān)測(cè)視頻幀內(nèi)容的變化幅度預(yù)測(cè)得到視頻幀經(jīng)過篡改的概率；之后將兩CNN提取到的特征進(jìn)行合并處理，并使用通道注意力機(jī)制調(diào)整兩部分特征的通道權(quán)重，使得本文所提出的網(wǎng)絡(luò)能同時(shí)對(duì)篡改特征和內(nèi)容特征進(jìn)行學(xué)習(xí)。通過多組實(shí)驗(yàn)對(duì)比，結(jié)果證明本文算法對(duì)不同場(chǎng)景下的時(shí)域復(fù)制粘貼類幀內(nèi)篡改有著相當(dāng)高的篡改檢測(cè)準(zhǔn)確率，在其它評(píng)估指標(biāo)中如FACC，F(xiàn)1-Score等也大部分優(yōu)于其它取證算法。并且本文提出的算法能夠有效地抵擋重編碼攻擊，對(duì)重編碼為其它格式但內(nèi)容相同的視頻依然能順利地進(jìn)行幀內(nèi)取證，證明本算法具有一定的魯棒性。但是算法也存在網(wǎng)絡(luò)模型計(jì)算量過于龐大、模型訓(xùn)練耗時(shí)較大的缺點(diǎn)。今后工作中將繼續(xù)研究如何在保證取證精度的同時(shí)減少計(jì)算量并加快模型訓(xùn)練速度。