一種改進(jìn)的Mask R-CNN圖像篡改檢測(cè)模型

宣錦昭，徐 超，馮 博，閃文章

(安徽大學(xué) 電子信息工程學(xué)院，合肥 230601)

1 引 言

隨著高分辨率數(shù)碼相機(jī)、智能手機(jī)和平板電腦的發(fā)展，數(shù)字圖像的數(shù)量呈指數(shù)增長，而Facebook等社交軟件進(jìn)一步促進(jìn)了它們的傳播.這種圖像公共傳播的趨勢(shì)以及功能強(qiáng)大的數(shù)字圖像處理軟件(Photoshop)的普遍使用使得偽造圖像成為一個(gè)嚴(yán)重問題.篡改圖像被認(rèn)為是一種潛在威脅，如篡改者有目的地篡改圖像，用于保險(xiǎn)鑒定、司法調(diào)查、網(wǎng)絡(luò)安全.在篡改技術(shù)中，復(fù)制-移動(dòng)(copy-move)和拼接(splicing)是圖像偽造的最常見類型，都涉及將圖像內(nèi)容粘貼到目標(biāo)(偽造)圖像.但是，在拼接中添加的內(nèi)容是從其它圖像中獲取，而復(fù)制-移動(dòng)則通過復(fù)制并粘貼同一圖像中的區(qū)域生成篡改圖像.不同篡改技術(shù)的篡改圖像樣例如圖1所示.

圖1 不同篡改技術(shù)的篡改圖像樣例,第一行為拼接操作，第二行為復(fù)制-移動(dòng)操作Fig.1 Example of tampered images with different tampering techniques,including the first behavior splicing operation and the second behavior copy-move operation.

圖像取證的最新工作利用噪聲特征、濾波器陣列CFA模式以及JPEG壓縮相關(guān)的痕跡.對(duì)于噪聲特征[1，2]，型號(hào)不同的數(shù)字式相機(jī)產(chǎn)生的圖像之間會(huì)有不同噪聲特征.拼接區(qū)域是從源圖像刪除一個(gè)對(duì)象并將其復(fù)制粘貼到目標(biāo)圖像(篡改圖像)，目標(biāo)圖像中篡改區(qū)域噪聲特征與其余區(qū)域可能不匹配，因此噪聲特征可以潛在地用于識(shí)別拼接區(qū)域.CFA插值通過捕獲輸出轉(zhuǎn)換為三通道(RGB)來重建全彩色圖像[3]，而拼接會(huì)以多種方式破壞CFA插值模式，因此合并兩個(gè)不同的圖像會(huì)導(dǎo)致不連續(xù).JPEG壓縮會(huì)留下壓縮痕跡[4]，假定原始圖像經(jīng)歷了連續(xù)JPEG壓縮，而拼接部分由于平滑或者重新采樣會(huì)失去其初始JPEG壓縮特性.因此，我們認(rèn)為這些篡改特征可以幫助定位拼接區(qū)域.復(fù)制-移動(dòng)篡改區(qū)域來自同一圖像，會(huì)產(chǎn)生相似的噪聲分布，因此需要增強(qiáng)全局特征類間區(qū)分.然而，現(xiàn)有方法存在兩個(gè)主要問題：1)手工制作的特征限制了模型的泛化能力；2)無法實(shí)現(xiàn)更通用的取證模型，從而忽略了取證任務(wù)的完整性.文獻(xiàn)[5，6]只能推斷出給定的圖像是否偽造或者只能用邊界框來定位篡改區(qū)域，定位的篡改區(qū)域不是像素級(jí)的.為了克服這些問題，本文以Mask R-CNN[7]為基本框架,提出了雙分支注意力機(jī)制 Mask R-CNN網(wǎng)絡(luò).為了區(qū)分篡改區(qū)域和真實(shí)區(qū)域，我們將卷積注意力模塊[8](CBAM)引入主分支區(qū)域提議網(wǎng)絡(luò)(RPN)前，以增強(qiáng)特征提取能力.注意力機(jī)制也常用于自然語言處理[9，10].利用主分支發(fā)現(xiàn)篡改特征，如篡改圖像邊界存在的篡改痕跡以及篡改區(qū)域和未篡改區(qū)域之間形成的類間區(qū)分效果.第二個(gè)分支用于發(fā)現(xiàn)篡改圖像中的局部噪聲特征，我們將主分支RGB篡改圖像轉(zhuǎn)成噪聲域，并使用轉(zhuǎn)換后的圖像輸入第二個(gè)分支.基于篡改操作分類的隱寫豐富模型(SRM)的最新工作[11，12，23]，我們選擇SRM濾波器核以產(chǎn)生噪聲特征.主分支主要發(fā)現(xiàn)對(duì)象邊緣的異常高對(duì)比度，并將邊界框回歸到真實(shí)框.噪聲分支首先將輸入的RGB圖像通過SRM層獲得噪聲特征，利用噪聲特征為分類提供依據(jù).主分支和噪聲分支共享來自區(qū)域?qū)R層(ROI Align)之后的區(qū)域建議，從而產(chǎn)生主分支的感興趣區(qū)域(ROI)和噪聲分支的ROI區(qū)域.最后，利用雙線性池化合并兩個(gè)分支的特征圖用于分類.目前公開的篡改圖像數(shù)據(jù)集不足以訓(xùn)練深層的神經(jīng)網(wǎng)絡(luò)，因此我們合成了一個(gè)新的綜合篡改數(shù)據(jù)集以進(jìn)行模型的預(yù)訓(xùn)練，然后在不同的公開數(shù)據(jù)集上對(duì)該模型進(jìn)行微調(diào).我們提出的算法結(jié)構(gòu)如圖2所示.

圖2 算法結(jié)構(gòu)圖Fig.2 Algorithm structure diagram

本文的主要貢獻(xiàn)如下：

1)添加噪聲分支，以區(qū)分真實(shí)區(qū)域和篡改區(qū)域的噪聲不一致.

2)主分支注意力區(qū)域提議網(wǎng)路(A-RPN)可有效增強(qiáng)全局特征的類間區(qū)分.在標(biāo)準(zhǔn)數(shù)據(jù)集上實(shí)驗(yàn)表明，我們的模型優(yōu)于其它算法.

3)基于COCO[13]數(shù)據(jù)集合成創(chuàng)建了新的篡改數(shù)據(jù)集COCO Synthetic Tampered Data Set(COCO STDS)，以形成預(yù)訓(xùn)練模型.

2 相關(guān)工作

近年來，數(shù)字圖像取證已經(jīng)開發(fā)了許多技術(shù)，可以分為被動(dòng)檢測(cè)技術(shù)[14]和主動(dòng)檢測(cè)技術(shù).在驗(yàn)證圖像是否真實(shí)時(shí)，主動(dòng)檢測(cè)技術(shù)從可疑圖像中提取數(shù)據(jù)并與原始圖像進(jìn)行比較.相反，被動(dòng)檢測(cè)技術(shù)無需額外的預(yù)處理就可以驗(yàn)證圖像的真?zhèn)涡?雖然篡改圖像在視覺上不會(huì)留下明顯痕跡，但是無法避免會(huì)更改圖像的局部特征甚至整個(gè)特征.目前，許多傳統(tǒng)的圖像取證任務(wù)通過手工制作特征集區(qū)分原始圖像和處理后的圖像.因此，研究通常集中在復(fù)雜手工特征的構(gòu)建上.然而，許多任務(wù)很難確定應(yīng)該提取哪些特征.隨著深度學(xué)習(xí)應(yīng)用于圖像取證的情景越來越多，深層卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)能夠用于圖像取證.文獻(xiàn)[15，16]通過對(duì)圖像進(jìn)行特征提取從而進(jìn)行分類和定位操作.例如，第一次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像篡改檢測(cè)，提出了基于卷積神經(jīng)網(wǎng)絡(luò)的中值濾波取證[17].在標(biāo)記的訓(xùn)練數(shù)據(jù)上訓(xùn)練完全卷積(FCN)的神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)給定圖像的篡改掩碼[18].將圖像補(bǔ)丁饋送到深度學(xué)習(xí)模型中，對(duì)補(bǔ)丁是否被篡改進(jìn)行分類[19].利用深度神經(jīng)網(wǎng)絡(luò)的技術(shù)(DNN)進(jìn)行人臉的交換[20，21].文獻(xiàn)[22]提出一種堆疊式自動(dòng)編碼器學(xué)習(xí)篡改圖像的上下文特征.文獻(xiàn)[23]首先提取預(yù)定特征，然后將這些特征輸入深度學(xué)習(xí)模型.這些算法中，都只關(guān)注圖像級(jí)別的檢測(cè)，無法實(shí)現(xiàn)對(duì)篡改區(qū)域的分割或者無法實(shí)現(xiàn)分類、定位、分割的通用模型結(jié)構(gòu).對(duì)于不同場(chǎng)景，關(guān)注篡改圖像的邊界只起到有限的作用，所以我們利用全局視覺篡改痕跡以及局部噪聲特征以學(xué)習(xí)更豐富的篡改特征.

3 合成數(shù)據(jù)集

當(dāng)前的標(biāo)準(zhǔn)數(shù)據(jù)集沒有足夠的數(shù)據(jù)進(jìn)行深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練.為了在標(biāo)準(zhǔn)數(shù)據(jù)集上測(cè)試我們的網(wǎng)絡(luò)，我們?cè)诤铣蓴?shù)據(jù)集上對(duì)模型進(jìn)行預(yù)訓(xùn)練以產(chǎn)生預(yù)訓(xùn)練模型.使用COCO的圖像和注釋自動(dòng)創(chuàng)建一個(gè)合成數(shù)據(jù)集COCO Synthetic Tampered Data Set(COCO STDS).我們使用分段注釋從COCO中隨機(jī)選擇對(duì)象，然后將其復(fù)制粘貼到其它圖像.將訓(xùn)練(90%)和測(cè)試集(10%)分開，以確保在訓(xùn)練和測(cè)試集中都不會(huì)出現(xiàn)相同的背景和被篡改圖像.我們創(chuàng)建了40K綜合篡改數(shù)據(jù)集，篡改數(shù)據(jù)集包括篡改區(qū)域坐標(biāo)、篡改圖像、篡改圖像掩碼.我們對(duì)合成數(shù)據(jù)集0.5概率進(jìn)行圖像翻轉(zhuǎn).在進(jìn)行圖像翻轉(zhuǎn)情況下，預(yù)訓(xùn)練模型取得了最佳效果.合成數(shù)據(jù)集樣例如圖3所示.

圖3 合成數(shù)據(jù)集樣例Fig.3 Example of synthetic data set

4 提出方法

本文的方法同時(shí)執(zhí)行分類、邊界框回歸和篡改區(qū)域分割.如圖2所示，上層主分支輸入篡改圖像，RF1階段引入CBAM模塊.下層噪聲分支輸入經(jīng)過SRM處理后的圖像.RPN產(chǎn)生區(qū)域提議，噪聲分支利用提議區(qū)域產(chǎn)生局部噪聲特征，再利用雙線性池化[24，25]合并兩個(gè)分支.

4.1 主分支

在Mask R-CNN中，完全卷積網(wǎng)絡(luò)(FCN)[26]用于預(yù)測(cè)像素級(jí)實(shí)例掩碼，特征提取階段使用特征金字塔網(wǎng)絡(luò)(FPN)[27].因此，本文也采用ResNet101-FPN網(wǎng)絡(luò)從輸入的RGB圖像中學(xué)習(xí)特征.如圖4所示，F(xiàn)PN產(chǎn)生特征金字塔[P2,P3,P4,P5,P6],而非只是一個(gè)特征圖，再經(jīng)過RPN產(chǎn)生區(qū)域提議(region proposal).根據(jù)region proposal切出ROI進(jìn)行后續(xù)的分類和回歸預(yù)測(cè).

圖4 特征提取Fig.4 Feature extraction

注意力機(jī)制RPN網(wǎng)絡(luò)(A-RPN)

雖然噪聲分支能夠捕獲圖像的局部噪聲分布，但主分支會(huì)丟失很多內(nèi)容信息(如亮度，對(duì)比度).篡改圖像內(nèi)容信息缺少會(huì)削弱全局特征的類間區(qū)分.因此我們?cè)O(shè)計(jì)注意力區(qū)域提議網(wǎng)絡(luò)，將注意力圖輸入RPN網(wǎng)絡(luò).CBAM通過空間和通道兩個(gè)維度依次推斷出注意力權(quán)重，然后與特征圖相乘來對(duì)特征進(jìn)行自適應(yīng)調(diào)整，如圖5所示.

圖5 CBAM模塊Fig.5 CBAM module

在通道注意力模型中，首先使用平均池化和最大池化聚合特征映射的空間信息，生成兩個(gè)不同空間上下文描述符.兩個(gè)描述符送入一個(gè)共享網(wǎng)絡(luò)，產(chǎn)生通道注意力圖.通道注意力集中在“what”是有意義的.通道注意力定義為：

(1)

在空間注意力模型中，利用特征間的空間關(guān)系，生成空間注意圖.空間注意力集中在“where”信息，是對(duì)通道注意力的補(bǔ)充.空間注意力定義為：

(2)

本文在主分支RF1階段，即在1×1卷積后引入CBAM模塊.表達(dá)式定義為：

(3)

圖6 引入CBAM模塊Fig.6 Introducing CBAM module

4.2 噪聲分支

噪聲分支以利用圖像的局部噪聲分布為檢測(cè)提供其它依據(jù)，其更加關(guān)注因篡改而產(chǎn)生的噪聲，而不關(guān)注圖像中語義內(nèi)容.基于篡改操作分類的隱寫分析豐富模型(SRM)的最新工作[11,12,23]，它描述了一種用于構(gòu)建數(shù)字圖像隱寫檢測(cè)器的新穎通用策略.該過程將許多不同子模型組裝成一個(gè)豐富的噪聲分量模型，而這些子模型由線性和非線性高通濾波器獲得噪聲殘差的相鄰樣本聯(lián)合分布形成.在30個(gè)基本濾波器中，量化并截?cái)噙@些濾波器的輸出，提取附近的共現(xiàn)信息作為最終的特征.如圖7所示，獲得的特征可以作為局部噪聲描述符，其中只有3個(gè)內(nèi)核才能獲得不錯(cuò)的性能，而應(yīng)用30個(gè)內(nèi)核并不能顯著提高性能.因此，我們使用3個(gè)基本濾波器，如圖8所示.噪聲分支SRM濾波器層內(nèi)核大小定義為5×5×3，輸出通道大小為3.噪聲分支的作用是突出篡改圖像中的局部噪聲，其主干卷積網(wǎng)絡(luò)(RF2)不引入CBAM模塊.

圖7 經(jīng)過SRM層產(chǎn)生的噪聲Fig.7 Noise generated through SRM layer

圖8 用于提取噪聲特征的三個(gè)SRM濾波器內(nèi)核Fig.8 Three SRM filter cores for extracting noise features

4.3 實(shí)驗(yàn)參數(shù)

實(shí)驗(yàn)中，Resnet101由ImageNet權(quán)重初始化.MASK輸出尺寸設(shè)置為28×28，圖像分辨率為1024×512像素.最初學(xué)習(xí)率為0.001，在50K步后降低為0.0001，我們將模型訓(xùn)練90K步.0.5概率圖像翻轉(zhuǎn)用于圖像增強(qiáng).RPN的IOU閾值設(shè)置為0.7.利用隨機(jī)梯度下降(SGD)進(jìn)行優(yōu)化，學(xué)習(xí)動(dòng)量設(shè)置為0.9,權(quán)重衰減設(shè)置為0.0001.在測(cè)試時(shí)，使用標(biāo)準(zhǔn)非最大抑制(NMS)來減少冗余框，NMS閾值設(shè)置為0.3.

5 實(shí) 驗(yàn)

在本節(jié)中，我們將提供實(shí)驗(yàn)結(jié)果證明提出的篡改檢測(cè)算法的有效性.如之前所述，我們需要驗(yàn)證添加噪聲分支及注意力機(jī)制對(duì)篡改圖像檢測(cè)精度是否提高.所有實(shí)驗(yàn)都在Ubuntu16.04中使用NVIDIA GeForce GTX 1080 Ti進(jìn)行.

5.1 預(yù)訓(xùn)練模型

本文在合成數(shù)據(jù)集上對(duì)模型進(jìn)行預(yù)訓(xùn)練，使用平均精度(AP)進(jìn)行評(píng)估，該度量標(biāo)準(zhǔn)與COCO檢測(cè)評(píng)估相同.如表1所示，為了探索噪聲分支和CBAM模塊的作用，進(jìn)行了三組實(shí)驗(yàn).其中MR Net為沒有任何改進(jìn)的Mask R-CNN網(wǎng)絡(luò)，MRN Net代表添加噪聲分支，MRNC Net代表引入主分支CBAM模塊并且添加噪聲分支.MRN Net性能優(yōu)于MR Net，我們認(rèn)為針對(duì)篡改檢測(cè)，網(wǎng)絡(luò)需要學(xué)習(xí)更豐富的特征，而噪聲分支為檢測(cè)提供了其它依據(jù).MRNC Net性能優(yōu)于MRN Net，我們認(rèn)為主分支引入CBAM模塊，有效增強(qiáng)了全局特征類間區(qū)分，使網(wǎng)絡(luò)能夠?qū)W習(xí)類間獨(dú)特的特征表示.在噪聲分支共同作用下，性能達(dá)到最優(yōu).

表1 數(shù)據(jù)集COCO STDS AP比較Table 1 AP comparison of the COCO STDS

5.2 標(biāo)準(zhǔn)數(shù)據(jù)集實(shí)驗(yàn)

本文提出的方法在COVER[28]和COLUMBIA[29]數(shù)據(jù)集與最先進(jìn)技術(shù)進(jìn)行了比較.COVER數(shù)據(jù)集是一個(gè)側(cè)重于復(fù)制-移動(dòng)的數(shù)據(jù)集，該數(shù)據(jù)集將相同或者相似目標(biāo)通過粘貼覆蓋類似對(duì)象來隱藏篡改圖像.COLUMBIA數(shù)據(jù)集則側(cè)重于未壓縮的圖像拼接技術(shù).利用評(píng)估指標(biāo)F1分?jǐn)?shù)，評(píng)估了我們提出的方法和現(xiàn)有方法的性能，Zampoglou[30]等人也使用這種方法評(píng)估現(xiàn)有算法.評(píng)估指標(biāo)F1定義為：

(4)

其中Iout代表算法輸出mask,Igt代表真實(shí)mask.TP代表篡改區(qū)域檢測(cè)為篡改像素?cái)?shù)量.FN代表未篡改區(qū)域檢測(cè)為篡改像素?cái)?shù)量.FP代表篡改區(qū)域未檢測(cè)為篡改像素?cái)?shù)量.

實(shí)驗(yàn)對(duì)比

本文分別評(píng)估了MR Net、MRN Net和MRNC Net.從表2可以看出，所提出的方法在F1評(píng)分方面優(yōu)于現(xiàn)有的一些基線方法.如ELA，NOI1和CFA1.這是因?yàn)槭止ぴO(shè)計(jì)的特征限制了它們的功能.本文引入的CBAM模塊在不同空間生成上下文描述符，有助于獲得RGB圖像中不易顯現(xiàn)的篡改痕跡.

表2 兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上F1的得分比較Table 2 Comparison of F1 scores on two standard dataset in this method

噪聲分支則探索了篡改區(qū)域和非篡改區(qū)域間的噪聲不一致.COLUMBIA數(shù)據(jù)集為未壓縮拼接圖像，更好保留了噪聲差異，使MRN Net也取得了不錯(cuò)的效果.在數(shù)據(jù)增強(qiáng)上，我們分別使用圖像水平翻轉(zhuǎn)和添加高斯噪聲，高斯噪聲平均值為0，方差為5.實(shí)驗(yàn)證明，圖像翻轉(zhuǎn)和高斯噪聲共同作用并不能提高準(zhǔn)確率.僅使用圖像翻轉(zhuǎn)達(dá)到最佳效果.表3顯示了數(shù)據(jù)增強(qiáng)實(shí)驗(yàn)結(jié)果.預(yù)測(cè)結(jié)果樣例如圖9所示.

表3 數(shù)據(jù)增強(qiáng)比較Table 3 Data enhancement comparison

圖9 結(jié)果定性可視化Fig.9 Qualitative visualization of result

5.3 篡改技術(shù)檢測(cè)

為了分析本文提出的網(wǎng)絡(luò)結(jié)構(gòu)能夠檢測(cè)出不同的篡改技術(shù)，本文修改了網(wǎng)絡(luò)的預(yù)測(cè)類別，類別分別修改為拼接(Splicing)和復(fù)制-移動(dòng)(copy-move).使網(wǎng)絡(luò)能夠進(jìn)行多類別篡改技術(shù)檢測(cè).表4顯示了更改類別后AP分?jǐn)?shù).圖10顯示了預(yù)測(cè)結(jié)果.

表4 拼接和復(fù)制-移動(dòng)技術(shù)在MRNC Net的AP值比較Table 4 AP Comparison on two standard datasets using MRNC Net

5.4 定性結(jié)果

圖9第一行顯示了COLUMBIA數(shù)據(jù)集的定性結(jié)果.MR Net主分支沒有加入CBAM同時(shí)沒有結(jié)合噪聲分支的功能，相對(duì)于MRNC Net，其定性結(jié)果更差.第二行顯示COVER數(shù)據(jù)集的定性結(jié)果.通過復(fù)制移動(dòng)包產(chǎn)生篡改圖像使MR Net產(chǎn)生了混淆，而MRNC Net在這種情況下實(shí)現(xiàn)了更好的檢測(cè)，結(jié)合表1分析，我們認(rèn)為這是主分支注意力機(jī)制和噪聲分支共同作用產(chǎn)生的結(jié)果.同樣，圖10顯示了更改篡改類型后的定性結(jié)果.第一行為COLUMBIA數(shù)據(jù)集定性結(jié)果.第二行為COVER數(shù)據(jù)集定性結(jié)果.由于添加噪聲分支使得拼接(Splicing)篡改更容易檢測(cè)，我們認(rèn)為主要因?yàn)槠唇蛹夹g(shù)會(huì)產(chǎn)生不自然的邊緣，對(duì)比度差異以及噪聲差異.而對(duì)復(fù)制-移動(dòng)(Copy-move)篡改檢測(cè)則較難檢測(cè).我們認(rèn)為主要因?yàn)閺?fù)制區(qū)域來自相同的圖像，這產(chǎn)生了類似的噪聲分布以混淆我們的噪聲分支.另一方面，這兩個(gè)區(qū)域通常具有相同的對(duì)比度.但主分支加入CBAM模塊學(xué)習(xí)RGB圖像中丟失的圖像信息，增強(qiáng)類間區(qū)分能力.兩個(gè)分支在功能上形成互補(bǔ).如表4及圖10結(jié)果顯示，我們的方法在兩種篡改技術(shù)檢測(cè)上都取得了較好的結(jié)果.

圖10 拼接和復(fù)制-移動(dòng)篡改類型檢測(cè)的定性結(jié)果Fig.10 Qualitative results of spling and copy-mobile tampering type detection

6 總 結(jié)

在本文中，我們提出了一種具有注意力機(jī)制的雙分支通用取證模型MRNC Net.實(shí)現(xiàn)了圖像篡改檢測(cè)，它可以同時(shí)執(zhí)行分類、定位、分割.與以前的方法相比，我們的方法利用主分支捕獲類間的區(qū)分特征，利用噪聲分支捕獲篡改區(qū)域和真實(shí)區(qū)域間的噪聲不一致.在兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上實(shí)驗(yàn)表明，我們的方法與未改進(jìn)的Mask R-CNN相比取得了最優(yōu)水平.在未來我們將探索更多的對(duì)于篡改技術(shù)的檢測(cè).