一種輕量級多尺度融合的圖像篡改檢測算法

吳 旭，劉 翔，趙靜文

（上海工程技術(shù)大學(xué)電子電氣工程學(xué)院，上海 201620）

0 概述

隨著數(shù)字圖像處理技術(shù)的快速發(fā)展，數(shù)字圖像惡意篡改事件頻繁發(fā)生，使得人們對于數(shù)字圖像的真實性產(chǎn)生嚴重懷疑，這樣的行為會對個人聲譽、社會穩(wěn)定乃至國家安全均造成巨大影響，因此數(shù)字圖像篡改檢測技術(shù)受到國內(nèi)外研究人員的廣泛關(guān)注。在數(shù)字圖像被動取證領(lǐng)域，圖像篡改主要分為內(nèi)容篡改和操作篡改［1］。2017 年，BAPPY 等［2］提出基于像素級別的概率映射方法，建立CNN-LSTM 圖像被動取證模型，但是掩碼的定位不夠精確。2018 年，LIU 等［3］利用多尺度方法進行篡改區(qū)域定位，設(shè)計不同尺度的圖像滑動窗口，提取多尺度圖像塊特征，但該方法只能用于單一圖像拼接篡改檢測任務(wù)。圖像篡改檢測與傳統(tǒng)語義分割任務(wù)［4］有較大區(qū)分：首先識別目標由廣泛的語義內(nèi)容轉(zhuǎn)換為不規(guī)則的篡改區(qū)域，甚至是移除的區(qū)域；其次由于存在邊緣的弱特征變化很難被學(xué)習(xí)到，對于一些逼真的篡改圖泛化性能較差。目前，研究人員提出的一些基于圖像分割的被動取證方法較少關(guān)注內(nèi)容篡改引起的高低維特征間的差異性，因此本文旨在研究多尺度特征在篡改內(nèi)容上的信息表達和篡改區(qū)域邊緣上的像素差異問題。

1 本文算法

本文主要針對復(fù)制-粘貼和拼接這兩種經(jīng)典內(nèi)容篡改的檢測算法進行改進和研究，經(jīng)典篡改方式如圖1 所示，其中，第一行圖片為拼接篡改，第二行圖片為復(fù)制-粘貼篡改。

針對現(xiàn)有算法邊緣特征提取不全、檢測篡改方式單一、檢測精確度較低、泛化能力低下、時間復(fù)雜度過高等問題，本文分析并改進MobileNetV3 網(wǎng)絡(luò)［5］，進而設(shè)計雙流多尺度特征融合架構(gòu)進行圖像篡改區(qū)域檢測。相比傳統(tǒng)單分支分割網(wǎng)絡(luò)，本文做出如下改進：

1）引入壓縮注意力機制［6］替代原本MobileNetV3網(wǎng)絡(luò)中的SE（Squeeze-and-Excitation）［7］模塊增強全局特征。

2）在MobileNetV3 網(wǎng)絡(luò)輸出區(qū)塊中加入空洞卷積層來增大感受野，并減少網(wǎng)絡(luò)層數(shù)來降低時間復(fù)雜度。

3）加入基于LSTM 網(wǎng)絡(luò)［8］的副分支幫助識別頻域邊緣特征，將多尺度特征與邊緣特征融合，從而更好地識別出類間差異特征（原始類和篡改類）。

最終對掩膜解碼器輸出的圖像進行二值化和傳統(tǒng)去噪得到篡改圖預(yù)測掩膜，并與真值掩膜進行比對。本文算法整體流程如圖2 所示。

圖2 輕量級多尺度融合的圖像篡改檢測算法流程Fig.2 Procedure of lightweight multiscale fusion algorithm for image tampering detection

1.1 主網(wǎng)絡(luò)結(jié)構(gòu)

MobileNetV3 網(wǎng)絡(luò)采用的深度可分離卷積和線性瓶頸逆殘差結(jié)構(gòu)可以大大減少參數(shù)量和運算成本。本文在此基礎(chǔ)上做出改進，將最后區(qū)塊的平均池化層移除，并引入3 個連續(xù)的空洞卷積層來增大感受野。原始的MobileNetV3 和改進的MobileNetV3結(jié)構(gòu)分別如表1 與表2 所示，其中：OC 為輸出通道數(shù)；NL 為激活函數(shù)，HS 表示h-swish 激活函數(shù)，RE 表示Relu 激活函數(shù)；SE 和SA 為不同的注意力機制；AC 表示空洞卷積；采樣率均為2。

表1 原始的MobileNetV3 結(jié)構(gòu)Table 1 Structure of original MobileNetV3

表2 改進的MobileNetV3 結(jié)構(gòu)Table 2 Structure of improved MobileNetV3

傳統(tǒng)下采樣層在增大感受野的同時使特征圖的分辨率降低，從而丟失空間信息，空洞卷積層［9］能在增大感受野的同時，輸出高分辨率的特征圖。改進的MobileNetV3 網(wǎng)絡(luò)最終輸出的特征圖分辨率為1/16，為原始的2 倍，且沒有增加額外的參數(shù)量和運算成本，這樣有利于檢測大篡改目標又能精確定位篡改區(qū)域。另外，引入h-swish 激活函數(shù)并減少層數(shù)，可在降低計算量的同時提高檢測精度。

其中：Relu6=min(max(0，x)，6)，x為輸入特征向量。

空洞卷積的內(nèi)核限制了在分割網(wǎng)絡(luò)中學(xué)習(xí)到的空間特征的形狀，而多尺度特征聚合策略增強了逐像素的預(yù)測結(jié)果，但圖像的全局信息仍未得到充分利用。因此，本文采用壓縮注意力（SA）機制［6］進行像素級的密集預(yù)測。壓縮注意力機制采用的注意力卷積（ACONV）通道并沒有像SE 模塊一樣全部壓縮成1×1 卷積，而是使用平均池化替代原來的全連接層來縮小樣本特征圖，經(jīng)過上采樣后生成具有特定像素類別的注意力掩膜（Xatt），從而完成篡改與非篡改兩類像素分組，并保留非局部空間信息。SE 和SA兩種注意力機制對比如圖3 所示。

圖3 兩種注意力機制對比Fig.3 Comparison of two attention mechanisms

SA 模塊引入像素組的注意力機制，即在不同空間尺度下屬于同一類像素組的注意力，使網(wǎng)絡(luò)可以學(xué)習(xí)到原圖區(qū)域與篡改區(qū)域的隱蔽特征。另外，針對類間像素分組去除了空間的限制，將不同尺度下的同類特征分為一組，使得多尺度空間特征和非局部特征經(jīng)學(xué)習(xí)后能夠被密集預(yù)測。設(shè)，Xres為殘差卷積塊，則SE和SA 分別輸出如下特征圖：

其中：Xatt=Upsample(Ft(AvgPool(Xin)))，F(xiàn)t為包含注意力卷積的特征圖函數(shù)映射。

1.2 邊緣相關(guān)性檢測

篡改區(qū)域的定位任務(wù)與圖像空間信息密切相關(guān)，LSTM 網(wǎng)絡(luò)［10］能學(xué)習(xí)圖像塊之間的相關(guān)度，并依賴對數(shù)似然距離，學(xué)習(xí)篡改邊界上的空間差異信息。然而，這些信息在經(jīng)過平滑、模糊等后處理操作后很難被識別。為了使提取特征包含明顯的異常邊界信息，本文將輸入的原圖分塊后經(jīng)過一個1×1 卷積層升維，以此增加非線性特性和實現(xiàn)跨通道信息交互，將輸出的16 維特征圖劃分為8×8 的小塊，按照一定序列輸入LSTM 單元來學(xué)習(xí)特征圖像塊之間的相關(guān)性，從而在頻域中捕捉到篡改區(qū)域和真實區(qū)域之間邊界上的差異特征。

與傳統(tǒng)CNN-LSTM 序列模型不同，此并聯(lián)結(jié)構(gòu)分別提取圖像的塊級和像素級特征進行融合訓(xùn)練，使得通道間的時空信息交互更密切，特征層次更豐富。本文使用3 個堆疊層，每層有64 個神經(jīng)元，每個神經(jīng)元產(chǎn)生256 維的特征向量，將其重塑成16×16 的子塊并串聯(lián)成二維特征圖，尺寸為16×16×512，最終由LSTM 輸出的特征圖包含了異常邊界信息與篡改像素塊之間的映射關(guān)系。

1.3 多尺度特征提取

篡改的不規(guī)則區(qū)域可能存在不同尺度，為了捕獲篡改圖像的全局多尺度信息，本文構(gòu)建多尺度特征提取模塊。CHEN 等［11］提出在級聯(lián)模塊和空間金字塔池化（Spatial Pyramid Pooling，SPP）［12］的框架下，使用空洞卷積來增大濾波器的感受野以融合多尺度的語境信息的方法，即空洞空間卷積池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）模塊。該模塊包含不同采樣率的并行空洞卷積層，針對不同尺度圖像區(qū)域進行不同特征映射，從而密集預(yù)測多尺度篡改區(qū)域。每個單獨的并行層與圖像級特征融合后有效去除了冗余信息，經(jīng)過解碼器最終輸出預(yù)測掩膜圖。空洞卷積的采樣率（r）是在普通卷積的基礎(chǔ)上做的改進，相鄰權(quán)重之間的間隔為r-1，普通卷積的r默認為1，因此空洞卷積的實際大小如下：

其中：k為原始卷積核大??；ks為等效卷積核尺寸，s為步長。假設(shè)輸入特征向量為(Hin，Win，Cin，N)，輸出向量為(Hout，Wout，Cout，N)，則：

其中：H、W、C分別為特征向量的高度、寬度、通道數(shù)；N為batch size；p為padding 參數(shù)；d為空洞卷積率。由于復(fù)雜的空洞卷積層需要大量的推斷時間，為了達到性能與耗時的平衡，本文通過選擇不同的采樣率r組合進行優(yōu)化，經(jīng)過多次實驗對比，最終采用4 層并行空洞卷積層，空洞采樣率組合為6+12+18+24，如表3 所示，其中通道數(shù)為1 024。

表3 不同采樣率組合下的性能與時間復(fù)雜度Table 3 Performance and time complexity under different sampling rate combinations

經(jīng)過空洞卷積層提取的特征與全局平均池化后的特征相融合輸入到掩膜解碼器中，最終的預(yù)測篡改結(jié)果是通過合并來自ASPP 模塊的4 個層次結(jié)構(gòu)的輸出，通過集成多尺度上下文信息從而獲得增強的逐像素預(yù)測。

2 實驗

采用Microsoft COCO 與Dresden［13］復(fù)制-粘貼和拼接篡改混合數(shù)據(jù)集作為訓(xùn)練集，將20 000 張圖像按7∶2∶1 隨機分成訓(xùn)練集、測試集和驗證集，分類后的圖像同樣按照比例劃分并標注圖像塊的真值掩膜圖，成對輸入網(wǎng)絡(luò)進行端到端的雙分支網(wǎng)絡(luò)同步訓(xùn)練。

2.1 實驗參數(shù)與評價指標

在訓(xùn)練過程中，設(shè)定初始學(xué)習(xí)率為0.001，ASPP池化后輸出掩膜尺寸為16×16×1 024，采用Adam 優(yōu)化器降低網(wǎng)絡(luò)損失，并加入學(xué)習(xí)率衰減使后期迭代不再需要手動調(diào)整，每次迭代進行一個小批量（minibatch）梯度下降來更新網(wǎng)絡(luò)參數(shù)，從而加快網(wǎng)絡(luò)收斂且大幅減少運算成本，batch-size 設(shè)置為32，迭代輪數(shù)在160 次之后網(wǎng)絡(luò)完全收斂。實驗平臺在Tensorflow 框架中搭建，實驗對比算法調(diào)至最優(yōu)參數(shù)。為提高計算效率，使用4 塊NVIDIA GeForce GTX 1080Ti GPU 進行訓(xùn)練。為評估本文提出模型的性能，采用精確率（P）、召回率（R）和F1 分數(shù)（F）作為評估指標，計算公式如下：

其中：TTP表示檢測結(jié)果中正確檢測為篡改區(qū)域的像素個數(shù)；FFN表示檢測結(jié)果中錯誤檢測為非篡改區(qū)域的像素個數(shù)；FFP表示檢測結(jié)果中錯誤檢測為篡改區(qū)域的像素個數(shù)。復(fù)雜度分析主要分為空間占用-參數(shù)量、內(nèi)存占用-訪存量、運行速度-耗時、推理速度-計算量4 個部分，其中計算量采用乘加操作（Madds）次數(shù)［14］作為評估指標，對于普通卷積和深度可分離卷積分別計算如下：

其中：k為卷積核大??；Hout×Wout為輸出特征圖 分辨率。

2.2 實驗對比分析

由于本文設(shè)計的網(wǎng)絡(luò)相對復(fù)雜，為了證明每個設(shè)計模塊對像素級預(yù)測分類結(jié)果的重要性，設(shè)計消融實驗對比評估指標，在測試集上的實驗結(jié)果如表4所示。在表4 中，S 表示單分支，D 表示雙分支，S-MobV3-SE 表示帶SE 模塊的MobileNetV3 原始網(wǎng)絡(luò)模型，S-MobV3-SA 表示用SA 模塊替代SE 后的網(wǎng)絡(luò)模型，S-MobV3-LSTM 表示用LSTM 與原始網(wǎng)絡(luò)模型串聯(lián)，D-MobV3-LSTM 表示用LSTM 與原始網(wǎng)絡(luò)模型并聯(lián)，D-MobV3-SA-ASPP-LSTM 表示本文改進的網(wǎng)絡(luò)模型。可以看出，盡管SA 模塊對整體網(wǎng)絡(luò)性能的提升并不大，但是ASPP 和LSTM 卻是十分必要的，即多尺度模塊和頻域相關(guān)性檢測模塊對篡改區(qū)域檢測任務(wù)的精確率提升影響較大，且雙流特征融合模型比單分支序列模型性能更佳。

表4 消融實驗結(jié)果Table 4 Results of ablation experiment

對比分析各類圖像篡改檢測算法并在不同公開數(shù)據(jù)集上測試像素級分類的準確度，以證明MobileNetV3-LSTM 混合模型的優(yōu)異性能，選取的對比算法具體為通過隱寫分析中的空域富模型（Spatial Rich Model，SRM）捕捉篡改偽影并與CNN 相結(jié)合的特征提取算法Xavier-CNN［15］、傳統(tǒng)離散小波變換與CNN 結(jié)合的算法DWT-CNN［16］、ManTra-Net［17］、多尺度分析算法ELA［18］，對比結(jié)果如表5 所示。由表5 可知，傳統(tǒng)算法與CNN結(jié)合的檢測準確度較低，ELA 忽視了邊緣信息的獲取，而ManTra-Net準確度較高，且仍有上升空間，原因是雖然加入了時間維度但卻忽略了多尺度特征的獲取。其中，COVERAGE 數(shù)據(jù)集［19］主要用于檢測復(fù)制-粘貼，將相似目標通過粘貼覆蓋類似對象來隱藏篡改圖像，COLUMBIA 數(shù)據(jù)集［20］側(cè)重未壓縮的圖像拼接篡改檢測，CASIA2 數(shù)據(jù)集［21］為混合數(shù)據(jù)集，檢測難度較大。

表5 不同數(shù)據(jù)集下的像素級分類準確度Table 5 Accuracy of pixel-level classification of different datasets %

圖4為本文算法的部分可視化篡改檢測定位結(jié)果，可以看出本文算法對于篡改邊緣痕跡明顯的區(qū)域，篡改檢測定位的準確度較高。測試一張256像素×256像素圖像的算法復(fù)雜度如表6所示。

圖4 可視化篡改檢測定位結(jié)果Fig.4 Visualized results of tampering detection and positioning

表6 算法復(fù)雜度對比Table 6 Comparison of algorithm complexity

從表6 可以看出，本文算法的參數(shù)量平均縮減了82.3%，Madds 計算量遠小于其他算法，推理速度平均加快了2 倍。為驗證本文算法的泛化性，在realistictampering-dataset［18］等真實篡改數(shù)據(jù)集上進行測試，并給出部分可視化結(jié)果，如圖5 所示。從圖5 可以看出，盡管在真實篡改數(shù)據(jù)集上本文算法存在漏檢和誤檢的情況，但是邊緣輪廓信息以及多尺度信息基本能被檢測，并且完成了初步的篡改定位，這表明本文算法具有一定的泛化性能。

圖5 真實篡改數(shù)據(jù)集的可視化結(jié)果Fig.5 Visualized results of real tampering dataset

3 結(jié)束語

本文設(shè)計一種輕量級多尺度融合的圖像篡改檢測算法，利用深度學(xué)習(xí)方法端到端學(xué)習(xí)篡改圖像的差異性特征并將其分類為多尺度特征和邊緣特征，同時采用雙分支特征融合架構(gòu)進行學(xué)習(xí)輸出預(yù)測掩膜，完成圖像篡改定位任務(wù)。實驗結(jié)果表明，本文算法的精確率、召回率以及F1 分數(shù)均取得較好結(jié)果，相比ManTra-Net、Xavier-CNN 等算法檢測準確度平均提高9.2 個百分點、參數(shù)量縮減82.3%、推理速度加快2 倍，并通過消融實驗證明了每個設(shè)計模塊的必要性和貢獻度。由于MobileNetV3-LSTM 混合模型設(shè)計較為復(fù)雜，后續(xù)將在輕量級網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)上，采用裁剪稀疏化等模型壓縮方法，進一步降低圖像篡改檢測算法的時間復(fù)雜度及計算成本。