基于多層感知卷積和通道加權的圖像隱寫檢測

葉學義 郭文風 曾懋勝 張珂紳 趙知勁

(杭州電子科技大學通信工程學院 杭州 310018)

1 引 言

數字圖像隱寫檢測阻止非法隱寫通信活動、保障通信安全[1]，是信息安全領域的重要研究方向，得到了廣泛的研究并且發展迅速，它通過對數字圖像進行分析，從而判斷圖像是否嵌入了秘密信息。傳統圖像隱寫檢測方法主要通過提取基于相鄰像素相關性的高階統計特征和訓練分類器完成載體/載秘圖像的分類，如減法像素鄰接矩陣(Subtractive Pixel Adjacency Matrix， SPAM)[2]和空域富模型(Spatial Rich Model， SRM)[3]。但是這些方法所提取的檢測特征需要人工設計，特征提取耗費極高，而且隨著隱寫術的不斷發展[4–6]，人工設計隱寫檢測特征的難度越來越大。

隨著深度學習的興起，研究者開始將深度學習引入圖像隱寫檢測[7]。2014年，Tan等人[8]從一堆自動編碼器中使用無監督學習來訓練卷積神經網絡(Convolutional Neural Networks， CNN)。2015年Qian等人[9]提出了一個基于監督的5層CNN模型Qian-Net進行隱寫檢測，其檢測準確率與SRM[3]相似。2016年Xu等人[10]構建了一個不同的5層CNN檢測模型Xu-Net，不同點在于Xu等人借鑒了其他應用領域中取得成功的卷積神經網絡結構單元，如絕對值激活層(ABSolute activation layer， ABS)和批歸一化層(Batch Normalization， BN)。卷積層之后使用ABS層的目的是使模型學習殘差圖像的符號對稱性；BN層的使用則避免模型在訓練過程中出現梯度消失問題，且允許更大的學習率，大幅提高訓練速度，實驗結果表明，其模型的檢測準確率稍優于SRM[3]。2017年，Ye等人[11]設計了一個10層的CNN圖像隱寫檢測模型Ye-Net，該模型首次在預處理層使用了SRM[3]中使用到的30個高通濾波器進行濾波，有助于抑制圖像內容和提取隱寫信息；使用截斷線性單元(Truncated linear unit， Trunc)作為第1個卷積層的激活函數，增加了模型的非線性因素，使模型可以擬合更復雜的特征，實驗結果表明，其模型檢測準確率遠超于SRM[3]。Yedroudj等人[12]在2018年提出了一個新的5層CNN圖像隱寫檢測模型Yedroudj-Net，其模型結合了Xu-Net[10]和Ye-Net[11]的優點，取得了更好的檢測結果。同年，Zhang等人[13]提出了一個利用可分離卷積和空間金字塔池的CNN檢測模型Zhang-Net，明顯地提高了檢測準確率。

雖然基于深度學習的圖像隱寫檢測已經顯著提高了檢測準確率，但是現有模型所提取檢測特征的表達能力仍然不能滿足應用所需。為此本文構建了一個基于多層感知卷積和通道加權的圖像隱寫檢測模型。在預處理層，對濾波器內核進行改進，使用SRM[3]中使用到的30個高通濾波器對預處理層進行初始化，按照尺寸大小，分別擴充為17個 3 ×3和13個5 ×5大小，優化局部特征；在模型中使用多層感知卷積層來代替傳統的卷積層，增加模型的抽象能力；為了使模型學習到更有利于檢測的特征，進一步提高模型的檢測準確率，在模型中加入通道加權模塊。將該模型與Xu-Net[10]， Yedroudj-Net[12]，Zhang-Net[13]進行比較，在相同的實驗條件下，小波加權( Wavelet Obtained Weights， WOW)[14]、空域-通用小波相對失真(Spatial-UNIversal WAvelet Relative Distortion， S-UNIWARD)[15]兩種不同隱寫算法的不同嵌入率下的實驗結果表明，本模型表現出更高的檢測準確率。

2 基于CNN圖像隱寫檢測的最近典型模型

2.1 Yedroudj-Net

圖1顯示了Yedroudj-Net[12]的整體架構，其包含1個預處理層、5個卷積層以及1個由3個全連接層和1個Softmax[16]組成的輸出層，卷積層包含線性卷積層、批歸一化層(BN)、非線性激活層和平均池化層。

圖1 Yedroudj-Net[12]CNN架構

基于數字圖像的信息隱寫過程可以看作在載體圖像的高頻區域添加少量信息，為了提取多樣性的高頻信息，預處理層采用與Ye-Net[11]相同的處理方案，使用SRM[3]中的30個高通濾波器對輸入圖像進行濾波。以往的研究證明[9]，這種預處理很大程度上抑制了圖像內容，暴露出隱寫信息，如果沒有這種預處理，模型很難收斂。鑒于ABS層和BN層在Xu-Net[10]模型中的良好表現，Yedroudj-Net[12]模型在搭建過程中同樣使用了ABS層和BN層。

2.2 現有問題及分析

目前隱寫算法的研究更趨向于將秘密信息嵌入載體圖像的細節，盡可能小地改動載體圖像，這導致檢測模型必須提取更高階的圖像統計特性才能反映出載體圖像在隱寫前后的差異。因此，對于圖像隱寫檢測而言，檢測特征的表達對檢測結果至關重要，但是現有的模型還存在以下問題：(1) 預處理層需要用SRM中30個高通濾波器進行初始化，現有的處理方式是將其統一擴充為5 ×5大小，則小尺寸的高通濾波器會被填充過多的0，抑制殘差圖像；(2) 卷積層的線性卷積運算對高階特征的表達能力有限；(3) 卷積得到的所有特征圖以同等的權重輸入下一層，沒有考慮其主要性和次要性。

由此提出了基于多層感知卷積和通道加權的隱寫檢測模型。首先在預處理層將30個高通濾波器按照尺寸大小，分別擴充為17個 3×3 和 13個5 ×5大小，避免過度補零對殘差圖像的抑制；其次引入Lin等人[17]提出的多層感知卷積層(Multi-layer perceptual convolution layer， Mlpconv)，它將卷積核與多層感知器連接，利用多層神經元的全連接彌補對高階特征的表達；最后采用擠壓激勵(Squeezeand-Excitation， SE)[18]模塊，實現根據全局信息對不同的特征圖通道分配不同的權重。

3 基于多層感知卷積和通道加權的隱寫檢測模型

3.1 模型結構

如第2節所述，本文構建了一個新的隱寫檢測模型，整體架構如圖2所示。

圖2 本文檢測模型

本模型由1個預處理層、2個多層感知卷積層(Mlpconv)、3個傳統卷積層、通道加權模塊SE[18]以及3層全連接層組成。

預處理層對輸入圖像進行濾波，濾波器采用的是SRM[3]中用到的30個高通濾波器，濾波器的值在訓練過程中固定不變。濾波得到的殘差圖像輸入多層感知卷積層，多層感知卷積層包含30個5×5大小的線性卷積核和1個多層感知器(MultiLayer Perceptron， MLP)，多層感知器由具有非線性激活函數的兩個完全連接的層組成，其中非線性激活函數選擇線性整流單元(Rectified Linear Unit， ReLU)，全連接層神經元的個數與線性卷積核的個數保持一致。每層卷積層的線性卷積之后都使用BN層，ABS層僅在第1個卷積層之后被使用。與Yedroudj-Net[12]相似，本模型在Mlpconv中的線性卷積之后應用Trunc激活函數，在傳統卷積層應用ReLU激活函數。模型中第1層不做池化，2， 3， 4層使用平均池化，大小為5 ×5，步長為2，最后一層使用全局平均池化。通道加權模塊SE[18]根據全局信息對不同通道特征圖分配不同的權重，特征圖完成權重重分配之后輸入到下一層，SE[18]具體實現細節如3.4節所示。

3.2 改進預處理層

擴充完后首先對所有高通濾波器進行歸一化處理，使得濾波器中心元素的值為1，這樣每個濾波器的參數都分布于同一量級；然后將通過高通濾波器計算得到的兩部分殘差圖像堆疊到一起，進行閾值T為3的截斷操作，可以有效抑制無用的圖像內容，防止模型對較大的值進行建模，提高模型對特征的表達能力。

3.3 Mlpconv

圖3所示為傳統線性卷積層的示意圖，對于傳統的卷積層來說，一般是通過一個單層線性濾波器對輸入進行線性卷積運算，然后接非線性激活函數，最終生成特征圖。以ReLU激活函數為例，傳統卷積層的特征圖的計算公式為

圖3 線性卷積層

眾所周知，CNN通過結合較低層的特征來生成高層特征，因此在將他們生成更高層次的特征之前，對每個局部感受野進行更好的抽象是有益的。所以在本文構建的模型的低層使用了如圖4所示的多層感知卷積層(Mlpconv)結構來代替傳統的卷積層。

圖4 Mlpconv層

Mlpconv相當于在卷積層中包含了一個由多層感知器構成的微型網絡，通過微型網絡對每個局部區域進行更復雜的運算，計算更抽象的特征。Mlpconv特征圖的計算公式為

3.4 通道加權

通常在設計檢測模型時，會用到多個卷積核，盡可能地提取檢測所需要的特征，多個卷積核提取到的特征會包含主要特征，相應地也會包含次要特征，每個特征圖通道對檢測結果的重要性并不完全相同。為此在模型中引入了通道加權的機制，對特征進行重新校準。SE[18]模塊利用全局信息對不同的特征圖通道分配不同的權重，在圖像分類比賽中表現出顯著的性能，通過在每層卷積層后構建SE模塊[18]來完成通道加權的過程，如圖5所示。

圖5 SE模塊結構圖

卷積得到的特征圖U首先通過擠壓(Squeeze)操作，U的維度為H×W×C，C為卷積得到的特征圖通道數。Squeeze操作通過對特征圖使用全局平均池化得到輸出為 1×1×C的特征圖通道統計數據，采用全局平均池化是為了聚集全局信息，使得來自網絡的全接收域的信息被它的所有層使用。計算公式為

4 實驗及分析

4.1 實驗設置及數據集

所有實驗均采用深度學習框架 PyTorch，在Linux操作系統下實現，圖形處理器(Graphics Processing Unit， GPU)采用英偉達(NVIDIA，GTX1080)。選用數據庫為BOSSBase v1.0[19]，其包含10000張大小為512×512的灰度圖像，由于GPU顯存限制，使用MATLAB將所有圖片重采樣為大小為2 56×256的圖像。

實驗使用了兩種典型的自適應隱寫算法小波加權(Wavelet Obtained Weights， WOW)[14]和空域-通用小波相對失真(Spatial-UNIversal WAvelet Relative Distortion， S-UNIWARD)[15]對載體圖像進行秘密信息嵌入，由此得到10000對載體/載秘數據集，然后將10000對圖像劃分為兩組，5000對圖像分配給訓練集，5000對分配給測試集，在5000對訓練集中選擇4000對進行訓練，剩下的1000對留作驗證，測試集在訓練階段保持不變。

實驗中采用小批量隨機梯度下降算法，權重衰減率設為0.0001，動量設置為0.95，所有層使用澤維爾 (Xavier)[20]方法初始化，訓練中每一批次大小設置為16，學習率初始化為0.01，最大訓練迭代數為300。實驗中對比檢測模型的數據直接來自對應的參考文獻。

4.2 預處理層改進前后對比

對于隱寫檢測模型來說，特征提取模塊的輸入是預處理層所提取的殘差圖像，因此預處理層所提取的殘差圖像對于模型的檢測結果至關重要。為了說明在3.2節所提對預處理層的改進對模型檢測準確率的影響，用所提改進方案對Yedroudj-Net[12]預處理層進行修改，其他部分不變，與Yedroudj-Net[12]進行對比實驗。在0.2 bpp和0.4 bpp兩種嵌入率下，兩種檢測模型對WOW[14]和S-UNIWARD[15]兩種隱寫算法的檢測準確率如表1所示。

從表1可以看出，按照3.2節提出的方案修改了預處理層之后Yedroudj-Net[12]相較原本的Yedroudj-Net[12]在兩種隱寫算法的兩種不同的嵌入率下，檢測準確率都有所提升，最高提升5.51%。由此可見，改進后的預處理層所提取的殘差圖像對模型的檢測準確率有很大的影響，更加有利于隱寫檢測。

表1 Yedroudj-Net[12]修改預處理層前后準確率(%)

4.3 Mlpconv對檢測準確率的提升

為了說明Mlpconv對檢測準確率的影響，本節實驗首先對Mlpconv的抽象能力進行了分析，然后研究了Mlpconv的層數對檢測結果的影響，最后與3種比較著名的檢測模型進行了對比，分別是Xu-Net[10]， Yedroudj-Net[12]以及Zhang-Net[13]。

4.3.1 特征圖可視化

特征圖可以很好地描述特征提取過程，為了比較Mlpconv與傳統卷積層的特征抽象能力，將經過第1層傳統卷積層后的特征圖與經過第1層Mlpconv之后的特征圖進行了可視化處理。隱寫檢測模型都是使用S-UNIWARD[15]進行訓練，嵌入率為0.4 bpp。選取數據集中任意一張載秘圖像，模型所提取部分特征圖對比如圖6所示。其中圖6(a)為載秘圖像，圖6(b)為經過第1層傳統卷積層后所提取的部分特征圖，圖6(c)為經過第1層Mlpconv之后提取的部分特征圖。實驗結果表明，Mlpconv生成的特征圖保留了較少的圖像內容信息，并保持了較高的信噪比，在隱寫檢測模型中使用Mlpconv能提取出具有較強表達能力的特征。

圖6 模型所提取部分特征圖

4.3.2 Mlpconv層數對檢測準確率的影響

使用Mlpconv代替傳統的卷積層可以顯著提高檢測準確率，但過多地使用Mlpconv會帶來參數量的增加，增大計算開銷。為了合理使用Mlpconv，搭建性能良好的圖像隱寫檢測模型，本節實驗探究了Mlpconv層數對檢測準確率的影響，分別使用1層Mlpconv、2層Mlpconv和3層Mlpconv替換傳統的卷積層時，在S-UNIWARD[15]隱寫算法的0.1 bpp，0.2 bpp， 0.3 bpp以及0.4 bpp 4個不同的嵌入率的情況下做了對比實驗，實驗結果如圖7所示。

圖7 不同Mlpconv層數實驗結果圖

實驗結果表明，增加Mlpconv的層數并不能給模型帶來檢測準確率上的持續提升。當用2層Mlpconv代替傳統的卷積層時，檢測準確率最高，3層Mlpconv僅在0.4 bpp的嵌入率下表現較好，檢測準確率為87.79%，相比較2層Mlpconv的準確率提升0.13%，并且當Mlpconv為3層時，模型所需學習的參數量相較于2層Mlpconv增長了0.6%。綜合考慮，選擇了使用2層Mlpconv代替傳統的卷積層來搭建隱寫檢測模型，以達到良好的檢測準確率。

4.3.3 不同方法的對比

在0.2 bpp， 0.4 bpp兩種嵌入率下，Xu-Net[10]，Yedroudj-Net[12]， Zhang-Net[13]以及本文模型對WOW[14]和S-UNIWARD[15]兩種隱寫算法檢測準確率如表2所示。

從表2的實驗結果可以看出，針對WOW[14]隱寫算法，0.2 bpp和0.4 bbp嵌入率下，本文模型檢測準確率與Yedroudj-Net[12]相比較提升8.52%和3.69%，與性能表現較好的Zhang-Net[13]相比，準確率提升4.02%和1.39%；隱寫算法為S-UNIWARD[15]時，兩種嵌入率下，所提模型與Yedroudj-Net[12]相比，準確率提升13.64%和10.46%，與Zhang-Net[13]相比，準確率提升5.44%和2.96%。實驗結果表明，本模型在兩種隱寫算法不同嵌入率下，檢測準確率均高于另外3種模型，這主要得益于Mlpconv的引入，在模型的前兩層使用Mlpconv代替傳統的卷積層，可以顯著提升模型的檢測準確率。

表2 本文模型與其他模型的對比結果(%)

4.4 通道加權對檢測準確率的提升

該模型中加入了通道加權機制，通過SE模塊使模型執行特征重校準。為了驗證通道加權的有效性，將原本的模型與加入SE模塊之后的模型進行了對比試驗，其中SE模塊涉及到一個縮減率r的參數設置，在不同的縮減率r下進行了實驗，實驗表明根據第1層全連接層的輸入通道數對r進行調整，保證輸出通道數縮減到2時模型檢測準確率表現最好，即當輸入通道分別為30， 32， 64， 128時，參數縮減率r相對應地設置為15， 16， 32， 64時可以在準確率和復雜性之間實現良好的平衡。在WOW[14]和S-UNIWARD[15]兩種隱寫算法的0.2 bpp， 0.4 bpp兩種嵌入率下，所提模型進行通道加權前后的對比實驗結果如表3所示。

從表3可以看出，所提模型在加入通道加權的機制后，相較通道加權之前，在不同隱寫算法的不同嵌入率下，檢測準確率可提升0.44%～0.71%。因此，在已經設計好的模型中加入所提通道加權機制，可以進一步提升隱寫檢測模型的檢測準確率。

表3 通道加權前后模型的檢測準確率(%)

5 結 論

基于多層感知卷積和通道加權的圖像隱寫檢測模型，首先在預處理層中改進卷積核的擴充尺寸，將30個高通濾波器按照尺寸大小，分別擴充為17個3×3和 13個5 ×5大小，避免出現因填充過多的0而抑制殘差圖像；其次使用多層感知卷積層代替傳統的線性卷積層，增強模型對高階特征的表達能力，提高檢測準確率；最后在模型中加入通道加權的模塊，對不同的卷積通道賦予不同的權重，使模型選擇性地強調對檢測結果更有利的信息特征，進一步提高模型的檢測準確率。通過在不同隱寫算法、不同嵌入率下進行的實驗結果表明，與現有的CNN檢測模型相比，本文模型在檢測準確率上有明顯的提高。