基于雙分支生成對抗網絡的圖像隱寫方法

黃 印 周 軍 梅紅巖

(遼寧工業大學電子與信息工程學院 遼寧 錦州 121001)

0 引 言

圖像隱寫是將額外信息以不可見的方式隱藏到圖像載體中的一種信息安全技術[1]。圖像隱寫技術在多媒體信息安全領域和版權保護領域有著廣泛的應用價值,受到了國內外許多學者的關注[2-5]。

根據秘密信息的隱藏方式,圖像隱寫方法主要有三類,即基于修改的隱寫方法、基于選擇的隱寫方法、基于生成式的隱寫方法。基于修改的隱寫方法[6-7]以修改圖像的方式嵌入秘密信,但含密圖像總會不可避免地留有修改痕跡。隨著基于深度學習的隱寫分析技術不斷發展,使得基于修改的隱寫方法在隱匿信息時,秘密信息不被發現的可能性越來越小。基于選擇的隱寫方法[8-10]不修改原始圖像,根據待傳遞的密文選擇圖像,有效避免了隱寫分析技術的檢測,但查詢符合特定條件的圖像困難,使得基于選擇的隱寫方法停留在理論探索階段。

基于生成式的隱寫方法主要借助生成對抗網絡GAN(Generative Adversarial Network,GAN)[11]優秀的圖像生成能力,以秘密信息為驅動來生成含密圖像。Wu等[12]提出一種基于GAN的卡登格子方案,可以在圖像的破損區域嵌入秘密信息,但容量較低。劉明明等[13]提出基于ACGAN的圖像隱寫方法,能夠將秘密信息隱藏在圖像標簽中,并使用輔助分類器對圖像分類來獲得秘密信息,然而訓練過程中需要大量的圖像標簽,適用性不夠理想。Hu等[14]提出基于DCGAN圖像隱寫方法,可以在發送端把秘密信息隱藏在噪聲數據中,在接收端提取出所隱藏的秘密信息。但該方法直接利用GAN嵌入隱寫信息并提取,未考慮秘密信息對圖像風格的影響。例如,秘密信息控制圖像的顏色、類別等顯式的圖像特征,這些特征與秘密信息緊密相關,影響圖像隱寫方法的隱蔽性。

有鑒于此,本文基于雙分支生成對抗網絡提出了一種新的圖像隱寫方法,主要工作如下:(1) 給出一種雙分支編碼器,以無監督學習的方式減少圖像風格和秘密信息之間的聯系。雙分支編碼器的風格分支控制圖像風格;信息分支隱藏秘密信息,使秘密信息在隱藏時具有較高的隱蔽性。(2) 引入互學習訓練方法,使訓練方向相反的雙分支編碼器、解碼器協同工作,提高模型的準確率。實驗驗證了本文方法在容量、隱蔽性和準確率方面的優勢。

1 生成對抗網絡

生成對抗網絡GAN是Goodfellow等[11]提出的一種無監督學習的方法,主要由生成網絡和判別網絡兩部分組成,如圖1所示。GAN借鑒博弈論中對抗的思想,將生成網絡和判別網絡分別看作是博弈的雙方,博弈雙方通過對抗來不斷迭代優化網絡中的參數,使生成網絡和判別網絡的性能得到提升。GAN的目標是學習真實樣本x的數據分布Pdata。首先定義隨機噪聲z,通過生成網絡G來生成樣本G(z)。然后利用判別網絡D,判斷輸入數據的來源,即判斷數據是來自生成樣本還是真實樣本。最后訓練生成網絡G使生成的樣本G(z)的數據分布盡可能符合真實樣本x的數據分布Pdata,訓練判別網絡D使其精準地判斷數據的來源。

圖1 GAN結構

在GAN中生成網絡G和判別網絡D的優化可看作是一個二元極小極大的問題,建立包含G和D的目標函數V(G,D),訓練過程如式所示:

Ez～Pz[log(1-D(G(z)))])

(1)

式中:E為數學期望;Pz為噪聲的數據分布。

GAN通過交替更新兩個網絡的參數來完成訓練,先固定生成網絡G,更新判別網絡D的參數,再固定判別網絡D,更新生成網絡G的參數。當Pz=Pdata時,生成網絡G與判別網絡D達到全局最優解。

隨著研究的深入,許多學者提出了對GAN的改進方法。WGAN[15]引入Wasserstein距離來優化JS散度,生成更多的圖像種類。InfoGAN[16]對隨機噪聲z進行約束,提高了對隨機噪聲z的解釋性。DCGAN[17]將傳統GAN與卷積神經網絡進行結合,增加了訓練的穩定性,提高了生成圖像的質量。StyleGAN[18]將潛在因子映射到隱藏空間,以無監督學習的方式分離圖像中人物的姿勢、身份等高級屬性。同時,利用隨機噪聲來使人物的頭發、雀斑等特征發生變化。

2 一種新的圖像隱寫方法

一般地,應用生成對抗網絡進行圖像隱寫,主要應用經典生成對抗網絡方法進行隱寫,直接應用單一輸入將秘密信息隱寫于圖像中,秘密信息直接控制圖像特征,影響了隱寫的隱蔽性[14]。

本文提出一種基于雙分支生成對抗網絡的圖像隱寫方法。雙分支生成對抗網絡在生成含密圖像的過程中,以無監督學習的方式減少圖像風格和秘密信息之間的聯系,網絡的基礎模型的組成主要包括信息映射方法、雙分支編碼器、判別器以及解碼器。信息映射方法是指將秘密信息按一定規則映射為信息向量的方法;雙分支編碼器采用雙分支結構進行設計,主要包括信息分支、風格分支和生成器,其中,信息分支主要用于隱藏秘密信息,風格分支主要用于控制圖像風格,生成器采用StyleBlock模塊[19]進行設計;判別器采用Stylegan[18]中判別器結構,利用對抗訓練使生成的圖像更加真實;解碼器與判別器相似,但最后一層采用全連層,主要用于提取秘密信息。此外,文中圖像隱寫方法還應用互學習訓練方法來提高模型準確率。基于雙分支生成對抗網絡的圖像隱寫方法如圖2所示。

圖2 基于雙分支生成對抗網絡的圖像隱寫方法

2.1 信息映射方法

通過構建秘密信息與信息向量之間的一種映射規則,將秘密信息隱藏在生成的圖像之中,使圖像傳輸的同時,也將秘密信息傳輸出去。

從均勻分布[-1,1]中隨機采樣來獲得維度為nz的信息向量z={zi|i=1,2,…,nz}。記二進制秘密信息s的維度為ns,nz與ns之間的維數關系滿足式(2)。

ns=σnz

(2)

式中:σ為縮放因子,可取的值有1、2、3,維度nz為100。

秘密信息與信息向量之間的映射規則采用Hu等[14]描述的規則,記序列m={mi|i=1,2,…,ns}每一分量是秘密信息s中σ位二進制數所對應的十進制數的值,建立m到z之間的映射關系,如式(3)所示。

(3)

式中:函數random(x,y)的功能是隨機生成區間[x,y]之間的一個數;δ是區間間隔,文中設置為0.001。

為了從信息向量中恢復秘密信息,建立z到m之間的映射關系,z到m之間的映射關系式如式(4)所示。

mi=(zi+1)×2σ-1i=1,2,…,nz

(4)

通過式(4)將信息向量z恢復為m,將m進行二進制轉換來得到秘密信息s,實現秘密信息的提取。

2.2 雙分支編碼器

現有大部分基于生成式的圖像隱寫方法利用GAN進行圖像隱寫的時候,通常只將秘密信息作為網絡輸入。為了生成含密圖像,秘密信息往往需要控制生成圖像的風格,導致隱蔽性降低。大多數以無監督方式分離圖像特征的深度學習方法之所以能取得成功,是因為這些網絡將多輸入結構考慮進來,比如信息生成對抗網絡InfoGAN[16]、風格生成對抗網絡StyleGAN[18]。本文將多輸入結構引入到圖像隱寫任務中,重新設計編碼器輸入結構,給出了一種雙分支編碼器,使得網絡以無監督學習的方式減少秘密信息對含密圖像風格的影響。雙分支編碼器設計的基本思想是通過不同分支來控制含密圖像的合成,采用兩個分支來分別控制圖像的風格和隱藏秘密信息,從而充分提高圖像隱寫任務的隱蔽性。

雙分支編碼器結構主要包括信息分支、風格分支和生成器三部分。信息分支中,輸入的是信息向量z(由信息映射方法得到),該分支的主要目的是隱藏秘密信息。風格分支中,輸入的是隨機采樣的噪聲w,該分支的主要目的是控制圖像風格。生成器利用信息分支和風格分支輸出的結果,生成攜帶秘密信息的圖像。雙分支編碼器結構如圖3所示。

圖3 雙分支編碼器結構圖

在信息分支網絡結構中,將結果逐像素添加至特征圖中,達到隱藏秘密信息的目的。在風格分支網絡結構中,將結果輸出至卷積層中來控制不同尺度下圖像特征的強度,從而有效控制圖像風格。風格分支和信息分支都包含若干全連接層和仿射變換。其中,風格分支包括8個串聯的全連接層和10個仿射變換A;信息分支包含5個并聯的全連接層和10個仿射變換B。本文利用StyleBlock模塊[19]作為生成器的基礎結構,StyleBlock模塊結構由調制器、解調器、雙線性上采樣和3×3卷積構成,一方面利用調制器、解調器對3×3卷積的權重歸一化來提高GAN訓練穩定性,另一方面利用雙線性上采樣使神經網絡在訓練過程中由粗粒度到細粒度的生成圖像,StyleBlock模塊結構如圖4所示。

圖4 StyleBlock模塊結構

生成器由5個StyleBlock模塊和1×1卷積構成,網絡的輸出為攜帶秘密信息的圖像,生成器結構如表1所示。

表1 生成器結構

2.3 互學習訓練方法

圖像隱寫準確率是一項十分重要的屬性,反映提取秘密信息的能力。本文通過互學習訓練方法來達到提高模型準確率的目的。互學習神經網絡模型[20]借助正、負向神經網絡,將“原因”和“結果”互相作為學習對象,進行雙向學習。

應用互學習神經網絡訓練方法,本文使雙分支編碼器、解碼器兩個訓練方向相反的網絡相互學習。在給定秘密信息時,正向學習利用雙分支編碼器生成含密圖像,實現順向認知過程;在給定含密圖像時,負向學習利用解碼器來重構秘密信息,完成逆向認知過程。我們將解碼器產生的誤差以反向傳播的方式對雙分支編碼器的權重進行優化,將原本相互獨立的雙分支編碼器、解碼器結合起來。其中,為了減少對圖像風格的影響,只對信息分支權重進行調整。解碼器產生的誤差如式(5)所示。

(5)

式中:nz為信息向量的維度。z為雙分支編碼器輸入的信息向量,z′為解碼器提取的信息向量。

2.4 圖像隱寫方法描述

設神經網絡的迭代次數為k,樣本總數為M,則基于雙分支生成對抗網絡的圖像隱寫方法訓練過程如算法1所示。

算法1基于雙分支生成對抗網絡的圖像隱寫方法

1.初始化雙分支編碼器、判別器和解碼器網絡結構網絡權值;

2.重新排列訓練樣本順序;根據樣本批量個數d,將訓練樣本平均分成t個子批量[20],t=M/d,表示向上取整;

3.利用對抗學習[11]和互學習訓練方法訓練雙分支編碼器、判別器和解碼器;

4.將步驟3循環進行t次;

5.將秘密信息S拆分成若干子序列si,i=1,2,…,l;

6.根據信息映射方法將每個子序列si映射為信息向量z;

7.利用雙分支編碼器生成含密圖像;

8.利用解碼器從含密圖像中提取信息向量z′;

11.根據誤差結果和迭代次數k判斷是否達到收斂要求,若達到要求,則網絡完成訓練,否則循環步驟2-步驟10。

其中,步驟5-步驟7是含密圖像生成過程,步驟8-步驟10是秘密信息提取過程。

基于雙分支生成對抗網絡的圖像隱寫方法流程如圖5所示。

圖5 基于雙分支生成對抗網絡的圖像隱寫方法流程

基于雙分支生成對抗網絡的圖像隱寫方法的核心算法主要包括含密圖像生成和秘密信息提取兩個部分,為了更好地理解文中圖像隱寫方法的工作原理,分別總結兩個算法的偽代碼如算法2和算法3所示。

算法2含密圖像生成算法

Input:秘密信息S、雙分支編碼器G

Output:含密圖像stego

1.Begin

2.ns=σ×nz

3.l=length(S)/ns

4.fori=1 toldo

//處理秘密信息

5.forj=1 tonsdo

//處理秘密信息子序列

6.m=0

7.fork=itoi+σ-1do

//信息映射方法

8.m=m+2j+σ-1-ksik

9.endfor

10.j=j+σ

11.generaterby using Eq.(3)

12.insertrintozi

13.endfor

14.generatewi～Uniform(-1,1)

15.generatestegoi=G(wi,zi)

//生成含密圖像

16.insertstegoiintostego

17.endfor

18.returnstego

19.End

算法3秘密信息提取算法

Input:含密圖像stego、解碼器E

Output:秘密信息S

1.Begin

2.l=length(stego)

3.fori=1 toldo

//處理含密圖像

4.zi=E(stegoi)

//提取信息向量

5.m=0

6.fori=1 tonzdo

//信息映射方法

7.generatemby using Eq.(4)

8.insert binary bits with value ofmintoSi

9.endfor

10.insertSiintoS

11.endfor

12.returnS

13.End

3 實驗結果與分析

文中使用的實驗環境是學院實驗室現有環境,實驗設備為一臺裝有Tesla P100顯卡、Intel Xeon CPU的服務器,服務器的內存為13 GB,操作系統為Ubuntu16.04,算法程序用Python3.7版本的Pytorch深度學習框架實現,使用的集成開發環境為VSCode。

實驗在CelebA人臉數據集[21]上進行,CelebA人臉數據集是來自香港中文大學的開放數據集,共包含10 117個人物身份的202 599幅彩色臉部圖像,涉及各種姿態和復雜背景。每張臉部圖像尺寸為178像素×218像素,包含5個臉部特征點和40種屬性(性別、發色等)的臉部相關標記。

在實驗中,將CelebA人臉數據集圖像像素值歸一化到[-1,1]之間,子批量大小設置為64。網絡模型的初始權重服從N(0,0.02),采用Adam優化方法,學習率設置為0.000 2,更新變量β1=0.5,β2=0.999。信息向量z的維度nz采用Hu等[14]提出的方法中的參數設置,設置為nz=100。從均勻分布[-1,1]中隨機采樣來獲得維度為100的噪聲w。

3.1 容 量

隱寫容量由圖像中隱藏秘密信息的比特數和圖像尺寸決定。由信息映射方法可知,nz維信息向量z中的每個值對應秘密信息s中σ位二進制比特數。對于尺寸為N×N的圖像,圖像隱寫容量C的計算方法如式(6)所示。

(6)

應用本文提出的方法將100維的信息向量z作為輸入,生成尺寸為64×64的含密圖像,在σ=1時,文中方法的隱寫容量為2.44×10-2bit/pixel;在σ=3時,文中方法的隱寫容量為7.32×10-2bit/pixel。Liu等[21]的方法和Otori等[22]的方法生成的含密圖像尺寸較大,但在隱寫容量上,本文提出的方法隱寫容量較高。此外,Hu等[14]提出的方法在無載體圖像隱寫方法中具有高隱藏容量的特點,當本文提出的方法生成的圖像尺寸、秘密信息以及信息映射方法與Hu等[14]的方法相同時,方法的隱寫容量也與Hu等的方法[14]相同,因此本文提出的方法也具有高隱寫容量的特點。方法的隱寫容量對比結果如表2所示。

表2 隱寫容量對比

3.2 隱蔽性測試結果

隱蔽性是衡量圖像隱寫效果的重要因素。評價圖像隱寫的隱蔽性主要分為主觀評價和客觀評價,前者主要通過人的主觀感受來評價圖像隱蔽性,后者是根據量化指標對隱蔽性進行衡量。為驗證文中方法的隱蔽性,將Liu等[14]的方法得到的圖像隱寫結果作為基準實驗,再與本文提出的圖像隱寫方法得到的結果作定性和定量兩方面的分析與比較。

在定性實驗中,Hu等[14]使用DCGAN作為基礎模型,模型訓練比較穩定,生成圖像質量較好。不過,其在隱藏信息時秘密信息直接決定圖像風格。我們提出的方法將模型的輸入拆分為兩個分支,能夠有效減少秘密信息對圖像風格的影響,例如本文模型可以在生成攜帶不同秘密信息的圖像Gs時,使含密圖像的風格相近,同時,本文模型也能夠在生成隱藏相同秘密信息的圖像Gn時,使含密圖像的風格變化較大。此外,本文提出的圖像隱寫方法的圖像更自然,圖像中噪聲更少。定性實驗對比結果如圖6所示。

圖6 定性實驗對比結果

在定量實驗中,本文利用峰值信噪比(Peak Signal To Noise Ratio,PSNR)和結構相似度(Structural Similarity Index,SSIM)2個指標對圖像隱蔽性進行分析。PSNR如式(7)所示。

(7)

式中:n=8,EMS為兩個圖像之間的均方誤差。

SSIM如式(8)所示。

SSIM(x,y)=L(x,y)C(x,y)S(x,y)

(8)

式中:L(x,y)、C(x,y)、S(x,y)分別表示圖像的亮度、對比度和結構相似度。PSNR和SSIM的數值越大代表圖像越相似。

為了更加客觀和準確地評價圖像隱寫方法的隱蔽性,本文隨機選取100幅含密圖像進行測試,然后在PSNR和SSIM指標上對方法進行對比。相較于DCGAN[14]的評價結果,本文方法生成的圖像Gs在PSNR和SSIM上分別提高了17.65和0.60,說明本文方法在隱藏不同秘密信息時,可以減少含密圖像的風格差異。本文方法生成的圖像Gn在PSNR和SSIM兩個評價指標上基本與DCGAN[14]一致且低于本文方法生成的圖像Gs,說明本文方法在隱藏相同秘密信息時,可以增大含密圖像的風格差異。由此可得采用本文方法可有效減少秘密信息對圖像風格的影響,提高圖像隱寫的隱蔽性。定量實驗對比結果如表3所示。

表3 定量實驗對比結果

3.3 準確率

本文利用誤碼率(Bit Error Rate,BER)驗證模型的準確率。BER定義為RBE=m/M×100%,其中,m表示錯誤恢復秘密信息的比特數,M表示傳輸秘密信息的總比特數。

σ值和不同圖像尺寸影響本文模型的準確率。隨著訓練的進行,本文模型的誤碼率不斷降低,在訓練到30左右批次時趨于穩定。在σ=1且圖像尺寸為64×64的情況下,本文模型的誤碼率在1%左右。隨著σ值的增加(圖像尺寸的減小),本文模型的誤碼率開始上升。圖7、圖8分別給出了σ值和不同圖像尺寸對本文模型誤碼率的影響。

圖7 不同σ取值下的誤碼率

圖8 不同圖像尺寸下的誤碼率

互學習訓練方法在提高模型準確率方面有較好的效果。應用互學習訓練方法可以降低模型的誤碼率,我們將不使用互學習訓練方法的基準模型和使用互學習訓練方法的模型進行了比較,結果表明,使用互學習訓練方法明顯降低模型的誤碼率。圖9展示了互學習訓練方法在本文模型和DCGAN[14]上對誤碼率的影響,可以看出,利用互學習訓練方法在兩個模型上表現出較大的促進作用。

圖9 互學習訓練方法對模型誤碼率的影響

3.4 應用實例及應用效果

本文給出的圖像隱寫方法能夠應用在網絡信息傳遞中傳遞秘密信息,可應用于國防、信息安全、人類生活和隱私保護等各個領域。為了直觀地說明方法的應用過程及場景,下面以隱寫秘密信息為例,說明本文提出方法的主要過程和效果。

第一步,發送方隨機生成300維的秘密信息{011010…110}。

第二步,發送方根據信息映射方法將秘密信息映射為100維的信息向量{-0.101,-0.352,…,0.602}。

第三步,發送方在已訓練好的雙分支編碼器上輸入信息向量和5個不同噪聲w進行測試,得到的5種風格含密圖像如圖10所示。

圖10 生成的含密圖像

第四步,發送方從生成的含密圖像中隨機選取一幅圖像發送給接收方。

第五步,接收方采取發送方的逆過程,利用解碼器從接收到的含密圖像中提取信息向量。

第六步,接收方根據信息映射方法將信息向量映射為秘密信息,實現秘密信息的提取。

本文以人們的行為習慣為構造原則,根據社交平臺上較為廣泛使用的人們行為習慣,利用雙分支生成對抗網絡,構造出具有實際意義的攜帶秘密信息的人臉圖像并在社交網絡上傳輸。從圖10可以看出,生成的人臉圖像在表達形式上符合特定的邏輯表達,符合人們的行為習慣,能達到隱蔽傳遞信息的目的。人臉圖像是由雙分支編碼器直接生成的偽自然圖像,沒有對載體做任何修改,避免了在隱寫過程中對特定原始圖像載體的依賴。同時,生成的偽自然圖像十分逼真,利用人眼難以區分自然圖像和偽自然圖像的差別。此外,我們還利用無監督學習的方式減少秘密信息對人臉圖像風格的影響,保證相同秘密信息在不同時間和地點,所得到的人臉圖像呈現風格不同,可以更好地偽裝成日常傳輸的常用圖像。面對復雜且多樣的隱寫分析人員,相比于傳統的圖像隱寫方法,本文所提出的方法能更加安全地進行秘密通信。

4 結 語

本文在使用生成對抗網絡實現圖像信息隱藏的過程中,提出了基于雙分支生成對抗網絡的圖像隱寫方法,該方法具有高容量、高準確率和良好的隱蔽性等特性。雙分支生成對抗網絡可以有效地將秘密信息隱藏在圖像中,并減少秘密信息對圖像風格的影響。本文在保證高隱蔽性的基礎上,利用互學習訓練方法,提高了模型的準確率,這是大多數基于生成式的圖像隱寫方法未涉及的。本文在CelebA數據集上進行了實驗驗證,實驗結果表明,本文在提高隱蔽性和提升準確率方面的模型設計是有效的。下一步將考慮通信中噪聲的影響,從而進一步提高方法的魯棒性。