基于快速神經網絡架構搜索的魯棒圖像水印網絡算法

王小超，張雷，余元強，胡坤，胡建平

（1.天津工業大學數學科學學院，天津 300387；2.天津大學 智能與計算學部，天津 300350；3.中國科學院大學，北京 100049；4.東北電力大學 理學院，吉林吉林 132012）

隨著互聯網和通信技術的快速發展，信息傳播和共享愈發頻繁和重要，人們對知識產權與信息安全亦越來越重視。為預防信息傳輸中圖像被非法篡改和惡意傳播，常用圖像水印技術對圖像進行版權保護和防偽認證［1-2］。

深度學習具有提取圖像非結構化特征的優勢，已成為圖像處理領域的一種重要方法，并在圖像水印算法中被廣泛關注和應用。VERMA 等［3］提出結合支持向量機與主成分分析的特征提取算法；SUN等［4］提出在BP 神經網絡中應用Arnold 變換的水印嵌入算法；CHEN 等［5］提出在卷積神經網絡中加入中值濾波的思想；MUN 等［6］提出一種基于自編碼器的神經網絡結構。以上算法主要針對簡單的水印字符圖像。BALUJA 等［7］提出一種三層式圖像嵌入與恢復網絡，能嵌入與宿主圖像相同復雜度的彩色圖像，甚至可同時嵌入多張水印圖像，展現了深度學習在圖像信息隱藏中的潛力。該網絡由3 個子網絡組成，每個子網絡由線性的全卷積層結構堆疊而成，能同時訓練隱藏和復原過程。隱藏網絡和復原網絡需防止圖像隱藏的信息被他人隨意提取和篡改。然而該算法的訓練網絡需要大量計算資源，通常需要使用多個GPU 連續訓練數天乃至數周才能達到較好的效果，如在ImageNet 數據集下進行實驗，使用單個GPU 需連續訓練5 d 才能達到最佳性能。

神經網絡架構搜索［8］（neural architecture search，NAS）是一種自動設計網絡技術，旨在幫助網絡設計人員有效設計合適的網絡結構，應對不同的場景和數據。預先給定網絡結構或超參數的搜索范圍，通過一定的搜索策略搜索最佳網絡結構和參數，常見的搜索策略有強化學習NASNet［9］、ENAS［10］、Path-level NAS［11］、進化算法［12］、AmoebaNet［13］、微分近似［14］（DARTS）等，這些算法通常需要花費很長時間才能獲得較滿意的結果。ZHENG 等［15］提出的多項式分布學習快速神經網絡架構搜索（multinomial distribution learning for effective neural architecture search，MDLNAS）算法在搜索速度和性能上優勢顯著。MDLNAS 將每個搜索空間看作一個聯合多項分布，最優的網絡結構依據概率最大原則獲得。網絡在每個批次的訓練集前依據概率隨機采樣，對神經元進行操作，并在訓練一個批次后對網絡結構進行評估，根據評估結果更新網絡結構。一個訓練批次對應一個評估批次，保留每個神經元操作的權重參數，避免因網絡結構變動出現需重新訓練網絡的問題，從而提高搜索效率。

本文在BALUJA 等［7］工作基礎上，將嵌入網絡中每層子網絡內的全卷積結構設定為神經單元結構，其中結構單元內節點間的運算操作由MDLNAS 算法確定［15］。通過修改MDLNAS 算法中的更新策略，使其適用于處理圖像水印嵌入任務。MDLNAS 算法得到的網絡，其網絡權重數明顯較文獻［7］中網絡的低，網絡訓練速度顯著提升。在CIFAR-10 和ImageNet 數據集上的測試結果表明，本文提出的網絡結構嵌入效果相對較好。在圖像嵌入中，本文提出的網絡結構對圖像空間信息的依賴性較文獻［7］中的網絡結構低，能更好地保持隱藏圖像的信息；在模型推理速度上，本文提出的網絡結構推理速度較文獻［7］中的網絡結構提高了3 倍以上，并且訓練得到的模型在新數據集上擁有更強的泛化能力。最后，大量對比實驗結果表明，本文提出的圖像水印網絡對抵抗旋轉、白噪聲、水平鏡像和上下翻轉等攻擊均具有顯著的魯棒性。

1 算法流程

1.1 網絡架構搜索

文獻［7］中的網絡由3 層子網絡構成，即預備網絡、隱藏網絡和復原網絡.每個子網絡均為線性連接的全卷積結構。首先確定網絡架構搜索空間，在3 層式深度圖像嵌入網絡的基礎上，將每個線性連接的全卷積層結構子網絡設計為一個神經結構單元。如圖1 所示，單元中擁有2 個輸入節點、4 個中間節點和1 個輸出節點，2 個輸入節點I1和I2分別為單元的先驅節點和先驅的先驅節點在經過一層卷積后的特征張量。中間節點Bi(i=1，2，3，4)由I1，I2和B1，B2，…，Bi-1經過各自邊運算操作后按元素級相加而成。將B1，B2，B3，B4節點的張量在深度方向進行拼接操作，得到輸出單元。圖1 中每條黃色邊在實際訓練過程中由預定義的神經元操作采樣而成，完整的網絡結構如圖2 所示。

圖1 神經網絡結構Fig.1 Neural network structure

圖2 圖像水印網絡結構Fig.2 Image watermarking network structure

預備網絡：在網絡開始時，標準化后的輸入S，先通過1 層卷積將特征通道數增至48 層（記作T），然后將2 個預處理層（全卷積層）分別作為單元的輸入I1、I2。將單元的輸出和T經拼接操作后依次經過ReLu 激活函數、卷積和Tanh 激活函數得到預備網絡的輸出。

隱藏網絡：首先對預備網絡的輸出和被嵌入宿主圖像的標準化張量H進行拼接，剩下的網絡拓撲結構同預備網絡，最終得到Tanh 激活函數下的3 通道張量，即嵌入后圖像的標準化張量H′。

復原網絡：以隱藏網絡的輸出H′作為輸入，余下的網絡拓撲結構同預備網絡，最終得到3 通道張量，即復原后圖像的標準化張量S′。

網絡結構搜索過程中使用的損失函數定義為

其中，H與H′、S與S′越接近損失函數值越小、嵌入與重建效果越好，系數β用于平衡宿主圖像和嵌入圖像重建的損失。式（1）中，|H-H′|的大小不影響復原網絡的更新權重，因為復原網絡不參與重建宿主圖像H的過程。而β|S-S′|的大小影響3 個子網絡的更新權重。

本文中的NAS 網絡架構由3 個子網絡內單元中的節點間操作決定。單元內部每個中間節點間的連接由8 種預定義的操作構成（3×3 最大池化、3×3 平均池化、跳躍連接、3×3 深度可分離卷積、5×5深度可分離卷積、3×3 空洞卷積、5×5 空洞卷積、無連接）。

每2 個節點有M種可能的操作，本文中M設置為8 。在初始化階段，將選擇每種操作的概率初始化為均勻分布

由概率分布即可將M個概率值{pj}轉換為二進制門控單元{gj}，即

由門控單元決定2 個節點之間的操作，即

由式（2）可知，在對節點間操作進行選擇時只需進行矩陣乘法運算，運算效率高。在得到操作選擇的結果后，需對操作進行評估。如果操作A 優于操作B，則操作A 具有更少的訓練批次和更低的損失函數值。

本文將2 個節點之間的訓練批次向量記為He，損失向量記為Hl，它們均為M維向量。矩陣ΔHe與ΔHl分別表示節點間訓練批次的差值和準確率的差值，即

用式（3）更新2 個節點之間操作的概率分布，即

其中，Π(p)為示性函數，當p為真時，函數值為1，否則函數值為0。

包括2 個主要搜索過程，如圖3 所示。（1）在訓練集上先依據概率選擇每個節點的連接操作，完成一個批次的訓練，使用隨機梯度下降更新網絡參數；（2）固定網絡權重參數，在驗證集上用網絡計算損失函數，并利用迭代更新公式計算下一種操作被選擇的概率。具體算法步驟如下：

圖3 NAS 算法流程Fig.3 NAS algorithm flow

輸入：訓練集Dt，驗證集Dv，訓練次數E，網絡模型F。

Step1令k=1，初始化所有M種操作的概率；

Step2對每一個單元中的邊依據概率采樣選擇操作；

Step3用一個批次的Dt訓練網絡；

Step4令k=k+1，在Dv上計算網絡的損失函數值，并用式（4）更新概率；

Step5若k＜E，則返回step2；若不滿足，則輸出概率向量。

1.2 水印網絡的實現

在該網絡架構中嵌入圖像水印。該圖像水印網絡由預備網絡、隱藏網絡和復原網絡三部分組成。

預備網絡：在嵌入水印圖像過程中，為使嵌入后的圖像盡可能地與被嵌入網絡保持較高的相似度，同時能順利地從嵌入后的圖像中恢復被隱藏的圖像，要求在嵌入過程中將隱藏圖像以高度壓縮的形式嵌入宿主圖像。此項任務由預備網絡實現：輸入原始的待嵌入圖像，輸出帶嵌入圖像信息的高維特征張量。

隱藏網絡：該網絡將宿主圖像與隱藏圖像的特征編碼進行深維度拼接，通過卷積網絡輸出帶有隱藏圖像信息的融合圖像。該層網絡在嵌入隱藏圖像特征信息的同時盡可能使輸出的圖像與宿主圖像相似。

復原網絡：該網絡將獲得的融合圖像進行特征分離，提取被隱藏圖像的信息并以圖像形式輸出，使復原圖像與隱藏圖像盡可能相同。

1.3 實驗參數

NAS 算法參數設置：學習方法為隨機梯度下降法，學習率的調整對網絡模型的收斂起決定作用，學習率太小，網絡收斂過慢，易陷入局部最小；學習率過大，會因每次更新參數幅度過大導致網絡無法收斂。本文采用余弦退火算法［16］調整學習率，其優點是能有效消除參數抖動的影響。初始學習率設為0.025，調整范圍為[0.001，0.9]，權重衰減設置為0.000 3，動量設置為0.9。在實驗中，訓練階段采用梯度裁剪，防止梯度過大導致網絡訓練不穩定，閾值設為5，總訓練批次為100，一個批次的訓練樣本為32。

水印網絡的參數設置：學習器為Adam，學習率固定為0.001。在損失函數計算式中，β設為0.75，總訓練批次為100，一個批次的訓練樣本為32。

1.4 訓練結果

實驗圖像來自CIFAR-10 公開數據集。該數據集共有600 000 張彩色圖像，圖像大小均為32×32，共有10 個類別，每個類別有60 000 張圖像，其中，50 000 張圖像為訓練集，10 000 張圖像為測試集。在模型訓練前，為防止固定的訓練樣本與訓練順序導致過擬合或權重更新的方向被固定，每次訓練前打亂排序，進行重采樣，以保證原始圖像和嵌入圖像有相同的選中率。

本文的水印網絡算法，參數量較文獻［7］大大減少，從473 560 個減至36 218 個，減少了92%以上，能在較少的參數量下取得較好的性能，網絡結構的訓練速度更快，能在更短的時間內達到更優的效果。

圖4 顯示的為NAS 算法中損失函數值的變化情況，搜索訓練過程中，損失函數值呈穩定下降趨勢，表明NAS 算法的搜索效率高、收斂效果好。

圖4 NAS 算法中損失函數的變化Fig.4 Change of loss function in NAS algorithm

圖5 為本文算法與文獻［7］的水印網絡在測試集上的損失函數隨訓練批次的變化情況。由圖5 可知，經80 個訓練批次后，本文算法的損失函數趨于穩定，而文獻［7］的損失函數仍有較大波動，說明本文算法具有更穩健的收斂性。

圖5 本文算法與文獻［7］算法訓練過程對比Fig.5 Comparison between this paper and paper［7］of the watermark network training process

2 實驗結果與分析

2.1 評價指標

通過范數距離L1、均方根誤差、峰值信噪比和結構相似性指標等客觀評價各算法得到的水印圖像與隱藏圖像的相似性。范數距離L1指標具有很好的稀疏性，表示兩幅圖像的相似程度；均方根誤差用于衡量數值向量之間的差異，值越小說明圖像的復原效果越好；峰值信噪比（peak signal to noise ratio，PSNR）越大，表示兩幅圖像越接近，可接受下限的PSNR 值為20～25 dB，具有較好的圖像隱蔽性［17-18］；結構相似性（structural similarity，SSIM）［19］用于衡量兩幅圖像的相似度，其較PSNR 更符合人眼對圖像質量的感知。SSIM 的取值范圍為[0，1]，值越大，表示兩幅圖像的相似度越高。

2.2 實驗結果

表1 為本文算法和文獻［7］算法在兩類數據集上的實驗結果，在SSIM 指標上兩者表現相近，在不同數據集上SSIM 指標均能維持在0.9 以上。圖6為水印網絡在CIFAR-10 數據集上兩組實驗的對比結果，可見本文算法與文獻［7］算法得到的圖像隱藏與重建效果均較好，提取的復原圖像完整準確。

表1 宿主和融合圖像相似性的各度量指標Table 1 Various metrics for the similarity of host and fusion images

圖6 圖像測試結果Fig.6 Image test result

為分析圖像嵌入時隱藏圖像的空域信息，考慮像素周圍點對該點的復原影響，首先，定義像素點之間的切比雪夫距離：

其中，dij為(xi，yi)和(xj，yj)的像素距離。不斷更新融合圖像參考點(l，k)周圍的像素值，并將其代入復原網絡，得到復原圖像S′，最后計算S′與S在(l，k)處的范數距離L2。如圖7 所示，原始網絡（文獻［7］網絡）在6 像素距離以內對參考像素的復原影響較大，在6 像素距離以外影響微小；而本文算法的水印網絡在各像素距離下影響均較原始網絡小，并在3 像素距離下產生的差異可控制在0.2 以下。經比較可知，本文算法的水印網絡對空域的依賴更低，即在應對圖像局部篡改時，本文算法的水印網絡隱藏圖像復原的穩定性更高。

圖7 不同像素距離下修改周圍像素對參考像素的影響Fig.7 Effect results of modifying surrounding pixels on reference pixels at different distances

為清晰展現2 個網絡在CIFAR-10 數據集中的圖像隱藏效果，在數據集上取部分示例圖像并通過像素差可視化融合圖像與宿主圖像的差異。由圖8可知，本文算法網絡與文獻［7］算法網絡的融合圖像差異較小，在放大10 倍和20 倍后，可隱約看到被隱藏圖像的輪廓。

圖8 本文算法與文獻［7］算法的融合圖像與宿主圖像可視化Fig.8 Pixel difference between the fusion image and the host image both this paper and paper［7］放大倍數分別為1，10 和20 倍。Magnify is 1 times，10 times and 20 times，respectively

深度神經網絡作為一種高度復雜的非線性系統，在固定的數據集上存在過擬合現象。本文算法將ImageNet 訓練集上的模型應用于COCO 數據集和CelebA 數據集，以便客觀體現模型的泛化能力。另外，由表2 可知，本文算法在2 種不同數據集上得到的SSIM 指標均在0.9 以上，且在2 種數據集不同指標的對比上，本文算法網絡的泛化能力均優于文獻［7］。表明本文算法具有更好的泛化性。

表2 ImageNet 數據集上訓練得到的網絡泛化能力Table 2 Generalization ability of the network trained on ImageNet

此外，為體現NAS 算法水印網絡在前向推理中的時延，在CIFAR-10、ImageNet 數據集上分別對文獻［7］算法和本文算法進行了測試，實驗環境為單張NVIDIA RTX2060，實驗結果如表3 所示，本文算法網絡訓練速度較文獻［7］算法提升了3 倍以上。

表3 單張圖像在前向推理中的時延Table 3 Delay of each image in forward inference

2.3 魯棒性實驗

為驗證本文算法的魯棒性，對嵌入水印后的圖像分別進行旋轉、椒鹽噪聲、高斯噪聲、水平鏡像、上下翻轉等攻擊，并分別在CIFAR-10 和ImageNet 數據集上進行測試。表4 和表5 分別為在CIFAR-10和ImageNet 數據集上融合圖像遭受不同程度的旋轉（5°，10°，15°）、高斯噪聲（均值0，標準差0.001，0.005，0.01）、椒鹽噪聲（1%，3%，5%）、上下左右翻轉、中值濾波（3×3）、高斯濾波（3×3，標準差0.02，0.04）、伽馬校正（γ=0.3）、移除像素行（裁剪比例20%）等攻擊后的隱藏圖像提取結果。

表4 為文獻［7］算法與本文算法在CIFAR-10數據集上受不同類型、不同強度攻擊時的魯棒性對比。由表4 中的對比數據可知，本文算法在受旋轉、椒鹽噪聲、水平鏡像、上下翻轉和移除某行（列）等攻擊時較文獻［7］算法具有更強的魯棒性，但在受高斯噪聲、高斯濾波、伽馬校正等攻擊時優勢不顯著。由于CIFAR-10 數據集圖像尺寸較小、圖像信息量小、不具復雜的網絡結構構造特征，使得本文利用NAS確定的網絡結構難以體現優勢；并且較小的圖像分辨率使得圖像在受微小攻擊時，噪聲會被額外放大。故用更大的數據集ImageNet 進一步驗證本文算法的魯棒性和有效性。

表4 文獻［7］算法與本文算法在CIFAR-10 數據集上的對比Table 4 Comparison of paper［7］and this paper on the CIFAR-10 data set

ImageNet 是用于計算機視覺研究的大型數據庫，實驗中將所有數據集中的圖片統一轉換為224×224 大小。文中將ImageNet 中的驗證集作為數據集。表5 為文獻［7］算法與本文算法在ImageNet 數據集上的實驗結果對比，由表5 可知，除受伽馬校正攻擊外，在受其他不同類型、不同強度攻擊時，本文算法的各項指標均優于文獻［7］算法，其中，在受伽馬校正攻擊時，在SSIM 指標上本文算法效果更佳。

此外，圖9 更能直觀體現本文算法的優勢。由圖9 可知，未受任何攻擊時，在CIFAR-10 數據集上，原始網絡的各項指標略優于本文網絡，但在對嵌入圖像做旋轉、添加椒鹽噪聲、水平鏡像、上下翻轉、移除行（列）后，本文算法的4 項指標均優于原始網絡，其中，對嵌入圖像進行水平鏡像和上下翻轉后，本文的水印網絡優勢尤為明顯，并且變換對模型的復原結果影響較小，SSIM 指標在變換前后保持一致（維持在0.95）。由表5 和圖9 可知，在ImageNet 數據集上，本文算法表現更好，在經過各種噪聲的干擾后，本文算法在SSIM 指標上的結果均優于文獻［7］算法，說明本文算法具有更強的魯棒性，并且對椒鹽噪聲、隨機移除行（列）有更強的適應性。

表5 本文算法與文獻［7］算法在ImageNet 數據集上的對比Table 5 Comparison of paper［7］and this paper on the ImageNet data set

圖9 本文算法與文獻［7］算法在ImageNet 和CIFAR-10 數據集下的SSIM 對比Fig.9 This paper compares PSNR and SSIM with the paper［7］in the two data sets

2.4 算法局限與未來工作

本文算法在高強度高斯噪聲下，SSIM 指標偏低。這是由于被隱藏的圖像以另一種二維分布方式表示在融合圖像上，常見的幾種旋轉變換對信息分布影響不大，而高斯噪聲與融合后圖像中的隱藏信息分布較為接近或產生的干擾破壞分布信息致使網絡恢復過程變得困難。后續將考慮在復原網絡前加入一層具有自動識別圖像噪聲分布能力的去噪網絡［20-21］，以提高在特定分布噪聲攻擊下圖像的復原能力。

3 結語

利用深度學習在大量數據集中自動學習并且提取復雜特征的優勢，采用3 層網絡結構，結合多項式分布學習神經網絡架構搜索的思想，在每個子網絡中分別加入神經結構單元，通過MDLNA 算法快速確定網絡的最優結構，實現水印圖像的高效嵌入與魯棒提取。相較原始線性網絡結構，本文算法的網絡結構具有更豐富的表達能力，無須人工調整和干預，節省了調節參數的時間，降低了設計和調整網絡的難度。精簡的網絡結構使得本文算法較文獻［7］算法在模型參數上縮減了92%以上，這有利于將圖像水印網絡部署在低內存的嵌入式設備中，具有重要的現實意義。大量實驗結果表明，本文提出的圖像水印網絡算法在CIFAR-10 數據集上對抵抗椒鹽噪聲、旋轉、翻轉、移除像素行（列）等攻擊具有顯著優勢，其中對水平鏡像、上下翻轉具顯著魯棒性。在ImageNet 數據集上對抵抗椒鹽噪聲、上下翻轉、中值濾波、高斯濾波等具有顯著優勢，特別對隨機移除行（列）、椒鹽噪聲有較強的魯棒性。