自適應零風格強度圖像重建

余義斌，林治，吳承鑫

（五邑大學智能制造學部，江門529020）

0 引言

傳統的非參數圖像風格遷移主要是基于物理模型的繪制和紋理合成來實現，Efros 和Hertzmann 等人[1-2]早在2001 年就提出了相關算法。但由于該方法只能提取圖像的底層特征，在處理顏色和紋理較復雜的圖像時，其輸出圖像合成效果較為粗糙，難以符合實際需求。隨著深度卷積神經網絡的發展，Gatys 等人[3]首先使用VGGNet[4]深度網絡實現圖像風格遷移，他們利用VGGNet 網絡不同層級特性，將內容圖像和風格圖像的抽象特征表示進行分離，并通過獨立處理這些高層抽象特征來有效地實現圖像風格遷移，獲得了比傳統方法更加可觀的藝術效果。

目前，圖像風格快速遷移實現的主要方法[5-9]是使用前饋神經網絡訓練{內容圖像,目標風格圖像}單側數據，通過對網絡編碼特征空間中內容和風格插值進行解碼，計算不同層級所對應的損失，實現風格圖像重建。這些方法都取得了較好的效果，但是都存在這樣一個不足，就是在風格強度控制參數α（0 ≤α ≤1）為零時，輸出圖像風格強度與輸入內容圖像并不相同，如圖1（a），α=0 時出現了過擬合情況。針對這個問題，本文提出了零風格圖像重建方法，解決了在輸出圖像風格強度過擬合的情況，更加快速有效地實現風格遷移。

1 相關研究

Gatys 等人[3]在2016 年通過計算VGGNet[4]特征空間的內容損失Lcontent和風格損失Lstyle來重建輸出圖像，其損失函數為：

其中P 為內容圖像，Q 為目標風格圖像，I 為輸出圖像，α 和β 分別為風格損失、內容損失的權重，α,β∈[0 ,1]，且α+β=1。

通過在輸出圖像和輸入圖像之間插入前饋網絡[10-12]，解決了Gatys 方法[3]中圖像生成速度慢的問題。不久之后，修改規范化層[5-7,9]的實現使得訓練好的網絡嵌入多個或任意風格圖像輸入，并生成混合風格或中間風格強度的輸出圖像。Dumoulin[5]等人在條件規范化（CIN）層中使用了多個風格的可學習仿射參數，通過更改VGG 特征空間中的二階統計量，有效地將輸出圖像的風格切換為所需風格。

此外，Huang 和Belongie[7]提出了另一種自適應規范化層（AdaIN），他們使用VGG 功能的人為設計參數（均值和標準差）來改變特征統計，同時還使用其AdaIN 層中的均值和標準差的線性插值來控制輸出圖像的風格強度，并通過損失函數（2）式進行圖像重建：

其中λ ∈[0 ,1]，Lc 與（1）Lcontent中一致，Ls為風格損失，與（1）中Lstyle計算有所區別。

此外，利用生成對抗網絡（GAN）也可以快速高效的實現圖像風格遷移，常見類似方法有Pix2pix[13]、CycleGAN[14]和BicycleGAN[15]。雖然這些方法專注于輸出圖像的逼真來實現所生成圖像的高質量，但是這些方法并未專注于風格強度控制。

圖2 編碼器-轉換器-編碼器網絡結構

2 零風格強度圖像重建

本文方法將風格遷移網絡的訓練理解為控制參數α（0 ≤α ≤1）與輸出圖像風格強度之間特定學習。基于該情況，已有方法[1,3,4,8,9]使用單側數據對{內容圖像,目標風格圖像}進行訓練，所得到結果如圖1（a）α=1 所對應的完全風格圖像。這種單側數據訓練不能保證α ＜1 所對應的風格強度的實際效果。事實上，用單側數據訓練生成的輸出圖像風格強度在α=0 出現嚴重過擬合，與輸入內容圖像發生偏離，如圖1（a）所示。

為了獲得圖1（b）中在α=0 所對應的零風格強度圖像重建，本文使用如圖2 所示的AdaIN 編碼器-轉換器-編碼器網絡結構模型[7]，并在訓練階段的每次迭代中增加{內容圖像,內容圖像}數據對，同時通過增加錨定數據訓練和利用風格插值函數，迅速穩定地實現了零風格圖像重建，并更好地進行風格控制。

圖3 本文方法下的CIN、AdaIN在α=1、α=0 的效果對比

2.1 重建算法

在前饋神經網絡[5,7]訓練{內容圖像,目標風格圖像}單側數據的條件下，如圖3 輸出圖像風格強度在α=0時與輸入內容圖像并不相同，發生偏離。單側訓練數據對應的損失為Lsingle。本文通過在網絡訓練階段的每次迭代中增加{內容圖像,內容圖像}數據對，其對應增加的非單側訓練數據損失Lnonsingle，通過總損失函數重建圖像的式子為：

其中，Lcontent(P,I)同（1）式中一致，且Lcontent(P,I)=是在第l 層的內容特征表示。Lstyle(Q,I)同（2）中一致：

該式中初始化的解碼器g 以將t 映射回圖像空間，生成風格圖像T（P,Q），?i是用于計算VGG-16 網絡中每一層的風格損失函數，μ 和σ 分別代表均值和標準差函數。Lreconstrcuct和文獻[16]中一致，正則化Ltv[3]為總變差損失，用于，減小信號的總變化，使其與原始信號緊密匹配，去除不需要的細節，同時保留諸如邊緣的重要細節。當風格強度為零時，在零風格圖像Iz和內容圖像P 之間，還增加了Lreconstrcuct到總損失Ltotal中進行內容圖像重建。

2.2 風格插值函數

如圖1（a）所示，已有的方法僅僅使用單側{內容圖像,目標風格圖像}數據對去訓練前饋網絡，并同時使用風格差值法[5,7,9]實現圖像風格遷移，不能確保輸出圖像的風格強度與風格控制參數的更好的控制。

針對風格控制參數和輸出圖像樣式強度之間的特定學習，我們需要使用附加的錨定數據進一步訓練，同時產生風格控制參數α（0＜α ＜1）對應的中間值的錨定損失Lanchor。錨定損失Lanchor和（3）式中Lsingle的產生方式相同，其計算式如（4）。在本文中，錨定風格損失Lastyle是輸出錨定風格圖像Iα和目標錨定風格圖像Is（α）之間的風格距離。然而，從圖像中直接計算錨定風格損失不太可能，因為沒有已知目標錨定風格圖像Is（α）。因此，為了替代Is（α），我們使用完全風格特征函數fs（Q）和零風格特征fs（P）[7]的線性差值作為目標錨定風格特征。然后，錨定風格損失能夠用目標錨定風格特征與輸出錨定風格fs（Iα）特征之間的歐氏距離來計算，如下（4）式：

在訓練階段的每次迭代中，將期望的α 值所對應的錨定損加到總損失等式（3）中。一旦網絡被訓練為線性回歸器，那么變在網絡轉換器中我們可以通過使用期望的特征函數f(α)代替原有的α，輸出圖像風格強度在α 的變化下實現更好的控制。

3 實驗過程與結果分析

3.1 實驗設置

本文使用AdaIN[7]編碼器-轉換器-譯碼器神經網絡結構如圖2，同時使用2014 MS-COCO[17]數據集作為內容圖像訓練以及畫家作品數據集[18]用于目標風格圖像訓練。將VGG16 網絡特征提取作為編碼器，其鏡像網絡作為譯碼器。{relu1_2,relu2_2,relu3_2,relu4_2}層的輸出張量用于風格表征，{relu3_3}層的輸出張量用于內容表征，使用VGG16 特征提取器作為編碼區來計算損失。將損失權重參數的值設置為ωc=1.0、ωt=10-3、ωr=102ωs，同時通過改變ωs（ωs=50,102,103,104）的值來分析該網絡模型在風格損失權重增加時如何變化。

在數據訓練過程中，將圖像的尺寸調整為短邊256像素，裁剪成240×240 像素，用于數據增強。學習率為10-4（當ωs=104時，學習率為10-6），批量大小為4，周期數為4，PyTorch v0.3.1 框架為CUDA v9.0，CuDNN v7.0 和NVIDIA TITAN-X Pascal。我們使用MS-COCO test2014dataset[17]與畫家作品數據集[18]作為用于內容圖像和目標風格圖像測試,并且所有測試圖像在短邊重新調整為256 像素，不會在進入網絡之前進行裁剪。

3.2 實驗過程

如圖3 所示，具有CIN 層或AdaIN 層的網絡通過使用單側數據[5,7]進行訓練，并使用一組目標風格圖像生成高質量圖像風格，但是在風格參數為零時輸出圖像嚴重偏離輸入內容圖像（α=0），出現輸出圖像風格強度過擬合。相比之下，本文方法解決了該問題，同時保持了輸出相同質量的完全風格圖像（α=1）。

為了體現本文方法的優越性，我們訓練了幾個具有大量風格圖像和不同重量的風格損失的網絡。我們用50 對{模糊內容圖像,模糊目標風格圖像}的測試風格遷移，并測量了內容損失Lcontent，風格損失Lstyle和非單側數據學習損失Lnstyle的平均值。當α=1（完全風格遷移）時，本文的非單側數據學習實現了比原始AdaIN（圖4（a）中的藍線）更小的平均內容損失，同時保持了原始AdaIN 的幾乎相同的平均風格損失和單側數據學習下風格損失（圖4 中的藍線（b），（c））。這說明本文實現的完全風格化圖像（圖5（b）的奇數行）在內容損失上比前一種方法（圖5（a）的奇數行）少，但是卻有相同的風格質量。當α=0（零風格強度遷移）時，我們的非單側數據學習實現了比原始AdaIN（圖4（a），（c）中的紅線）小得多的平均內容損失，保持較高的平均風格損失（圖4（b）中的紅線）。這說明本文中的的零風格強度圖像（甚至圖5（b）的行）重建幾乎與原始內容圖像一致，而前一種方法的那些（甚至圖5（a）的行）重建圖片完全不同于原始內容圖片。

隨著風格損失權重ωs=的增加，內容損失在α=1、α=0 以及非單側數據學習在α=0 也都隨之增減，如圖4（a）和（c）所示。然而，與AdaIN 相比，本文方法的增量要小得多。這顯示本文方法對輸入圖像的內容和風格不是很敏感，實現了更加穩定的風格化性能。圖5也驗證了這種風格化的穩定性，并顯示了完全風格和零風格圖像的可比質量，同時具有大范圍的風格變化。

圖4 50 對測試數據下的平均內容、平均風格、非單側數據訓練下的平均風格損失隨ωs 變化曲線

圖5 本文方法與AdaIN實效果對比

4 結語

本文研究了基于前饋神經網絡單側數據訓練引起的風格插值問題，提出了零風格圖像重建方法。零風格圖像重建是通過在訓練階段的每次迭代中增加{內容圖像,內容圖像}數據對，并在前饋網絡特征空間中計算所對應的非單側數據特征損失來完成。此外，通過分析中間風格附加的錨數據，并在網絡中對錨數據進一步訓練，同時使用風格差值方法并改進差值函數，實現了風格控制參數與輸出圖像風格強度之間的有效控制。從實驗結果可以看出，零風格圖像重建解決了在圖像風格在遷移中過擬合問題，并且在遷移過程中沒有附加復雜度，其風格遷移效果更加穩定和迅速。