神經圖像風格轉換算法研究

吳秋俊，張鵬

（重慶師范大學計算機與信息科學學院，重慶401331）

0 引言

繪畫是最受歡迎的藝術品之一，受到高度贊賞。喜歡特定樣式的人希望將這種樣式與自己的圖像結合起來，而這種需求使圖像樣式成為一種研究趨勢。在給定的圖1中，輸入圖像已被拍攝，即內容圖像和樣式圖像產生藝術風格的輸出圖像，其中樣式圖像可以是任何藝術圖像，例如“晚上紐約”和內容圖片可以是任何圖片。

圖1

樣式轉移可以追溯到圖像紋理合成的研究。以前所有關于圖像紋理的論文都是手動建模的[1]，最重要的想法是可以使用圖像局部特征的統計模型來描述紋理。同時，研究人員還嘗試了油畫風格的轉移和頭像樣式的轉移[2-3]。隨著計算機圖形學的發展，深度學習已經得到了極大的發展，因為它可以用于訓練對象識別模型。CNN可以提取特征，除圖像識別和圖像分類外，CNN還用于樣式轉換。

1 沒有神經網絡的樣式轉移

在CNN興起之前，研究人員試圖在不依賴神經網絡算法的情況下傳遞樣式。將著名畫家的畫筆轉移到要渲染的照片上以獲得良好的肖像[4]。肖像畫是圖像類比的擴展，但是在我們的實中很難獲得其數據，對擴展研究造成了一定的局限性[5]。自然界中的許多物體具有相似的紋理。我們可以從樣本中提取紋理并重新生成大量圖像數據，可以擴展紋理合成算法以傳遞從不同目標獲得的紋理并重新渲染圖像，或結合現有的紋理來創建新的紋理[6-7]。

2 神經風格轉換

2012年，深度學習逐漸發展并迅速受到研究人員的廣泛關注。神經網絡可以在經過一定程度的訓練后自動提取有用的特征，而不是簡單地將對象分成小塊。當時，CNN最著名的物體識別網絡之一就是VGG-19。VGG-19網絡出現在2014年Simonyan和Zisserman的論文中[8]。在完整連接層連接到Softmax分類器之后，網絡使用3×3卷積內核，最大池化。

圖2

VGG-19的前16層是卷積層和最大池化層的交替。每個卷積包含多個卷積層，最后有三個完全連接的層。

VGG-19可以在每層卷積中提取更復雜的特征。簡而言之，VGG-19網絡是一堆本地特征識別器，VGG-19輸出可以在每個層中可視化。

（1）緩慢的神經風格轉換

2015年，Gatys等人結合了神經網絡和樣式轉移，從而正式開啟了神經樣式轉移的序幕。Gatys等，將Gram矩陣應用于VGG-19網絡提取的不同局部特征圖，并計算特征之間的相關性以形成統計模型[9]。樣式特征的計算在所有卷積層上執行。局部特征的一部分直接作為內容，并且內容特征用于卷積層。最后，將圖片的內容特征和樣式特征結合在一起以形成新圖片。首先，產生白噪聲圖像，并根據損失函數進行迭代。然后，將梯度下降算法用于反向傳播和連續優化以獲得最小的損失。蓋茨等人使用的損失函數，是內容損失和樣式損失的總和，兩者都有自己的參數。

①內容損失

給定圖片p→，通過在神經網絡中進行計算獲得特征圖。每層可以獲取n個特征圖，這由濾鏡的數量決定。特征圖已矢量化，并且最后將所得的矢量放入矩陣F中。元素Fij表示l層中j位置的i濾波器的激活響應。指定圖層l的特征表示，并生成樣式轉換圖像x→，以使圖層Pl的特征表示等于Fl的原始特征表示。定義損失函數如下：

（2）風格損失

如上所述，圖片的樣式實際上是通過計算圖層之間的特征相關性而獲得的Gram矩陣。語法矩陣包含樣式內容，例如紋理、顏色等。其定義如下：

給定樣式圖片a→，目標生成圖片為x→，并且對應l層的Gram矩陣分別為Al和Gl。該層的損失函數定義如下：

③總樣式損失

ωl是一層的重量。樣式層的權重是樣式層數的倒數，其他圖層的權重為0。

④總體損失

通過按一定比例添加內容損失和樣式損失，可以通過反向傳播獲得優化的輸出圖形x。其定義如下：

在等式（5）中，Lconten和Lstyle是可微的。因此，以隨機噪聲為初始，通過在圖像空間中使用反向傳播進行梯度下降，可以使等式（5）最小化。另外，在實踐中通常會添加一個總變化去噪項，以促進風格化結果中的平滑度。

（2）快速神經風格轉換

Gatys等人的方法每次都要花費數千甚至數千次迭代才能生成新圖像，這需要相當長的時間。為了節省時間和成本，基于蓋蒂（Gatys）等人的工作，約翰遜（Johnson）等人的著作提出了一種可以將速度提高三個數量級的樣式轉移算法，稱為快速神經樣式轉移[10]。使用兩個網絡：圖像轉換網絡和損失網絡。

圖像轉換網絡需要進行預訓練，以便任何給定的內容圖片都能快速生成固定樣式的遷移圖片，損失網絡用于計算感知損失，感知損失用于訓練圖像變換網絡并更新其參數。

3 速度和質量改善

雖然約翰遜等極大地提高了樣式轉移的速度，他們只能將自己限制為一種樣式。研究人員開發了一種算法，可以將多種樣式合并到一個模型中[11]。Vin-cent Dumoulin等使用深層網絡來獲取許多不同風格的繪畫[12]。Chen等提出了Stylebank網絡的概念[13]。樣式庫網絡由樣式庫層，編碼器和解碼器組成。Shen等拒絕了隨機梯度下降法，并提出了元網絡的概念[14]。元網絡只需要一次前饋神經傳輸就可以獲取任何樣式圖像的樣式并生成相應的圖像生成網絡。

為了提高生成圖像內容的真實性，一些專家開始將生成對抗網絡（GAN）引入樣式轉換中[15]。Jun等使用CycleConsistent Adversarial Networks進行圖像樣式轉換，介紹源域X和目標域Y[16]中的前向和后向映射。

幾種不同的神經風格轉移算法的比較表明，蓋蒂等人花費很長時間，但結果相對穩定，而其他三種算法節省時間，但最終輸出隨輸入而異，有時好，有時差。

4 發展近況

Gatys等人在2015年提出了一種革命性的從目標圖像中提取語義內容的方法，從此成為突出的研究課題[6]。該算法在預先訓練好的VGG-19分層結構上運行良好。他們能夠通過參數化慢神經方法產生高感知質量的結果，但是他們的模型仍然有一些技術限制。合成圖像的分辨率是主要的限制因素。Berger等人提出了一種最先進的方法來滿足圖像合成中的遠程一致性約束，并使用VGG19網絡Simonyan和Zisserman（2014）作為受Gatys啟發的預先訓練的CNN。

Li和Wand使用MRFs使用非參數慢速方法。他們能夠在一定程度上傳遞真實感風格，并能夠在合成圖像中保留中間結構，而對中間結構的嚴格控制是主要的限制。許多研究者致力于基于離線模型優化的快速神經方法，并發現了新的結果。Johnson等人針對每個風格每個模型（Per Style Per Model，PSPM）進行研究，他們將前向圖像轉換任務的概念和基于前向轉換網絡的優化方法與感知損失函數相結合，生成輸出圖像。Dumoulin等人研究了每個模型的多個樣式（MSPM），并同時對多個樣式進行了建模，他們證明了條件實例規范化是一種簡單、高效和可伸縮的修改。而Tian Qi Chen和Mark Schmidt提出了一種新的基于CNN的方法，該方法的目標是使用任意樣式模型（ASPM）快速適應任意樣式。他們的方法是將內容和風格以單層CNN的形式串聯起來，盡管只有一層的限制，但卻能產生令人滿意的結果。

5 前景與挑戰

神經風格轉換不僅在藝術領域，而且在其他領域也起著重要作用。美圖秀秀等面向年輕人的流行照片編輯軟件使您可以一步更改照片的樣式。近來，流行的換臉軟件是一種基于NST的派生算法[17]。NVIDIA研究人員提出了一種線性轉移的通用方法，并從理論上獲得了轉移矩陣的表達形式[18]。它在游戲場景構建中起著重要作用，視頻后期處理。在未來的研究中，研究人員可以擴展樣式模型，以使任意樣式的提取更加準確，并對視頻樣式轉換進行更多研究。為了人們的便捷，我們應該逐步將樣式轉移擴展到更多的工程領域。現在神經風格轉換領域主要存在兩個方面的問題，一是目前沒有一個有效的評價機制或者說量化結果的好與壞，評價具有很強的主觀性。另一個具有挑戰性的問題是NST的可解釋性算法。像許多其他基于CNN的視覺任務一樣，NST的過程就像一個黑匣子，這使其非常不可控。在這一部分中，我們重點關注與NST的可解釋性相關的三個關鍵問題，即通過解串表示法，與NST相關標準化方法以及對抗性考試，可以解釋和控制NST。

表1