基于深度學習的風格遷移算法的研究與實現

王 鹿， 曾國輝， 黃 勃

(上海工程技術大學 電子電氣工程學院， 上海 201620)

0 引 言

近年來，隨著人工智能、計算機視覺技術的迅猛發展，越來越多的機器學習應用場景在不斷涌現。與此同時，目前有著較好表現的監督學習需要大量的標注數據，但標注數據是一項枯燥無味且花費巨大的任務，所以無監督的image-to-image式風格遷移學習即吸引了學界的更多關注，并已成為深度學習技術的重要應用之一。對于傳統監督式機器學習而言，遷移學習都是基于同分布假設[1]，同時需要大量標注數據，然而實際使用不同數據集的過程中可能出現一些問題，比如數據分布差異，訓練數據過期，也就是已然做過標定的數據要被丟棄，有些應用中數據分布也會隨著時間的推移產生變化。因此，如何充分利用已經標注好的數據，同時又保證在新任務上的模型精度已經成為一個亟需解決的難題?；诖耍疚臄M對基于深度學習的遷移學習進行研究[2-3]。

目前，研究發現對一幅圖像而言，風格和內容在卷積神經網絡中的表達是可以分開的。也就是說，研究中可以獨立地操縱2種表達來產生新的、可以感受的有意義的圖片。在本文中，將使用VGG-16、VGG-19和 Cycle GAN[4]，來實現風格遷移，對比這3種網絡的結果，分析后發現，Cycle GAN的效果最好，VGG-16和VGG-19雖然也有一定的效果，但是合成圖像的整體風格并不突出，不能滿足本文研究的需求。

1 圖像風格遷移算法

圖像風格遷移技術主要有2種。一種是由Gatys等人[5]率先提出的NAAS，該方法以VGG網絡為基礎進行損失網絡的設計；另一種是Johnson等人[6]提出的快速圖像風格遷移技術(FNST)，該方法基于Gatys等人的研究成果，在損失網絡的前端添加了一個Image Transform Net，該網絡基于殘差網絡進行設計。兩者之間的關系如圖1所示。

Gatys所提出的NAAS是在VGG網絡的基礎上，利用梯度下降，經過若干次的迭代從而獲得轉換風格后的圖像。該方法的整體流程如圖2所示。

圖1 快速圖像風格遷移方法

Fig. 1 Fast image style migration method

圖2 NASS工作流程圖

1.1 VGG網絡

VGG (Visual Geometry Group)隸屬于牛津大學, VGG自2014年先后發布了網絡模型VGG11～VGG19, 該小組研究證明了增加神經網絡的深度能夠在一定程度上影響神經網絡的性能。VGG網絡結構簡單，其卷積層和池化層可以劃分為不同的塊(Block)，從前到后依次編號為Block1～Block5。每一個塊內包含若干卷積層和一個池化層。使用同樣大小的卷積核尺寸 (3×3) 和最大池化尺寸 (2×2)。此外，VGG網絡還有5個最大池化層，分別分布在不同的卷積層之下[7-8]。

(1) VGG16。VGG16共有13個卷積層(Convolutional Layer)，分別用conv3-XXX表示，3個全連接層(Fully connected Layer)分別用FC-XXXX表示，5個池化層(Pool layer)分別用MaxPool表示。卷積層和全連接層具有權重系數，因此也被稱為權重層，總數目為13+3=16，這即是VGG16中16的來源?？紤]到池化層不涉及權重，因此不屬于權重層，不被計數。VGG16神經網絡模型結構如圖3所示。

(2) VGG19。VGG19共有16個卷積層和3個全連接層。如圖4所示。

以圖4為例，在VGG19的Block2中包含2個卷積層，卷積核為3×3×3，通道數都是128，而Block4包含4個卷積層，1個最大池化層，通道數是512。

1.2 Cycle GAN

傳統的GAN的G是將隨機噪聲轉換為圖片，但風格遷移中需要將圖片轉為圖片，所以這個時候就要將圖片作為G的輸入，而G則是學習一種映射了。但是用單獨一個GAN的訓練并不穩定，可能導致所有照片全部映射到同一張圖片的mode collapse[9]。為此，就提出了Cycle GAN用來解決這個問題，Cycle GAN是將2個GAN組合起來，其目的是實現非成對image的轉換，尤其適用于圖像風格遷移中。為了使得GAN更加穩定，引入了此雙向映射的機制，即A→B的GAN和B→A的GAN，同時加入了一個cycle_loss，cycle_loss是采用L1損失設計而成[10-11]。所以研究得到Cycle GAN的損失函數，可將其寫為：

圖3 VGG16網絡結構圖

圖4 VGG19網絡結構圖

LGAN(F,DX,Y,X)=Ex～Pdata(x)[logDX(x)],

(1)

LGAN(G,DY,X,Y)=Ey～Pdata(y)[logDY(y)],

(2)

接下來，研究得到了循環一致性損失可表示為：

Lcyc(G,F)=Ex～Pdata(x)[‖F(G(x))-x‖1],

(3)

進而，推得總損失的數學公式如下：

L(G,F,DX,DY)=LGAN(G,DY,X,Y)+

LGAN(F,DX,Y,X)+λLcyc(G,F).

(4)

1.3 損失函數

(5)

(6)

(7)

綜上可知，總的損失函數可由下式來計算：

(8)

其中，α和β分別是內容和風格在圖像重構中的權重因子，且滿足:

α+β=1.

(9)

2 實驗

2.1 遷移效果的衡量指標

(1)峰值信噪比(Peak Signal to Noise Ratio，PSNR)[12]：這是一種全參考的圖像質量評價指標。運算中需用到如下數學公式：

(10)

(11)

其中，MSE(Mean Square Error)表示當前圖像X和參考圖像Y的均方誤差；H、W分別表示圖像的高度和寬度；n為每像素的比特數，一般取8，即像素灰階數為256。PSNR,單位是dB，取值范圍為(0，∞),數值越大表示失真越小。

(2)結構相似性(structural similarity，SSIM)[13]: 這也是一種全參考的圖像質量評價指標，可分別從亮度、對比度、結構三方面度量圖像相似性。運算中涉及的數學公式可表示為：

(12)

(13)

(14)

其中，uX，uY分別表示圖像X和Y的均值；σX,σY分別表示圖像X和Y的方差；σXY表示圖像X和Y的協方差，即：

(15)

(16)

(17)

其中，C1、C2、C3為常數，為了避免分母為0的情況，SSIM取值范圍[0,1]，值越大，表示圖像失真越小。

2.2 實驗環境

本實驗選擇Python語言和Tensorflow, Pytorch框架進行圖像風格遷移的仿真測試。實驗環境為 Intel(R) Core(TM) i5-8300H 2.1GHz CPU, GPU 為 NVIDIA。

2.3 訓練部分

(1) VGG16和VGG19訓練。由于VGG網絡深，網絡架構權重數量非常大，導致訓練非常緩慢，故研究用到的模型就是在ImageNet數據集上預訓練的模型。

研究將從預訓練的模型中，獲取卷積層部分的參數，用于構建仿真中使用的模型，這些參數均是作為常量使用，即不再被訓練，在反向傳播的過程中也不會改變，此外VGG中的全連接層舍棄掉。參數設置見表1。

(2) Cycle GAN。使用vangogh2photo數據集，Generator采用的是文獻[6]中的網絡結構；一個residual block組成的網絡，降采樣部分采用stride 卷積，增采樣部分采用反卷積；Discriminator采用的仍是pix2pix中的Patch GANs結構，大小為70×70，Lr=0.000 2。對于前100個周期，保持相同的學習速率0.000 2，然后在接下來的100個周期內線性衰減到0。

表1 VGG16與19相關訓練參數設定

2.4 實驗分析

實例中的風格圖片選為梵高先生的名畫《星夜》，如圖5所示。

圖5 模板藝術圖《星夜》

分別使用Cycle GAN、VGG16、VGG19進行實驗, 通過生成的圖片觀察不同目標函數的效果，實例中的風格圖片均為梵高先生的名畫《星夜》，實驗運行效果見圖6，圖6的對應數據指標見表2。

通過對圖6以及表2 的對比發現，VGG16，VGG19得到的結果相近，相較之下藝術風格并不濃烈，而Cycle GAN給人的直觀感受就好得多，色度適宜，藝術化表現也恰到好處。

圖6 實驗效果

表2 實驗指標

Tab. 2 Experimental index

SSIM/PSNRVGG-19VGG-16Cycle GANImage_10.481 7/17.473 00.449 4/16.868 80.424 6/16.190 5Image_20.431 0/17.329 70.396 1/17.069 80.373 0/16.722 1Image_30.432 2/16.645 30.459 2/17.248 00.428 2/16.390 3

2.5 實驗結果分析

VGG-16與VGG-19本質上并無太大區別，兩者均繼承了Alex Net的深度思想，以其較深的網絡結構、較小的卷積核和池化采樣域，使其能夠在獲得更多圖像特征的同時控制參數的個數，避免過多的計算量以及過于復雜的結構，如此一來VGG就能更好地找出內在特性，從而提取圖像的style features。

對比之下，由2個鏡像對稱的GAN組成的Cycle GAN不僅不需要成對的數據樣本，在損失函數方面也進一步考慮了防止生成器G與F生成的樣本相互矛盾，保證生成的樣本與真實的樣本同分布，這樣也就保證了生成圖像的連續性。

總體來說，GAN網絡在這種image-to-image 領域內還是存在很大的優勢。

3 結束語

本文選用卷積神經網絡模型VGG16、VGG19和Cycle GAN作為訓練模型，詳細論述三者的網絡結構，在pytorch框架下實現圖像的風格遷移。對比分析了3種模型的優缺點。最后，以梵高的著作《星夜》為風格模板，以峰值信噪比(PSNR)和結構相似度(SSIM)作為評價指標，選取3幅真實的照片做主觀和客觀評價，結果表明Cycle GAN效果最佳。但是在實際中，由于卷積神經網絡的不可控性，以及噪聲處理等原因，可能會使得網絡的結果變得不可接受，這也是后續有待深入研究加以改進的問題。