基于對抗神經網絡的現代繪畫生成

孫梓欽　李景偉

基于對抗網絡的生成算法在近些年取得了長足 的發展，但是在藝術繪畫創作領域，由于訓練數據非常 困難，且機器學習的創造性算法要求較高，限制了對抗神 經網絡模型的應用范圍，使得這些方法在藝術繪畫創作領 域中難以進行廣泛的應用。本文通過對抗神經網絡的原理 進行簡述，并利用wikiart數據庫對抗神經網絡在現代繪 畫的模型進行生成和訓練，最終通過測試，驗證了對抗神經 網絡在藝術繪畫創作方面的天賦。

本文研究的創新點如下：

（一）提出了一個藝術生成代理的模型，使用 改進型對抗神經網絡，使其具有創造性的功能。對抗神經 網絡所接觸的藝術進行編碼，并且可以隨著新藝術的添加 而不斷更新。

（二）將對抗神經網絡算法應用到現代繪畫創 作中。在實驗中對多種風格數據集繪畫進行訓練，并最終 得到了從未出現過的全新藝術繪畫，驗證了本文提出的模 型在現代繪畫生成上的通用性。

（一）對抗神經網絡的原理

GAN作為深度學習領域提出的一種新的框架結 構，使用了兩個神經網絡進行對抗訓練。一個作為生成網 絡，通過輸入一個隨機噪聲生成假的數據;另一個作為 判別網絡，對生成網絡生成的假的樣本數據進行鑒別，并 反饋送到生成器對其進行優化。判別器將誤差傳到生成器 后，生成器通過誤差更新參數，完成生成網絡的訓練，生 成網絡通過更新后的參數再生成假的樣本數據，并且將這 些假的數據集和真實數據集送入判別器網絡，更新判別器 參數，達到訓練判別器的目的。這兩個神經網絡不斷進行 對抗訓練，互相博弈，互相優化。

在這個過程中，生成器性能不斷提升，生成的 樣本數據越來越真實，判別器的判定能力也不斷提升，對 于輸入的圖像分類越來越準確，同時向生成器反饋二者之 間的誤差用以更新參數，最后達到納什均衡的狀態。這時 生成器網絡生成的數據樣本與真實的數據樣本并無二致， 判別器不能對其進行有效分類，這時生成器生成的結果就 是我們想要的結果，模型訓練完成。

（二）對抗神經網絡的應用

生成對抗網絡這一概念被goodfellow等人提出 后立刻受到了廣泛的關注，并迅速成為非常熱門的研究話 題。在計算機視覺，自然語言處理和其他一些領域中，生 成對抗網絡被深入研究，具有廣泛的應用場景。目前GAN 在計算機視覺領域已經有了很多成功的應用，包括圖像 生成、風格遷移和圖像修復等方面。而且通過對GAN的不 斷深入研究，學術界提出了各種基于原始GAN的衍生模型 ，這些模型針對原始GAN的缺點進行了改進、對其理論擴 展和應用等方面進行了創新，基于生成式對抗網絡模型的 研究不斷推進。

在圖像生成方面，GAN通過增加一個條件變量 對模型進行有效約束，可以從無監督學習轉換為有監督學 習的場景，加快模型收斂速度，使生成數據更加接近真實 數據。改進的GAN結合生成對抗網絡和卷積神經網絡，采 用步幅卷積和批標準化等操作，改善了原始GAN訓練過程 不穩定的缺點，但是由于生成樣本具有多樣性的特點導致 容易出現模型崩潰的問題。為了克服原始GAN的梯度消失 問題，本文基于上述原理對藝術繪畫進行生成。

除此之外，GAN還在圖像風格轉換、圖像補充 和修復、強化學習、隱私保護、醫學、生物學等領域均 有不同程度的應用。

（一）現代繪畫生成原理

本文將對抗神經網絡應用在現代繪畫生成中， 提出創造性對抗網絡，生成器被設計為接收來自判別器的 信號，與生成性對抗網絡（ GAN）類似，該網絡有兩個對抗 網絡，一個判別器和一個生成器。判別器可以接觸到 與標定標簽的繪畫藝術風格，如文藝復興、巴洛克、印象 主義、表現主義等相關的大量藝術，并使用它來學習區分 不同的風格。

對抗神經網絡中的第一個信號是判別器對“藝 術與否”的分類。在傳統的GAN中，該信號使發生器能 夠改變其權重以生成更頻繁地使判別器判斷是否來自相同 分布的圖像。在現代繪畫生成中，判別器表明是否認為生 成的藝術與它所現代無線電監測接受設備的藝術繪畫數據 集十分重要。在嘗試使用小規模藝術繪畫作品進行初步測 試時，發現數據集的模型收斂得很差。在本文中采用 wikiart數據庫，這是一個超過10萬幅繪畫的集合，這些繪畫都 標有風格、流派、藝術家、繪畫年份等。這個數據集，將 有足夠的數據使模型收斂，能夠使用標記信息來提高網 絡的學習能力。

（二）現代繪畫生成模型

1 .訓練組合模型，以提升生成器。為了區分 真實藝術圖像和非藝術圖像，我們使用傳統的卷積神經網絡 （CNN）架構。因此，對于尺寸為64×64的圖像，代碼如下：

圖1 64×64圖像的代碼

本文設置了3個卷積層，它們負責執行以下操 作：形狀為64×64×3的原始圖像經過16層過濾器，產 生一個形狀為32×32×16的圖像。下一步轉換32×32×16 的張量為16×16×32的張量。最后，在下一個卷積層之后， 我們最終得到8×8×64形狀的張量。

2.生成器模型。生成器的作用正好相反，將大 小為100的矢量轉換為圖像。這涉及一個卷積的過程， 它本質上是一個反向卷積。

我們以64×64×3的張量大小結束，這正是需 要的圖像的大小。所有這些準備圖像的步驟都由image dataset類來處理。

（一）實驗環境與流程

本次算法實驗所使用的實驗環境為，操作系統 ：Windows 10家庭中文版（版本號1903）;CPU： IntelCore i7-8750H;CPU主頻：2.20GHz ;內存：16G;硬盤：1.5T。

整個現代繪畫流程如下：使用 WS=workspace.from_config連接到工作空間，連接到計算集群： cluster=compute target（workspace=ws， name=‘my cluster’）。此處需要一個帶有GPU的虛擬機集群，例如NC6。上傳 數據集到ML工作區默認的數據存儲里。

傳遞model_path=.outputs/models和 samples_path=.outputs/samples作為參數，它們會指定訓練期間 生成的模型和樣本數據寫入對抗神經網絡實驗的相應目錄里 。

為了創建可以在GPU上順利運行的estimator， 使用內建的tensorflow estimator。它和通用estimator 非常類似，但是可以為分布式訓練提供開箱即用的選項。

（二）現代繪畫結果驗證

使用公開的wikiart數據集中的繪畫對抗神經 網絡進行了訓練。最終評估了三個不同分辨程度模型生成的 圖像，并與提出的CAN模型生成的圖像進行比較，以定性 和定量地了解差異。所有模型都在相同的art數據集上進 行了訓練。結果如下圖所示。

圖2 64×64訓練模型

第一個分辨率模型是原始對抗神經網絡根據藝 術數據訓練的模型。此模型生成分辨率為64×64的圖像。雖 然根據藝術數據進行訓練，但此模型未能生成模擬訓練藝術 的圖像。生成的樣本未顯示任何可識別的人物或藝術類型或 樣式。

圖3 256×256訓練模型

第二個分辨率模型是原始的對抗神經網絡模型 在向生成器添加兩層后，將分辨率提高到256×256，即此 處的生成器具有與CAN模型相同的精確結構。我們還對該模 型進行了藝術收藏方面的訓練。生成的示例有了顯著的改進 ;我們可以清楚地看到美觀的構圖結構和顏色在結果圖像中 顯示。但是，生成的圖像也沒有顯示任何可識別的人物、主 題或藝術類型。

最后為所有模型使用了相同的訓練圖像集，并 進行了第3次實驗。所有生成的圖像都使用超分辨率算法 放大到512×512分辨率。圖像也調整到512×512分辨率。 結果如下圖所示。

可以看到該模型生成的圖像在實際模擬藝術分 布方面表現出顯著的改進，從這個意義上說，可以看到許多 肖像、風景、建筑、宗教主題等類似于人類創作的藝術繪畫 類型。從而驗證了對抗神經網絡在現代繪畫生成的有效性。

圖4 512×512訓練模型

（一）結論

科學技術日新月異，圖像信息已經成為互聯網 信息共享和交流過程中最主要的媒介之一。所以，研究對 抗神經網絡的現代繪畫生成具有極其重要的現實意義。傳 統圖像識別不僅需要耗費大量人力、財力資源，且在質量 和效率方面難以滿足人們的實際需求。而對抗神經網絡的 現代繪畫生成可以自動從圖像中獲取數據信息，提高了圖 像識別效率。同時，由于對抗神經網絡運用了博弈思想 ，在模型中引入對抗機制，其自身強大的生成能力，備受 廣大業內人士青睞與喜愛，成為了現代繪畫領域中最受歡 迎的對象。本文首先以生成式對抗神經網絡概述為出發點 ，分析了對抗神經網絡現代繪畫生成過程，最后對生成的 現代繪畫進行了測試，結果表明所有生成的圖像都使用超分 辨率算法放大到512×512分辨率，圖像也調整到512×512分 辨率。

（二）展望

本文通過訓練對抗神經網絡實現了藝術繪畫的 創作，使人工智能真正意義上具有了人類的創造力。但是 ，本文也存在一些缺陷，目前的對抗神經網絡或多或少都 是基于概率模型設計的，也就是說，這些網絡都是在給定 條件下，通過輸入的數據來預測一個輸出結果。訓練集 僅僅只是“真實的照片”和“繪畫作品”，從中找到了某 種能夠將它們兩者聯系起來的映射關系。

然而，真實的藝術繪畫生成，除了基于真實的 場景以外，藝術家更會結合自己的個人體驗與經驗來進 行創作——這些個人的體驗與經驗是極難被量化成計算 機所能理解的數據，這有待于在未來進行進一步研究。

同時本文提出的對抗神經網絡生成的圖像通常 會有很模糊的邊緣。這種附帶的模糊效果是很難在對抗神 經網絡中避免的。未來應使用改進算法分別提取原圖和生 成圖像的深層次特征，然后計算二者的損失來進行優化， 從而減弱邊緣模糊的效應。