基于卷積神經網絡的水墨畫合成方法

彭玉元,趙朋朋,武有能,謝兵兵

(桂林電子科技大學 a.藝術與設計學院;b.計算機與信息安全學院,廣西 桂林 541004)

非真實感繪制是利用計算機生成不具有照片般真實感,而具有手繪風格的繪制技術。它的主要目的之一是為了表現圖像的藝術特征、模擬美術作品。水墨畫是具有悠久歷史的中國傳統繪畫,研究如何利用計算機繪制出優秀的水墨畫作品對弘揚發展中國文化有重要的意義。

關于水墨畫的計算機繪制技術主要分為兩方面:基于物理的仿真繪制技術和基于非物理的以空間模型或原始圖像為基礎的自動或半自動的繪制技術。 基于物理仿真的研究取得了較好的效果,但是對毛筆、 水墨、 宣紙的物理特性模擬運算以及各種參數的設定, 使得繪制過程比較復雜, 難以操作, 繪制效率很低[1-4]。 對于基于空間模型的繪制, 如建立3D物體模型直接進行渲染、 建立水墨粒子模型模擬其擴散運動等, 也取得了不錯的效果, 但是過程繁瑣、 計算量大, 處理起來也很困難[5-8]。 基于圖像的水墨畫制技術簡單、 易操作, 近年來成為了研究熱點,取得了不錯的研究成果：Yu等[9]提出了基于真實圖片的水墨畫合成算法,在圖片上控制水墨筆觸,獲得了真實圖片的水墨畫效果；李丹等[10]提出了基于圖像類比的方法,對照片A和對應的水墨畫風格圖像A′類比來獲取對應信息,讓濾波器學習匹配規律,使另外輸入的照片B可以轉化為帶有水墨風格圖像B′；曹毅等[11]充分利用圖像處理的相關技術(圖像分割、 濾波處理等), 生成了水墨畫效果的圖像；Liang等[12]提出一種基于真實圖片的水墨線條繪制算法,對邊緣檢測出來的線條進行水墨擴散模擬,使真實圖片有一定的水墨效果；金煒煒[13]改進基于圖像生成水墨畫的繪制過程,引入Perlin噪聲,獲得了不錯的水墨繪制效果。這些方法都是根據水墨畫一般性特征而設計的,而真正由畫家創作的水墨畫的優美之處在于其整體的風格。Gatys等[14]提出利用卷積神經網絡模型,對圖像特征提取然后加以合成, 使一張圖像擁有另一張圖像的風格。 這種方法對于水彩畫或油畫等色彩明顯的藝術圖像合成效果較好, 但對于水墨畫風格圖像的合成效果不佳。 本文針對水墨畫的主要特征, 對輸入照片圖像進行對比度增強預處理, 修改卷積神經網絡模型對水墨畫圖像風格提取算法, 使最后生成的圖像帶有較好的原水墨畫風格。

1 卷積神經網絡

卷積神經網絡是深度神經網絡中最強大的計算機視覺處理領域的一個模型,在物體識別的表現上超過了人類識別能力的模型。

1.1 信息提取能力

訓練完成的卷積神經網絡模型, 對于圖像特征的提取具有一般性, VGG-Net具有很好的圖像轉化學習能力[15], 其卷積層的特征映射大小為3×3(濾波器大小), 能捕獲最小1像素左右的信息尺寸, 卷積的步長為1, 邊界填補為1, 這樣使得卷積層獲得了更多的非線性判斷。 在池化層VGG-Net使用的是2×2區域最大池化操作, 池化步長為2。 被訓練好的模型經過簡單的修改調整便可在深度學習框架(caffe-frame、 theano、 torch等)下進行更多的應用和研究(如圖像語義分割)[16]。 本文使用了VGG-Net的16個卷積層和5個池化層提供的特征映射空間而沒有用到任何一個全卷積層, 這樣可以使輸入圖像的尺寸大小是任意的。 在池化層保留了最大池化處理，而并沒有使用平均池化。

卷積神經網絡是深度學習中第一個真正成功訓練多層網絡結構的學習算法,是由神經元按層級結構組成的前饋網絡。通過特征映射(濾波器)依次卷積輸入圖像的感受野信息,獲得平移、旋轉和縮放不變的圖像特征信息(特征圖),再依次把信息傳遞到高層。當訓練卷積神經網絡用作物體識別時,隨著層數的增加，圖像特征信息代表的目標信息就越來越明確[14]。

如圖1所示,通過一張白噪聲圖像匹配照片在卷積神經網絡中某一層的特征響應的方法來獲取照片內容。洇濕也就是水墨擴散效果,是水墨畫的一個顯著特征,濕毛筆接觸宣紙時,墨水會從毛筆流入到宣紙,然后向周圍浸潤、滲透。卷積神經網絡進行圖像風格提取時,考慮的是圖像整體風格，而弱化了細節紋理方面,所以為了使生成的圖像在不同的灰度區域邊界擁有由黑到白的水墨擴散效果,在水墨畫合成時應對輸入的原照片圖像作增強處理,提高明暗對比度。

圖1 內容提取Fig.1 Content extraction

1.2 紋理處理能力

一般認為,紋理是一種反映像素在圖像空間分布的特征,通常表現為總體有規律而局部無規律的性質；又或者是一種反映圖像中同質現象的視覺特征,體現了物體表面共有的內在屬性,包含了物體表面結構組織排列的重要信息以及其與周圍的聯系[17]。近年來,紋理合成的主流技術主要是對源紋理圖像內在規律的提取、重構。這種方法用在非紋理圖像上,可以認為是對一張圖像風格特征的提取。本研究使用Gatys等[18]提出的基于卷積神經網絡的紋理合成方法。在已經被訓練好的用于圖像分類的卷積神經網絡模型中,每一層的特征響應間相互關系表示了紋理信息的空間匯總統計。如圖2所示,通過一張白噪聲圖像匹配水墨畫在卷積神經網絡某些層特征響應相互關系的方法來獲取水墨畫風格圖像，在風格獲取時,避免了空白區域特征響應的互相關系有可能無意義情況,使生成的圖像保留了足夠的原水墨畫風格信息。

對計算模型進行改進,通過對輸入照片圖像進行對比度增強預處理, 有助于卷積神經網絡模型對照片內容和水墨畫風格的獲取,并通過修改計算參數, 使得原來對于水彩畫或油畫等色彩明顯的藝術圖像合成效果較好的卷積神經網絡, 同樣適用于水墨畫風格。

圖2 風格提取Fig.2 Style extraction

2 水墨畫合成

2.1 基于HSV顏色空間的照片圖像增強

對于輸入的照片,直接在RGB空間中對R、G、B3個分量進行處理運算容易出現色偏。應先把圖像從RGB顏色空間轉換到HSV顏色空間下,HSV顏色空間的3個基本屬性為色調(H)、 飽和度(S)、 明度(V),具體轉換如下:

(1)

式中：R、G、B的取值范圍是[0, 255];H的取值范圍是[0, 360];S的取值范圍是[0,1];V的取值范圍是[0,255]。把明度V當作灰度圖像V1進行直方圖均衡化處理,映射成一幅灰度分布均勻的圖像V2,變換函數為各灰度級概率的累積分布函數

(2)

式中：rk為V1歸一化的灰度級；k=0,1,2,…,L-1;n是圖像中像素的總和；nk是灰度級為rk的像素總數；L是圖像中可能的灰度級總數；T是變換關系；Pr(rj)是原圖像第k級灰度值的概率；sk是V2歸一化的灰度級。最后將圖像從HSV顏色空間轉換到RGB顏色空間,換算公式為

(3)

圖3a一張普通風景圖經過圖像增強后變為圖像如圖3b所示。

圖3 圖像增強Fig.3 Image enhancement

2.2 照片內容獲取

(4)

對式(4)求關于F的導數:

(5)

在l層通過誤差反向傳播算法便可求出關于x的梯度,直到在此卷積神經網絡的l層映射的特征響應與p在此層映射的相同,此時x便表示了關于p的內容信息。

圖4a—c分別是使用VGG-Net第1層卷積層的第1組、第3層卷積層的第1組和第5層卷積層的第1組提取的內容。

2.3 水墨畫風格獲取

(6)

其中，i為第l層第i個濾波器；k為第i個濾波器的第k個位置的特征輸出；j為第l層第j個濾波器；k*為l層第j個濾波器上第k*個位置的特征輸出。

用一組格拉姆矩陣集合G′?{G1,…,Gl}便可確定一張圖像的風格。 計算機視覺處理的卷積神經網絡模型主要面向RGB圖像的輸入, 一張水墨畫從計算機視覺上理解是一張灰度圖像, 上面很多空白區域, 由于3×3濾波器范圍很小, 容易對應到水墨畫圖像灰度全為0的3×3區域, 使得特征響應的值忽略了濾波器的影響, 只受到神經元基值的影響。 若此時基值為0, 那么兩個濾波器在這種情況下的互相關系就沒有意義。 為了避免這種情況,對上述互相關系進行調優:

(7)

(8)

總損失為

(9)

式中：wl為每一層對總損失的權重影響。對式(9)求關于F特征響應的導數:

(10)

同樣地，根據誤差反向傳播算法可以求出關于x的梯度。如圖5a′是圖5a水墨擴散效果的紋理合成圖像,圖5b′是圖5b山水畫風格合成圖像。

圖4 內容提取Fig.4 Content extraction

圖5 風格提取Fig.5 Style extraction

2.4 水墨畫合成

以一張白噪聲圖片為基礎,利用卷積神經網絡模型VGG-Net同時進行2.2節所述的照片內容獲取處理和2.3節的水墨畫風格獲取處理,此白噪聲圖片即可生成為一張水墨畫風格圖像。

設p為一張圖像增強處理后的照片,a為一張水墨畫,x為一張白噪聲圖像, 則損失函數表示為

Ltotal(p,a,x)=αLcontent(p,x)+βLstyle(a,x)。

(11)

式中:α、β分別是照片內容和水墨畫風格在生成圖像中的權重影響。

照片內容獲取使用的卷積層是CONV4_2, 水墨畫風格獲取使用的卷積層是CONV1_1、 CONV2_1、 CONV3_1、 CONV4_1和CONV5_1,式(9)中的這幾個卷積層權重wl均設為1, 其他的全為0。 水

墨畫合成的總損失函數式(11)中,α設為1、β為5。從原風格合成方法生成的圖6c可以看出,生成圖像的山體部分呈現出大面積的空白,并且遠處天空部分還殘留著白噪聲圖像的紋理。相比之下,圖6d山體部分的墨色就比較均勻,圖像中的天空區域也減少了白噪聲圖像紋理。本文合成方法在Gatys的合成算法基礎上,首先基于HSV顏色空間的照片進行圖像預處理來提高其明暗對比度,然后利用卷積神經網絡模型VGG-Net獲取照片內容以及水墨畫風格的提取,最后依據水墨畫合成的總損失函數式(11)進行參數調優,設置合理的照片內容和水墨畫風格在生成圖像中的權重,可以看出,通過這一系列的模型改進使最后生成的圖像帶有較好的原水墨畫風格。圖7是對其他一些圖像進行合成的效果展示。

圖6 風格提取Fig.6 Style extraction

圖7 效果展示Fig.7 Show results

3 結束語

通過分析水墨畫具有的洇濕擴散特征,使用圖像增強算法對圖像作預處理,針對水墨畫圖像灰度為0的空白區域,填補其像素值,并依據卷積神經網絡的性質,在已經訓練完成的卷積神經網絡之上,通過計算,定義照片內容的表示方法和水墨風格的表示方法。通過一張白噪聲圖像同時去擬合一張照片圖像的內容信息和一張水墨圖像的風格信息,可以合成出效果較好的水墨風格的圖像。