基于參考圖語義匹配的花卉線稿工筆效果上色算法

李 媛 陳昭炯 葉東毅

(福州大學計算機與大數據學院 福州 350108)

工筆花卉畫是中國傳統繪畫形式之一，創作過程通常分成線描圖繪畫和上色2個階段.首先以線筆勾勒出物體工整細致的外形結構形成線稿圖，而后結合主客觀因素靈活涂色完成線稿的上彩.其中上彩技法最能表現工筆花卉畫的視覺效果和藝術性，傳統手工上彩采用薄色多涂的方式，每次蘸取少量精心調制的顏色進行均勻涂抹，重復多次，渲染出對象的明暗關系和層次變化以提升畫面的質感.這一階段耗時耗力，特別是一幅線稿圖如果想渲染成不同色調風格的效果，每一次都需要重新調色、重新薄染.本文針對工筆線稿圖的自動上色問題進行研究，用戶可選定已有的、心儀的工筆彩圖作為參考圖像，本文系統通過仿真算法自動提取參考圖中的色調對輸入的花卉線稿圖進行顏色渲染，生成與參考圖色彩風格相近的工筆彩圖.用戶通過選定不同的參考圖像，就可快速獲得線稿圖不同的渲染效果.

本文的研究工作屬于圖像上色方向，圖像上色是計算機視覺領域的研究熱點之一，當前深度學習的興起和發展對其產生了很大的促進作用.圖像上色按上色主體可分成灰度圖像上色和線稿圖上色.基于深度學習框架的灰度圖上色[1-2]研究取得了較好的效果，上色算法依據灰度圖自身攜帶的亮度、紋理信息識別不同的語義對象，進而渲染出自然真實的圖像色彩；而本文的研究對象是線稿圖上色，線稿圖僅勾勒物體的外形輪廓和主要線條，沒有亮度以及明暗信息，且本文的上色目標不是渲染出真實感圖像，而是模擬工筆畫色彩效果，這就帶來了上色過程中對線稿對象語義的辨識和藝術效果處理上的難度.

目前基于深度學習的線稿圖上色方法根據交互方式通常分成兩大類：

1) 用戶通過筆劃、顏色文本詞、引導圖等形式設計配色信息，算法將顏色信息引入到上色模型中完成上色，上色方法通常在交互式場景下完成[3-4].2018年，Zhang等人[5]通過顏色線條指定線稿圖各區域的顏色，用條件生成對抗網絡(conditional generative adversarial network, CGAN)對同質區域進行色彩擴展完成上色，算法通過反復調整顏色線條能實現精細化的上色，但也導致需要較多的人機交互；Qiao等人[6]根據文本生成圖像，又對圖像重新生成文本描述，在保證原始文本和生成文本語義一致性的前提下，約束中間圖像和文本不同模態數據之間的語義對齊，因為涉及對不同模態數據的理解，故文本標簽在顏色作用域的定位上表現不佳；李媛等人[7]針對線稿圖工筆花卉的上色設計了一種新的作為人機交互的花色注意力圖，對花朵的顏色類別和位置進行刻畫，既實現了對顏色的控制，又加強了區塊色彩的學習，對工筆畫特有的漸變色的模擬效果較好，但對色彩的控制還比較粗糙，僅將色彩分成4種類型.這種上色方式可實現用戶設計、模型驅動的半自動藝術創作，比較適用于有一定美術基礎的用戶，但形態各異的交互設計方式需要用戶花更多的精力去適應，且算法難以快速呈現多樣化的結果.

2) 基于參考圖像的色彩仿真方法[8-10]，用戶選取已有的彩色圖像作為配色樣板，算法實現整體色彩風格的遷移，這種方式自動化程度較高，適合一般用戶使用.2016年，Gatys等人[11]提出一種藝術風格(遷移)的神經算法(a neural algorithm of artistic style, ANAS)，當參考圖像的藝術風格鮮明奔放時(如印象派油畫、波普藝術)，遷移的效果較好，但工筆畫色彩典雅工麗，使用該方法上色效果不佳；Huang等人[12]提出無監督的多模態圖像轉換模型，將圖像空間解耦成內容空間和風格空間，通過保留內容特征，融入不同參考圖像的風格特征實現多模態輸出，該方法適用于不同的圖像轉換任務，包括工筆線稿圖上色，但由于采用無監督的訓練方式，較難控制內容和風格的融合程度，如果參考圖像與線稿圖的空間結構存在較大差異，可能導致生成結果局部失色甚至缺失對主體對象的顏色渲染；2020年，Zhang等人[13]提出基于參考圖像的跨域圖像轉換模型，通過構造一個相關性矩陣，學習2個域圖像的密集語義對應關系，根據對應關系在參考圖像中找到與源圖每個圖像塊最匹配的區塊，之后訓練一個轉換網絡融合圖像塊特征，以提升生成效果.該方法應用于線稿圖上色能較好地將參考圖像的整體色調轉移到線稿圖中，但對邊界的定位較粗糙，容易出現上色不足或顏色溢出的現象；針對基于參考圖像的線稿圖上色模型在訓練過程中圖像數據集不易構造的問題，Lee等人[14]提出了對原作進行扭曲、顏色擾動等得到訓練彩圖，然后分別提取訓練彩圖和線稿圖的卷積特征，在語義層面上尋找二者不同區域最匹配的圖像塊，從而實現線稿圖上色.但是由于線稿圖和彩色圖攜帶的信息差異較大，語義匹配時容易出錯，生成圖像易出現色彩失真.上述各種方法在線稿圖上色方面取得了一定的效果，但是當參考圖像和輸入的線稿圖結構差異較大時，易產生語義信息匹配錯誤而導致上色錯誤、溢出等問題；并且由于這些上色過程缺乏針對工筆畫特有的漸變色進行模擬的功能設計，因而用于工筆花卉上色的模擬效果不佳.

鑒于上述不足并針對工筆花卉畫的染色特點，本文基于CGAN框架，提出了一種將參考圖像與線描圖進行語義匹配的工筆花卉上色仿真算法(reference-based and semantic matching, RBSM-CGAN).該算法在網絡結構設計方面，將生成器設計成3個模塊：U-Net模塊、線稿語義定位模塊和參考圖顏色編碼模塊.其中U-Net為生成器基礎，對輸入線稿圖進行編、解碼，生成同尺幅的工筆彩圖；線稿語義定位模塊是一個預訓練的線稿語義分割網絡，所生成的語義標簽圖將信息引導到U-Net的解碼器部分，幫助上色模型識別線稿不同的語義區域；參考圖顏色編碼模塊提取參考圖的顏色特征導入U-Net，而不對其進行語義分割，參考圖像和線稿圖之間的空間語義對應關系是通過本文設計的訓練方式學習到的，最終完成將參考圖像的顏色準確定位到線稿圖對應的語義區域.這3個模塊設計有助于對參考圖像漸變色的捕獲、學習和模擬.其次，算法在網絡訓練方面摒棄了傳統的“工筆花卉原作-花卉線稿圖”數據對的方式，采用“原作攝動圖-花卉線稿圖”數據對進行訓練，同時還設計了合適的損失函數，2種設計策略降低了模型對原作空間幾何結構的依賴性，因而在算法應用時無需特別顧及參考圖像的幾何構成，參考圖的選擇就有了更大的自由度，提升了本文算法的適用性.

1 算法主要思想及流程圖

1.1 流程圖及分析

本文提出的RBSM-CGAN工筆花卉上色算法的網絡訓練流程如圖1所示，網絡由預訓練的語義分割網絡、生成器以及判別器3個主要部分構成.為了提升對花卉線稿圖不同語義區域的識別能力，本文預訓練了一個語義分割網絡對花卉線稿圖進行分割，訓練時分割得到的語義標簽圖連同花卉線稿圖以及原作攝動圖同時輸入到生成器中.在語義標簽圖的指導下，生成器網絡學習花卉線稿圖和原作攝動圖之間的空間語義對應關系，根據語義將原作攝動圖的顏色信息遷移到花卉線稿圖的對應區域，進而完成上色.(花卉線稿圖,原作)或(花卉線稿圖,生成圖像)構成的二元組作為正/負樣本對輸入到判別器網絡，訓練網絡識別真假圖片.

Fig. 1 Flow chart of RBSM-CGAN network in training stage圖1 訓練階段RBSM-CGAN網絡流程圖

測試及應用階段的網絡流程如圖2所示，輸入花卉線稿圖以及選定的一幅已有的彩色圖像作為參考圖像，參考圖像的布局結構可以不同于線描圖，訓練好的生成器自動將花卉線稿圖渲染成符合參考圖像色調信息的工筆彩圖，同時參考圖像中花、葉、背景等顏色按照語義對應關系自然傳遞到花卉線稿圖的對應位置.通過選取不同的參考圖像，可以快速將花卉線稿圖渲染成不同色調風格的彩圖效果.

Fig. 2 Flow chart of RBSM-CGAN network in application stage圖2 應用階段RBSM-CGAN網絡流程圖

本文的主要工作是生成器的構造和訓練方式的設計，分別在后續第2節和第3節進行詳細論述.下面僅就判別器和損失函數的設計進行分析.

1.2 判別器與損失函數

傳統判別器模型普遍采用深度卷積網絡，利用網絡自主學習表征圖像的特征，當網絡輸入真實圖像和生成圖像時輸出一個概率值，該值表示輸入圖像屬于真實圖像的概率.此方法用于評估生成圖像整體質量上表現較好，但是工筆花卉畫上色仿真在細節生成上要求較高，比如邊緣處顏色處理、漸變色的模擬等.為了加強局部區域的顏色學習，本文采用塊生成對抗網絡(patch generative adversarial network, PatchGAN)[15]對圖像局部區域進行評估.具體思路是將圖像劃分成一系列70×70的圖像塊，判別器網絡對每個圖像塊的生成質量進行評估，最后對所有圖像塊的判別結果取平均即為整幅圖像的判別結果，該結果作為目標函數的損失項更新生成器和判別器的網絡參數.

本文的損失函數除了使用Ladv對抗損失約束生成圖像符合原作的顏色分布外，還引入L1損失，懲罰網絡生成圖像與原作的顏色差異.L1損失硬性要求生成圖像和原作的像素對齊，可能導致生成圖像色彩在空間上不連續，為了消除這一現象，進一步新增了Lf特征損失，使得生成圖像和原作在高層語義上對齊.本文上色網絡最終的損失函數LRBSM-CGAN為：

LRBSM-CGAN=λadvLadv+λ1L1+λfLf,

(1)

(2)

(3)

(4)

其中，λadv，λ1，λf分別表示Ladv對抗損失、L1損失和Lf特征損失的正則系數，c表示原作攝動圖，x表示花卉線稿圖，y表示原作；G(c,x)表示生成器以花卉線稿圖x和參考圖像c為條件輸入時的生成結果，φ(y)和φ(G(c,x))表示在ImageNet數據集[16]上的預訓練模型VGG19對原作y或生成圖像G(c,x)提取的中間層特征；D(x,y)與D(x,G(c,x))表示輸入圖像y或G(c,x)屬于真實圖像并且跟花卉線稿圖x同線條結構的概率.

2 RBSM-CGAN生成器設計原理及結構

如圖3所示，生成器網絡包括3個分支，最上方的分支是以U-Net為基礎的網絡結構，負責將花卉線稿圖轉換成工筆彩圖；中間分支是語義定位模塊，輔助生成器提升對不同語義區域的顏色渲染效果；最下方的分支是顏色學習模塊，提取參考圖像的顏色信息，將其引入到生成器網絡中.3個分支相輔相成，最終完成將參考圖像的顏色遷移到花卉線稿圖對應的語義區域.

Fig. 3 Architecture of generator of RBSM-CGAN圖3 RBSM-CGAN生成器結構

2.1 基礎的U-Net結構

現有的“編碼-解碼”生成器結構[17]通過編碼網絡提取圖像特征，又經解碼網絡重構回原始輸入圖像空間，可以實現圖像的異質轉換，包括將花卉線稿圖轉換成工筆彩圖.由于卷積網絡經過一系列卷積下采樣可能丟失圖像的空間特征以及線條信息，導致生成結果顏色平緩、邊緣輪廓模糊不清.針對這個問題，本文的生成模型采用U型網絡(簡稱U-Net)[18]作為基礎框架，U-Net引入了跨層連接的結構，將編碼網絡的特征復用到解碼網絡，如圖3藍色箭頭所示，該結構加強了特征在不同層之間的傳遞，緩解了深層特征偏重刻畫全局語義可能丟失淺層特征的不足.

如圖3所示，生成器包含10層，卷積核采用 4×4，各層具體參數如表1所示.其中Conv2d表示2維卷積層，Deconv表示反卷積，Conditional IN表示條件實例歸一化，ReLU表示修正線性單元，LReLU表示帶泄露修正線性單元，tanh表示雙曲正切函數.

2.2 語義定位模塊

工筆花卉上色仿真任務對對象語義區域定位的精確度要求較高，確保顏色準確定位到不同位置至關重要，而顏色定位需要考慮3個問題：1)花卉線稿圖不同語義對象的線條結構相似，如果生成網絡錯誤地劃分了語義區域進而顏色渲染，可能出現不協調的色塊；2)若邊界定位不夠準確，著色邊界較模糊，仿真結果邊緣處可能出現顏色溢出或者顏色不足，降低生成圖像的藝術性；3)在網絡訓練階段，原作攝動圖與線稿圖的空間布局雖然不同，但是語義內容上高度相關，測試階段如果選取與花卉線稿圖花型、形態或者布局上差異較大的參考圖像，可能無法將顏色信息正確地遷移到線稿圖.考慮到U-Net在特征提取中表現較好，但是對語義區域的識別不夠精確，本模塊設計并預訓練了一個基于pix2pix網絡模型[15]的語義分割網絡，將花卉線稿圖劃分成3個語義區域，分別是花朵、葉子以及其他區域，指導生成網絡區分不同對象，進而將參考圖像的顏色傳遞到花卉線稿圖的不同位置.

Table 1 Parameters of the Basic Generator U-Net表1 基礎生成器U-Net的參數

線稿圖只有線條信息，不同語義區域難以區分，故本文借助預訓練的語義分割網絡將線稿圖劃分成不同語義區域，并將分割結果嵌入到U-Net生成器解碼網絡.而對于參考圖像，不同語義對象之間的顏色存在較大差異，顏色即可較好地區分不同語義區，因此不再進行語義分割，使用顏色學習模塊編碼提取參考圖的顏色特征后將其引入到U-Net網絡.線稿圖與參考圖像之間的顏色語義關聯關系可通過本文設計的訓練方式學習獲得.參見本文第3節.

花卉線稿圖的分割結果是一幅與原圖相同尺寸、不同語義區域用不同顏色指代的語義標簽圖，參見圖3.如果直接將語義標簽圖拼接到生成網絡的特征層，生成網絡歸一化的過程可能丟失語義信息.2017年Huang等人[9]提出的自適應實例歸一化(adaptive instance normalization, AdaIN)被用在多種類型的圖像生成任務中，比如風格遷移.AdaIN通過改變特征圖每個通道上的實例歸一化的系數將風格特征引入到網絡結構中，又由于實例歸一化的系數在每個通道上是不同的，因而可實現風格特征的空間自適應調整.AdaIN的計算公式為

(5)

其中，x表示內容特征，μ(x)和σ(x)分別表示x的均值與均方差；y表示風格特征，μ(y)和σ(y)分別表示y的均值與均方差，也即實例歸一化中的仿射參數.本文將自適應實例歸一化的思想引入到語義定位的網絡模塊，將語義標簽圖編碼后的特征向量作為自適應實例歸一化的仿射參數引入到生成器網絡解碼層.語義編碼網絡的結構設計如圖4所示.相關的計算為：

(6)

(7)

(8)

其中，Mask表示語義標簽圖；fc,h,w表示自適應實例歸一化之前在(c,h,w)位置的特征輸入，Fc,h,w表示表示經過自適應實例歸一化后在(c,h,w)位置的特征輸出,c∈C，h∈H，w∈W，C，H，W分別表示當前特征圖f的通道數、高度和寬度.μc和σc分別表示當前輸入特征圖f第c個通道的均值和標準差.αc,h,w(Mask)和βc,h,w(Mask)既表示語義標簽圖經過語義編碼后在(c,h,w)位置的2個顏色特征值，同時也是自適應實例歸一化的仿射參數.

Fig. 4 Semantic coding network圖4 語義編碼網絡

該結構簡化了上色模型的語義對象識別過程，指導上色模型學習參考圖像和花卉線稿圖的語義對應關系，提升語義匹配的精確度以及模型渲染與參考圖像外形輪廓差異較大的線稿圖的能力；同時該語義標簽圖隱式地引入了內部注意力機制，加強了不同語義區域的顏色學習.

2.3 顏色學習模塊

在訓練過程和測試過程中，彩色參考圖像與花卉線稿圖同時輸入到生成網絡.彩色參考圖像泛指模型中用到過的提供色彩信息的參考圖像.在訓練階段“彩色參考圖像”是原作攝動圖，在測試過程中“彩色參考圖像”是用戶選取的工筆彩圖.U-Net編碼部分完成花卉線稿圖的線條信息提取，在參考圖像顏色信息的提取方法上，本文設計的顏色編碼網絡由2層卷積神經網絡構成，結構如圖5所示.該模塊用于提取參考圖像的顏色特征，并將其拼接到生成器解碼網絡的前3層中(圖3綠色箭頭所示)，通過該方式將顏色信息引入上色模型，同時拼接到低分辨率的特征層可以避免對參考圖像顏色布局信息的依賴，提升模型泛化性.

Fig. 5 Color coding network圖5 顏色編碼網絡

在應用階段用戶可以選取任意一幅花型、形態和空間結構與線稿圖不同的工筆彩圖作為上色參考，算法將顏色信息傳遞到花卉線稿圖對應的語義區域，進而完成工筆花卉線稿圖的上色仿真.要實現該過程單純依靠顏色編碼網絡是不夠的，還必須與訓練階段的策略相結合，具體參見第3節.

Fig. 6 Wrong generation results of using original image in training stage圖6 訓練過程采用原作的錯誤生成結果

Fig. 7 The generation of perturbed image of the original圖7 原作攝動圖生成

3 訓練過程的處理策略

3.1 網絡訓練策略

本文的網絡訓練過程參見圖1，整個流程建立在CGAN的訓練基礎上，其中關鍵點是生成器訓練時配對的彩色圖像的構造.成對的“工筆花卉原作-花卉線稿圖”可以通過收集及邊緣檢測算法得到，但是構造反映工筆花卉顏色信息的訓練參考圖像數據集十分困難，如果將原作直接當成訓練參考圖像可以節省很多人力物力，但是原作和輸入線稿具有完全相同的線條結構，特征表達能力過強，將導致上色網絡學到除顏色信息之外的其他信息，比如線條信息等.這樣訓練的網絡在應用時當用戶選擇的與花卉線稿圖結構形式差異很大的參考圖像，會出現錯誤的響應.當訓練的網絡過度依賴原作，可能導致生成圖像出現極端情況，即上色結果圖是花卉線稿圖和參考圖像線性疊加的結果，如圖6(c)所示.

針對這個問題，本文提出訓練時對原作進行翻轉、錯切等幾何變換，打亂圖像空間結構得到攝動圖像作為訓練階段的參考圖像，既降低線稿圖和參考圖像結構上的相似性同時又能保留線稿圖上色所需的顏色信息.除了幾何變換，本文的攝動圖還采用基于像素點的圓形扭曲變形操作，公式為

(9)

其中，o表示圓心像素點，r表示圓的半徑，m表示圓心像素點o移動后的位置，p表示圓內任意一個像素點.當圓心o轉移到位置m后，圓內像素點p由像素點q的位置轉移而來，也就是說像素點q的顏色決定了變形后像素點p的顏色.式(9)表明離圓心越遠的像素點，對應的偏移量越小，發生形變的程度就越小.

該步驟使得原作攝動圖和花卉線稿圖線條結構在像素層面也有較大差異，希望上色網絡學習到訓練參考圖像的顏色信息，而摒棄對象的位置、結構等信息.

考慮到原作攝動圖由原作變換而來，可保持內容上的相關性，同時在顏色上也具有強關聯，為了降低對顏色的強依賴，本文對攝動圖進一步做模糊處理，采用5×5的高斯濾波核處理圖像，達到圖像色彩模糊化的目的，同時不會過度損失像素點的顏色值，提升模型的魯棒性.訓練用的參考圖像最終經由對原作采用翻轉、錯切、扭曲和模糊化處理后獲得，本文稱之為原作攝動圖，具體步驟如算法1所示.4個攝動操作與順序無關，結果如圖7所示:

算法1.原作攝動圖的生成算法.

輸入：工筆花卉原作A1；

輸出：工筆花卉原作對應的攝動圖A5.

記當前輸入圖像為A1，大小為m×n，攝動處理過程有4個步驟：

① 模糊.使用5×5高斯濾波器對圖像A1濾波得到圖像A2.

② 錯切.圖像A2從上到下，第i行往左移動int(i/15)個像素，并將左側延展出來的直角三角圖像塊填充到右側空白的三角形中，得到圖像A3.

③ 翻轉.將圖像A3左右翻轉得到圖像A4.

④ 扭曲.按式(9)對圖像A4中的像素點進行扭曲變形，進一步打亂圖像的空間位置信息，得到圖像A5，即工筆花卉原作的攝動圖.其中，半徑r=50.

同時本文設計的訓練方式是將“原作攝動圖-原作線稿圖”配對輸入生成器并要求生成器的輸出結果為原作，如圖8所示，原作攝動圖與原作線條的空間結構發生了一定的變化，這就形成了訓練彩圖與線稿圖線條結構的差異性；訓練時要求生成器輸出的結果是工筆畫原作，這一方式就使得攝動圖的顏色信息(花朵、葉子、花梗、背景)可以關聯到該顏色在線稿圖對應的語義位置，同時我們在生成器中引入線稿語義分割模塊，可使生成器更準確地定位顏色語義區.在訓練完成后，網絡應用時，參考圖像就類似于攝動圖的角色，如圖2所示，盡管參考圖的線條結構可以與輸入的線稿圖有較大差異，但依然生成器可以較好地捕捉參考圖的色彩信息并與輸入線稿圖相關聯.

Fig. 8 Flow chart of RBSM-CGAN generator network in training stage圖8 訓練階段RBSM-CGAN生成器網絡流程圖

3.2 數據集的收集與處理

本文使用的“工筆花卉原作-花卉線稿圖”數據集是從網絡上收集獲得，類別較豐富，涵蓋牡丹、荷花、虞美人、郁金香、菊花等花卉種類.針對數據集中圖片分辨率低以及數據不平衡等問題，采取圖片篩選、去水印、數據增強等預處理操作；最終構造了一個包括1 961幅圖片的訓練集，其中259幅工筆花卉有畫家手繪的對應花卉線稿圖線稿，其余線稿圖則通過擴展高斯差分算法(extended difference of Gaussians, XDoG)[19]提取工筆花卉的邊緣線條獲得.此外，本文上色仿真算法基于卷積神經網絡，通過卷積核學習圖像特征，為了防止圖片大小懸殊引起卷積核參數收斂困難，網絡訓練不穩定，將數據集中圖片的尺寸統一設置成256×256.

高斯差分(difference of Gaussians, DoG)是基于二階微分的邊緣檢測算子，通過計算二階導過零點得到1～2個像素寬的細邊緣.DoG對圖像進行不同尺度的高斯濾波得到2幅高斯圖像，而后計算2幅高斯圖像的差值得到邊緣圖，相當于一個帶通濾波器，能過濾顏色漸變引起的假邊緣，但是也可能過濾掉弱邊緣.XDoG是對DoG的改進，通過設置閾值保留差分圖中邊緣強度低的弱邊緣.此外，為了消除噪聲的影響，對檢測得到的邊緣圖進行中值濾波，最終得到的檢測結果線條較連貫、邊緣定位較準確.訓練數據集示例如圖9所示.

本文使用的線稿圖中線條的顏色有深有淺，是因為文中收集到的圖片分辨率不同.分辨率低的圖片攜帶的信息較少，邊緣線條較模糊，對應的線稿圖線條較細，顏色較淺；反之，線條較粗，顏色較深，再一個原因是部分工筆畫能夠收集到畫家留下的白描圖，這類白描圖通常線條比較清晰、顏色較深.除此之外，二者沒有特殊的含義.為了模型的適應性更強，訓練時淺色線稿圖也不做增強.

Fig. 9 The presentation of dataset in this paper圖9 本文的數據集示例

4 實驗結果及分析

本文在Tensorflow環境下實現花卉線稿圖到工筆花卉的轉換.生成器和判別器使用Adam優化器，學習率設置成0.000 02，迭代200次，網絡的訓練與測試都在GPU Tesla P100上運行.

4.1 工筆花卉上色仿真效果

圖10是選取了9幅不同色調的參考圖像對10幅不同造型的花卉線稿圖的上色結果.線稿圖按照花卉類型選取，工筆畫作中常見的荷花、牡丹、菊花各選2幅，余下4幅為虞美人、百合等雜花類；參考圖像按照色調的類型選取，有紅、橙、粉、綠、藍、紫等，基本涵蓋了工筆畫常見的色調類型.圖10(b)粉色和綠色的組合勾勒出春天萬物復蘇、欣欣向榮的景象；圖10(c)由紅色花朵和明黃的背景組成，鮮明的色彩造成視覺沖擊；圖10(d)用相近色系的冷色烘托出牡丹的清新別致；圖10(e)深藍的牡丹別具風格；圖10(f)是宋代工筆芙蓉花，采用石色，顏色厚重；圖10(g)粉白色的玉蘭花開的絢爛，在灰綠葉子的陪襯下獨顯清冷明艷；圖10(h)使用墨綠色的葉子以及淺綠的背景，襯托出桃紅色花朵的鮮艷明亮；圖10(i)在嫩綠色葉子的襯托下，白色花朵愈加顯現得干凈純潔；圖10(j)呈現了淡藍色細長的菊花花瓣，與其他工筆花卉花型相差甚大.對比同一參考圖下的不同線稿的上色效果可以發現，本文方法可適用于不同構圖、造型的花卉線稿圖，能較好地將參考圖像的色彩風格按照語義遷移到花卉線稿圖中，生成圖像顏色飽和、層次豐富，漸變色的模擬也有較好的效果.而同一花卉線稿圖在不同參考圖像的指導下呈現出不同風格的色彩效果，展示了網絡輸出的多樣性.可以觀察到，本文方法對參考圖像的選取約束較小，如圖10行2荷花線稿圖，即使參考圖像中的花朵沒有花蕊，生成網絡可以通過自主學習的方式對荷花線稿圖中的花蕊上色.這是上色模型對所學習的數據集特點的一般性模擬效果.

Fig. 10 Coloring results by the proposed algorithm圖10 本文算法上色結果

畫家筆下不少工筆花卉都有描繪花蕊，本文收集的數據集中也是如此.因此，在訓練時，那些有花蕊的訓練數據對，其花蕊的特征會被模型所學習到.在模型應用時，如果線稿圖有花蕊，即便所選擇的參考圖中沒有花蕊，上色模型也會對花蕊進行上色.實驗結果可以看出生成圖像顏色合理，能較好地模擬工筆花卉畫的色調風格.

4.2 消融實驗及分析

為了驗證本文設計的算法的有效性，分別對本文提出的3個主要策略：語義定位模塊、特征損失函數和攝動圖訓練方式進行了消融實驗及分析.實驗結果表明本文算法在語義提取、顏色定位、漸變色模擬效果等方面均表現較優.

4.2.1 語義定位模塊的消融測試

Fig. 11 Comparison of ablation results with or without semantic segmentation module圖11 有無語義定位模塊的消融實驗結果對比

本文在生成器網絡中引入預訓練的語義分割網絡，旨在通過語義標簽圖輔助生成網絡識別不同語義區域，提升參考圖像和花卉線稿圖空間語義匹配精確度.為了驗證語義分割模塊的有效性，實驗對比了有無語義分割模塊的生成效果，結果如圖11所示.沒有語義定位模塊的生成網絡當參考圖像和花卉線稿圖的外形輪廓相似時，渲染效果尚可，如圖11(c)行1芙蓉花，葉子渲染成黃綠色，背景米黃色，整體顏色風格和參考圖像相似；當二者花型或者構圖差異較大時，上色模型顏色定位較差，如圖11(c)行2牡丹黃色的花朵只有部分上色，且黃色花瓣中混雜了黑色和紅色，仿真效果較差；又比如圖11(c)行3雜花圖葉子中部分區域顏色空洞，缺乏色彩；而圖11(c)行4荷花花瓣上色不足，花朵上方又出現了顏色溢出，色彩定位較差.對比本文算法帶有語義定位模塊的上色結果，整體色彩風格與參考圖像保持一致，語義定位較準確，圖像失真較少；可以看出語義標簽圖確實加強了不同區域的顏色學習，生成結果色彩厚重飽滿、過渡自然，比較符合真實工筆花卉畫的顏色分布和特點.

為了定量分析生成圖像的質量，本文采用弗雷歇初始距離(Frechet inception distance,FID)[20]進行客觀評價，結果如表2所示.FID通過計算生成圖像和目標圖像隱層空間特征的Wasserstein-2距離評估圖像的生成質量，分數越低圖像越好.由表2可見，本文算法生成圖像的FID比未使用語義分割模塊的生成圖像低，說明語義定位校準模塊的有效性.

Table 2 FID Comparison of Images Generated by Different Algorithms表2 不同算法生成圖像的FID對比

4.2.2 特征損失函數消融測試

損失函數可以懲罰生成圖像和原作像素點顏色以及語義的差異，提升上色仿真效果.生成模型常用L1損失縮小生成圖和原作的像素點差異，但是沒有語義上的約束，容易導致色彩在空間上不連續，本節對比了增加特征損失項Lf前后生成效果的差異，結果如圖12所示.從圖(12)可以看出，沒有加特征損失項的生成圖像在顏色構成上和參考圖像類似，但是色彩分布不協調，如圖12(c)行1芙蓉花的花朵左上區域顏色較深，其他區域顏色較淺；圖12(c)行2蝴蝶蘭有的花朵顏色厚重，有的花朵顏色輕薄，缺乏統一的色調，而本文算法通過加入語義損失，畫面整體顏色柔和統一；圖12(b)行3選取的參考圖像中包括藍色的牡丹以及白色的花骨朵兒，沒有特征損失的上色模型把藍色與白色都轉移到花卉線稿圖的花朵區域，導致藍色花瓣中混雜了白色，通過加入特征損失，在語義上進行約束，生成藍色色調的花朵，整體顏色協調.實驗表明，加入特征損失后生成網絡能更好地模擬真實工筆花卉的顏色分布.

Fig. 12 Comparison of ablation results with or without feature loss圖12 有無特征損失的消融實驗結果對比

為了進一步評估特征損失的有效性，本文采用FID比較特征損失增加前后的生成效果，結果如表2所示.由表2可以看出，本文帶有特征損失Lf的算法生成圖像的FID較低于未使用特征損失的生成圖像.

4.2.3 攝動圖訓練方式消融實驗

為了驗證基于原作攝動圖的訓練方式對提升上色網絡泛化能力的效果，本文在訓練階段分別用原作和原作攝動圖作為對應花卉線稿圖的參考圖像，在測試階段選取與花卉線稿圖線稿在花型、布局上有較大差異的參考圖像，對比2種方法訓練的網絡的上色仿真效果，結果如圖13所示.以原作為參考圖像訓練的上色網絡難以實現花卉線稿圖自動上色，上色結果出現極端的情況，即輸出結果是花卉線稿圖和參考圖像的線性疊加.這種現象出現的原因是訓練過程將原作作為參考圖像，原作和花卉線稿圖的線條結構相同，所以上色模型將原作的顏色按像素點的位置進行點對點傳遞，就能達到花卉線稿圖上色目的，顯然這種模型泛化性很差，在實際應用的時候，對于任意選取的一幅參考圖像，通過點對點傳遞參考圖像的顏色是無法完成花卉線稿圖上色.對比本文訓練階段采用原作攝動圖作為參考圖像，在測試的時候即使采用與花卉線稿圖線條結構差異較大的參考圖像，算法也能較準確地將參考圖像顏色定位到花卉線稿圖的對應語義區域.

Fig. 13 Generation results of whether uses perturbed images in training stage圖13 訓練過程是否采用原作攝動圖的生成結果

4.3 與其他算法的對比結果

ANAS[11]是一個基于深度卷積神經網絡的藝術風格遷移模型，可將風格圖像的顏色和紋理遷移到內容圖像；Huang等人[12]的算法是通過對隱層空間解耦將參考圖像的特征復用到內容圖像實現上色的；Zhang等人[13]提出的CoCosNet網絡模型是基于參考圖像的跨域圖像轉換任務的一個通用框架；本文利用“工筆花卉-花卉線稿圖”數據集訓練文獻[11-13]所提的模型，比較不同模型的工筆花卉上色仿真效果，結果如圖14所示.

本文選取了5種不同花型的線稿圖線稿和5張參考圖像，由圖14可以看出，ANAS在遷移參考圖像的顏色信息上是可行的，生成結果也反映出參考圖像的顏色構成，但是由于工筆花卉顏色典雅工麗，不屬于風格強烈鮮明的藝術圖像，因此風格遷移效果較差，且顏色定位不夠準確.

如圖14(c)行4牡丹以及圖14(c)行5荷花，花朵區域缺乏顏色渲染，而花卉線稿圖的留白區域出現了顏色色塊；圖14(c)行1百合花、圖14(c)行2茶花、圖14(c)行3蝴蝶蘭僅有部分區域色彩尚合理，大多數區域色彩雜亂，不符合工筆花卉畫上色仿真的要求；Huang等人設計的非成對樣本對訓練的網絡MUNIT表現欠佳，偏向于對背景和線條著色；CoCosNet能較好地模擬參考圖像的顏色，但是語義區域定位的準確率較差，導致顏色不足.如圖14(e)行2茶花和圖14(e)行5荷花花朵區域，幾乎沒有色彩渲染；有的出現定位錯誤，如圖14(e)行4牡丹草綠色的葉子出現紅色的色塊，影響生成圖像的藝術效果.本文算法能較好地將參考圖像的色彩按照語義遷移到花卉線稿圖，在顏色模擬上更接近真實工筆花卉效果.

Fig. 14 Comparison of generation results by various algorithms圖14 不同算法生成效果對比

為了更客觀地比較本文算法和ANAS[11]，MUNIT[12]，CoCosNet[13]模型的生成效果,本文采用FID進行量化分析，結果如表2所示.從表2可以看出，本文算法在工筆花卉上色仿真中表現更優.

5 結束語

本文提出的基于語義匹配的工筆花卉上色仿真算法RBSM-CGAN,實現了花卉線稿圖到工筆花卉色圖的轉換，通過預訓練的語義分割網絡劃分花卉線稿圖中的不同語義區域，指導參考圖像的顏色定位到花卉線稿圖的不同位置，同時，語義標簽圖隱式地引入了內部注意力機制，加強了不同區域的顏色學習，提升了漸變色的模擬效果.針對訓練階段采用“工筆花卉原作-花卉線稿圖”可能導致上色模型過度依賴，本文提出對原作扭曲變形等幾何變換得到攝動圖像作為參考圖像.實驗表明，本文算法能較準確地將參考圖像的顏色信息傳遞到任意花型的花卉線稿圖，生成具有工筆畫效果的圖像.后續研究希望增強網絡結構，生成特殊肌理的背景；對花蕊等細節部分進行處理，以進一步提升模型的工筆畫仿真效果；生成工筆花卉圖的短視頻[21]，讓圖動起來；同時會考慮將該算法拓展到其他線稿圖上色任務中.

作者貢獻聲明：李媛提出了算法主要思路和實驗方案，完成實驗并撰寫論文；陳昭炯和葉東毅提出研究的問題及部分算法方案，并就算法和實驗過程遇到的問題給出指導意見和修改論文.