基于生成對抗網絡的書法紡織圖案設計開發

陳涵 沈雷 汪鳴明 張希瑩 任祥放

摘要： 隨著區域民族紡織品全球化格局的形成，中國風格成為了全球紡織品流行趨勢之一。中國傳統紡織圖案在世界范圍的流行對其設計開發方法提出了更高要求。文章以書法紡織圖案為研究對象，提出了基于深度學習生成對抗網絡的傳統紡織圖案開發方法。該方法解決了傳統開發方法技術壁壘高、效率低、可控性差、資源損耗大等問題，同時在深度學習層面解決了中國傳統紡織圖案樣本少、規格雜、重意不重形等訓練難點。經對比實驗、主觀評估與設計運用，該方法相較當前典型方法更適合應用于傳統紡織圖案的設計開發，具備先進性與實踐價值。

關鍵詞： 生成對抗網絡;紡織品設計;深度學習;傳統圖案;中國書法

Abstract： With the formation of a global pattern of regional ethnic textiles， chinoiserie has become one of popular trends of global textiles. The popularity of traditional Chinese textile patterns in the global context puts forward higher requirements for its design and development methods. By taking calligraphy textile patterns as the research object， this paper comes up with a development method of traditional textile patterns based on the deep learning generative adversarial network. The proposed method solves the problems of traditional development methods， such as high technical barrier， low efficiency， poor controllability and large resource consumption. At the same time， at the level of deep learning， it solves the training difficulties of traditional textile patterns， such as few samples， miscellaneous specifications and emphasis on meaning but not shape. Through comparative experiment， subjective evaluation and design application， it is found that the proposed method is more suitable for the design and development of traditional textiles than existing typical method， and has advanced and practical value.

Key words： generative adversarial network; textile design; deep learning; traditional pattern; Chinese calligraphy

書法作為中國及中國文化輻射地區特有的文字藝術表現形式古已有之。水和墨通過不同比例的混合形成變化豐富的墨色，配合不同的留白布局表現出“氣韻生動”的畫面感[1]。書法元素圖案打破了中國傳統紋樣以線為主的藝術框架，擺脫了固有的理性形態和羈絆，畫面虛實相合，個性獨特鮮明[2]。書法圖案因其多變的藝術表現形式與深入人心的東方符號意向，在紡織品設計中應用廣泛。在區域民族紡織品全球化的格局下，以書法紡織圖案為代表的中國傳統紡織圖案在世界范圍流行，對其設計開發方法提出了更高要求[3]。

隨著紡織圖案開發需求的不斷提升，越來越多的學者投身于數字化智能紡織圖案開發的研究中來[4]。Hudec G等[5]對數學與計算機結合的分形藝術進行了分析闡述，并通過KPT5 FraxPlorer程序實現了分形藝術的紡織面料圖案開發。張聿[6]基于弱混沌動力學的圖形生成原理，運用計算機圖形技術結合紋織實驗，研究提出了均勻隨機網的紋織設計方法。姜延等[7]通過深度學習BP神經網絡，將面料樣本的力學參數轉換建立為具備更高真實感的三維織物模擬圖像。趙海英等[8]提出了基于拓撲構型的地毯圖案自動生成方法，解決了圖案元素重疊的問題，實現了自動生成體現織物圖案的構圖、元素形象和色彩的圖案。鄭銳等[9]通過深度學習卷積神經網絡，實現了將刺繡風格遷移到實物照片進而數字合成開發出新的刺繡圖案。在深度學習研究領域，生成對抗網絡（generative adversarial network，GAN）自2014年由Ian Goodfellow提出以來，因其具備更低的訓練難度、更高的訓練效率、無監督的訓練方式被廣泛研究[10]。雖然目前深度學習在圖像生成方向的應用較多，但將生成對抗網絡運用于傳統紡織圖案開發，并對其進行針對性模型優化設計的研究還較為鮮見。本文以書法紡織圖案為研究對象，針對其藝術表現特征與訓練難點搭建與優化設計了基于生成對抗網絡的開發模型，對人工智能算法與設計師協同設計開發紡織圖案進行了嘗試與探索。

1 模型搭建與優化

1.1 模型搭建

本文基于深度學習生成對抗網絡，搭建了由生成模塊與判別模塊組成的神經網絡模型軀干架構，如圖1所示。生成模塊在模型中扮演紡織圖案設計師的角色，通過訓練模擬人類設計師設計開發出傳統書法紡織圖案。判別模塊則在模型中扮演設計評論家的角色，通過訓練和學習來識別提取傳統書法紡織圖案的藝術表現特征與文化基因，進而判斷輸入圖案是由人類創作的還是由生成模塊模擬創作的。

1.2 模型優化

在深度學習計算機視覺的眾多研究課題的研究對象中，傳統文化圖案區別于大多實物圖像，以其為對象的機器訓練研究存在難度，需要針對其特點對模型進行優化設計。本文在模型軀干架構基礎上，添入了訓練樣本自動擴增與標準化預處理模塊，使用了批標準化機制、帶泄露修正線性單元、RMSProp、Wasserstein Loss損失函數等優化設計。對模型性能進行了針對性的優化提高，使其更適合處理傳統書法紡織圖案。

1.2.1 訓練樣本自動預處理模塊

目前研究比較成熟的深度學習圖像應用例如人臉識別、交通目標定位等因為訓練樣本多為實物照片，可搜集到的訓練樣本數量更多，甚至可直接利用公共圖像樣本集如ImageNet、The PASCAL Visual Object Classes等[11]。傳統文化圖案多為藝術創作，因此普遍存在訓練樣本數量少、圖像規格不統一等問題。針對此問題，本文對模型軀干架構添入圖案自擴增標準化預處理模塊。模塊可對輸入的訓練集圖像進行合適范圍內的自動數量擴增及標準化預處理，很大程度提升了整體模型的小樣本可訓練度，減低了訓練前的人工圖像預處理工作量。具體來說，本文的訓練集包含500張不同規格的傳統書法紡織圖案，屬于典型的小樣本傳統文化圖案訓練集。預處理模塊通過在預設范圍內的隨機翻轉、亮度變換、對比度變換等方法，將樣本數量有效擴增至1 200個。模塊又通過圖像標準化處理將規格雜亂的圖像進行了自動規格統一處理，這也有效降低了樣本擴增隨機變換帶來的負面影響。

1.2.2 批標準化機制

為了解決降低神經網絡在訓練時可能出現的收斂速度慢、梯度消失等問題，本文通過加入批標準化機制對模型進行優化設計。批標準化機制通過將隱層神經元從非正常分布拉回到較為標準的正態分布來避免梯度消失問題[12]。通過加入批標準化機制有效提升了訓練速度與模型精度，使收斂過程大幅加快;增加了分類效果，很大程度上防止過擬合現象;使調參過程簡單化，降低了對于初始化的要求，提高了學習率使用上限等。

1.2.3 帶泄露修正線性單元

帶泄露修正線性單元Leaky ReLU于2013年在聲學模型中被首次提出。帶泄露修正線性單元是經典非飽和激活函數ReLU的一種變體，它既保留了非飽和激活函數擅于降低梯度消失和加速收斂等性能，又通過給所有負值賦予一個非零斜率減少了靜默神經元的出現[13]。它有效解決了非飽和激活函數進入負區間后神經元不學習的問題。因此，本文選擇使用帶泄露修正線性單元對模型進行優化設計。

1.2.4 RMSProp

RMSProp的全稱是Root Mean Square Prop，是Geoffrey E.Hinton提出的一種神經網絡優化算法。RMSProp通過對梯度計算微分平方加權平均數來修正擺動幅度，使得模型優化時損失函數收斂速度快又不至于擺動幅度太大[14]。因此，本文選擇使用RMSProp來對模型進行優化設計。

1.2.5 Wasserstein Loss損失函數

GAN的原始損失函數不足之處主要表現為兩點：一是易出現模式坍塌，即生成樣本的多樣性不足;二是其不穩定性會一定程度上導致訓練無法收斂。自2014年生成對抗網絡被提出以來，很多學者都在嘗試解決其原始損失函數的不足，但是效果都不盡人意。Wasserstein Loss損失函數的提出跨越性地實現了以下優化：徹底解決了生成對抗網絡訓練不穩定的問題，不再需要小心地平衡生成器和判別器的訓練程度;基本解決了mode collapse問題，確保了生成樣本的多樣性;訓練過程可以通過類似交叉熵、準確率這樣的數值來指示訓練進程，數值越小代表生成對抗網絡訓練得越好、生成器產生的圖像質量越高[15]。因此，通過選擇使用Wasserstein Loss損失函數代替原始函數來對本文構建模型進行優化升級。

經自動預處理模塊添入與超參數優化設計后，本文在模型前后端進行了設計師參與模塊的添入。在整個設計開發行為前，設計師在藝術美學原則下對所要設計開發的藝術類別紡織圖案進行語義情景構思與原始數據集制作，并將其輸入到搭建好的模型算法中。通過模型訓練后輸出的全新紡織圖案成為候選，設計師在美學原則下可對挑選出的圖案進行人工加權調試后運用或是直接進行設計運用。設計師參與模塊添入后的完整的設計開發模型如圖2所示。其中判別模型是單獨訓練的，因此判別模型權重被標記為不可訓練，以確保僅更新生成模型的權重。判別模型權重的可訓練性更改僅在訓練組合模型時有效，在單獨訓練判別模型時無效。模型將隨機噪點作為輸入，通過生成模塊模擬創作圖案，模型再將創作圖案輸入到判別模塊進行二分類輸出。模型使用Wasserstein Loss指示訓練進程，在學習率為0.000 05的RMSProp下進行優化。

2 結果與分析

2.1 實驗環境及樣本準備

本文所用實驗平臺為CPU Intel E5-2637v4（美國Intel公司），GPU 4×NVIDIA TITAN X（美國NVIDIA公司），Ubuntu 16.04LTS系統（Canonical公司）。模型構建基于深度學習框架Keras（后端的編譯器為Tensorflow），使用編程語言Python 3.6實現。

考慮到解決傳統圖案小樣本、規格雜等問題也是本文重要探究方向之一。訓練樣本集包含了500張不同尺寸規格的書法紡織圖案，在模型中設置了圖案自動預處理模塊，因此訓練樣本圖案無需進行人工預處理準備。

2.2 訓練過程

網絡模型在經過約16 000次無監督學習訓練循環后，輸出結果由一堆噪點逐漸演變為機器模擬設計開發的書法紡織圖案。圖3為16 000次訓練循環中挑選出的幾個時間節點對應的輸出圖案，可以看出生成模塊通過不斷學習訓練，在與判別模塊進行對抗的過程中生成的圖案越來越接近真實。最終在16 h左右訓練基本達到平穩，組合加權損失函數趨近于零，如圖4所示。

2.3 實驗結果分析

2.3.1 對比實驗

與傳統的紡織圖案開發方法相比，本文提出方法表現出了明顯的低技術壁壘、高效性、可控性與可持續性。同時與其他非深度學習原理的計算機輔助開發方法例如分形藝術、均勻隨機網、拓撲構型等，以及非生成對抗網絡的深度學習模型例如DBM（deep boltzmann machine）、VAE（auto-encoding variational bayes）、NCE（noise-contrastive estimation）等相比，本文所建構模型在性能上有著極大的提升，這與生成對抗網絡本身的先進性有關。

通過對目前流行的生成對抗網絡模型進行學習與實驗分析，選擇原始生成對抗網絡模型（原始GAN）、深度卷積生成對抗網絡（DCGAN）模型與本文模型進行對比。相對于原始GAN模型，DCGAN的最大特點是使用了卷積層，提高了模型訓練的穩定性。除收斂時間、生成時間等指標外，選擇了Salimans等[16]在2016年提出的IS（inception score）與FID（fréchet inception distance）作為關鍵指標對模型性能進行評分。IS與FID被廣泛運用于衡量生成對抗網絡輸出圖像質量與多樣性。IS得分越高，FID值越低，生成的圖像多樣性與質量越高。其中FID在評判生成圖像真實性與變化性上更為接近人類的判斷，非常適合用于評價主觀性創作圖案。表1為部分訓練集圖案與模型開發圖案的對比。對比實驗數據結果如表2所示，構建模型相比原始GAN模型與DCGAN模型在傳統書法紡織圖案的創新設計上表現出更優的性能。

2.3.2 人工評估實驗

考慮到紡織圖案數字生成的藝術創作主觀性，本文除了對模型進行了客觀對比實驗，還設置了人工主觀評估實驗。本實驗受訪者共50位，由本科以上學歷隨機年齡段的30位設計相關從業者與20位非設計相關從業者組成。實驗對受訪者發放了50張傳統書法紡織圖案實驗樣本，50張實驗樣本由25張設計師創作圖案和25張模型模擬開發圖案組成。實驗受訪者在不知道兩類圖案組成比例的情況下對每張圖片進行判別分類，最終對判別結果的正確率進行計算，結果如表3所示。受訪者判斷圖片的正確率主要集中分布在40%～60%，區域人數占比達到84.00%，并且在測試過程中表現出更多的不確定及猜測判斷。設計相關從業人員在內的大部分受訪者無法分辨出生成圖案與真實圖案，即本文模型創作的傳統書法紡織圖案擁有較高的真實度。

2.3.3 設計運用

為了進一步驗證本文模型的實踐價值，本文對部分模型輸出圖案進行了設計運用，如表4所示。結果顯示，設計師通過模型能較好地實現書法紡織圖案的人工智能協同設計開發，最終的設計運用作品也在一定程度上呈現出中國傳統書法圖案“氣韻生動”的藝術特征與文化內涵。

3 結 論

本文基于生成對抗網絡搭建了書法紡織圖案設計開發模型。在本文模型中，設計師與人工智能算法協同設計開發紡織圖案，完成了由計算機軟件輔助設計到人工智能算法輔助設計的轉變，在一定程度上解決了傳統紡織圖案設計方法無法通過規模經濟降低邊際成本的難題。模型針對書法紡織圖案特點進行了自動預處理模塊添入與超參數優化設計。在與主流生成對抗網絡模型的對比實驗中，本文模型在訓練時間、生成時間與生成圖案多樣性等方面表現出更優性能，同時解決了傳統紡織圖案普遍存在的樣本少、規格雜等訓練難點。該方法為解決當下中國傳統紡織圖案高開發需求與傳統創作方法不匹配問題提供了新的解決思路，將對傳統紡織文化數字化傳承與紡織產業設計環節創新升級起到積極作用。

參考文獻：

[1]鄒曉. 漢字文化與現代設計[J]. 裝飾， 2003（6）： 39-39.

ZOU Xiao. Chinese character culture and modern design[J]. ZHUANGSHI， 2003（6）： 39-39.

[2]劉麗嫻， 王靖文. 中國古代絲織品的織款及其圖形構成[J]. 絲綢， 2011， 48（7）： 50-53.

LIU Lixian， WANG Jingwen. The weaving style and graphic composition of ancient Chinese silk fabrics[J]. Journal of Silk， 2011， 48（7）： 50-53.

[3]SMITH A. Nations and Nationalism in a Global Era[M]. Cambridge： Polity Press， 1995.

[4]沈雷， 郭萌萌. 民間剪紙元素在絲綢服裝設計中的應用[J]. 絲綢， 2011， 48（7）： 37-39.

SHEN Lei， GUO Mengmeng. Application of folk paper cutting elements in silk clothing design[J]. Journal of Silk， 2011， 48（7）： 37-39.

[5]HUDEC G， LIOVIC M. Fractals and its applications in textile pattern design[J]. Tekstil Zagreb， 1999， 48（9）： 448-451.

[6]張聿. 基于弱混沌理論的紋織設計方法研究[J]. 紡織學報， 2004， 25（4）： 22-23.

ZHANG Yu. Research on jacquard design method based on weak chaos theory[J]. Journal of Textile Research， 2004， 25（4）： 22-23.

[7]姜延， 劉正東， 陳春麗. 基于面料力學屬性的三維織物模擬[J]. 計算機輔助設計與圖形學學報， 2012， 24（3）： 323-329.

JIANG Yan， LIU Zhengdong， CHEN Chunli. 3D textile simulation based on fabric mechanical properties[J]. Journal of Computer Aided Design & Computer Graphics， 2012， 24（3）： 323-329.

[8]趙海英， 彭宏， 楊一帆， 等. 基于拓撲構型的地毯圖案生成方法[J]. 計算機輔助設計與圖形學學報， 2013， 25（4）： 502-509.

ZHAO Haiying， PENG Hong， YANG Yifan， et al. A generation met hod of carpet pattern based on topology configuration[J]. Journal of Computer Aided Design & Computer Graphics， 2013， 25（4）： 502-509.

[9]鄭銳， 錢文華， 徐丹， 等. 基于卷積神經網絡的刺繡風格數字合成[J]. 浙江大學學報（理學版）， 2019， 46（3）： 270-278.

ZHENG Rui， QIAN Wenhua， XU Dan， et al. Digital synthesis of embroidery style based on convolution neural network[J]. Journal of Zhejiang University（Science Edition）， 2019， 46（3）： 270-278.

[10]GOODFELLOW I J， POUGETABADIE J， MIRZA M， et al. Generative adversarial networks[J]. Advances in Neural Information Processing Systems， 2014（3）： 2672-2680.

[11]王坤峰， 茍超， 段艷杰， 等. 生成式對抗網絡GAN的研究進展與展望[J]. 自動化學報， 2017， 43（3）： 321-332.

WANG Kunfeng， GOU Chao， DUAN Yanjie， et al. Generative adversarial networks： the state of the art and beyond[J]. Acta Automatica Sinica， 2017， 43（3）： 321-332.

[12]IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift[DB]. arXiv preprint arXiv： 1502. 03167， 2015.

[13]XU B， WANG N， CHEN T， et al. Empirical evaluation of rectified activations in convolutional network[DB]. arXiv preprint arXiv： 1505. 00853， 2015.

[14]DAUPHIN Y， DE VRIES H， BENGIO Y. Equilibrated adaptive learning rates for non-convex optimization[C]//Advances in Neural Information Processing Systems. 2015： 1504-1512.

[15]ARJOVSKY M， CHINTALA S， BOTTOU L. Wasserstein gan[DB]. arXiv preprint arXiv： 1701. 07875， 2017.

[16]SALIMANS T， GOODFELLOW I， ZAREMBA W， et al. Improved techniques for training gans[DB]. arXiv preprint arXiv： 1606. 03498， 2016.