基于改進生成式對抗網絡與矢量繪制技術的古蜀錦紋樣數字化研究

王維杰, 劉 毅, 肖 露, 方 佳, 王金羽, 王佳麗

(1.四川省絲綢科學研究院有限公司,成都 610031; 2.四川大學 輕工科學與工程學院,成都 610065)

絲織品是較難保存的文物之一,由于細菌等微生物對絲素蛋白的破壞導致絲織物隨著時間流逝逐漸丟失織物本來的顏色和紋樣特征,因此針對傳統絲織物的保護與復原是一大難題[1]。保護絲織品文物的傳統方法是不斷對殘片進行修復或復制,其中最關鍵的技術是采用和殘片一樣的材料與織造技藝,同時采用逆向工程精確復現原始織物的組織結構與紋樣,從而使文物恢復本來的面貌。在這所有的環節中,最容易被忽視的是對織物原始紋樣的復原。針對紋樣的不精確復原容易導致部分珍貴紋樣在傳播過程中發生變異,從而導致文物的原真性遭到破壞。

蜀錦作為中國三大名錦之首,其織造技藝是中國絲綢文化的重要組成部分。由于目前針對古蜀錦殘片的保護力度不夠,導致部分傳統蜀錦紋樣殘片散落于民間。隨著時間的流逝,一些紋樣逐漸消失,對蜀錦文化的傳承產生了不利影響。因此針對現有殘片紋樣進行數字化修復與整理至關重要。目前古紋樣的保護手段主要分為傳統方法和現代方法。傳統方法主要采用相機拍攝和手工描繪的方式對紋樣特征進行保存,如黃能馥[2]在《中國成都蜀錦》一書中通過古蜀錦實物照片及文字描述方式對中國古蜀錦進行了收集和整理,然而光柵圖像可編輯性差,圖像在放大之后容易失真,不利于紋樣的后續傳播與開發利用。除了采用相機拍攝手段保存紋樣,還有研究者基于采集的紋樣數字圖像進行手工描繪,以線稿的形式保存紋樣。如趙豐[3]在《中國古代絲綢設計素材圖系》中收集和制作了部分蜀錦紋樣線稿圖,然而由于古紋樣不同程度地存在破損、模糊、噪聲和分辨率低等問題,這項工作在手工繪制線稿前未結合圖片預處理技術,從而造成紋樣細節在繪制過程中不同程度的損失,這不利于紋樣傳播的原真性。

為了解決傳統方法在紋樣數字化保護中存在的問題,基于數字圖像處理技術與深度學習相關技術的現代圖像處理方法被廣泛用于古紋樣的數字化保護。其中,針對紋樣破損問題的數字化圖像修補方法主要分為基于幾何學的修復方法和基于圖像塊的修復方法[4],兩種方法分別適用于紋樣小區域的破損和大范圍的破損。然而兩種方法均參照破損紋樣周邊區域進行補全,在面對不規則的獨立紋樣缺損時,兩種方法都很難獲得令人滿意的修復效果。如蔣超等[4]將紡織紋樣分為規律型、畫作型和綜合型三類,其中畫作型紋樣自身的規律性較弱,難以通過已知區域的信息對待修復區域進行推理。因此提出采用人機交互的方式引導補全紋樣的結構信息,這在一定程度上降低了紋樣自動化修復效率。類似的工作還包括孫曉婉等[5]提出的一種基于結構線擬合的殘損絲織品文物修復技術,需要手工繪制結構線來輔助紋樣修復過程。因此目前針對復雜紋樣的缺損問題主要采用人工參與修復方法進行紋樣補全。除了紋樣破損問題,在紋樣處理過程中面臨的另一個難題是紋樣退化,包括模糊、噪聲和低分辨率等問題。這嚴重影響對紋樣的重建工作,因此有必要在紋樣重建之前對紋樣圖像進行預處理。基于傳統的數字圖像處理手段難以實現高質量的退化圖像復原,目前基于深度學習技術的數字圖像處理技術被廣泛應用于圖像的退化問題并取得了良好的效果。如基于生成式對抗網絡實現遙感圖像的超分辨率重建[6]和醫學圖像超分辨率重建[7]等,然而很少有研究探索將生成式對抗網絡應用于紡織品文物的紋樣超分辨率重建。

不同于傳統光柵圖,矢量紋樣能夠實現對原始紋樣的結構信息進行數學建模,更容易保存紋樣的拓撲特征,因此對紋樣進行矢量化建模對古紋樣的數字化保護工作至關重要。對于預處理后的紋樣圖像可以采用人工提取法與計算機智能生成法提取矢量圖形,然而現有的矢量化算法生成的矢量圖質量參差不齊,處理復雜紋樣時存在線條不連續和拓撲結構失真等問題[8]。因此,目前針對復雜紋樣的高精度矢量化重建仍然需要人工參與。

為了實現針對古蜀錦紋樣的數字化保護,本文提出了一種基于生成式對抗網絡與矢量繪制技術的古蜀錦紋樣的數字化保護方法。基于以上技術,對《四天王狩獅紋錦》圖像進行了分辨率增強處理與矢量化繪制。本文研究成果將有助于提高傳統織錦紋樣的數字化復原質量,同時也為古織錦紋樣的數字化復原提供可參考的技術路線。

1 古蜀錦紋樣矢量化重建流程

1.1 絲織品文物紋樣復原策略

絲織品文物因保存狀態不佳而造成的圖案不清、紋樣破損等情況非常普遍,因此也為紋樣復原工作帶來了難度,在實際操作中需要為不同保存狀態的紋樣制定對應的復原策略。為了界定紋樣復原技術的適用范圍,本文將待復原的紋樣對象分為四個層次:第一層次為花回完整且清晰可辨的紋樣;第二層次為基本清晰可辨或有微小破洞且花回完整的紋樣;第三層次為花回循環不完整且仍能夠根據已存內容推測的紋樣;第四層次為破損嚴重且難以推測花回循環的紋樣。對于第一層次的紋樣,無需對原始圖片進行前處理即可進行矢量化建模;對于第二層次的紋樣,需要在對原始圖片進行矢量化建模前進行預處理,否則容易造成矢量化紋樣丟失細節;對于第三層次的紋樣,需要在對原始圖片進行考證分析補全及預處理的基礎上進行矢量化建模,否則無法獲得完整花回的紋樣;對于第四層次的紋樣,由于無法判斷完整花回,故只需要在對原始圖片進行預處理的基礎上照樣描繪矢量圖形即可。

1.2 紋樣復原流程

紋樣的整體復原流程如圖1所示。首先分析原始紋樣的骨架結構,提取循環單元;針對紋樣中的大面積破損模糊部位采取相似區域補全策略進行修補;然后基于改進的生成式對抗網絡完成補完圖像的超分辨率重建;之后采用矢量繪制軟件完成紋樣矢量化建模;最后采用模糊綜合評價方法對紋樣矢量化重建效果進行評價。

圖1 紋樣復原流程

1.3 古蜀錦紋樣矢量重建對象分析

《四天王狩獅紋錦》長250 cm,寬130 cm,縱橫排列著20個聯珠團窠紋。如圖2(a)所示,圓形窠環內以菩提樹為中軸,四位對稱分布的異域騎士騎在有翼的天馬上作回頭射獅狀,馬身上還分別寫著“吉”“山”字樣。騎士頭戴飾有日月的王冠,兩對雄獅呈撲躍狀,前腿揚起,獅尾卷曲上翹,鬃毛飛舞,呈現兇猛之態[13]。在聯珠團窠紋相交的空隙部位,裝飾十字唐草紋(在希臘稱為“阿堪薩斯十字紋”)。紋樣中的四位騎士與波斯銀器上刻的薩珊王夏希爾二世騎馬射獅的形象相似,而波斯侯斯羅二世頭戴日月冠,隋朝隋煬帝在冕服兩肩也飾日月紋,背上飾星辰紋,寓意“肩挑日月、背負星辰”。由此推斷四天王狩獅紋錦是波斯文化與漢文化交流的結晶。

按照圖案的構成形式可以分為單獨紋樣、適合紋樣和連續紋樣。其中連續紋樣主要包括二方連續紋樣和四方連續紋樣。常見的四方連續骨架排列方式有散點式、連綴式和重疊式。《四天王狩獅紋錦》紋樣屬于典型的散點式四方連續紋樣,如圖2(b～c)所示,圖案由上下左右四個方向重復循環的團窠主紋樣和嵌在主紋樣空隙中的賓花圖案組成,這種排列方式實現了聯珠團窠紋節奏與韻律的統一[14]。

結合絲織品文物紋樣復原策略可以得知,《四天王狩獅紋錦》屬于紋樣基本清晰,有局部模糊且花回完整的第二復原層次,因此需要在對原始圖片進行矢量化建模前進行圖像預處理,否則容易造成矢量化后紋樣細節丟失。通過對紋樣中較大面積的破損模糊部位采取相似區域補全策略進行修補可以得到紋樣的四方連續單元,如圖2(d)所示。通過將圖2(d)進行超分辨率重建可以獲得更加清晰的紋樣。

2 古蜀錦紋樣超分辨率重建

2.1 生成式對抗網絡結構

本文在文獻[15]的基礎上,通過加深網絡層級、修改殘差網絡結構和參數,實現對生成式對抗網絡模型的優化。生成式對抗網絡結構如圖3所示,其中低分辨率原始圖像通過生成器生成高分辨率圖像,判別器對生成的高分辨率圖像真實性進行判斷。通過損失函數反饋與優化算法的配置實現生成網絡權重和偏移量的調整,提高生成器生成高分辨率圖片的能力。同時,對判別器輸入高分辨圖像不斷提升其判別能力。在對抗式訓練迭代過程中,基于訓練集數據持續更新網絡中的參數,最終構建高性能的生成式對抗網絡模型。

2.2 生成網絡結構

文獻[16]證明了加深網絡層次和增加卷積核數量可以獲取圖像中更多的細節信息。為了減少超分辨率處理過程中原始圖像中細節的損失,本文采用24個殘差塊,同時借鑒EDSR[17]的方法去掉批量歸一化層(BN層)來節省內存,提高網絡性能。最終的生成網絡如圖4所示,即通過卷積網絡提取低分辨率圖片的特征,卷積層采用64個3×3卷積核,步長為1,采用ReLU激活函數進行非線性映射。隨后經過24個殘差塊,殘差網絡后接一層卷積層,通過跳躍連接進行卷積求均值求和。后接兩個亞像素卷積層完成4倍圖像上采樣,最后經過一個卷積層和Tanh激活層完成圖像超分辨重建。

圖3 網絡結構示意

2.3 判別網絡結構

在判別網絡中,卷積核大小、Feature Map數量與Stride大小對網絡判別質量有重要影響,為了提高感知也采用4×4的卷積核進行卷積操作。另外,采用多層的卷積、LeakyReLU、全連接層和Sigmoid的操作輸出判別結果,如圖5所示。具體地,判別網絡前6層采用4×4的卷積核進行圖像特征提取,為了增加提取的特征信息增加Feature Map的數量,第7～9層網絡利用1×1的卷積層減少輸入通道和卷積核參數實現降維,同時減少運算量。最后經過Flatten-Layer、全連接層和Sigmoid激活函數輸出判別結果,判別結果用于分析生成數據與真實數據之間的差距。然后通過反向傳播函數優化網絡參數值,不斷提高模型的判別能力,直到判別網絡無法區分生成網絡生成的高分辨率圖像與真實的高分辨率圖像,訓練完成。

2.4 損失函數

生成式對抗網絡模型基于最大最小博弈思想優化判別網絡和生成網絡。在優化判別網絡時固定生成網絡,要求生成網絡在真實高分辨率圖片x輸入的時候結果越大越好,對于生成的假樣本圖片G(z)判別結果越小越好,也就是D(G(z))越小越好,由于第一項與第二項的優化目標矛盾,因此將第二項改為1-D(G(z))。在優化生成網絡時和真實圖像樣本無關,因此不需要考慮。此時只有生成網絡產生的假樣本,但生成器希望假樣本的判別結果取值越高越好,所以D(G(z))取值越大越好,但是為了統一成1-D(G(z))的形式,將1-D(G(z))最小化,合并兩個優化模型成最終的目標函數,如下式所示:

(1)

式中:x為真實高分辨率圖像;z為真實低分辨率圖像;E為真實數據的數學期望;Pdata(x)為真實高分辨率圖像的概率分布;PZ(z)為真實低分辨率圖像的概率分布;D(x)是判別器判斷真實高分辨率圖像是否真實的概率;G(z)為真實低分辨率圖像通過生成網絡生成的高分辨率圖像;D(G(z))是判別器判斷生成網絡生成的高分辨率圖片是否真實的概率。

損失函數通過權衡生成的圖像與原始高分辨率圖像之間的差距來判斷網絡的性能,在反向傳播過程中損失函數通過修改權重參數來不斷優化網絡。

SRGAN中生成器的損失函數由感知損失和對抗損失構成。其中感知損失函數可表示為下式:

(2)

式中:Wi,j和Hi,j為VGG網絡中各個特征映射的寬和高;φi,j(IHR)為真實高分辨率圖像經過VGG網絡提取的特征映射;φi,j(GθC(ILR))為生成的虛假的高分辨率圖像經過VGG網絡提取的特征映射。

對抗損失可表示為下式:

(3)

式中:DθD[GθG(ILR)]為生成圖像GθG(ILR)的原始高分辨率圖像IHR的概率,DθD是通過參數θD構建的判別網絡;N為訓練樣本數。

在實際操作過程中發現,沒有通過均方誤差(MSE)指導的生成網絡雖然能很好地保留圖像中的高頻部分,但產生的偽影影響圖像效果。因此最終生成器的損失函數可表示為下式:

(4)

式中:λ1和λ2是對抗損失和MSE損失對應的權重。

SRGAN中判別器的損失函數可表示為下式:

(5)

2.5 評價指標

采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)、結構相似性(Structural Similarity,SSIM)和平均意見得分(MOS)對本文超分辨方法的優越性進行主客觀評價。其中PSNR數值越高表示生成的高分辨圖像的失真越少,計算如下式所示:

(6)

(7)

式中:MAX1為圖像像素值可取值的最大值;MSE表示圖像I和圖像K的均方誤差,I為真實圖像,K為生成圖像,m和n分別為圖像的長和寬。

結構相似性(SSIM)從亮度、對比度、結構三方面計算圖像之間的相似性,數值越大表示圖像失真越小。給定兩張圖像x和y,SSIM值可通過下式求出:

(8)

除此之外使用平均意見得分(MOS)測試[18]來主觀評價生成圖像的質量,評分從1～5分別代表差到優。

3 結果和分析

3.1 實驗環境

3.1.1 實驗平臺

硬件平臺:實驗計算機型號為DELLG3 3590,系統為Windows 10,CPU為Intel Core i59300H@2.4 GHz, GPU為NVIDIA GeForce GTX 1660Ti,計算機內存為12 GB。軟件平臺:數據下采樣基于Matlab軟件,模型搭建和訓練基于Tensorflow深度學習框架。矢量重建基于Adobe Illustrator軟件,版本為CC2018。

3.1.2 數據集

古織物紋樣的數據集具有特殊性,由于類似樣本數據量較少,因此考慮引入古壁畫數據集,并通過對采集的高分辨率數據進行雙三次插值(Bicubic)降采樣得到與之對應的低分辨率數據。在實踐過程中,只通過插值降采樣得到的低分辨率圖像通常只是變得模糊,不能適應實際復原場景中原始紋樣存在噪聲等情況。因此,本文在對原始高分辨率數據集降采樣的基礎上進一步引入椒鹽噪聲處理獲得退化圖像的數據集。實驗中共采集到滿足實驗需求的200張高分辨率原始圖像,經過插值降采樣與添加椒鹽噪聲獲得與之對應的低分辨率圖像。其中80%的數據用于訓練網絡模型,10%的數據用于驗證,10%的數據用于測試。

3.2 超分辨率結果與分析

為了證明本文方法的先進性,分別采用Bicubic模型與SRGAN模型進行原始《四天王狩獅紋錦》圖像的超分辨率重建,不同算法生成的高分辨率圖像對比結果如圖6所示。從圖6可以觀察到,傳統Bicubic雙三次插值方法獲得的放大圖像失真度最高,邊緣細節最模糊。通過SRGAN獲得的高分辨率圖像比Bicubic方法獲得的高分辨率圖像視覺效果更加清晰,有效突出了紋樣中描邊輪廓的高頻信息,從人物臉部放大圖中可以清晰地觀察到細節特征,這將有助于進行紋樣矢量重建。雖然傳統的SRGAN方法可以獲得相對清晰的圖像生成效果,但是其生成網絡損失函數計算中未考慮均方誤差(MSE)的影響,這導致雖然能很好地保留圖像中的高頻部分,但輪廓邊緣產生的偽影會影響圖像效果,如圖6(c)中人臉特寫所示。本文改進的SRGAN方法很好地解決了這一問題,在后期繪制矢量紋樣時,可以有效避免線條輪廓的二義性。

采用同一測試集的不同算法的PSNR、SSIM和MOS計算結果對比如表1所示。相比傳統SRGAN算法,本文方法的PSNR提高了0.89 dB,SSIM提高了0.008 7,其中,基于主觀評價的MOS數值相比傳統SRGAN算法提高了0.43分,這與圖像的主觀感受一致。

表1 同一測試集的各項參數對比

3.3 矢量繪制結果與分析

在對織物圖像進行超分辨率放大的基礎上,采用貝塞爾曲線擬合紋樣中的線條輪廓。為了保證繪制結果的準確性,測量紋樣骨架中主紋樣和輔助紋樣的比例關系,結合歷史記錄資料和紋樣實際特征推斷紋樣細節。由于《四天王狩獅紋錦》以菩提樹為中軸基本呈中心對稱分布,因此在繪制紋樣時只需繪制窠環內一側的紋樣,另一側圖案可通過沿垂直方向對稱復制并細微調整后獲得。同時基于圖案四方連續設計原理,賓花圖案只需要繪制出1/4即可。紋樣內不同對象的原始紋樣與矢量繪制輪廓如圖7所示。

將繪制的不同區域組合成最終紋樣,復原效果如圖8(a)所示。圖8(b)則顯示了原始織物紋樣的四方連續單元。通過將復原結果與原始紋樣重疊可以觀察復原紋樣對原始紋樣的擬合效果,如圖8(c)所示。從圖8(d～e)可以觀察到,窠環內的人物及動物紋樣可以比較精確地擬合原始紋樣輪廓,在紋樣細節方面也實現了對原始紋樣的重建。圖8(f)顯示了在圓形窠環處出現了局部與原始紋樣不匹配的情況,這是由于原始紋樣圖像在拍攝時不可避免地受到拍攝角度傾斜和織物經緯線傾斜等影響,從而造成后期誤差。后期誤差與紋樣設計初期的誤差疊加共同影響了紋樣的對稱性,因此,基于對稱設計的形式美法則與四方連續單元設計中連續性的原則對誤差進行適當校正,這將有助于紋樣在后續傳播過程的準確性。

圖8 《四天王狩獅紋錦》紋樣復原效果

3.4 古蜀錦紋樣復原效果的模糊綜合評價

為了證明本文方法對復原古蜀錦紋樣的有效性,采模糊綜合評價方法對紋樣復原效果進行專家評價。其步驟主要包括:建立因素集、建立評價集、建立權重集、單因素模糊評判和模糊綜合評判。

3.4.1 建立評價因素集

因素集是影響評判對象的各種因素為元素組成的集合。由于沒有針對古織錦紋樣的復原效果的評價體系,本文擬從與原始圖像的相似性、矢量路徑連續性、細節精確性與比例精確性等4個方面建立針對復原效果的綜合評價體系。最終確定古紋樣復原效果評價指標,如下式所示:

U=(u1,u2,u3,u4)

(9)

式中:u1=原始圖像相似性,u2=矢量路徑連續性,u3=細節精確性,u4=比例精確性。

3.4.2 建立紋樣復原效果評價集

評價集是評判專家對評判對象可能做出的各種總的評判結果所組成的集合。本文建立了五級評價指標,如下式所示:

V=(v1,v2,v3,v4,v5)

(10)

式中:v1=很差,v2=比較差,v3=一般,v4=比較好,v5=很好。

3.4.3 建立各指標的權重集

由于不同的評價因素對最終評判結果的重要程度不同,需要建立各因素針對評價對象的權重集A=(a1,a2,a3,a4,a5)。各權數ai(i=1,2,…,m)應滿足歸一性和非負性條件:

(11)

本文采用層次分析法計算各評價因素的權重系數。首先,請5位對織錦紋樣設計較為熟悉的蜀錦設計師作為專家組,采用Satty量表對不同評價因素進行比較和評分,建立比較判斷矩陣A。

(12)

矩陣中的對角元素是款式類目的自比較,因此aij=1,其中i=j;讓aij=1/aji,aij>0,i≠j。

然后,采用標準化幾何平均值法(NGM)計算因素集中各指標的權重。設Wi表示因素集中第i個指標的權重,如下式所示:

(13)

權重集為W=[w1,w2,…,wn]T,i=1,2,…,n。

采用一致性比率指標CR對比較判斷矩陣的一致性進行檢驗:

CR=CI/RI

(14)

式中:CI=(λmax-n)/(n-1)為一致性指標,RI為平均隨機一致性指標,本案例中RI=0.9。

λmax為最大特征根,計算如下式所示:

(15)

3.4.4 單因素模糊評判

設評判對象按因素集中的第i個因素ui進行評判,對評價集中第m個元素vm的隸屬度為rij,則按第i個因素ui評判的結果,可用模糊集合來表示,如下式所示:

(16)

式中:Ri稱為單因素評判集,它是評價集V上的一個模糊子集。

把n個單因素評價集組合在一起構成單因素評價矩陣R,如下式所示:

(17)

3.4.5 模糊綜合評判

模糊綜合評判結果B按照下式進行計算,如下式所示:

(18)

式中:bj(j=1,2,…,m)為模糊綜合評判指標,bj表示在考慮了評判對象所有因素時,評判對象對評判集中某一元素的隸屬度。

3.5 古蜀錦紋樣復原效果的模糊綜合評價結果

根據因素集中各因素兩兩比較結果構建得到的判斷矩陣A為:

(19)

采用NGM法計算因素集中各指標的權重為W:

W=[0.32 0.16 0.46 0.06]

(20)

一致性比率指標CR=CI/RI=0.058<0.1,所以比較判斷矩陣通過一致性檢驗。

根據專家評分法計算得到的單因素評價矩陣R為:

(21)

所以,根據式(18)計算得到模糊綜合評價結果B為:

(22)

模糊綜合評價結果顯示,紋樣復原效果為比較差的隸屬度為1.92%;一般的隸屬度為13.36%;比較好的隸屬度為47.78%;很好的隸屬度為36.94%。根據最大隸屬度原則,紋樣復原效果為比較好。

3.6 與現有復原結果對比

《四天王狩獅紋錦》目前流行最廣泛的是文獻[19]中的復原版本。本文從紋樣內容和細節刻畫兩個方面將文獻[19]復原紋樣與本文方法復原紋樣進行對比。為了更好地對比,借鑒文獻[19]中紋樣的配色進行填色,如圖9所示。相比于文獻[19]中紋樣的復原效果,采用本文方法繪制的紋樣比例更加準確,細節上更加豐富。同時在繪制的紋樣細節準確度上,本文方法優于文獻[19]中的繪制結果,對比結果如圖10所示。這是由于紋樣前期預處理對紋樣信息的放大作用,紋樣細節被最大化保留,因此獲得了相比傳統方法更加精確的復原紋樣。這進一步證明了本文方法的優越性。

圖9 文獻[19]復原結果與本文復原結果對比

圖10 復原圖像細節對比

4 結 論

為了保護古蜀錦紋樣,本文以《四天王狩獅紋錦》為研究對象,在分析紋樣內容與特點的基礎上,基于改進生成式對抗網絡對原始紋樣進行預處理,提高了原始紋樣在放大過程的分辨率,實現了紋樣的矢量化復原與繪制。最后利用模糊綜合評價法對紋樣復原效果進行了評價,評價結果顯示紋樣達到了比較好的復原效果。數字化修復的古蜀錦紋樣為古蜀錦的保護和展示提供了新的方式,使古蜀錦的藝術和文化價值得以更多樣化的方式傳播。本文研究成果將有助于提高傳統織錦紋樣的數字化復原質量,同時也為古織錦紋樣的數字化復原提供可參考的技術路線。

《絲綢》官網下載

中國知網下載