基于結(jié)構(gòu)線擬合的殘損絲織品文物虛擬修復

孫曉婉, 賈 靜, 徐平華，b，c, 曹竟文, 李 碧

(浙江理工大學 a.服裝學院; b.浙江省服裝工程技術研究中心; c.絲綢文化傳承與產(chǎn)品設計數(shù)字化技術文化和旅游部重點實驗室;d.藝術與設計學院,杭州 310018)

絲織文物因長期埋藏于地下,受溫濕度變化及微生物的影響,材質(zhì)發(fā)生腐爛,表面圖案出現(xiàn)褪色、老化、臟污等現(xiàn)象[1],導致絲織文物殘缺不全。傳統(tǒng)的絲織文物修復采用基布補全、以繡補織等工藝技術[2]對文物本體進行修復。采用虛擬修復技術還原文物圖文信息,一方面有助于文物的展示和文化傳播,另一方面可為人工本體修復提供內(nèi)容參考。

文物虛擬修復主要依據(jù)參考資料或文物周邊信息進行色彩和紋理修復,最大限度恢復圖像原有視覺效果[3]。當前,文物虛擬修復技術已取得了一定進展。Wang等[4-5]采用稀疏修復和特征加權(quán)模型對壁畫殘損區(qū)域進行修復;朱耀麟等[6]、蔣超等[7]基于Criminisi算法進行改進實現(xiàn)了對殘損織物圖像的修復,但對于不規(guī)則獨立紋樣修復效果不佳。根據(jù)不同的圖像先驗模型,圖像修復方法可以分為三類:1) 基于擴散的方法[8-9]建立參數(shù)模型,通過平滑先驗傳播圖像的結(jié)構(gòu)成分,該方法適用于修復直線、曲線和小孔,但不利于修補大面積的紋理;2) 基于范例的算法[10]合成匹配補丁,根據(jù)自相似先驗重建未知區(qū)域,當缺失的區(qū)域紋理均勻且規(guī)則時,該方法可以產(chǎn)生視覺上可信的結(jié)果;3) 基于深度學習的方法[11-15]依賴于大樣本信息作為參考資料,依靠卷積網(wǎng)絡對圖像特征進行學習和信息生成,解決了底層特征與高層語義之間的鴻溝,但該方法需要大量的樣本和更多的時間來訓練網(wǎng)絡。在文物修復方面,由于參考信息量較少,缺損區(qū)域通常處于未知狀態(tài),本質(zhì)上是一種可多方案推薦的盲修復問題。要解決紋理不均勻且結(jié)構(gòu)復雜的圖像修復問題,在實現(xiàn)方法上仍需對周邊信息加以利用,因此本文提出了一種基于交互曲線擬合的結(jié)構(gòu)塊迭代修復算法,結(jié)合Criminisi改進算法[16-18]思路,對無參考信息下的絲織文物圖像進行虛擬修復。

1 殘損絲織文物虛擬修復思路

1.1 修復整體思路

絲織文物表面色彩、紋樣蘊含語義,承載著特定時期的政治、文化、宗教及民俗內(nèi)涵[19]。對于缺損嚴重的絲織品,人工本體修復一般采用基布打底,對其表面圖案通常借助文獻資料或?qū)＜医?jīng)驗進行修復。相較于規(guī)則紋樣,非規(guī)則紋樣判斷比較困難。

無參考圖像、文字描述下的文物信息,需要反復比對修復方案,此時需要借助于人工修復經(jīng)驗,以計算機輔助的方式,實現(xiàn)修復。為此,本文從文物圖像周邊信息出發(fā),尋找圖案結(jié)構(gòu)主體,在初始骨架重構(gòu)階段采用交互方式進行引導,利用迭代方式對周邊信息塊進行比對分析,逐步填充缺損區(qū)域,虛擬修復思路,如圖1所示。

圖1 殘損絲織文物圖像修復流程Fig.1 Image inpainting pipeline of defected silk relics

1.2 基本步驟

算法流程主要包括圖像預處理、紋樣結(jié)構(gòu)線擬合、缺損區(qū)域修復及修復質(zhì)量評價四個模塊。

圖像預處理階段,主要解決圖像的模糊、噪聲等問題。本文以新疆地區(qū)出土的敦煌鳳凰紋絲織帶為例,經(jīng)博物館工作人員消毒、清晰和平整化處理后,對其進行圖像采集。由于采集后的圖像存在一定的噪聲和模糊現(xiàn)象。實驗采用SRGAN算法訓練模型[20]將退化后的圖像進行超分辨率重建,保留了相對清晰的細節(jié),用于后期圖案修復。預處理后圖案局部效果如圖2所示,實現(xiàn)了圖像的降噪和畫質(zhì)增強。

圖2 圖像預處理Fig.2 Image preprocessing

預處理后的圖像,通過交互的方式,由文物修復人員在圖像處理軟件中(CorelDRAW)手動圈出待修復區(qū)域進行標識并填充為明顯的綠色(R、G、B色值分別為0、255、0)掩膜。其目的是主動劃分待修復區(qū)域和完好區(qū)域界限;對于真實殘損情形,掩膜后確定的位置可以利于算法精準修復,降低時間損耗,提升修復效率。

模塊2紋樣結(jié)構(gòu)線擬合是對圖案骨架區(qū)域內(nèi)容修復的有效引導;模塊3缺損修復模塊則是在結(jié)構(gòu)線基礎上,對周邊信息進行匹配和優(yōu)化,迭代實現(xiàn)內(nèi)容填充。圖像修復質(zhì)量評價模塊是對修復后的圖像與完好原圖進行相似度比較,以便評估修復算法的有效性。

2 結(jié)構(gòu)線形態(tài)擬合

2.1 結(jié)構(gòu)線關鍵點提取

一幅彩色圖像可表示為一個m×n×3的三維矩陣,其中m、n分別表示圖像的寬度和高度,單位為像素。單像素點三通道值分別為紅、綠、藍顏色值。實驗中,采用交互方式選取待擬合結(jié)構(gòu)線兩端的像素點。選點操作應當遵循全局一致性原則,盡可能滿足與結(jié)構(gòu)線顏色接近的像素點。圖3顯示了關鍵點選擇的方式,符號①～⑥表示待修復區(qū)域與圖像源信息交界部分。圖3中①、②塊為待選像素區(qū)域,在其中各選一個紋樣邊界參考像素,像素選擇的容差一般設置為±2 pixel位移,像素點的選取,應當與周邊具有明顯的色度差異。類似地,對配對區(qū)域③、④,以及⑤、⑥區(qū)域進行像素點選取操作。圖3中,紅色標示區(qū)域為可選像素點,藍色區(qū)域為待擬合結(jié)構(gòu)線上的像素點。

圖3 關鍵坐標點選取示意Fig.3 Selection of key pixel points

2.2 反距離加權(quán)法插值

為使修復后的紋樣盡量還原原本形態(tài),擬合出的結(jié)構(gòu)線各描述點需要填充相似色。實驗采用反距離加權(quán)法插值,提取兩端像素點的R、G、B色值,根據(jù)要擬合結(jié)構(gòu)線上各個描述點至線的端點之間的距離計算權(quán)重,以距離越遠的點貢獻越小為原理進行加權(quán)。

設擬合結(jié)構(gòu)線起始像素點為M,坐標為(x1,y1),終止像素點為N,坐標為(x2,y2),相應的插值公式為:

(1)

(2)

(3)

式中:R為所求的像素點紅色分量,R1和R2分別為點M和N的紅色分量;w1和w2為權(quán)重系數(shù),(xc,yc)為要擬合的曲線上各個描述點的坐標。

類似地,求出像素點綠色分量和藍色分量。將顏色三通道設為該像素點的顏色值。

2.3 結(jié)構(gòu)線擬合

對于紋樣殘缺部分,可以根據(jù)紋樣結(jié)構(gòu)線的連通趨勢將殘損盲區(qū)紋樣結(jié)構(gòu)線擬合出來,從而將紋樣殘損盲區(qū)劃分成若干待修復區(qū)域,提高修復紋理結(jié)果的精確度。本文采用Bezier曲線[21]自動擬合絲織文物殘缺紋樣中斷的輪廓線。

設S(t)為曲線上的坐標,對給定的一組控制點P0,P1,…,Pn,則Bezier曲線的公式為:

(4)

式中:S(t)為曲線上的坐標;t為自變量,取值范圍為[0,1];n為Bezier曲線階數(shù)。

采用Bezier曲線擬合紋樣輪廓的直線部分,取n=1,選取兩個控制點,即為待擬合線段的起始點P0和端點P1,則兩端點之間的連續(xù)點描述的一條線段即擬合出的所需結(jié)構(gòu)線。

對于結(jié)構(gòu)線的曲線部分,本文采用二次Bezier曲線,取n=2,設定控制點P0,P1,P2,則曲線的參數(shù)表示為:

S(t)=(1-t)2P0+2t(1-t)P1+t2P2,t∈[0,1]

(5)

式中:S(t)是當t從0到1變化時由點P0至點P1的連續(xù)點和點P1至點P2的連續(xù)點所描述的曲線。

由于控制點P1的選取決定擬合曲線的精度,本文在算法設計中給出兩種曲線擬合方案:

1) 自動確定控制點P1,根據(jù)曲線兩端點的切線斜率自適應確定控制點,公式如下:

(6)

式中:(x0,y0)和(xb,yb)為殘損區(qū)域邊界處曲線坐標。

用式(6)計算出曲線端點處切線的斜率,過曲線端點作切線,兩條切線交點即為控制點。

2) 由專家選取控制點P1,由專家選取需擬合的結(jié)構(gòu)線曲線部分可見的端點P0(x0,y0)、P2(x2,y2)和控制點P1(x1,y1),則S(t)所連成的曲線即擬合出的所需結(jié)構(gòu)線曲線部分,如圖4所示。

圖4 結(jié)構(gòu)線擬合Fig.4 Structure line fitting

3 圖案缺損區(qū)域修復

紋樣內(nèi)容修復很大程度上依賴于殘損區(qū)域以外的圖像信息,待修復信息主要分為結(jié)構(gòu)部分和內(nèi)容部分,采用樣本合成的先驗模型可以同時填充樣本中損害區(qū)域的結(jié)構(gòu)和紋理,在視覺上呈現(xiàn)出完整性。

3.1 樣本塊填充修復

樣本合成是運用了紋理合成技術,合成紋理依據(jù)缺損邊緣的等照度信息,在算法運行的過程中,邊緣信息向內(nèi)演化,提供填充過程中使用的樣本。修復過程如圖5所示。

圖5 樣本合成填充修復過程Fig.5 Process of exemplar-based inpainting

樣本合成填充修復過程中,標記待修復區(qū)域在圖像預處理階段通過對圖像主觀掩膜操作完成。優(yōu)先權(quán)的計算對于填充前緣上最先填充的樣本順序具有重要影響,如圖5(d)所示。

P(p)=C(p)×D(p)

(7)

C(p)與p點周邊的可參考像素點的數(shù)目成正相關,計算公式為:

(8)

D(p)與p點周邊結(jié)構(gòu)信息的強弱成正相關,計算方法為:

(9)

計算出δΩ上所有點為中心的小塊的優(yōu)先級后,確定其中P(p)最大的小塊按照上述方法篩選出優(yōu)先級最高的小塊的中心點(對應為圖中點p)。然后利用SSD匹配準則根據(jù)待修復小塊Ψp′中所含的有效點的信息,在源區(qū)域Φ中搜尋與Ψp′最相似的匹配塊Ψq′來填補Ψp′中缺失點的信息。

(10)

(11)

式中:I和I′分別表示小塊Ψp′和Ψq的像素點。

至此形成一個修復周期,之后將通過更新已修復像素點的置信度C(p)算法為:

C(p)=C(p′)?q∈Ψp∩Ω

(12)

重復迭代直至目標區(qū)域Ω填充完成。

但由圖5(f)可以看出,塊填充修復區(qū)域結(jié)構(gòu)線與原圖結(jié)構(gòu)線并不能完全吻合,這主要是因為圖像源信息區(qū)域不能搜索到與待修復小塊一致的匹配塊,從而產(chǎn)生修復效果偏差。

3.2 結(jié)構(gòu)線引導下的填充修復

首先通過結(jié)合紋樣結(jié)構(gòu)線擬合來構(gòu)造缺失的結(jié)構(gòu)信息,在進行紋理合成修復之前,采用Log邊緣檢測算子,檢測待修復區(qū)域的邊緣,改變了原修復圖像缺損部分的邊界δΩ。將整個缺損區(qū)域Ω分為若干個待修復的小區(qū)域Ωi,引入邊界函數(shù)B(p)改進填充前緣的優(yōu)先級P(p)[22],提高了后面修復的小塊p的置信度C(p),增加了修復信息的可信度。

改進優(yōu)先權(quán)函數(shù)為:

P′(p)=C(p)+D(p)+B(p)

(13)

(14)

(15)

由式(13)可知,距離待修復區(qū)域邊緣δΩ越近的像素點B(p)值越大,算法可沿所擬合的結(jié)構(gòu)線向內(nèi)填充修復,從而避免修復后圖像結(jié)構(gòu)錯亂。

首先采用曲線擬合連接破壞的紋樣細部輪廓,再利用改進優(yōu)先權(quán)函數(shù)選擇目標小塊進行修復。最后利用SSD匹配準則尋找與待填充區(qū)域紋理相似的小塊填充修復,不斷迭代,直至待填充區(qū)域面積為零,如圖6所示。在結(jié)構(gòu)線擬合的輔助下進行樣本填充類修復,可以有效地避免填充修復過程中結(jié)構(gòu)線錯亂的問題。

圖6 結(jié)構(gòu)線引導下的填充修復Fig.6 Inpainting guided by the structure line

4 結(jié)果討論與分析

4.1 模擬殘損修復

為了比對驗證修復效果,實驗以敦煌鳳凰紋絲織帶圖像為參照進行模擬修復,如圖7所示。隨著迭代過程的推進,本文算法很好地實現(xiàn)了掩膜區(qū)域紋樣結(jié)構(gòu)修復,同時又實現(xiàn)了結(jié)構(gòu)引導的紋理塊修復。

圖7 修復過程部分示意Fig.7 Partial illustration of repair process

由于模擬實驗中殘損面積較大,而紋樣細節(jié)部分的信息被掩蓋,無法擬合出合適的結(jié)構(gòu)線。因此,在修復絲織文物圖像時,首先應對大面積區(qū)域進行修復,為圖像細節(jié)部分提供更多圖像信息。其次,修復完成后應檢查圖像細節(jié)部分,對于一次修復不能完成的部分,根據(jù)上一次修復結(jié)果提供的圖像源信息對此部分進行再次修復,二次修復效果如圖8所示。

圖8 局部二次修復效果Fig.8 Local secondary repair effect

任意選取三幅文物圖像,分別是敦煌鳳凰紋絲織帶圖局部、清朝盤匏圖局部、宋代黃色纏枝牡丹山茶花綾圖,然后運用不同的算法進行修復,結(jié)果如圖9所示。

從圖9可以看出,文獻[16]和文獻[17]算法對三幅圖像的白色線框和藍色線框區(qū)域的修復均有錯配和結(jié)構(gòu)斷聯(lián)現(xiàn)象,主要是因為殘損文物圖像中的圖案均為獨立圖案,在塊匹配時無法與殘損區(qū)域的結(jié)構(gòu)線契合。圖9中的黃色線框區(qū)域無結(jié)構(gòu)線,文獻[16]文獻[17]算法均可正確填充紋理塊,而圖9中黃色線框區(qū)域內(nèi)一片葉子的修復無任何參考信息,圖像自動修復固然失效。因此本文算法在專家指導下以人機交互的方式進行結(jié)構(gòu)線擬合是必要的,文物圖像中紋樣結(jié)構(gòu)上基本保持了原圖的路徑趨勢,能夠完好地對內(nèi)容進行修復,差異在于所擬合的結(jié)構(gòu)線的顏色的飽和度略低,其原因是優(yōu)先權(quán)模塊選取依賴周邊塊信息,顏色的過渡呈現(xiàn)非自然狀態(tài)。

進一步地,為了量化修復質(zhì)量,實驗部分采用結(jié)構(gòu)相似性(Structural similarity,SSIM)和峰值信噪比(Peak signal to noise ratio,RSNR)[5]對修復質(zhì)量進行評價,結(jié)果如表1所示。SSIM值越接近1,圖像相似度越高。PSNR值一般取值范圍為20～40,值越大,兩張圖片差距越小。

圖9 模擬殘損修復效果對比Fig.9 Comparison of the simulated damage repair effects

表1 不同修復算法修復圖像的SSIM和PSNR值Tab.1 SSIM and PSNR values for the repaired images with different algorithms

表2記錄了修復圖像的時長,文獻[16]和文獻[17]算法在時間的損耗上是客觀的,本文算法修復耗時較長,主要是因為在結(jié)構(gòu)線的擬合部分需要專家操作,時長是可控的。但是,不論是從視覺上還是比較SSIM和PSNR值,本文算法在效果修復上都優(yōu)于文獻[16]和文獻[17]算法。

表2 不同修復算法下修復圖像的耗時Tab.2 Time of the repaired images with different algorithms

4.2 真實殘損修復

部分絲綢文物發(fā)生形變,表面圖案復雜且不規(guī)整,修復極具挑戰(zhàn)性。為了驗證本文算法的優(yōu)勢,選取了三幅結(jié)構(gòu)復雜的典型破損絲綢文物圖像,在專家指導下進行真實破損織物文物圖像虛擬修復,將本文算法修復結(jié)果與文獻[16]和文獻[17]進行比較,如圖10所示。圖10中,三幅圖像分別表示唐朝殘損“團窠聯(lián)珠對獅紋錦”圖像、元代殘損“舞人紋錦”圖像及北朝殘損“羅地纏枝蓮花紋貼繡片”圖像。

文獻[16]算法對圖10三幅圖像的修復結(jié)果中均出錯,是因為算法以平均灰度值為衡量標準全局搜索最佳匹配塊填充待修復塊,無法滿足復雜圖像中結(jié)構(gòu)線的修復。文獻[17]算法對圖10三幅圖像的修復結(jié)果中均出現(xiàn)了結(jié)構(gòu)線的錯誤延伸,究其原因,算法對待修復塊的優(yōu)先級判斷錯誤。而本文算法實現(xiàn)了結(jié)構(gòu)線引導紋理塊填充,解決了織物表面紋樣結(jié)構(gòu)線斷聯(lián)和紋理填充錯誤問題。

圖10 真實殘損修復效果對比Fig.10 Actual repair effect comparison

5 結(jié) 論

本文提出了基于結(jié)構(gòu)線擬合的絲綢圖像虛擬修復算法,利用紋樣結(jié)構(gòu)殘留信息,重建缺失的結(jié)構(gòu)線,對缺損盲區(qū)進行引導修復,引入邊界函數(shù)改進優(yōu)先權(quán),優(yōu)化了小塊的修復次序,解決了修復后圖像結(jié)構(gòu)斷聯(lián)問題。修復后圖像取得的SSIM均值為0.98、PSNR均值為36.76,保證了修復結(jié)果與原圖高度相似,同時滿足了視覺上圖像結(jié)構(gòu)連續(xù)性和內(nèi)容一致性。

虛擬修復作為本體修復的補充,一方面輔助文物本體修復,可為文物本體修復提供效果參考;另一方面為在線博物館虛擬展示提供了技術支撐。由于參考信息僅依賴文物自身及周邊紋理和色彩,使得一定程度上難以完全修復至原始效果。針對此類參考樣本稀少、處于盲修復狀態(tài)下的自動修復問題,當面對復雜形態(tài)的紋樣修復時,目前尚難依據(jù)周邊信息進行生成。今后需重點對修復參數(shù)交互調(diào)整進行研究,以適應多方案推薦的復原需求。

《絲綢》官網(wǎng)下載

中國知網(wǎng)下載