基于多階段優(yōu)化的壁畫圖像色彩還原

徐志剛，陳士成，朱紅蕾

蘭州理工大學(xué) 計(jì)算機(jī)與通信學(xué)院，蘭州 730050

敦煌壁畫作為多種文化碰撞形成的人類藝術(shù)文化瑰寶，是中國(guó)最重要的文化遺產(chǎn)之一。這些創(chuàng)作于公元4世紀(jì)至14世紀(jì)的壁畫，受自然環(huán)境、人類活動(dòng)、微生物破壞等因素的影響，普遍出現(xiàn)因圖層破損脫落、顏料降解變質(zhì)等原因而產(chǎn)生的色彩褪變問(wèn)題。這些色彩褪變給敦煌壁畫的研究和展示工作造成了諸多干擾。因此，積極開展壁畫圖像的色彩還原研究具有重要價(jià)值和意義。

傳統(tǒng)壁畫復(fù)原主要采用臨摹的方法修補(bǔ)壁畫缺損區(qū)域并進(jìn)行色彩還原。這類方法需要專業(yè)修復(fù)師進(jìn)行繁復(fù)細(xì)致的手工作業(yè)。復(fù)原過(guò)程復(fù)雜且效率低下，難以充分滿足壁畫研究與展示工作的客觀性和時(shí)效性要求。因此，借助圖像色彩處理技術(shù)開展壁畫色彩還原逐步成為了壁畫復(fù)原研究的一個(gè)熱點(diǎn)。

壁畫圖像色彩還原方法根據(jù)修復(fù)流程及其使用技術(shù)的區(qū)別可以分為兩類：基于傳統(tǒng)圖像處理的方法和基于深度學(xué)習(xí)的方法。

傳統(tǒng)方法首先提取壁畫圖像內(nèi)容描述信息和色彩描述信息，然后建立基于規(guī)則和框架的圖像內(nèi)容和色彩映射關(guān)系，最后借助內(nèi)容和色彩的映射關(guān)系進(jìn)行色彩還原。魏寶剛等[1]提出使用圖像處理技術(shù)提取壁畫圖像語(yǔ)義對(duì)象，建立起基于框架和規(guī)則的知識(shí)表示和推理系統(tǒng)還原壁畫色彩。Reinhard等[2]提出的基于圖像信息二階統(tǒng)計(jì)量的色彩遷移方法也被應(yīng)用于壁畫色彩還原。趙國(guó)英等[3]在此基礎(chǔ)上提出使用高階矩獲取圖像中的非線性結(jié)構(gòu)信息來(lái)改善色彩還原的視覺(jué)質(zhì)量，彌補(bǔ)二階統(tǒng)計(jì)量對(duì)圖像中局部性、方向性和帶通性等非高斯性結(jié)構(gòu)信息表述不足的問(wèn)題。林怡等[4]提出基于知識(shí)的圖像處理方法應(yīng)用于敦煌壁畫色彩還原中。李宣妮等[5]分析了古代壁畫常用繪畫顏料及其褪變色原因，提出基于中國(guó)傳統(tǒng)五行色的壁畫色彩還原方法。基于傳統(tǒng)圖像處理的色彩還原方法普遍依賴常規(guī)的數(shù)字圖像處理方法，比如圖像色彩空間變換、直方圖均衡化、邊緣檢測(cè)、閾值分割等。這容易導(dǎo)致提取到的特征難以建立更深層次的映射關(guān)系，從而限制了壁畫圖像的色彩還原效果。

基于深度神經(jīng)網(wǎng)絡(luò)的方法是近年來(lái)迅速發(fā)展的一類圖像色彩還原方法。這類方法根據(jù)訓(xùn)練方式的不同可以劃分為監(jiān)督類型和無(wú)監(jiān)督類型。Zhang等[6]提出將圖像著色任務(wù)轉(zhuǎn)換為自監(jiān)督學(xué)習(xí)任務(wù)，通過(guò)學(xué)習(xí)大規(guī)模數(shù)據(jù)集中圖像語(yǔ)義特征與色彩信息對(duì)應(yīng)關(guān)系來(lái)預(yù)測(cè)圖像的色彩信息。但是，對(duì)于圖像樣本種類多，并且單類別樣本數(shù)量少的情形，利用該方法難以建立起更準(zhǔn)確的語(yǔ)義色彩映射關(guān)系。Gatys等[7]提出基于迭代優(yōu)化的圖像風(fēng)格化方法。徐志剛等[8]使用最大均值差異和馬爾可夫隨機(jī)場(chǎng)損失約束基于迭代優(yōu)化的圖像風(fēng)格遷移方法進(jìn)行壁畫色彩還原，雖然能夠進(jìn)行色彩還原，但是不能充分還原圖像中的紋理細(xì)節(jié)。He等[9]利用編碼器-解碼器網(wǎng)絡(luò)構(gòu)造端到端的圖像生成網(wǎng)絡(luò)，能夠利用參考圖像與內(nèi)容圖像之間的語(yǔ)義關(guān)聯(lián)對(duì)壁畫內(nèi)容進(jìn)行色彩還原，具有較好的色彩恢復(fù)效果。Xu等[10]在編碼器-解碼器中引入自適應(yīng)實(shí)例規(guī)范化方法[11]將參考圖像的特征風(fēng)格遷移到內(nèi)容圖像中，但缺少對(duì)語(yǔ)義信息的一致性約束，容易出現(xiàn)假色現(xiàn)象。Blanch等[12]提出構(gòu)造生成對(duì)抗網(wǎng)絡(luò)用于圖像的著色及色彩遷移，但該方法需要大量的完整壁畫圖像構(gòu)造數(shù)據(jù)集并進(jìn)行訓(xùn)練。Park等[13]提出基于風(fēng)格注意力的圖像遷移框架也被用于圖像轉(zhuǎn)換任務(wù)中。Su等[14]將圖像分割方法引入圖像著色中，用以提升圖像中對(duì)象實(shí)例的色彩還原效果，但該方法的還原效果易受實(shí)例分割精度的影響。曹建芳等[15]提出使用全卷積網(wǎng)絡(luò)提取深度圖像特征，并構(gòu)建基于生成對(duì)抗網(wǎng)絡(luò)的壁畫圖像重建模型。Wang等[16]提出基于CycleGAN的壁畫圖像重建方法，通過(guò)對(duì)高分辨率壁畫進(jìn)行裁剪來(lái)學(xué)習(xí)不同圖像域轉(zhuǎn)換的能力，使模型具備較好的泛化能力。

基于深度神經(jīng)網(wǎng)絡(luò)的方法在針對(duì)自然圖像的色彩還原處理中取得了良好的效果。但是，壁畫圖像與自然圖像存在較大差異。首先，壁畫圖像經(jīng)受復(fù)雜退化因素的長(zhǎng)期影響。很多壁畫圖像的語(yǔ)義內(nèi)容和色彩信息已經(jīng)發(fā)生較大改變。這些問(wèn)題增加了深度神經(jīng)網(wǎng)絡(luò)提取壁畫圖像語(yǔ)義特征及色彩信息的困難。其次，基于深度神經(jīng)網(wǎng)絡(luò)的方法采用堆疊卷積層、擴(kuò)張卷積、殘差連接等方法擴(kuò)大語(yǔ)義感受野來(lái)獲取更豐富的語(yǔ)義特征。但是，在處理壁畫圖像時(shí)，受圖像尺度信息不足和噪聲等因素的影響，這些方法難以獲取更加豐富的語(yǔ)義特征。再次，為了提升神經(jīng)網(wǎng)絡(luò)的信息提取與表征能力，這些方法常采用更深層的網(wǎng)絡(luò)。但網(wǎng)絡(luò)過(guò)深會(huì)導(dǎo)致訓(xùn)練過(guò)程不穩(wěn)定。因此，探索適用于壁畫圖像的色彩還原方法是非常必要的。

針對(duì)上述分析，本文提出一種基于多階段優(yōu)化的壁畫圖像色彩還原方法。該方法使用高斯核函數(shù)構(gòu)建壁畫圖像高斯金字塔來(lái)獲取壁畫圖像的多尺度表示，利用尺度信息約束褪化壁畫的復(fù)原過(guò)程；并且設(shè)計(jì)基于編碼器-解碼器網(wǎng)絡(luò)的遷移子網(wǎng)，使用并行非局部注意機(jī)制建立褪化壁畫與參考壁畫的語(yǔ)義映射關(guān)系對(duì)不同尺度表示的褪化壁畫圖像進(jìn)行色彩還原。然后構(gòu)造跨尺度特征融合模塊，采用Coarse-to-Fine的優(yōu)化策略，利用多階段網(wǎng)絡(luò)模型逐步優(yōu)化圖像色彩還原結(jié)果。實(shí)驗(yàn)分析表明，本文方法能夠抑制褪化壁畫圖像噪聲對(duì)還原結(jié)果的影響，消除還原圖像的輪廓偽影和色彩混疊，在有效還原壁畫色彩的同時(shí)能較好地保持褪變色壁畫圖像的邊緣紋理信息。

1 算法描述

本文提出的基于多階段優(yōu)化的壁畫色彩還原網(wǎng)絡(luò)由三個(gè)階段的網(wǎng)絡(luò)構(gòu)成（如圖1所示）。每個(gè)階段的網(wǎng)絡(luò)由圖像編碼模塊、基于編碼器-解碼器網(wǎng)絡(luò)的遷移子網(wǎng)和圖像解碼模塊構(gòu)成。在這三個(gè)階段的網(wǎng)絡(luò)中，與第一階段網(wǎng)絡(luò)不同的是，后兩個(gè)階段的網(wǎng)絡(luò)中加入了跨尺度特征融合模塊。

圖1 基于多階段優(yōu)化的壁畫色彩還原網(wǎng)絡(luò)框架Fig.1 Network of mural color restoration via multi-stage optimization

本文網(wǎng)絡(luò)與使用單尺度圖像進(jìn)行色彩還原的單階段網(wǎng)絡(luò)[10]不同。首先，本文方法使用高斯核函數(shù)平滑原尺度壁畫圖像中的噪聲，同時(shí)使用雙三次插值降采樣獲取壁畫圖像的多尺度表示；其次，本文的多階段網(wǎng)絡(luò)通過(guò)級(jí)聯(lián)多個(gè)編碼器-解碼器子網(wǎng)增強(qiáng)模型容量，每個(gè)階段的子網(wǎng)處理不同尺度的圖像特征；此外，不同階段的子網(wǎng)間使用跨尺度特征融合模塊建立聯(lián)系。

原尺度壁畫圖像經(jīng)過(guò)高斯模糊能夠平滑大部分的噪點(diǎn)，不會(huì)引入冗余信息；而使用降采樣方法可以獲取壁畫圖像的多尺度表示，利用不同尺度表示間的結(jié)構(gòu)關(guān)聯(lián)可以在不同尺度上描述圖像的局部特征，進(jìn)而可以利用尺度信息約束壁畫圖像的復(fù)原過(guò)程，保證壁畫圖像復(fù)原結(jié)果的一致性。

本文網(wǎng)絡(luò)的階段數(shù)由圖像金字塔的層數(shù)確定，從圖像金字塔的小尺度圖像到原尺度圖像，逐級(jí)對(duì)應(yīng)不同階段的網(wǎng)絡(luò)。圖像金字塔層數(shù)越多，小尺度圖像的結(jié)構(gòu)信息越模糊，不利于圖像內(nèi)容的結(jié)構(gòu)重建；而層數(shù)越少，不能有效平滑原尺度圖像中的不規(guī)則噪聲，影響壁畫圖像復(fù)原效果。經(jīng)過(guò)實(shí)驗(yàn)分析，本文使用三層圖像金字塔。

本文網(wǎng)絡(luò)的輸入是一對(duì)壁畫圖像：褪變色壁畫圖像和參考壁畫圖像。輸入的圖像使用高斯核函數(shù)生成高斯金字塔：原尺度圖像、1/2尺度圖像、1/4尺度圖像。由于1/4尺度圖像更容易捕獲圖像全局特征，因此使用1/4尺度圖像作為第一階段還原網(wǎng)絡(luò)的輸入，并生成褪化圖像的粗度還原結(jié)果。第二階段網(wǎng)絡(luò)重建1/2尺度圖像。此外，跨尺度特征融合模塊利用第一階段獲取的粗度語(yǔ)義信息約束第二階段還原圖像的局部語(yǔ)義一致性，并將第一階段的粗度還原信息引入第二階段的重建圖像中。類似的，第三階段網(wǎng)絡(luò)利用第二階段的還原結(jié)果重建并優(yōu)化原尺度圖像的色彩信息和結(jié)構(gòu)紋理細(xì)節(jié)。

1.1 圖像編碼模塊

1.1.1 高斯金字塔

由于壁畫圖像通常包含高頻噪聲，為了減少噪聲對(duì)壁畫圖像局部和全局特征提取的影響，本文使用高斯核函數(shù)（GaussKernel）對(duì)輸入的褪化圖像和參考圖像進(jìn)行模糊和降采樣處理。獲取壁畫圖像I的多尺度表示{I1,I1/2,I1/4,…},即原尺度圖像、1/2尺度圖像、1/4尺度圖像等。

式中，I表示輸入圖像，GaussKernel表示高斯核函數(shù)，{I1,I1/2,I1/4,…}是輸入圖像的多尺度表示。

如圖2所示，對(duì)圖像金字塔中的不同尺度圖像特征進(jìn)行可視化可以發(fā)現(xiàn)，當(dāng)高斯模糊和降采樣達(dá)到1/4尺度時(shí)，可以有效地平滑圖像中的大部分不規(guī)則噪聲，同時(shí)也可以保留圖像的基礎(chǔ)結(jié)構(gòu)信息；但是進(jìn)一步執(zhí)行高斯模糊和雙三次插值降采樣至1/8尺度時(shí)，圖像中的小部分局部結(jié)構(gòu)已經(jīng)發(fā)生了不可逆的損害，當(dāng)使用這些局部結(jié)構(gòu)發(fā)生變化的小尺度圖像作為先驗(yàn)信息復(fù)原壁畫圖像時(shí)，會(huì)使復(fù)原效果大打折扣。因此，本文網(wǎng)絡(luò)使用{I1,I1/2,I1/4}尺度構(gòu)建圖像金字塔進(jìn)行壁畫圖像復(fù)原。

圖2 圖像金字塔特征可視化Fig.2 Feature visualization of image pyramids

1.1.2 低級(jí)視覺(jué)特征提取

為了減少噪聲對(duì)捕獲壁畫圖像語(yǔ)義特征的影響，本文使用卷積層和通道注意力構(gòu)建淺層特征提取塊（shallow feature block，SFB）提取圖像的低級(jí)視覺(jué)特征。該模塊由三個(gè)卷積層與通道注意力塊（channel attention block，CAB）間隔構(gòu)成。單層小卷積核僅能獲取壁畫中的邊緣、角點(diǎn)等基元，而使用三個(gè)3×3卷積核級(jí)聯(lián)可以得到7×7的語(yǔ)義感受野，同時(shí)在卷積層之間加入通道注意力層可以獲得更豐富的低級(jí)視覺(jué)特征。如圖3所示。公式表示為：

圖3 圖像編碼模塊Fig.3 Image encoding block

式中，{F1,F1/2,F1/4}表示多尺度圖像的特征表示。

1.2 跨尺度特征融合模塊

考慮到卷積層對(duì)于捕獲壁畫圖像全局特征的不足，本文設(shè)計(jì)了基于Non-Local[17]的跨尺度特征融合模塊，如圖4所示。通過(guò)Non-Local模塊建立相鄰階段圖像特征間的相似性依賴，使用小尺度圖像的語(yǔ)義特征約束較大尺度圖像特征的局部語(yǔ)義一致性，從而進(jìn)一步抑制低層圖像特征中的噪聲。

圖4 跨尺度語(yǔ)義約束Fig.4 Cross scale semantic constraints

對(duì)于相鄰階段的輸入圖像，其尺度變化比例為1/2。在使用相同數(shù)量卷積層獲取圖像特征時(shí)，小尺度圖像能夠獲取具有更大語(yǔ)義感受野的圖像特征，能夠有效減少高頻噪聲對(duì)捕獲全局語(yǔ)義特征的影響。

式中，Wq、Wk和Wv分別是Query、Key和Value特征空間的可學(xué)習(xí)權(quán)重矩陣，d是特征圖的維度。

式中，F(xiàn)Fusion是的融合特征，A表示與相關(guān)的語(yǔ)義特征。

1.3 遷移子網(wǎng)及圖像解碼模塊

遷移子網(wǎng)由編碼器、色彩遷移模塊和解碼器構(gòu)成，如圖5所示。首先，通過(guò)編碼器獲取壁畫圖像特征的多級(jí)語(yǔ)義特征。其次，在色彩遷移模塊中將參考壁畫圖像的色彩信息遷移到褪化壁畫圖像特征中。最后，通過(guò)解碼器還原壁畫圖像特征。

圖5 遷移子網(wǎng)Fig.5 Transfer subnet

編碼器采用與VGG-16網(wǎng)絡(luò)相似的結(jié)構(gòu)，使用三個(gè)卷積段，每個(gè)卷積段由三個(gè)卷積層和一個(gè)激活層構(gòu)成。卷積段之間使用池化層降低特征尺寸，以獲取圖像特征的多級(jí)語(yǔ)義表示。解碼器與編碼器呈鏡像對(duì)稱結(jié)構(gòu)。本文構(gòu)建了基于風(fēng)格注意力[14]的色彩遷移模塊。在該模塊中，分別從圖像特征的通道域和空間域?qū)ν驶诋嬤M(jìn)行色彩還原。

在通道域中，使用降采樣因子r對(duì)壁畫圖像特征進(jìn)行降采樣，通過(guò)計(jì)算降采樣后的參考壁畫與褪化壁畫特征間的通道相關(guān)性Cchannel∈RC×C，從參考壁畫中引入通道域參考特征Fchannel：

式中，表示降采樣后的壁畫特征，F(xiàn)R表示參考壁畫特征。

在空間域中，使用1×1卷積將褪化壁畫特征和參考壁畫特征分別映射為嵌入特征f(FC)、g(FR)、h(FR)。然后計(jì)算褪化壁畫與參考壁畫的嵌入特征(f(FC),g(FR))間的空間相似性矩陣Cspatial∈RHW×HW，從參考壁畫中引入空間域參考特征Fspatial：

式中，C表示褪化壁畫，R表示參考壁畫，T表示轉(zhuǎn)置操作。

最后，融合通道域與空間域的參考特征(Fspatial,Fchannel)對(duì)褪化壁畫特征FC進(jìn)行色彩還原。獲得還原后的褪化壁畫特征：

式中，Conv(?)表示特征(Fspatial,Fchannel,FC)在通道維度拼接（concat）后，使用卷積層降低通道維數(shù)。

遷移子網(wǎng)的輸出分別作為下一階段遷移子網(wǎng)的語(yǔ)義先驗(yàn)信息和反卷積模塊的輸入。作為先驗(yàn)信息時(shí)，將上采樣與下一階段的褪化圖像特征拼接，然后作為下一階段遷移子網(wǎng)輸入。作為反卷積模塊的輸入時(shí)，使用反卷積操作將映射到圖像域，生成還原圖像并與同尺度的源圖像計(jì)算損失。

1.4 損失函數(shù)

本文提出的網(wǎng)絡(luò)采用端到端的方式生成還原壁畫圖像。在訓(xùn)練網(wǎng)絡(luò)模型時(shí)，使用以下?lián)p失函數(shù)優(yōu)化網(wǎng)絡(luò)模型參數(shù)：

式中，Lcontent、Ledge分別表示還原壁畫圖像與褪化壁畫圖像之間的內(nèi)容損失和邊界損失，Lstyle表示還原壁畫圖像與參考壁畫圖像之間的風(fēng)格損失，LTV表示還原壁畫圖像的全變分損失，α、β分別表示風(fēng)格損失和全變分損失的權(quán)重參數(shù)。計(jì)算內(nèi)容損失Lcontent和風(fēng)格損失Lstyle時(shí)，本文使用預(yù)訓(xùn)練分類網(wǎng)絡(luò)VGG-16的卷積層作為圖像特征編碼器并計(jì)算損失函數(shù)。

1.4.1 內(nèi)容損失

內(nèi)容損失函數(shù)表示為：

式中，i表示VGG預(yù)訓(xùn)練網(wǎng)絡(luò)的卷積層，I表示輸入圖像，表示I輸入VGG網(wǎng)絡(luò)獲取的第i個(gè)卷積層的特征圖，CiHiWi表示第i層特征圖的尺寸。

1.4.2 風(fēng)格損失

壁畫圖像特征的紋理及色彩信息使用Gram矩陣表示，公式表示為：

式中，表示第l層特征圖中第i個(gè)卷積核對(duì)應(yīng)的第k個(gè)響應(yīng)值，表示第l層特征圖的Gram矩陣元素值。

計(jì)算還原壁畫圖像與參考壁畫圖像之間的風(fēng)格損失時(shí)，使這兩幅圖像的Gram矩陣間的歐氏距離盡可能小：

式中，表示參考壁畫圖像第l層特征圖的Gram矩陣，N2、M2分別表示第l層特征圖和Gram矩陣的尺寸，El表示第l層特征Gram矩陣的損失，ωl表示第l層Gram矩陣損失權(quán)重。

1.4.3 邊緣損失

為了增強(qiáng)還原壁畫圖像的語(yǔ)義邊緣信息，使用邊緣損失函數(shù)優(yōu)化網(wǎng)絡(luò)模型：

式中，Δ表示拉普拉斯濾波，ε=10-3用于穩(wěn)定模型的訓(xùn)練過(guò)程。

1.4.4 全變分損失（total variation loss）

褪化壁畫圖像中包含的噪聲和邊緣紋理缺失可能會(huì)擾亂還原圖像中的紋理，造成還原圖像觀感上不自然。本文在損失函數(shù)中加入總變差損失LTV平滑圖像紋理，緩解噪聲以及壁畫圖像缺損造成的偽影現(xiàn)象：

式中，表示還原圖像中的第(i,j)位置的像素值。

2 實(shí)驗(yàn)設(shè)置與結(jié)果分析

為了驗(yàn)證本文方法的有效性，本文設(shè)計(jì)以下實(shí)驗(yàn)進(jìn)行論證。首先對(duì)不同階段的還原結(jié)果進(jìn)行對(duì)比分析，驗(yàn)證多階段方法的可行性；其次，對(duì)跨尺度特征融合模塊進(jìn)行消融實(shí)驗(yàn)，驗(yàn)證模塊的有效性；最后，選取經(jīng)典的圖像色彩還原和風(fēng)格遷移方法進(jìn)行對(duì)比實(shí)驗(yàn)。

2.1 實(shí)現(xiàn)過(guò)程

本文網(wǎng)絡(luò)采用WikiArt數(shù)據(jù)集[19]和壁畫圖像數(shù)據(jù)集進(jìn)行訓(xùn)練。首先，使用WikiArt數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，其次使用壁畫數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)。WikiArt數(shù)據(jù)集包含近8萬(wàn)張各種流派的藝術(shù)圖像。通過(guò)調(diào)整原始圖像的色調(diào)和飽和度并添加高斯噪聲模擬生成褪化圖像，與源圖像構(gòu)成圖像對(duì)訓(xùn)練網(wǎng)絡(luò)。壁畫數(shù)據(jù)集中的圖像源于網(wǎng)絡(luò)資源和壁畫相關(guān)書籍[20-21]，共包含935對(duì)高分辨率壁畫圖像，每對(duì)圖像包括褪化圖像和參考圖像。使用壁畫訓(xùn)練網(wǎng)絡(luò)時(shí)，將壁畫數(shù)據(jù)集劃分為800對(duì)訓(xùn)練集和135對(duì)測(cè)試集。訓(xùn)練集使用旋轉(zhuǎn)、裁剪、縮放等操作增強(qiáng)至5 000對(duì)圖像，然后調(diào)整到（512×512）尺寸訓(xùn)練網(wǎng)絡(luò)。

本文網(wǎng)絡(luò)模型基于Pytorch框架實(shí)現(xiàn)。在訓(xùn)練階段，使用Adam優(yōu)化器，初始學(xué)習(xí)率設(shè)置為1×10-4，使用余弦退火策略穩(wěn)定下降到1×10-6，批量大小設(shè)置為4，訓(xùn)練50個(gè)epoch。使用壁畫圖像數(shù)據(jù)集優(yōu)化模型時(shí)，使用Adam優(yōu)化器，初始學(xué)習(xí)率設(shè)置為1×10-4，每500次迭代將學(xué)習(xí)率減小為上次迭代學(xué)習(xí)率的90%，逐步降低學(xué)習(xí)率。

實(shí)驗(yàn)分析中使用全參考圖像質(zhì)量評(píng)價(jià)指標(biāo)PSNR、SSIM和無(wú)參考圖像質(zhì)量評(píng)價(jià)指標(biāo)NIQE[22]、BRISQUE[23]。其中，PSNR和SSIM用于評(píng)價(jià)還原圖像與原圖像的低級(jí)視覺(jué)差異，評(píng)價(jià)值越高，還原圖像與源圖像越相似。NIQE和BRISQUE使用壁畫數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，用于對(duì)還原壁畫圖像質(zhì)量進(jìn)行評(píng)價(jià)。評(píng)價(jià)值越低表示還原壁畫圖像質(zhì)量更接近壁畫原始風(fēng)貌。

2.2 多階段色彩還原結(jié)果評(píng)價(jià)

本文提出的網(wǎng)絡(luò)框架包含三個(gè)不同階段的圖像色彩還原網(wǎng)絡(luò)。為了驗(yàn)證多階段網(wǎng)絡(luò)模型逐級(jí)優(yōu)化的可行性。本節(jié)對(duì)模型中不同階段遷移子網(wǎng)的還原結(jié)果進(jìn)行對(duì)比分析。

褪化壁畫圖像逐級(jí)還原結(jié)果如圖6所示。由圖中可以看出，第一階段對(duì)褪化圖像I1/4進(jìn)行粗度著色，減少噪聲與圖像紋理混淆造成的偽影問(wèn)題，如圖6（c）第一行中菩薩的蓮臺(tái)和圖6（c）第二行天女的面部五官色彩更平滑且噪聲極少；階段二在階段一粗度著色的基礎(chǔ)上對(duì)褪化圖像I1/2進(jìn)行色彩還原，引入了部分紋理，如圖6（d）第二行中蓮花花瓣和圖6（d）第三行中蓮臺(tái)花邊等紋理信息；階段三繼續(xù)在階段二的基礎(chǔ)上對(duì)褪化圖像I進(jìn)行色彩和紋理細(xì)化，生成最終的還原結(jié)果。

圖6 各階段壁畫色彩還原結(jié)果Fig.6 Color restoration results of murals in each stage

階段一到階段三還原圖像的客觀評(píng)價(jià)指標(biāo)如表1所示。在逐階段的優(yōu)化過(guò)程中，還原圖像的PSNR、SSIM值逐步提升，并且無(wú)參考評(píng)價(jià)指標(biāo)NIQE、BRISQUE逐步降低，說(shuō)明圖像質(zhì)量逐步提升。表明多階段網(wǎng)絡(luò)逐級(jí)優(yōu)化還原壁畫圖像色彩方法是可行且有效的。

表1 各階段還原壁畫客觀評(píng)價(jià)Table 1 Objective evaluation of restored murals

2.3 消融實(shí)驗(yàn)

為了驗(yàn)證本文方法中跨尺度特征融合模塊的有效性，本文進(jìn)行以下的消融實(shí)驗(yàn)：使用雙三次插值上采樣模塊代替本文網(wǎng)絡(luò)的跨尺度特征融合模塊并與本文網(wǎng)絡(luò)進(jìn)行對(duì)比。消融實(shí)驗(yàn)結(jié)果如圖7所示。其中，圖7（a）為參考壁畫，圖7（b）為臨摹壁畫，圖7（c）為上采樣模塊的還原圖像，圖7（d）為跨尺度特征融合模塊的還原圖像。

圖7 模塊消融實(shí)驗(yàn)Fig.7 Results of ablation experiment

從圖7中可以看到，雙三次插值上采樣模塊缺失多尺度語(yǔ)義信息約束并不能減少褪化圖像中的噪聲，如圖7（c）第一行中燃燈菩薩手捧油燈、圖7（c）第二行中天女發(fā)帶和圖7（c）第三行嫁娶圖中新郎的下頜等位置，高頻噪聲明顯。而跨尺度特征融合模塊可以有效抑制高頻噪聲，并且該模塊能夠約束局部區(qū)域內(nèi)的語(yǔ)義一致性，提升壁畫還原質(zhì)量。

模塊消融實(shí)驗(yàn)的客觀評(píng)價(jià)如表2所示。當(dāng)使用雙三次插值上采樣模塊代替跨尺度特征融合模塊時(shí)，NIQE值上升3.695 1，BRISQUE值上升了1.315 9。這意味著還原圖像的質(zhì)量變差了。而跨尺度特征融合模塊的還原圖像PSNR、SSIM評(píng)價(jià)指標(biāo)值更高；并且NIQE、BRISQUE指標(biāo)更低，圖像質(zhì)量更好。

表2 消融實(shí)驗(yàn)圖像客觀評(píng)價(jià)Table 2 Objective evaluation of ablation experimental images

2.4 對(duì)比實(shí)驗(yàn)

本節(jié)對(duì)褪化壁畫色彩還原結(jié)果進(jìn)行對(duì)比實(shí)驗(yàn)。為了對(duì)比實(shí)驗(yàn)的有效性，本文使用具有代表性的Reinhard方法[2]、AdaIN方法[11]、SANet方法[13]、StyleFormer方法[24]與本文方法進(jìn)行對(duì)比。

2.4.1 臨摹褪化壁畫圖像色彩還原

臨摹壁畫通常遵循原始壁畫的紋理風(fēng)格進(jìn)行描繪。這類壁畫避免了真實(shí)壁畫中存在的大量噪聲，具有更清晰的紋理結(jié)構(gòu)。

本節(jié)實(shí)驗(yàn)使用臨摹壁畫進(jìn)行對(duì)比分析，臨摹壁畫圖像的還原結(jié)果如圖8所示。其中，圖8（a）為參考壁畫，圖8（b）為臨摹壁畫，圖8（c）～（f）為對(duì)比方法還原圖像，圖8（g）為本文方法還原圖像。

圖8 臨摹壁畫色彩還原對(duì)比實(shí)驗(yàn)Fig.8 Comparative experiment of color restoration of copied murals

從圖8中可以看到，Reinhard方法僅從統(tǒng)計(jì)信息的角度改變圖像的色彩信息，容易出現(xiàn)色彩不準(zhǔn)確的問(wèn)題，如圖8（c）第一行平棋中的背景色偏差較大。AdaIN方法不能有效保持圖像的紋理結(jié)構(gòu)，圖8（d）第一行中平棋邊緣結(jié)構(gòu)模糊。SANet方法在進(jìn)行語(yǔ)義特征映射時(shí)缺少一致性約束，如圖8（e）第三行中菩薩的面部及發(fā)髻部位出現(xiàn)色彩混疊現(xiàn)象。StyleFormer方法所采用的特征分組和多頭注意力機(jī)制相結(jié)合的方式可以減少色彩混疊現(xiàn)象，但是圖像邊緣易出現(xiàn)偽影，如圖8（f）第三行菩薩發(fā)冠紋理邊緣存在偽影。本文方法在有效減少噪聲影響的同時(shí)能夠?qū)D像色彩進(jìn)行語(yǔ)義一致性約束。如圖8（g）第一行平棋及圖8（g）第三行菩薩發(fā)髻邊緣都具有可觀的還原效果。

臨摹壁畫圖像色彩還原結(jié)果的客觀評(píng)價(jià)如表3所示。在缺少未褪化壁畫圖像做參考的情況下，全參考圖像質(zhì)量評(píng)價(jià)指標(biāo)僅使用SSIM衡量還原圖像與褪化圖像間的結(jié)構(gòu)相似性。可以看到，Reinhard方法的SSIM值最高，這是由于該方法進(jìn)行基于統(tǒng)計(jì)信息的色彩還原時(shí)，對(duì)于圖像中的噪聲、色彩梯度不平滑等問(wèn)題并未進(jìn)行有效處理。也使得該方法的NIQE值和BRISQUE值明顯偏高。AdaIN方法和SANet方法雖然降低了NIQE、BRISQUE指標(biāo)值，但SSIM值變化較大，圖像紋理信息有較大的損失。StyleFormer方法在未造成過(guò)多壁畫信息丟失的情況下提升還原壁畫質(zhì)量。而本文方法在保留壁畫紋理結(jié)構(gòu)的條件下能夠有效減少高頻噪聲并提升還原壁畫質(zhì)量。雖然SSIM指標(biāo)次優(yōu)，但NIQE、BRISQUE指標(biāo)均高于對(duì)比方法。

表3 臨摹壁畫圖像色彩還原客觀評(píng)價(jià)Table 3 Objective evaluation of color restoration of copied mural images

2.4.2 真實(shí)褪化壁畫圖像色彩還原

真實(shí)壁畫相較于臨摹壁畫具有更復(fù)雜的褪化現(xiàn)象。本節(jié)實(shí)驗(yàn)使用真實(shí)壁畫圖像進(jìn)行色彩還原對(duì)比實(shí)驗(yàn)，結(jié)果如圖9所示。其中，圖9（a）為參考圖像，圖9（b）為真實(shí)壁畫，圖9（c）～（f）為對(duì)比方法還原圖像，圖9（g）為本文方法還原圖像。從圖9中可以看到，Reinhard方法并未改變壁畫中的噪聲信息，如圖9（c）第一行周利般特菩薩和圖9（c）第二行鳩摩羅天菩薩的圓光部位噪聲明顯。AdaIN方法和SANet方法對(duì)噪聲非常敏感，在獲取圖像特征和還原圖像時(shí)容易出現(xiàn)偽影和假色，如圖9（e）第一行菩薩圓光出現(xiàn)偽影和假色。StyleFormer方法易出現(xiàn)局部紋理丟失的現(xiàn)象，如圖9（f）第一行飛天的耳環(huán)結(jié)構(gòu)信息丟失。本文方法受噪聲和缺損區(qū)域影響較小，在維持圖像原始結(jié)構(gòu)紋理的同時(shí)能夠根據(jù)參考信息還原圖像色彩，如圖9（g）中菩薩圓光及飛天都具有較好的還原效果。

圖9 真實(shí)壁畫色彩還原對(duì)比實(shí)驗(yàn)Fig.9 Comparative experiment of color restoration of real murals

真實(shí)壁畫色彩還原客觀評(píng)價(jià)如表4所示。可以看到，Reinhard方法的表現(xiàn)與針對(duì)臨摹壁畫圖像的處理結(jié)果類似。AdaIN方法和SANet方法SSIM值較低，意味著還原圖像中丟失了較多的紋理信息。StyleFormer方法采用特征分組映射可以建立更準(zhǔn)確的語(yǔ)義映射，降低了無(wú)參考圖像評(píng)價(jià)指標(biāo)值，且SSIM值稍有提升。而本文方法通過(guò)建立多尺度語(yǔ)義映射并采用多階段優(yōu)化策略進(jìn)一步提高SSIM值，無(wú)參考評(píng)價(jià)指標(biāo)也有所降低，整體還原圖像質(zhì)量有提升。

表4 真實(shí)壁畫圖像色彩還原客觀評(píng)價(jià)Table 4 Objective evaluation of color restoration of real mural images

3 結(jié)論

針對(duì)壁畫圖像色彩還原過(guò)程中由高頻噪聲等引起的語(yǔ)義邊緣偽影和色彩混疊問(wèn)題，本文提出一種基于多階段優(yōu)化的壁畫圖像色彩還原方法。該方法使用高斯核函數(shù)獲取壁畫圖像的多尺度表示；其次，提出基于編碼器-解碼器的遷移網(wǎng)絡(luò)并以級(jí)聯(lián)的方式構(gòu)建多階段網(wǎng)絡(luò)，采用Coarse-to-Fine的優(yōu)化策略，逐階段優(yōu)化還原壁畫圖像色彩，克服噪聲引起的邊緣偽影問(wèn)題。此外，構(gòu)建跨尺度特征融合模塊，利用多尺度語(yǔ)義信息來(lái)約束圖像特征的語(yǔ)義色彩一致性，減少色彩混疊。實(shí)驗(yàn)分析表明，本文提出的基于多階段優(yōu)化的壁畫色彩還原網(wǎng)絡(luò)模型能夠有效的減少壁畫圖像色彩還原過(guò)程中的噪聲影響，避免偽影、色彩混疊等問(wèn)題。相較于其他方法，本文方法能夠較好地保持壁畫圖像原始結(jié)構(gòu)并對(duì)褪變色區(qū)域進(jìn)行色彩還原。