基于深度學(xué)習(xí)的石窟壁畫破損檢測

張葉娥,吳利剛

（1.山西大同大學(xué)計(jì)算機(jī)與網(wǎng)絡(luò)工程學(xué)院，山西 大同 037009；2.山西大同大學(xué)機(jī)電工程學(xué)院，山西 大同 037003）

如今國家對(duì)石窟壁畫的保護(hù)極其重視。石窟壁畫富麗瑰奇，絢麗多彩，蘊(yùn)含著豐富的人文、宗教、經(jīng)濟(jì)、生活等史料信息，對(duì)于中國文化的傳承以及發(fā)展都將會(huì)有非常巨大的貢獻(xiàn)，但現(xiàn)存的壁畫長期受自然侵蝕、人為破壞和外界因素的影響，均有不同程度的受損，對(duì)壁畫的破損檢測及保護(hù)工作迫在眉睫。隨著現(xiàn)代科學(xué)技術(shù)的發(fā)展，將大數(shù)據(jù)、數(shù)字化、機(jī)器學(xué)習(xí)、人工智能算法應(yīng)用于對(duì)壁畫的破損檢測和保護(hù)是數(shù)字化文物保護(hù)的研究熱點(diǎn)。基于深度學(xué)習(xí)的破損檢測算法廣泛應(yīng)用于石窟壁畫破損檢測，與人工方法相比，對(duì)數(shù)字圖像的石窟壁畫破損檢測及修復(fù)不僅可以降低修復(fù)難度，簡化修復(fù)過程，降低修復(fù)過程對(duì)壁畫本身的破壞性，而且具有檢測及修復(fù)精度高、處理內(nèi)容豐富、靈活度高等優(yōu)勢(shì)。

近年來，國內(nèi)外目標(biāo)檢測、識(shí)別分類等應(yīng)用在各領(lǐng)域中多已采用深度學(xué)習(xí)的方法。然而將深度學(xué)習(xí)算法結(jié)合石窟壁畫多用于古代壁畫的特征提取、年代識(shí)別、圖像分類、破損檢測、修復(fù)還原等。李向宇在壁畫的年代識(shí)別和破損檢測中選取ResNet50作為基礎(chǔ)框架并提出新的網(wǎng)絡(luò)模型，順利完成了敦煌壁畫的年代識(shí)別，同時(shí)使用語義分割提升檢測精度，完成破損檢測。[1]崔紅艷提出了一種基于Alex Net特征融合的古壁畫分類方法，與傳統(tǒng)模型和其他的卷積神經(jīng)網(wǎng)絡(luò)相比,算法在分類準(zhǔn)確率、泛化能力和穩(wěn)定性上都有很大提升。[2]陳浩月構(gòu)造新的激活函數(shù)應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)中,并在中國繪畫數(shù)據(jù)集與敦煌壁畫數(shù)據(jù)上分別進(jìn)行實(shí)驗(yàn)，在分類效果上達(dá)到了理想的分類效果。[3]曹建芳等人提出了一種融合遷移學(xué)習(xí)的Inception-v3模型對(duì)古代壁畫朝代進(jìn)行識(shí)別與分類,[4]在提升識(shí)別準(zhǔn)確率的同時(shí)，增強(qiáng)算法的泛化能力，且沒有出現(xiàn)過擬合現(xiàn)象，高效的識(shí)別了壁畫的所屬朝代。陳永等人提出了一種多尺度特征和注意力融合的生成對(duì)抗壁畫修復(fù)深度學(xué)習(xí)模型，在順利識(shí)別破損壁畫的基礎(chǔ)上，通過結(jié)合不同尺度的信息完成壁畫的修復(fù)。[5]

AI深度學(xué)習(xí)算法已經(jīng)成為圖像分析領(lǐng)域的主流方法，在智能化的數(shù)據(jù)時(shí)代下，合理、智能、高效地應(yīng)用數(shù)字化技術(shù)、大數(shù)據(jù)技術(shù)、人工智能技術(shù)對(duì)石窟壁畫文物保護(hù)有著重要的意義。

一、算法分析

（一）深度學(xué)習(xí)算法

深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)，作為機(jī)器學(xué)習(xí)的一個(gè)獨(dú)立分支，是指利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)或者卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)機(jī)器學(xué)習(xí)的一種方法模型。深度學(xué)習(xí)算法需要大量的數(shù)據(jù)支撐和強(qiáng)大的算力支持，通過挖掘、提取不同層級(jí)的特征來模仿人腦的運(yùn)行機(jī)制，達(dá)到深層次提取多特征的目的。深度學(xué)習(xí)可以比擬成一個(gè)智能黑箱，具有自動(dòng)提取特征和網(wǎng)絡(luò)結(jié)構(gòu)通用的特點(diǎn)，主要分為數(shù)據(jù)預(yù)處理、訓(xùn)練、測試及部署三個(gè)過程；其中數(shù)據(jù)預(yù)處理包括分類、分割和檢測。基于深度學(xué)習(xí)的石窟壁畫破損檢測主要通過自動(dòng)識(shí)別壁畫中的破損區(qū)域并進(jìn)行標(biāo)記，然后通過分類完成破損類型的鑒別，其中破損類型主要有裂縫破損、脫落破損兩大類。

（二）YOLOv5算法分析

人工智能領(lǐng)域中，當(dāng)下的目標(biāo)檢測多使用YOLO系列完成，其中YOLOv5是一種單階段目標(biāo)檢測算法，其具有多種網(wǎng)絡(luò)結(jié)構(gòu)模型，使用起來更加靈活，相較于YOLOv4而言訓(xùn)練精度、檢測速度都得到了極大的提升。如圖1所示，YOLOv5具有四個(gè)通用模塊，包括輸入端、基準(zhǔn)網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)和Head輸出層，在各個(gè)模塊中，該網(wǎng)絡(luò)相較于先前的網(wǎng)絡(luò)模型都做了諸多的改進(jìn)。首先，輸入端通過一個(gè)圖像預(yù)處理操作，將輸入的圖像自調(diào)節(jié)的縮放到網(wǎng)絡(luò)所需大小并進(jìn)行歸一化處理；然后通過基準(zhǔn)網(wǎng)絡(luò)模塊來提取一些通用的特征，在輔以Neck網(wǎng)絡(luò)進(jìn)一步完善圖像特征的多樣性和魯棒性；最后采用GIOU_Loss函數(shù)做Bounding box的損失函數(shù)來進(jìn)一步提升檢測精度，通過Head輸出端完成目標(biāo)檢測結(jié)果的輸出。

圖1 YOLOv5算法流程

二、石窟壁畫數(shù)據(jù)集的采集與制作

焦山寺位于大同城西約30km的高山鎮(zhèn)北，十里河北岸的山坡上。該建筑呈階梯式，是一座“窟”“寺”結(jié)合的寺院，內(nèi)有焦山寺石窟。但從寺內(nèi)現(xiàn)存的石窟及其風(fēng)格看，與云岡石窟晚期雕刻相似。現(xiàn)存寺院的主要建筑即建于嘉靖時(shí)期，其頂部的磚塔亦為此間所置。大同市焦山寺三、四層開有石窟，窟內(nèi)擁有壁畫、塑泥。目前，焦山寺石窟面臨著裂縫、風(fēng)化、局部脫落等病害。[6]本文針對(duì)石窟壁畫出現(xiàn)的脫落、破損、裂縫等病害，進(jìn)行石窟壁畫文物保護(hù)研究。

基于深度學(xué)習(xí)的石窟壁畫破損檢測在檢測模型的訓(xùn)練前期需要大量的壁畫數(shù)據(jù)集，并且數(shù)據(jù)集制作的精準(zhǔn)性影響后期模型的訓(xùn)練以及破損檢測的效果。

（一）數(shù)據(jù)集的采集

石窟壁畫具有不可再生性、獨(dú)特性和唯一性，這決定了其保護(hù)與修復(fù)前對(duì)破損探查分析技術(shù)必須是精確無誤的；壁畫領(lǐng)域的檢測與修復(fù)有其特定的含義，必須綜合考慮多種因素，特別是歷史因素與壁畫自身的特點(diǎn)與風(fēng)格。本研究對(duì)焦山寺石窟的壁畫進(jìn)行收集和整理，采用高清相機(jī)和圖像掃描儀進(jìn)行無接觸采集。使用高清相機(jī)采集的焦山寺壁畫，通過壁畫的采集發(fā)現(xiàn)焦山寺的壁畫藝術(shù)文化水平較高、壁畫細(xì)致精美，能夠達(dá)到項(xiàng)目所需的壁畫需求標(biāo)準(zhǔn)。

石窟壁畫的破損類型參差不齊，在實(shí)際采集過程中，需要考慮對(duì)壁畫的無接觸采集，通過非接觸式開展壁畫采集，最大程度的避免對(duì)壁畫造成破損。通過綜合運(yùn)用多種采集技術(shù)與掃描設(shè)備，有效開展壁畫的破損定位與檢測，并為最終的檢測和修復(fù)提供科學(xué)依據(jù)。

（二）數(shù)據(jù)集的制作

由于石窟壁畫的歷史特殊性、罕見性和差異性，因此在壁畫數(shù)量匱乏、破損程度不同的情況下，通過拼接、旋轉(zhuǎn)、裁剪等方法來擴(kuò)充數(shù)據(jù)集就顯得非常關(guān)鍵。石窟壁畫數(shù)據(jù)集的采集主要通過現(xiàn)場實(shí)地采集來完成，使用高清相機(jī)和立體圖像掃描儀獲得有殘缺或者破損的壁畫。本次實(shí)驗(yàn)采集的原始高清壁畫有200張，雖然YOLOv5具有自適應(yīng)照片縮放的功能，但是為保證破損檢測模型訓(xùn)練的效果，通過裁剪、補(bǔ)光等手段使得照片大小全部為512×512×3，且補(bǔ)光角度與壁畫亮度最佳。通過旋轉(zhuǎn)、篩選以后具有破損且可用于制作數(shù)據(jù)集的壁畫照片總共有900張，其中根據(jù)實(shí)驗(yàn)需求，分為訓(xùn)練集720張、驗(yàn)證集180張。最后，預(yù)留15張未經(jīng)處理且與訓(xùn)練集和驗(yàn)證集無交集的原始破損壁畫照片，用于測試破損檢測模型的可靠程度和訓(xùn)練的精準(zhǔn)性。

針對(duì)900張破損壁畫的數(shù)據(jù)集，使用LabelImg來完成數(shù)據(jù)集的制作、分類并標(biāo)記相應(yīng)的標(biāo)簽；裁剪以后的部分破損壁畫如圖2所示。在使用LabelImg標(biāo)記數(shù)據(jù)集的過程中，每標(biāo)記一個(gè)矩形破損區(qū)域就會(huì)在相應(yīng)的文本文件中自動(dòng)保存4個(gè)相對(duì)數(shù)值，分別代表該矩形區(qū)域的4個(gè)拐點(diǎn)坐標(biāo)，如果在同一石窟壁畫中標(biāo)記多個(gè)破損區(qū)域或者破損類型，則會(huì)在文本文件中出現(xiàn)該標(biāo)記區(qū)域的第二組坐標(biāo)，依此類推；在標(biāo)記的過程中，要盡量做到標(biāo)記無誤、分類準(zhǔn)確，爭取在每個(gè)標(biāo)記的矩形區(qū)域中沒有重復(fù)部分。最后，值得注意的是，制作的數(shù)據(jù)集和標(biāo)簽需分置在不同的文件夾和對(duì)應(yīng)路徑中，同樣也需要一一相對(duì)應(yīng)的命名。

圖2 數(shù)據(jù)集的采集與制作

完成制作的數(shù)據(jù)集可以應(yīng)用于樣本的訓(xùn)練與測試，通過樣本測試可以檢測調(diào)研中所采集的壁畫圖片的精準(zhǔn)性與實(shí)用性，數(shù)據(jù)標(biāo)簽的制作也影響破損檢測的準(zhǔn)確性，數(shù)據(jù)集標(biāo)簽的制作越精準(zhǔn)，所產(chǎn)生的測試效果也愈加的滿意，在檢測訓(xùn)練模型中所給出的準(zhǔn)確度也就越高，破損檢測的準(zhǔn)確性受標(biāo)簽制作和訓(xùn)練過程的影響。

三、石窟壁畫破損檢測算法

在基于深度學(xué)習(xí)的石窟壁畫破損檢測過程中，深度學(xué)習(xí)的過程可以看作是所給壁畫圖像穿越黑箱的過程，在這個(gè)過程中，圖像需要經(jīng)歷多次的特征提取和人工神經(jīng)網(wǎng)絡(luò)的自我學(xué)習(xí)，訓(xùn)練完成以后在輸出文件中會(huì)得到破損檢測模型的各項(xiàng)權(quán)重參數(shù)，其中包括最佳訓(xùn)練權(quán)重、末次訓(xùn)練權(quán)重、訓(xùn)練效果圖以及訓(xùn)練過程中的各項(xiàng)參數(shù)收斂曲線。石窟壁畫破損檢測訓(xùn)練模型的精準(zhǔn)性和可靠性可以通過訓(xùn)練結(jié)果和輸出參數(shù)反映。

（一）破損檢測流程

在破損檢測訓(xùn)練前期，根據(jù)石窟壁畫的破損檢測實(shí)際應(yīng)用性和現(xiàn)實(shí)需求性，根據(jù)檢測需求選擇YOLOv5-x訓(xùn)練網(wǎng)絡(luò)，并在參數(shù)配置.yaml文件夾中明確破損檢測分類和標(biāo)簽名，其中破損檢測分類分為裂縫破損（Crack damage）和脫落破損（Fall off damage）。在石窟壁畫破損模型訓(xùn)練過程中，數(shù)據(jù)集自身制作的準(zhǔn)確性、訓(xùn)練集和驗(yàn)證集的合理分配、訓(xùn)練的次數(shù)和訓(xùn)練網(wǎng)絡(luò)中各項(xiàng)參數(shù)的調(diào)整都會(huì)影響整體的訓(xùn)練結(jié)果和訓(xùn)練模型。因此，在本次破損檢測實(shí)驗(yàn)中設(shè)定合理的參數(shù)至關(guān)重要。然而，在檢測模型可靠性的過程中，同樣需要設(shè)定一定的參數(shù)，其中置信度（Conf）這一參數(shù)表示訓(xùn)練模型在測試的過程中檢測結(jié)果是否輸出的臨界參數(shù)值，該數(shù)值的大小在模型訓(xùn)練可靠性的基礎(chǔ)上直接影響輸出結(jié)果的準(zhǔn)確性。具體的石窟壁畫破損檢測流程如圖3所示。

圖3 破損檢測流程圖

（二）實(shí)驗(yàn)設(shè)計(jì)與分析

本次實(shí)驗(yàn)在Windows 10專業(yè)版64位以及Core i9-10900k@3.7GHz，NVidia GeForce RTX 3080硬件下完成，通過python 3.8.5進(jìn)行測試。通過YOLOv5-x網(wǎng)絡(luò)在對(duì)900張破損的石窟壁畫數(shù)據(jù)集進(jìn)行訓(xùn)練以后得到的石窟壁畫破損檢測模型，在本次實(shí)驗(yàn)中，參數(shù)Epoch設(shè)置為500，Batch size設(shè)置為16。訓(xùn)練過程中損失函數(shù)曲線如圖4所示。

圖4 損失函數(shù)曲線

模型訓(xùn)練精度P與置信度Conf之間的關(guān)系如圖5所示。在圖5展示的基于深度學(xué)習(xí)的石窟壁畫破損檢測模型中，訓(xùn)練精度曲線隨著置信度的增加而增加。在模型訓(xùn)練過程中的第一階段，模型精度曲線在低置信度區(qū)間（0.0-0.1）內(nèi)經(jīng)歷了急速陡升階段，置信度相對(duì)較低，訓(xùn)練模型不可靠；在中期第二階段（0.1-0.9）中，模型精度曲線相對(duì)穩(wěn)定，此時(shí)的訓(xùn)練模型效果最佳，置信度的取值取決于實(shí)際的應(yīng)用需求；而在高置信度區(qū)間（0.9-1.0）內(nèi)，訓(xùn)練模型精度達(dá)到最高，但是在該區(qū)間內(nèi)，理論依據(jù)可以達(dá)到極佳的效果，訓(xùn)練效果受到模型訓(xùn)練次數(shù)和數(shù)據(jù)集的影響，模型在迭代500次后仍然會(huì)存在小范圍的波動(dòng)，但是基本穩(wěn)定在0.6-0.7的范圍內(nèi)。由此可以看出，相對(duì)合理的置信度取值是判斷一個(gè)模型可靠性的重要因素。

圖5 模型訓(xùn)練精度曲線

訓(xùn)練過程檢測精度曲線如圖6所示。在訓(xùn)練過程中，使用不同的精度指標(biāo)對(duì)模型的可靠性進(jìn)行檢測，其中，mAP@0.5是當(dāng)預(yù)測框與真實(shí)框的交并比IOU為0.5時(shí)計(jì)算每一個(gè)被檢測類別的AP值，然后根據(jù)所有類別的精度求平均，即所獲得的mAP值；mAP@0.5：0.95是指 IOU 閾值為 0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95時(shí)的 mAP，再此過程中IOU的數(shù)值越高，即設(shè)定的閾值也越高，所獲得的精度值也就越低。

圖6 訓(xùn)練過程檢測精度曲線

（三）實(shí)驗(yàn)結(jié)果

在本次實(shí)驗(yàn)中，通過YOLOv5-x訓(xùn)練好的實(shí)驗(yàn)?zāi)Ｐ歪槍?duì)破損壁畫進(jìn)行多次的檢測實(shí)驗(yàn)，圖6中的檢測時(shí)間依次為：0.028s、0.019s、0.023s、0.027s、0.033s、0.025s、0.017s、0.020s、0.018s、0.018s、0.022s、0.019s。使用小面積局部破損壁畫訓(xùn)練模型并在大面積全幅壁畫中驗(yàn)證，對(duì)石窟壁畫破損檢測的準(zhǔn)確度高達(dá)93.6%，實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 模型的檢測效果圖

針對(duì)檢測結(jié)果中存在的極少數(shù)檢測誤差和識(shí)別偏差，分析其主要原因是破損壁畫的訓(xùn)練數(shù)據(jù)集相對(duì)較少、部分參數(shù)調(diào)整仍然未達(dá)到最佳數(shù)值，在后期的實(shí)驗(yàn)和測試中將加以優(yōu)化。

結(jié)語

本文針對(duì)石窟壁畫破損檢測的數(shù)字化文物保護(hù)技術(shù)進(jìn)行了研究，以山西省大同市焦山寺石窟壁畫為例，對(duì)石窟壁畫主要存在的裂縫和脫落病害，提出了基于深度學(xué)習(xí)的石窟壁畫破損檢測方法，檢測效果較好。與人工檢測方法相比，具有智能、高效、生態(tài)保護(hù)的優(yōu)勢(shì)，為石窟壁畫文物保護(hù)提供了數(shù)字化、智能化的研究方法。本方法可擴(kuò)展石窟壁畫文物的風(fēng)化、污染等其他病害檢測。后期將繼續(xù)研究石窟壁畫破損程度與破損位置的檢測，為文物保護(hù)與修復(fù)提供“精細(xì)化、精確化、精準(zhǔn)化”的智能檢測方法。