基于機器學習的石窟頂板裂隙熱紅外識別

關鍵詞：石窟寺；巖體裂隙識別；深度學習；UNet網絡；裂隙分組；聚類分析

石窟寺生動地書寫著中國璀璨的歷史文化，一直是中國文化遺產保護關注的重點。然而，在成巖環境、區域地質活動、溫濕度、可溶鹽、水分運移等多因素耦合作用下，石窟巖體形成和發育了多種類型的宏細觀裂隙[1?2]，這些裂隙對石窟巖體的宏觀力學性能起著關鍵控制作用[3]。石窟頂板作為石窟結構中最易失穩的部位，發育的裂隙相互交切[4]，極易引發頂板巖體開裂、掉塊、坍塌[5]，直接影響石窟的穩定性。因此，如何獲取裂隙的發育與分布狀態，成為石窟寺保護的一項基礎工作。

石窟作為重要文物，對其巖體結構的探測應避免采用接觸損傷的方法。目前，巖體結構探測中的非接觸式方法，如數字攝影[6]、三維激光掃描[7?9]和紅外熱成像[10]等，相較傳統方法在信息獲取的全面性、數字化與客觀性方面優勢明顯，已在巖體結構探測領域得到廣泛應用。特別是熱紅外技術，可以無損獲取巖體表面的熱圖像和溫度值，并根據溫度差異分析巖體結構特征，在巖爆現象的監測預警[11]、監測風險巖石塊體的穩定性演化[12]、估算巖體結構冷卻速率指數[13]等方面有重要應用。此外，紅外和可見光圖像具備可融合特性[14]，將巖體結構溫度信息和巖體表面可見光圖像信息結合，更全面地突出源圖像信息[15?16]。然而，在實際應用中，熱紅外技術仍面臨一些挑戰，如巖體結構的熱紅外探測通常需要依賴人工主觀識別裂隙[17]，但這種方式對于復雜裂隙的識別影響較大。如何在熱紅外信息中提高復雜巖體結構的識別精度，尚且需要開展進一步的研究工作。隨著大數據和人工智能技術的快速發展，多種基于機器學習技術的智能算法正逐漸被應用到各類復雜裂隙的解析與識別中。如混凝土表面裂隙識別[18]，隧道巖體裂隙裂隙識別[19]，隧道掌子面的裂隙提取[20]，巖坡坡面裂隙網絡識別[21]，煤礦巷道掘進迎頭裂隙檢測[22]等，運用機器學習模型都達到了較為理想的裂隙識別效果，可見機器學習在處理復雜巖體結構信息時具有一定優勢。雖然，機器學習方法在裂隙識別方面的研究與應用已經取得了一定的成果，但結合熱紅外技術實現巖體裂隙智能識別的研究相對較少。在石窟巖體中，如何結合熱紅外技術和機器學習的優點，高效完成頂板巖體裂隙識別、提取及分布狀態分析，正是本文希望解決的問題。

本文致力于融合機器學習方法和熱紅外探測技術，以安岳圓覺洞洞窟頂板巖體的熱紅外圖像數據集為基礎，通過對原始UNet網絡模型的改進，提高巖體表面復雜裂隙網絡的識別精度和效率。同時，結合Kmeans聚類算法和GMM算法，從巖體裂隙網絡分割提取出每條裂隙，并進行結構面產狀分組。該方法實現了石窟頂板巖體復雜裂隙網絡的識別，并體現了非接觸、快速、精確的特點，可為石窟寺巖體穩定性實時分析和加固方案制定提供數據支撐。

1 研究區概況

1.1 研究區背景

安岳圓覺洞盛于唐宋2代，位于資陽安岳縣。圓覺洞處于四川盆地東部的云居山上，地質構造以平緩褶皺為主，地貌類型以丘陵為主，巖層產狀接近于水平。區內巖性主要為侏羅系上統遂寧組（J3sn）厚層-巨厚層、褐紅色-灰黃色粉細砂巖，以絹云母與鈣質的膠結類型為主，形成的水平或交錯層理極為發育[23]。安岳縣屬中部亞熱帶季風性濕潤氣候，常年氣候溫和，四季分明，雨熱同季，不受寒潮和霜凍的影響。

安岳圓覺洞砂巖的水平沉積使得石窟頂板層理面較為明顯，受人類活動和自然營力的長期作用，頂板裂隙發育，導致病害問題突出，巖體風化加速，對頂板和側壁的穩定性均產生顯著的影響[24]。

1.2 石窟頂板裂隙發育特征

在安岳圓覺洞頂板巖體中發育有較多的中、小尺度的裂隙，并呈現明顯的空間差異性分布特征。如圖1所示，將頂板劃分為北、中、南3個區域。石窟頂板北側巖體結構極為發育，以卸荷裂隙、風化裂隙與層理交互切割為主，致使洞窟頂板局部失穩，甚至造成窟頂臺階狀冒落破壞；頂板中部主要為淺表性風化裂隙，裂隙發育較少；頂板南側以風化裂隙為主，并受層理與卸荷裂隙影響而形成局部掉塊。石窟頂板在風化作用和自重作用下形成復雜網狀裂隙，裂隙數量沿洞底向洞口呈增長趨勢，其中風化裂隙發育深度范圍為0～9.2cm，主要集中于0～2.3cm。

2 熱紅外探測技術

為避免探測過程中對頂板巖體的接觸和損傷，本文使用了熱紅外無損探測技術，以非接觸方式獲取頂板裂隙網絡的熱紅外圖像，并根據熱紅外圖像實現石窟寺頂板巖體復雜裂隙網絡的提取。如圖2所示，通過紅外熱成像儀捕捉物體表面的紅外輻射，使物體表面的溫度被遠程測量出來，而巖體裂隙如同均質材料中的缺陷一樣，會在表面均勻加熱的情況下，產生與巖體裂隙相關的溫度差異。對這種溫度差異進行分析，即可實現巖體結構的熱紅外無損探測[25]。

本文使用了美國FlukeTi480pro紅外熱像儀，該紅外熱像儀具有307200像素的紅外輻射探測器和可見光相機，拍攝出的圖片大小為1280×958，拍攝完成后可調整熱紅外圖像與可見光圖像的融合度，使得巖體表面較小的細節清晰可見，其主要特性如表1所示。試驗過程中，采用的鹵素燈功率約2000w，加熱距離約為1m，加熱時間為15min，并使用分區測試的方式逐步獲得整個頂板的熱紅外圖像。本文利用熱紅外技術的低光熱靈敏特性，在幽暗的石窟內獲取頂板裂隙的熱紅外圖像，使用熱紅外成像儀自帶軟件的IR-Fusion技術，將熱紅外照片與可見光照片進行融合，使巖體表面的結構信息相比單一圖像更加突出（如圖3所示）。

3 機器學習模型

3.1 改進UNet網絡模型

熱紅外技術對光照條件較差的石窟頂板有更好的效果，熱紅外圖像結合機器學習方法的卷積神經網絡可以實現對裂隙的識別。在實現圖像語義分割任務的神經網絡中，UNet網絡模型具備特征提取-分類功能和跳躍連接結構[26]，相比傳統卷積神經網絡具有較少的參數量和較好的特征提取能力。然而，針對不同的數據集和分割任務，UNet網絡模型的實際性能可能會產生一些差異，模型潛力并未完全激發。

因此，本研究致力于改進UNet網絡模型，使其實現精準識別頂板紅外圖片中的裂隙網絡，模型的整體框架如圖4所示。首先，應用UNet的上采樣及下采樣主體結構，在下采樣的基干網絡上采用了ResNet34基干網絡結構提取特征，有效降低模型的參數量；其次，在UNet下采樣的底部添加了堆疊式的空洞卷積，增加了模型的局部感受野；最后，在每層下采樣特征輸出與上采樣輸入的跳躍連接中引入了注意力模塊，使得模型每層的利用性能達到最大。

3.1.1 基干網絡的替換

石窟頂板普遍存在的小尺度裂隙，對裂隙識別分割的實時性和精準度提出了較高要求。因此，在對石窟頂板裂隙網絡數據集進行模型訓練時，需要對UNet網絡下采樣的特征提取能力進行增強，使模型從有限的數據集中提取更多的裂隙網絡特征信息。同時，參數量越小的模型所需計算資源越少，過擬合的風險越低，模型識別速度越快。如圖5所示，本文對UNet網絡下采樣的基干網絡部分進行了替換，引入具有殘差結構的ResNet34基干網絡[27]。該基干網絡使用了跳躍連接的結構，使得模型前后的梯度可以一直存在，模型擁有一部分的恒等變換能力，在加強特征提取能力的同時降低了模型參數量。具體而言，該基干網絡由1層7×7卷積層和4層殘差結構組成，殘差結構先經過一個最大池化層（maxpool），提取的特征譜分辨率逐層降低，第五層之后舍棄了后面平均池化層（avgpool）及密集連接層，每層的輸出再通過跳躍連接與解碼器相應的層數相接，既能保留UNet網絡對于多尺度特征的保留，又能利用ResNet34的深度學習能力，提高模型的準確率。

3.1.2 空洞卷積的加入

石窟頂板裂隙網絡結構復雜，待測裂隙網絡在圖中像素占比較少，為了進一步提升數據集的特征提取效率，提高全局特征的感受能力，本研究使用ResNet34基干網絡提取特征后，進一步引入了堆疊式空洞卷積算法（如圖6）。空洞卷積是在卷積核元素中用空洞（零元素）占位來擴大卷積核的方法，兩相鄰核元素被占位的長度n稱為空洞率（dilationrate，DR）。在常規的下采樣過程中，圖像樣本的分辨率會依次降低，對識別精度帶來影響。通過控制空洞率a，可以有效地增加卷積核感受野范圍，捕獲更多不同尺度的特征信息。本文在對特征提取的最深層圖像樣本進行卷積運算時，分別引入了空洞率為1，2，4，8的4種卷積核，通過級聯模式堆疊4次空洞卷積運算，使得下采樣后的結果可以包含更多維度的特征信息。尤其在探測石窟頂板巖體裂隙網絡時，更多維度的特征采集可以弱化尺寸效應，使得較小尺寸裂隙被模型識別，顯著地提高分割結果的準確率。

3.1.3 注意力機制的引入

引入注意力機制可以提升圖像中語義分割部分的關注度[28]，減少較小尺度裂隙的誤差和漏檢，提高石窟頂板熱紅外圖像裂隙分割的精度。UNet網絡模型每層的跳躍連接是前后直接加和，添加注意力機制模塊可以提高網絡模型對每層裂隙特征的關注度，提高對圖像的裂隙邊緣細節的特征提取能力[29]。

本研究針對圖像語義分割模型的特點，在UNet網絡模型的基礎上，對3處跳躍連接部分加入了GC自注意力模塊。GC自注意力模塊如圖7所示，該模塊由Non-Localneuralnetworks（NL）模塊簡化而來。作為自注意力機制在圖像語義分割上的實際應用，NL模塊用于捕獲時間（一維時序信號）、空間（圖片）和時空（視頻序列）的長距離依賴關系[30]，但是在特征圖較大時，NL模塊中存在的矩陣乘法在計算時占用大量內存，為簡化NL模塊，只保留更為關鍵的Wk和Wv參數矩陣，并將原先2個矩陣相乘變成了矩陣和列向量的相乘，降低了參與矩陣乘法的像素量。

3.2 數據集及標簽

本文所使用的數據集主要由石窟頂板北側和中測區域的熱紅外圖像構成，如圖8所示。在主動加熱過程中，使用紅外熱像儀進行等時間間隔拍攝，然后將獲取的石窟頂板熱紅外圖片進行初步篩選，去除由各種因素導致的內容無法辨識的圖片。以非裂隙部分為背景，裂隙網絡部分為前景，通過與可見光對比及人工驗證的方法得到石窟頂板標簽圖。

在數據集制作過程中，將頂板劃分為11個區域，分區拍攝熱紅外照片。為了利于模型訓練并增加圖像訓練集的樣本數量，將每張圖片按照640×640大小進行分割，得到有效熱紅外圖片數量為580張，經過旋轉和反轉處理共得到包含4640張圖片的數據集。

4 結果與分析

4.1 試驗參數設置

考慮試驗平臺性能，本文在試驗訓練中設置模型的學習率為1×10-4，設置迭代次數為300，批處理大小為4，采用具有動量更新的Adam（adaptivemomentestimation）優化器對網絡模型進行優化。當模型輸出與標簽之間的損失值在連續的3個迭代回合中小于2×10-7，則后面訓練的學習率為之前的一半，直到更新4次后，停止訓練并保存損失值最小的模型權重。本文所有的試驗依托Pytorch框架進行，所用的計算設備具體參數見表2。

損失函數是度量模型預測的分割結果與真實分割圖之間的差異，通過定義并最小化損失函數，可以引導模型學習到更準確、更符合任務要求的分割結果。由式（1）所示，文中模型訓練采用的損失函數HybridLoss由式（2）（3）組成。其中，BceLoss又叫二分類交叉熵損失，它是用來做二分類的損失函數，取值范圍在0～100之間。DiceLoss是一種評估2個樣本相似性的度量函數[31]，取值范圍在0～1之間，取值越小表示越相似。一般來說，BceLoss和DiceLoss結合可以緩解分類兩邊數據不平衡的問題，提升網絡的收斂能力[32?33]，削弱了背景對分割占比的影響。

式中：輸入圖像是由m×m矩陣組成，y?ab指模型預測圖像的第a行第b列像素點是裂隙的概率，y?ab是對應的標簽矩陣第a行第b列的像素點的值，若該像素點代表裂隙則值取1，反之值取0；|X∩Y|表示X和Y集合的交集，|X|和|Y|表示其元素個數，對于分割任務而言，|X|和|Y|表示分割的標簽和模型預測輸出。

4.2 模型訓練結果

為檢驗改進UNet網絡模型在石窟頂板熱紅外圖像數據集的收斂能力，將該模型與原始的UNet網絡模型、D-LinkNet34網絡模型[34]、使用Vgg16基干網絡的UNet網絡模型（以下簡稱Vgg16-UNet）等現有常用的網絡模型進行對比，對各模型在石窟頂板熱紅外數據集上的訓練過程進行分析。

模型訓練損失函數值曲線如圖9所示。隨著模型訓練輪次的增加，改進UNet網絡模型的損失函數值曲線呈現出平穩下降的趨勢，最終達到了0.4353。而UNet網絡結構相對簡單，在第59輪迭代更新中即達到了停止條件，損失函數值僅降至0.5932，模型捕捉到的裂隙特征可能較少。對比之下，D-LinkNet34網絡模型在71～72輪迭代更新中出現較大的波動，最終損失函數值降至0.4875。另外，Vgg16-UNet網絡模型在43輪次左右經歷了幅度相對較大的震蕩，但隨后開始快速收斂，可能是由于震蕩后學習率的改變促使其迅速學習到圖像特征，最終損失值僅下降到0.4583?？傮w而言，雖然各模型的損失函數曲線均為下降趨勢，但UNet網絡模型、D-LinkNet34網絡模型和Vgg16-UNet模型在訓練集的擬合程度與改進UNet網絡模型有一定差距，最終損失函數值與改進UNet網絡模型分別相差36.27%、11.99%和5.02%，這體現出了改進UNet網絡模型在熱紅外圖像上具有較好的實用性能。

4.3 模型性能評價

4.3.1 評價指標

為驗證模型的收斂性與準確性，本文采用Dice相似系數、準確度（Accuracy）、查準率（Precision）、查全率（Recall）和模型推理速度等指標對模型進行評價。若n為圖像總像素點數，i代表裂隙，j代表背景，Aii指預測裂隙正確的像素個數，Ajj指預測背景正確的像素個數，Aij指模型將背景錯誤地預測為裂隙（將j預測為i）的像素個數，Aji指模型將裂隙錯誤地預測為背景（將i預測為j）的像素個數。各指標的計算公式如下。

1）Dice相似系數用于計算裂隙網絡的分割結果和真實標簽之間的相似性，其值越大，分割效果越好，數學表達式為

2）準確度（Accuracy）用于計算模型預測正確的像素點在圖像總像素中的占比，其值越接近100%，分割效果越好，數學表達式為

3）查準率（Precision）衡量了模型在預測圖像的裂隙像素點中預測正確比例，關注模型預測裂隙的精準度，其值越大，分割效果越好，數學表達式為

4）查全率（Recall）用于計算模型在標簽圖像的裂隙像素點中預測正確比例，強調了模型在實際裂隙網絡像素點中的召回能力，與查準率只在分母上有一定差別，其值越大，分割效果越好，數學表達式為

4.3.2 不同網絡模型效果對比分析

為了檢驗本文改進的UNet網絡模型在石窟頂板熱紅外圖像數據集的實際應用效果，引入了一些常用的網絡模型進行對比試驗，各個網絡模型的性能指標情況如表3所示。其中，Vgg16-UNet網絡模型是采用Vgg16基干網絡提取圖像特征，與改進UNet網絡模型相比，模型的Dice系數、Precision和Recall分別降低了3.18%、3.01%和2.66%，這說明ResNet34基干網絡比Vgg16基干網絡的圖片特征提取效果更好，對裂隙邊緣細節和整體性把控能力更好。D-LinkNet34網絡模型沒有自注意力模塊，與改進UNet網絡模型相比，模型的Dice系數、Precision和Recall分別下降了5.04%、4.12%和4.98%，這表明自注意力機制有助于模型更好地關注圖像中的重要區域，從而提高模型分類的準確率和分割性能，并且在衡量分割結果的查準率和查全率方面起到了一定作用，最終使得整體的Dice系數有所提高。將UNet網絡模型改進前后的模型性能進行對比，可以明顯地發現改進模型的各項指標有大幅增長，Dice系數增長率更是達到了22.58%，突顯了這3種方法對UNet網絡改進后的綜合性能的巨大提升。由于裂隙網絡相對于背景占比很小，因此，4種模型的Accurary均在98%以上，但改進UNet網絡模型的準確度最高。除此之外，改進UNet網絡模型推理時間為0.84（幀·s-1），與其他網絡模型相比達到了最快，表現出本方法在識別速度的優越性。

除此之外，隨機選擇一些石窟頂板熱紅外圖像作為測試集，在測試集上進行裂隙分割預測，獲得的裂隙網絡分割對比結果如圖10所示。由圖10可知，改進UNet網絡模型的實際識別效果更接近于標簽，識別的裂隙網絡更加精準和全面，而其他3種網絡對石窟頂板都存在不同程度的誤判和漏判。具體而言，UNet模型對紅色人工結構和煙熏黑斑的誤判都相對比較嚴重，而D-LinkNet34網絡模型在UNet基礎上使用了ResNet34基干網絡和空洞卷積方法，識別裂隙的精準度有所提升，識別過程中排除了背景黑斑的影響，但是對紅色人工結構仍有誤判。Vgg16-UNet網絡模型與D-LinkNet34網絡模型情況類似，二者對裂隙數量漏判相比改進UNet網絡模型增加了10%左右。

在裂隙網絡像素點占比較小的情況下，本文方法沒有受到黑斑和人工結構物等的干擾，在噪點較多的紅外圖像中較為準確地檢測標識出了裂隙網絡的形態與位置。由此可見，改進UNet網絡模型對石窟頂板裂隙識別的綜合性能最優。

4.4 石窟頂板裂隙走向分析

模型識別的裂隙網絡二值圖中每一個像素只有2個值0和1，其中0和1分別代表圖像背景和裂隙。為快速高效地分割出頂板巖體二維裂隙網絡的每條裂隙，并完成裂隙分組，使用了K-means聚類和高斯混合模型（Gaussianmixedmodel，GMM）算法。其中，K-means聚類算法將相似的對象歸到同一個簇中，主要思想是在樣本中隨機選取k個樣本的均值作為簇中心，并計算所有樣本與這簇中心的距離，然后將每個樣本劃入距離最近的簇并更新簇中心，最后一直重復上述過程直至簇中心不移動[35]。而GMM是多個高斯分布函數的線性組合，可以看作K-means聚類算法的一種擴展使用，將簇范圍形狀從圓形擴展到了橢圓。

考慮到層狀頂板裂隙多為陡傾狀，在進行裂隙產狀分組時只需要考慮裂隙走向。為分析裂隙走向，首先將石窟頂板巖體的熱紅外圖像導入訓練好的改進UNet網絡模型中，得到頂板裂隙網絡二值圖，如圖11（a）～（b）所示；其次，建立裂隙網絡像素點平面坐標集合，通過GMM模型算法提取每條裂隙，如圖11（c）所示；然后，使用不同顏色的方框將每條裂隙標記，對每條裂隙包含的像素點進行線性回歸，獲得每條裂隙的方向向量，如圖11（d）所示；最后，通過K-Means聚類算法對所有裂隙的方向向量進行聚類分組，如圖11（e）所示，并最終得到整個石窟頂板裂隙走向的玫瑰花圖，如圖11（f）所示。石窟頂板中部和北部共識別出154條裂隙，經過K-Means算法聚類后的裂隙優勢走向是NW327.19°和NE55.20°，2組走向相差近90°，這在玫瑰花圖上也得到了相似結果。相比之下，劉長青等[24]通過其他方法識別的圓覺洞頂板中部和北部區域裂隙條數為135條，優勢走向近NW330°，體現出本文方法識別裂隙條數更多，對裂隙優勢走向分組更全面。

使用改進UNet網絡模型識別巖體裂隙網絡，可以很好地反映出石窟頂板巖體裂隙情況，對于張開度較大的裂隙，解算精度更佳，并且人工結構物和煙熏黑斑對模型識別幾乎沒有影響。同時注意到，部分閉合裂隙和紅外特征不明顯的區域在識別過程中容易被忽視，應合理設置模型結構和訓練時的超參數，提高對裂隙的識別精度。

5結論

為提高石窟頂板裂隙非接觸識別的精度和效率，本文在熱紅外探測裂隙的基礎上，提出了一種基于改進UNet網絡模型的裂隙網絡識別方法，并與其他模型對比，驗證了方法的優越性，并以安岳圓覺洞為例開展應用，得到了以下主要結論：

1）引入ResNet34基干網絡、空洞卷積方法以及注意力機制，對傳統UNet網絡進行改進，加強了網絡模型的特征提取能力、全局特征的感受能力以及模型結構的利用能力。該網絡模型在石窟頂板熱紅外數據集上訓練時的最終擬合程度相較于UNet網絡模型、D-LinkNet34網絡模型和Vgg16-UNet網絡模型提升了36.27%，11.99%和5.02%，表現了改進UNet網絡模型在熱紅外圖像上的適用性。

2）改進UNet網絡模型在Dice相似系數達到71.63%，準確度達到99.37%，查準率達到64.74%，查全率達到62.51%，模型推理速度達到0.84幀/s，與其他網絡模型相比性能指標達到了最優，且實際分割圖像中受到黑斑和紅色人工結構的干擾較小，凸顯了該方法運算速度快、提取精度高、模型結構利用率高等特點。

3）使用GMM和K-means聚類方法對二值圖進行處理，成功識別了石窟頂板中部和北部的154條裂隙，并分割出了兩組裂隙的優勢走向為NW327.19°和NE55.20°。相較于其他方法，本文使用的方法得到了更為全面的結果。

本文方法為文物巖體結構的熱紅外解譯提供一種新思路，有著良好的應用前景。未來進一步的研究重點是：熱紅外探測精度應不斷提高，使模型獲得更準確的圖源信息；使用更多的數據增強方法，提高模型的泛化能力；結合熱紅外圖像的特性，加強模型結構的研究，進一步實現識別的準確性。