煤巖裂隙圖像識別方法研究

郝天軒， 徐新革， 趙立楨

（1. 河南理工大學(xué) 安全科學(xué)與工程學(xué)院，河南 焦作 454000；2. 河南省瓦斯地質(zhì)與瓦斯治理重點實驗室—省部共建國家重點實驗室培育基地，河南 焦作 454000；3. 煤炭安全生產(chǎn)河南省協(xié)同創(chuàng)新中心，河南 焦作 454000）

0 引言

煤巖內(nèi)部裂隙結(jié)構(gòu)的演化關(guān)系到煤炭資源安全開采和高效利用。煤層裂隙在成因上分為內(nèi)生裂隙（也稱割理）和外生裂隙（也稱節(jié)理），在規(guī)模上分為宏觀裂隙和微觀裂隙[1]。煤層中裂隙分布會導(dǎo)致煤層滲透性各向異性，裂隙發(fā)育特征影響煤層瓦斯?jié)B流優(yōu)勢，并影響瓦斯抽采和煤層氣井的生產(chǎn)效率[2-3]。此外，煤巖裂隙發(fā)育會導(dǎo)致煤巖體自身的承重能力下降，致使煤巖體穩(wěn)定性降低，引發(fā)煤礦安全事故。因此，研究煤巖體中復(fù)雜的裂隙系統(tǒng)對于巷道支護和瓦斯抽采有重要意義。

近年來，隨著數(shù)字圖像處理技術(shù)快速發(fā)展，國內(nèi)外許多學(xué)者在圖像裂紋識別方面進行了大量研究。H. Majidifard等[4]采用深度學(xué)習(xí)預(yù)測瀝青路面破損狀況，通過深度學(xué)習(xí)框架和谷歌街景圖像自動檢測、分類和分割9種類型的路面破損。Ju Huyan等[5]提出了一種路面裂縫深度檢測網(wǎng)絡(luò)架構(gòu)，可檢測具有復(fù)雜道路背景的多種裂縫，并對CrackDN、Faster-RCNN和SSD300這3種算法的性能進行了對比。劉勇等[6]通過分析裂隙形態(tài)特征定義了煤層裂隙判定系數(shù)，并給出了一種基于裂隙形態(tài)特征的識別方法，通過遍歷不同的灰度閾值對煤層二值化圖像進行裂隙識別。孫月龍等[7]采用數(shù)字圖像處理技術(shù)批量處理煤壁裂隙圖像，提取裂隙參數(shù)，得到煤壁上裂隙的傾角；根據(jù)采煤工作面、運輸巷和回風(fēng)巷之間的空間關(guān)系建立幾何模型，以求出裂隙的產(chǎn)狀，為煤層裂隙系統(tǒng)的快速統(tǒng)計提供了一種新方法。覃木廣[8]基于Matlab圖像識別技術(shù)，對王莊礦91-105工作面煤層裂隙進行了統(tǒng)計與分析，并利用數(shù)碼相機拍攝煤層圖像，分析圖像特點，采取不同閾值范圍進行二值化，識別出不同地質(zhì)單元的裂隙參數(shù)，繪制玫瑰花圖確定裂隙的優(yōu)勢方位。謝配紅等[9]以貴州省余慶縣大烏江鎮(zhèn)鄭家屋基崩塌地質(zhì)災(zāi)害點為例，在高位災(zāi)害隱患點調(diào)研的基礎(chǔ)上，運用Matlab圖像識別技術(shù)，對危巖體裂隙分布規(guī)律進行半定性半定量的統(tǒng)計分析。張慶賀等[10]在研究復(fù)雜裂隙巖石變形破壞規(guī)律和裂隙擴展特征時，基于 YOLOv5模型，結(jié)合DIC（Digital Image Correlation，數(shù)字圖像相關(guān)）云圖，提出了一種智能精準識別動態(tài)裂隙的算法。

煤巖圖像中灰度信息居多，裂隙區(qū)域與鄰近背景區(qū)域區(qū)別不顯著，且裂隙類別相對復(fù)雜，大小形態(tài)各異，因此煤巖裂隙識別難度較大。現(xiàn)有的圖像裂隙識別方法未能綜合考慮煤巖圖像裂隙數(shù)量、位置、形態(tài)和類別等特點，難以獲取裂隙有效信息。筆者在前人研究基礎(chǔ)上，通過分析煤巖圖像裂隙特征，對煤巖裂隙圖像進行預(yù)處理，提出了一種基于U-Net網(wǎng)絡(luò)對煤巖圖像裂隙及類別實現(xiàn)像素級智能識別的方法。

1 煤巖裂隙圖像預(yù)處理

采集鶴壁煤電股份有限公司第八煤礦掘進工作面煤層原始圖像，可觀察到圖像中有多種不同的裂隙類型。為排除圖像中無關(guān)信息對煤巖裂隙提取的干擾，選取圖像中含有裂隙的部分作為ROI（Region of Interest，感興趣區(qū)域），舍棄圖像中頂板鋪網(wǎng)、工作設(shè)備及無裂隙部分。

依次掃描煤巖裂隙圖像的每一個像素，計算出圖像的灰度直方圖。因采集的煤巖裂隙原始圖像相對較暗，其直方圖分布集中在灰度級的低端，圖像中裂隙與鄰近區(qū)域的灰度級相近，不易區(qū)分。對此，將煤巖裂隙圖像的直方圖分布通過累積分布函數(shù)轉(zhuǎn)換為近似均勻分布[11]，從而增強圖像對比度，實現(xiàn)圖像均衡化處理。

煤巖圖像中除需要提取的裂隙特征外，其表面也具有一定的紋理特征。煤巖灰度圖像中裂隙特征與紋理特征不易區(qū)分，需通過圖像噪聲處理提高圖像質(zhì)量，改善顯示效果。經(jīng)試驗發(fā)現(xiàn)，高斯雙邊濾波方法對煤巖圖像紋理噪聲的處理效果較好[12]。但高斯雙邊濾波在濾除紋理噪聲的同時，會弱化裂隙邊緣信息，因此需通過圖像銳化處理恢復(fù)或?qū)崿F(xiàn)邊緣信息增強。試驗顯示，采用拉普拉斯算子進行煤巖裂隙的邊緣增強效果最好。數(shù)字圖像函數(shù)的拉普拉斯算子借助各種模板卷積實現(xiàn)，基于二階差分運算得到具有各向同性的雙像素寬的邊緣，一般不會出現(xiàn)偽邊緣[13]，增強了裂隙圖像的邊緣信息，有利于進一步的裂隙識別處理。

煤巖裂隙圖像預(yù)處理主要通過調(diào)用OpenCV庫來實現(xiàn)，預(yù)處理結(jié)果如圖1所示。

圖1 煤巖裂隙圖像預(yù)處理結(jié)果Fig. 1 Coal rock fracture image preprocessing results

2 煤巖裂隙數(shù)據(jù)集建立

井下光線不足，煤體自身顏色偏暗，煤巖體裂隙類別復(fù)雜且形態(tài)各異，準確識別裂隙類別需要一定專業(yè)知識，導(dǎo)致煤巖裂隙識別模型不能很好地通過圖像分析進行裂隙特征區(qū)分，造成識別準確率不高。另外，圖像中裂隙形態(tài)、產(chǎn)狀、紋理特征等不夠完整。基于上述情況，通過實地觀測，記錄采集圖像的裂隙特征并分類，從成因和形態(tài)兩方面入手[14-15]，構(gòu)建煤巖裂隙數(shù)據(jù)集。該數(shù)據(jù)集共包含17種不同形態(tài)和組合關(guān)系的裂隙，經(jīng)合并處理分為7類，每個數(shù)據(jù)都是經(jīng)人工篩選出的具有相關(guān)裂隙種類的圖像，具體見表1。

表1 煤巖裂隙數(shù)據(jù)集Table 1 Data set of coal rock fracture

經(jīng)過圖像篩選和預(yù)處理后，確定300張具有典型特征的圖像。由于采集的圖像樣本有限，而深度學(xué)習(xí)模型訓(xùn)練需要大量樣本[16-18]，所以需對數(shù)據(jù)集進行擴增。常用的數(shù)據(jù)集擴增方法包括旋轉(zhuǎn)、縮放、裁剪、調(diào)整對比度、加入噪聲等[19]。考慮煤巖裂隙圖像的特點，為了有效保留圖像裂隙特征，采用圖像旋轉(zhuǎn)方法進行擴增，如圖2所示。最終確定1 200張圖像構(gòu)成煤巖裂隙數(shù)據(jù)集，將數(shù)據(jù)集按照8∶2隨機劃分為訓(xùn)練集和測試集，即960張圖像構(gòu)成訓(xùn)練集，240張圖像構(gòu)成測試集。

圖2 煤巖裂隙數(shù)據(jù)集擴增Fig. 2 Data set amplification of coal rock fracture

采用Labelme軟件對不規(guī)則形狀的煤巖裂隙區(qū)域進行逐點分類標注，生成1 200張標注圖像。部分分類標注后的可視化訓(xùn)練樣本如圖3所示。

圖3 部分可視化訓(xùn)練樣本Fig. 3 Part of visual training samples

3 煤巖裂隙識別模型設(shè)計

CNN（Convolutional Neural Network，卷積神經(jīng)網(wǎng)絡(luò)）是一種具有局部連接、權(quán)值共享特點的前饋神經(jīng)網(wǎng)絡(luò)[20]，其實質(zhì)是搭建特征提取層和特征映射層，對數(shù)據(jù)進行卷積和池化操作，不斷提取隱藏在數(shù)據(jù)集中的特征信息。CNN主要由輸入層、卷積層、激活函數(shù)層、池化層、全連接層疊加而成。不同的 CNN結(jié)構(gòu)對于不同問題、不同數(shù)據(jù)集具有不同的效果[21]。

為選擇合適的CNN網(wǎng)絡(luò)建立煤巖裂隙識別模型，選用主流的SegNet，DeepLab v3+，PspNet，U-Net模型對建立的煤巖裂隙數(shù)據(jù)集進行分類識別，結(jié)果見表2。可看出U-Net模型對訓(xùn)練集和測試集的識別準確率均最高。考慮U-Net模型結(jié)構(gòu)簡單，對于語義較為簡單的多模態(tài)圖像中高級語義信息和低級特征更加敏感，且對數(shù)量較少的數(shù)據(jù)集進行訓(xùn)練即可達到較好的識別效果[22]，本文選擇以U-Net模型為架構(gòu)建立煤巖裂隙識別模型。

表2 不同模型的煤巖裂隙識別準確率Table 2 Accuracy rate of coal rock fracture identification by different models

煤巖裂隙識別模型包括主干特征提取、加強特征提取、預(yù)測3個部分，如圖4所示，網(wǎng)絡(luò)參數(shù)見表3。

表3 煤巖裂隙識別模型網(wǎng)絡(luò)參數(shù)Table 3 Network parameters of coal rock fracture identification model

圖4 煤巖裂隙識別模型網(wǎng)絡(luò)結(jié)構(gòu)Fig. 4 Network structure of coal rock fracture identification model

1） 主干特征提取部分。大小為512×512的煤巖裂隙圖像經(jīng)輸入層轉(zhuǎn)換為矩陣，輸入主干特征提取部分進行初步特征提取。該部分為卷積層和最大池化層的堆疊，通過卷積層_1（2層卷積）+池化層_1、卷積層_2（2層卷積）+池化層_2、卷積層_3（3層卷積）完成特征提取。

2） 加強特征提取部分。卷積層_3提取的特征圖像經(jīng)上采樣_4進行2倍上采樣，與卷積層_2+池化層_2提取的特征圖像進行拼接。拼接圖像經(jīng)卷積層_5進行2層卷積，之后經(jīng)上采樣_6進行2倍上采樣，與卷積層_1+池化層_1提取的特征圖像進行拼接。拼接圖像經(jīng)卷積層_7進行2層卷積，最終得到與輸入圖像尺寸相同的特征圖像。

3） 預(yù)測部分。選用1×1的卷積層_8進行通道調(diào)整，將特征圖像通道數(shù)調(diào)整為煤巖裂隙標注類別數(shù)，利用Softmax函數(shù)對原始圖像的各像素點進行分類，通過對比分類結(jié)果中每個像素點屬于每個類別的概率與標簽，完成網(wǎng)絡(luò)訓(xùn)練。

由于煤巖裂隙圖像數(shù)據(jù)集分類較多，為保證模型對每一類裂隙識別的準確性，同時考慮U-Net網(wǎng)絡(luò)特征提取的特點，為減小模型訓(xùn)練耗時，采用遷移學(xué)習(xí)方式對數(shù)據(jù)進行遷移訓(xùn)練。

在煤巖裂隙識別模型訓(xùn)練過程中，采用隨機梯度下降法和迭代優(yōu)化策略，衰減率為0.96，學(xué)習(xí)率初始值為0.01，批量大小初始值為2。每次迭代時，采用早停法連續(xù)迭代10次，若識別準確率未增長，則結(jié)束迭代進程，將學(xué)習(xí)率乘以0.1，從而提高模型對圖像中更細微特征的敏感性。批量大小會影響模型訓(xùn)練速度和效果，選擇批量大小為2，4，6，8，10分別進行訓(xùn)練。在不同學(xué)習(xí)率和批量大小條件下重復(fù)訓(xùn)練10次，取識別準確率均值，結(jié)果見表4。根據(jù)訓(xùn)練結(jié)果，最終選用批量大小為6，學(xué)習(xí)率為0.000 1。

表4 煤巖裂隙識別模型訓(xùn)練結(jié)果Table 4 Training results of coal rock fracture identification model

選用精確率、召回率、平均交并比、類別平均像素準確率作為衡量模型性能優(yōu)劣的指標。其中平均交并比和類別平均像素準確率均依賴于混淆矩陣、精確率和召回率。識別模型訓(xùn)練所得的混淆矩陣如圖5所示，序號0—7分別表示背景、內(nèi)生裂隙、張性外生裂隙、剪性外生裂隙、張剪性外生裂隙、壓剪性外生裂隙、劈理、采動裂隙。

圖5 煤巖裂隙識別模型混淆矩陣Fig. 5 Confusion matrix of rock fracture identification model

煤巖裂隙識別模型的評價指標如圖6所示。可看出隨著迭代次數(shù)增加，精確率和召回率逐漸增大，當(dāng)?shù)螖?shù)達到300以上時，精確率和召回率基本穩(wěn)定，精確率均值為87%，召回率均值為92%，平均交并比大于85%且最高達90%，類別平均像素準確率大于80%且最高達90%，表明模型具有較強的邊界擬合能力和較高的識別精度。

圖6 煤巖裂隙識別模型的評價指標Fig. 6 Evaluation indexes of coal rock fracture identification model

4 煤巖裂隙識別及結(jié)果分析

采集井下開采現(xiàn)場的煤巖裂隙圖像（采動裂隙）和實驗室加載實驗裂紋擴展圖像（張性外生裂隙），對煤巖裂隙識別模型進行測試。圖像經(jīng)預(yù)處理后，輸入訓(xùn)練后的煤巖裂隙識別模型，識別結(jié)果如圖7所示（自左至右依次為原圖像、識別圖像、原圖像與識別圖像的疊加圖像）。可看出煤巖裂隙識別模型可有效提取目標特征信息，并將其與背景特征信息區(qū)分；對于單一裂隙，能夠準確確定較寬裂隙的形狀和位置，但對小微裂隙和裂隙邊緣及兩端識別效果欠佳。綜合來看，設(shè)計的煤巖裂隙圖像識別模型具有一定的可行性。

圖7 煤巖裂隙識別結(jié)果Fig. 7 Coal rock fracture identification model

5 結(jié)論

1） 采集的井下煤巖裂隙圖像受一定條件的限制而呈現(xiàn)效果不佳，影響裂隙識別效果。采用直方圖均衡化、高斯雙邊濾波、拉普拉斯算子等，對煤巖裂隙圖像進行預(yù)處理，提高圖像質(zhì)量和后續(xù)裂隙特征提取及識別的準確率。

2） 對預(yù)處理后的煤巖裂隙圖像進行裂隙分類，采用Labelme軟件對圖像進行像素級標注，建立煤巖裂隙數(shù)據(jù)集。

3） 通過實驗，選用U-Net模型建立煤巖裂隙識別模型，采用煤巖裂隙數(shù)據(jù)集訓(xùn)練得出合適的批量大小和學(xué)習(xí)率參數(shù)。實驗結(jié)果表明：當(dāng)?shù)螖?shù)達到300以上時，煤巖裂隙識別模型的識別精確率均值為87%，召回率均值為92%，平均交并比大于85%，類別平均像素準確率大于80%。該模型具有較強的邊界擬合能力和較高的識別精度。

4） 采集井下煤巖采動裂隙和實驗室張性外生裂隙，對煤巖裂隙識別模型進行驗證。結(jié)果表明，該模型可有效提取目標特征信息并與背景特征信息區(qū)分，能夠較準確地定位、識別單一裂隙。

5） 為提高煤巖裂隙識別模型對小微裂隙和裂隙邊緣及兩端的識別準確率，未來將改進煤巖裂隙圖像采集方式，采取更加有效的圖像處理方法來提高圖像質(zhì)量，尤其是增強小微裂隙和裂隙邊緣及兩端的清晰度；增加數(shù)據(jù)樣本數(shù)量，以提高模型識別準確率。