基于塔式池化架構的采掘工作面煤巖圖像識別方法

高 峰，殷 欣，劉泉聲，黃 興，伯 音，張全太，王心語

(1.武漢大學 土木建筑工程學院，湖北 武漢 430072；2.中國科學院武漢巖土力學研究所 巖土力學與工程國家重點實驗室，湖北 武漢 430071)

我國煤炭資源豐富,在未來相當長時期內煤炭仍然是我國的主要能源[1-3]。預計2030年和2050年，煤炭占我國一次能源消費比例仍將保持在50%和40%以上[4-5]。煤礦智能化是實現行業高質量發展的核心技術支撐和必由之路，其中，煤巖界面的智能識別，是實現開采、掘進智能化和無人化的關鍵技術之一。在綜采工作面，煤巖突變是導致井下開采難度增大、效率低下的重要原因[6]，對采煤工作面煤巖分布狀態的準確判定是采煤機參數智能調節的必要前置條件；在巷道掘進工作面，對掘進工作面內的煤巖分界線進行快速且準確的識別和定位，是實現智能化跟頂、跟底掘進工藝的重要基礎。然而，受限于煤礦井下復雜的環境條件，如何在采煤和掘進工作面內實現高精度的煤巖識別，是煤礦行業內遲遲未能得到有效解決的技術難題之一，極大制約了煤礦智能化的進步與發展。

多年來，為解決煤-巖的分類與識別問題，國內外研究人員從不同的專業領域提出了多種解決方案。楊恩等[7]根據煤巖樣本在近紅外波段反射光譜曲線上的差異性表現，在實驗室條件下提出了基于聚類距離改進型模糊C均值聚類(FCM)算法的典型煤巖反射光譜無監督感知方法。張強等[8]采集了采煤機工作條件下截齒的振動加速度信號、振動頻譜圖、齒尖紅外閃溫值和溫度-頻數圖像，從截齒的振動信號和紅外熱像信號的角度對煤巖識別問題進行了研究。田立勇等[9]以采煤機搖臂銷軸為研究對象，通過對銷軸應變數據以數據融合的方法進行處理，降低了識別誤差。李力等[10-11]利用煤與巖的聲阻抗差異以及相控陣技術,提出了基于超聲相控陣的煤巖界面識別方法。總體來講，受煤礦井下開采過程中復雜環境因素(如粉塵、振動、淋水等)和傳感器性能制約，上述解決方案的技術成熟度較之現場部署應用的需求仍有不小的進步空間。

基于圖像的煤巖識別技術是解決煤巖識別問題的另一個重要研究方向，國內外眾多學者在該方向取得了許多有意義的研究進展。伍云霞等[12]在圖像特征提取中引入了局部約束的字典優化模型，提高了支持向量機算法對煤巖圖像分類的識別率。黃蕾等[13]提出了一種基于變差函數和局部方差圖的煤巖紋理特征提取算法，實現了對局部二值模式丟失信息的再利用。近年來，以深度神經網絡為代表的人工智能技術在世界范圍內取得了快速的發展，包括圖像識別在內的二維數據特征提取、回歸和分類問題在深度學習思想的有力推動下實現了巨大的進步。王星等[14]基于對抗生成網絡，提出了Var-ConSinGAN模型，用以在數據庫容量有限的情況下擴充煤-巖圖像數據集。司壘等[15]將用于醫學圖像分割的U-Net模型引入煤巖識別領域，并分別在實驗室和井下綜采工作面現場對算法性能進行了測試。然而，目前基于深度學習技術的煤巖圖像識別研究尚處于發展階段，在對條帶狀分布的小范圍夾矸檢測、煤-巖模糊邊緣輪廓(如炭化泥巖與煤層間的模糊分界線)識別、不同環境條件下的算法適用性等實際場景應用中所面臨問題的應對上仍存在眾多挑戰。

當前應用于煤巖識別的算法模型大多基于全卷積網絡(FCN)算法框架，并利用深度卷積神經網絡強化算法對于動態對象的理解能力[16]，但考慮到實際采煤和掘進工作面內的復雜環境，現有技術方案往往存在誤判的可能，如將淋水、暗光、存在閃光燈反光等綜合性不利條件下的沉積巖層錯誤的識別為煤層等。為進一步解決復雜場景下基于圖像的煤巖識別問題，筆者將以塔式池化技術為核心，融合深度卷積神經網絡技術，構建一種可表征全局先驗信息的煤巖圖像分割模型(Coal-Rock Pyramid Network，CRPN)，通過塔式場景解析架構，將難以獲取的全景信息特征嵌入到模型框架內，實現像素級別的煤巖區域劃分。

1 基于塔式池化架構的煤巖圖像分割網絡模型架構設計

1.1 CRPN網絡模型整體架構

在實際煤巖識別任務中，采煤工作面或掘進工作面目標區域內的煤、巖分布將占據防爆相機所獲取圖像內容的絕大部分空間。從生產實際的角度出發，一些過于細微的局部夾矸情況往往不會對具體工況造成實質性影響。因此，相比于微小目標的識別，面向采煤工作面和掘進工作面的煤巖圖像識別技術應更加注重對較大范圍目標的識別準確性。筆者從增強全局信息的角度出發，設計了一種基于塔式池化架構的煤巖圖像分割網絡模型(Coal-Rock Pyramid Network，CRPN)，該模型的主要結構如圖1所示。

圖1 CRPN模型主要結構

CRPN模型可劃分為3個主要的計算流程：

(1)第1階段計算的主要目的是進行特征提取，輸入圖像后，使用深度可分離卷積神經網絡構建特征提取網絡，實現對輸入圖像的編碼。在深度可分離網絡中使用了空洞卷積和嵌入全局注意力機制的殘差卷積模塊，拓展感受野，強化有效特征。經提取特征后，輸出尺寸為原圖1/8大小的特征圖，進入下一階段計算。

(2)第2階段為基于塔式池化架構的特征圖解碼計算，通過將池化計算嵌入塔式分解架構，弱化了特征圖內部不同區域之間關聯信息的損失，強化了全局信息影響。輸出的特征圖統一為相同的尺度和個數，經上采樣計算后與輸入特征圖拼接，進入下一階段計算。

(3)第3階段執行網絡的預測輸出，將前2個階段計算后獲得的特征圖經過多層卷積神經網絡，重新映射到原始輸入煤巖圖像中的每一個像素點，實現像素級別的煤巖圖像識別預測。

筆者提出的CRPN模型的核心技術體現在4個方面：采用深度可分離卷積構建的特征提取網絡、使用空洞卷積擴大特征圖的感受野、嵌入全局注意力機制的殘差卷積模塊、基于空間塔式池化架構的計算框架，上述4項核心技術將在下文進行詳細介紹。

1.2 深度可分離卷積構建特征提取網絡

在輸入圖像的編碼部分，筆者提出的CRPN算法采用了深度可分離卷積，以盡量可能小的計算量實現對原始輸入圖像煤、巖區域特征的準確提取，提高算法的運行效率。

標準卷積計算過程中，所有通道上的輸入特征圖都會同時進行卷積計算(圖2)。深度可分離卷積與標準卷積計算的主要區別在于，將空間維度和通道維度的計算拆分成為2個子運算，即深度卷積計算(圖3(a))和點向卷積計算(圖3(b))。

圖2 標準卷積計算流程

圖3 深度可分離卷積流程

深度卷積計算的卷積核與特征圖在通道維度上一一對應，每個卷積核自身的通道數為1，計算后收集到了通道特征，也即深度特征。點向卷積計算的卷積核尺寸均為1×1，卷積核自身通道數與輸入特征圖通道數相同，數量與輸出特征圖通道數相同。點向卷積的計算相當于尺寸為1×1的標準卷積計算，實現通道之間的特征融合。

將深度卷積計算和點向卷積計算結合，即構成了深度可分離卷積的基本框架，假設輸入特征圖通道數為M，圖像高、寬尺寸分別為H，W，卷積核尺寸為k×k，輸出特征圖尺度不變，通道改變為N，則深度可分離卷積的參數量PS和計算量QS分別由式(1),(2)計算。

PS=Mkk+NM×1×1

(1)

QS=MWHkk+NMWH×1×1

(2)

相對應的標準卷積參數量PC和計算量QC由式(3),(4)計算。

PC=N×M×k×k

(3)

QC=N×M×W×H×k×k

(4)

深度可分離卷積的整體計算效果和標準卷積基本一致，但計算量和參數量會大幅減少。以一個輸入張量形式為12×12×4、輸出張量形式為12×12×2、卷積核尺寸為3×3的計算流程為例，標準卷積計算參數為72，計算量為10 368，而采用深度可分離卷積后，計算參數下降至44，計算量下降至6 336，降度達到40%。

在實際算法當中，特征圖無論從尺度上還是通道數量上，都會更為龐雜。表1列舉了目前常用的特征提取網絡和筆者所提出CRPN特征提取網絡的參數量對比，可見采用深度可分離卷積技術后，減少的參數量達到108數量級，大幅增進了算法的運行效率。

表1 特征提取網絡參數規模對比

1.3 混合空洞卷積(HDC)擴大特征圖感受野

針對應用于現場的煤巖圖像識別任務，全局信息扮演著重要的作用，這一點已在前文中進行了論述。落實到算法研發層面，則可表征為這樣的需求：應當在圖像特征提取的過程中盡量增大卷積運算的感受野，同時盡量避免降低圖片的分辨率，且不引入額外的參數及計算量。為滿足這樣的需求，筆者對特征提取過程中的卷積運算形式進行了改進，采用混合空洞卷積(HDC)技術[21]替代了標準卷積核，實現了卷積運算感受野的有效拓展。

為增大感受野，在標準卷積運算的框架內，存在3種理論上可行的解決方案：增加卷積運算步長、池化計算以及采用大尺寸卷積核，但這3種解決方案各有其弊端。卷積運算步長的增加會導致特征圖分辨率降低，池化計算會導致特征信息損失，均不利于后續算法對目標特征的劃分。如若選擇使用大尺寸卷積核，則會顯著增加參數規模和計算量。

而采用空洞卷積技術，則可以有效規避上述問題?？斩淳矸e技術可以形象地總結為：在輸入圖像的既有像素上，跳過(r-1)個像素點進行卷積計算，或保持輸入圖像不變，在卷積核參數中插入(r-1)個0值權重，進而達到擴大卷積計算感受到的空間范圍的目的，其中r為空洞卷積的擴張率。在標準卷積核的基礎上執行了空洞卷積計算后，空洞卷積核的尺寸n可由下式計算：

n=k+(k-1)(r-1)

(5)

式中，k為計算前的標準卷積核尺寸。

此時，感受野由標準卷積的k×k個像素擴展到[k+(r-1)(k+1)]×[k+(r-1)(k+1)]的像素空間，輸出的特征圖高h1、寬w1為

(6)

(7)

式中，p為填充值；S為步長。

一般情況下，空洞卷積計算過程中的擴張率r是一個常數，這又帶來一個新的問題，即感受域不連續。井下采掘工作面煤巖賦存條件復雜，圖像數據中涵蓋大量細節信息，采樣點之間過大的離散性將導致細節特征無法得到有效提取。為避免上述不利條件，本論文采用了混合空洞卷積(HDC)技術，通過調整擴張率r的方式，在保證感受野足夠大的前提條件下，避免了對小物體無法表征難題。

以標準卷積核尺寸為3×3的空洞卷積和混合空洞卷積計算為例進行對比，如圖4所示。

圖4 空洞卷積與混合空洞卷積對比

圖4(a)為擴張率r=2,2,2時的空洞卷積計算結果，圖4(b)為r=1,2,3時的混合空洞卷積計算結果。從對比中可以看出，當層數增加時，空洞卷積采樣點變得極為稀疏，丟失了大量的局部信息，這種“網格效應”無法保證信息之間的連續。而采用混合空洞卷積后，第1層保留了完整連續的3×3區域，后續2層通過擴張率的調整，在感受野區域尺寸相同的條件下，保持了感受野內部各采樣點之間的連貫，特征之間的相關性和局部細節特征得到了有效提取。

1.4 嵌入全局注意力機制的殘差卷積模塊

在基于卷積神經網絡技術的常規圖像識別算法模型中，何凱明等[22]提出的殘差卷積(Resnet)模塊是特征提取網絡設計中的常見結構，其目的在于降低網絡層數帶來的梯度消失問題，進而顯著強化算法模型的計算能力。常規的殘差卷積結構如圖5所示，其中，F(x)為神經網絡層加權求和函數。

圖5 殘差卷積結構

殘差學習的主要技術手段體現在對模塊輸入、輸出信息的直接相加，這一處理方式從根本上改變了模塊內部網絡結構的學習邏輯。在采用殘差卷積技術前，網絡結構的學習結果直接體現為輸出信息，而采用殘差卷積技術后，內部網絡學習的內容轉變為輸入、輸出信息之間的改變量，進而從根本上避免了梯度為0所帶來的困擾，使得后續的網絡結構仍然可以接收到有效信息。

殘差卷積改變了網絡的學習邏輯，但沒有改變學習模式。殘差卷積的本質仍是依賴卷積核所提供局部感受野上的有限信息進行特征圖的提取與重構，特征通道之間權重沒有加以區分，這會帶來一個問題，即全局無關的特性也可以自由地經由網絡結構向下傳遞，最終對特征信息的準確性產生負面影響。

從仿生學的角度講，卷積神經網絡的這一問題違背了人眼對圖像的感知過程。在井下采煤或掘進工作面，人眼對煤壁夾矸情況的判識過程首先是對煤壁整體狀態進行快速掃描，在獲得整體感知的基礎上，再被夾矸區域的異常狀態所吸引，繼而投入更高的注意力到夾矸區域，最后通過對細節信息的觀察確定煤巖分界線的具體位置。將這一過程加以提煉和抽象，其關鍵問題在于對全局注意力機制的準確描述和有效表征?；诖?，筆者提出了嵌入注意力機制的殘差卷積模塊，其主要網絡結構如圖6所示，其中，C為特征圖通道數。

圖6 嵌入注意力機制的殘差卷積模塊

模型的主要改進點表現在原有經典殘差卷積模塊的基礎上新增了一個網絡分支，用以專門計算特征通道維度的權重，在對擬輸出信息加權處理后再執行殘差計算。新增網絡分支對注意力機制的表征分3個步驟實現：

步驟1：嵌入全局信息。通過式(8)進行全局平均池化計算，將每個通道上的特征圖維度降為1。

(8)

式中,uc為各位置上的特征值；zc為最終的輸出結果。

該步驟意義在于從每個通道上對特征圖進行壓縮，特征圖經壓縮后由二維轉化為一個一維實數，該實數天然具備整張特征圖空間上的全局感受野，體現了人眼對物體整體感知的過程。池化計算結束后，最終的輸出結果為與通道維度一致的一維向量，該向量表征了特征通道上相應的全局信息。

步驟2：自適應性重調。引入深度循環神經網絡中的門控機制，通過Sigmod激活函數獲取各通道之間的權重因子。為了不加深整體模型的參數復雜度，筆者使用了2個由ReLU函數激活的線性全連接神經網絡層對通道間的相關性進行建模，ReLU函數表達式如式(9)所示。首先通過一個全連接網絡層將特征維度降低到輸入的1/a，此處的a為與通道數量相關的參數。經ReLU函數激活后，再由一個全連接網絡層恢復原有維度。相對于直接用一個全連接網絡層處理的傳統處理方式，筆者所提出的方法一方面具備更強的非線性，可以更好地擬合通道間復雜的相關性；另一方面也精簡了模型的參數量和計算復雜度。

ReLU(x)=max(0,x)

(9)

步驟3：特征通道加權。上一步計算結束后，經Sigmoid函數輸出，Sigmoid函數表達式如式(10)所示。輸出向量維度仍與通道維度一致，該向量表征了通道的權值信息。通過對特征圖通道維度的加權處理，實現全局感知，最終通過殘差計算完成分支網絡的嵌入。

(10)

筆者所提出的嵌入注意力機制的殘差卷積模塊在完成其防止梯度消失本職任務基礎上，基于全局信息對每個通道進行賦值，降低了全局無關特性對后續特征圖的不利影響，強化了有效特征，進而提升整體算法的訓練效率和準確性。

1.5 基于空間塔式池化架構的計算框架

塔式分解架構是一種有效的信號處理技術，早在20世紀90年代，就有學者將其應用在圖像等二維信號的離散小波變換處理任務中[23]，通過利用不同階數的方向微分算子作為基函數，獲取不同方向的細節特征，形成了以可控塔式分解等為代表的一系列技術成果[24-25]。進入21世紀，塔式分解架構又有了進一步的發展，被應用于SVM[26]、特征直方圖[27]等圖像識別領域。隨著近10 a年以來深度學習技術的快速發展，塔式分解架構也被應用于深度卷積神經網絡模型中[28]。

常規的塔式池化架構主要目的是用于消除全連接神經網絡對于輸入特征圖大小的固定約束條件。傳統用于圖像分類的卷積神經網絡一般可分為卷積網絡模塊和全連接網絡模塊，卷積網絡模塊的參數集中表征為卷積核，對于任意尺度特征圖的輸入和輸出均可表現出強大的適用性。而承擔最終輸出任務的全連接網絡模塊則對輸入特征圖尺寸極其敏感，其參數表征為神經元之間連接的全部權重，輸入特征圖的尺寸直接決定了全連接網絡模塊的參數數量。為解決這一問題，一般的操作是在圖像預處理階段對圖像進行縮放或截取，使輸入到模型中的初始圖像尺寸一致，但這樣粗放的預處理方式往往造成圖像的扭曲或信息損失，降低了識別效率。2015年，何凱明[29]提出了SPPNet，將塔式分解架構與池化計算結合后引入卷積神經網絡結構，將卷積層輸出的特征圖在不同尺度上進行池化計算，再在各尺度上提取固定維度的特征，最后進行特征拼接，以一個固定維度進行輸出(圖7)。

圖7 SPPNet采用的塔式池化架構

在這種將塔式分解架構應用于圖像分類任務的思想啟發下，筆者提出了適用于煤巖圖像分割任務的空間塔式池化架構(圖11)。需要特別說明的是，筆者所引入的空間塔式池化架構與SPPNet有著本質的區別。SPPNet使用塔式架構的主要目的是消除圖像分類任務中全連接網絡模塊對于輸入特征圖固定大小的約束，而筆者提出的CRPN中，主要目的是為了弱化特征圖內部不同區域之間關聯信息的損失，以獲得更多的全局信息。筆者所采用的空間塔式池化架構基本結構如圖8所示。

圖8 CRPN采用的空間塔式池化架構

筆者將塔式分解架構與池化計算相結合，作為一種可表征特征圖全局先驗信息的多級模塊，以涵蓋不同尺度、不同區域的信息特征，用于在特征提取網絡模塊之后實現全局場景的重構。該架構通過多層級同步進行的計算流程實現了各類不同尺度特征的混合。第1層級計算流程是對輸入的特征層進行全局平均池化計算，后面的各層級計算流程將輸入的同一個特征圖進行區域劃分，并對劃分后的各區域分別進行全局池化計算。不同層級的計算流程將輸出尺度不一的特征圖，通過一個大小為1×1的卷積核進行降維，如果總層數為N，則各層級最終輸出的特征圖數量為輸入數量的1/N，以便最終拼接后與輸入特征圖個數保持一致。

經降維計算后，各層級輸出的特征圖尺寸、數量均相同，統一使用雙線性差值法進行上采樣計算，恢復到原始輸入特征圖大小。雙線性插值法計算過程如圖9所示，其中，R1，R2為雙線性插值中間過程變量。在已知Q11(x1,y1)，Q12(x1,y2),Q21(x2,y1) 以及Q22(x2,y2) 四點取值的條件下，在x，y雙向進行線性插值，經式(11)計算，求得未知點P處的取值f(x,y)，實現特征圖的上采樣重構。

圖9 雙線性插值

(11)

各層級計算流程重構后的特征圖尺度與輸入尺度相同，將所有重構后的特征圖與原始輸入特征圖進行特征拼接，作為空間塔式池化架構最終的輸出。

空間塔式池化架構的層級數量和各層級輸出特征圖的尺寸均可根據原始輸入圖像而自定義調整。考慮到整體架構對于區域特征的提取是通過不同尺度的池化核計算完成，因此各層級間采用的池化核尺寸應保持合理的梯度。筆者用在CRPN算法中的空間塔式池化架構包含4個層級，各層級池化核尺寸分別為1×1，2×2，3×3和6×6。

2 現場原位煤巖高清圖像數據庫

為保證算法在井下實際采煤、掘進工況下現場應用的可靠性，對煤礦井下薄煤層采煤工作面原位煤巖圖像進行了信息采集。借助高感光度本安型單反數碼相機，在暗光條件下獲取了包含煤巖分布的高清圖像。經過扭曲、縮放、翻轉、添加噪聲等圖像預處理方式，擴充了訓練樣本庫，使用Labelme軟件對圖像樣本進行標注，生成與訓練樣本相對應的標注信息文件，完成數據庫的搭建。數據庫中含有6 400個有效樣本，可以滿足算法的訓練、驗證、測試要求。

2.1 原始數據采集

煤巖原始圖像數據采集自陜西省神木市某礦井薄煤層綜采工作面、陜西省咸陽市大佛寺煤礦掘進工作面。圖像采集設備為高感光度本安型單反數碼相機，該相機可獲得感光度最大值為ISO40000，最高分辨率為6 240×4 160(2 600萬像素)，具備暗光條件下高清圖像的拍攝能力，高感光度本安型單反數碼相機詳細參數見表2。

表2 高感光度本安型單反相機參數

通過高感光度本安型單反數碼相機在薄煤層綜采工作面拍攝到的井下原位煤巖圖像如圖10所示。圖像拍攝點為煤巖分界線附近，主要分為4類圖像，即煤巖完整類(圖10(a))、裂隙陰影類(圖10(b))、暗光類(圖10(c))、暗光且有支護遮擋類(圖10(d))，基本反映了煤巖識別算法應用過程中可能面對的煤巖分布常見環境條件，網絡模型訓練數據庫圖像合計496張。

圖10 井下原位圖像

2.2 數據預處理方法

煤礦井下環境條件復雜，對圖像數據往往造成干擾，因此在模型的訓練過程中，應對訓練集圖像進行噪聲添加。同時，為防止算法在訓練過程中因樣本數量過少出現過擬合，在圖像預處理過程中也需要對原始樣本集進行數據擴充。筆者主要采用數據處理手段有：添加噪聲、改變圖像特征和改變圖像形態。其中，添加噪聲方式包括高斯噪聲、椒鹽噪聲、泊松噪聲和均勻噪聲，改變圖像特征方式包括色溫和對比度的改變，改變圖像形態方式包括長寬扭曲和旋轉。經預處理后的圖像統一尺寸為320 pix×212 pix，如圖11所示。

圖11 經預處理后的圖像形態

2.3 煤巖圖像數據庫的建立

應用于CRPN算法模型訓練的完整數據庫，除樣本集圖像外還應包括詳盡的標注信息，在有監督學習過程中提供正確的先驗信息。筆者使用Lableme軟件完成對訓練樣本的標注及標簽文件的生成工作。

在實際工況下，由于節理、裂隙的存在，可能出現光線遮擋，形成陰影區域，無法判斷煤巖條件。為更加緊密的貼合實際應用環境，在數據標注過程中，將圖像區域劃分為3類：煤、巖、陰影。標注完成后，經軟件處理，形成格式為24位圖的標簽圖像，如圖12所示。

3 模型學習訓練

3.1 訓練環境

為提高計算效率，筆者利用GPU在執行浮點運算過程中可大批量并行的計算優勢，通過CUDA調用GPU硬件，在GPU加速環境下對CRPN算法模型進行訓練。具體硬件、軟件環境見表3。

3.2 損失函數設計

筆者提出的CRPN算法是一種面向圖像的像素級分類算法，通過對煤巖圖像的編碼與解碼，判定圖像每個像素的所屬類別，繼而實現圖像煤、巖及陰影區域的分割。經編碼與解碼后，CRPN算法會計算得到各像素點屬于各類別的分值，該分值經過softmax函數轉化為最終的概率輸出，softmax函數表達式為

(12)

式中，xs為softmax函數輸入向量中的分量。

算法在完成訓練前，其預測得到的類別概率值往往存在較大的偏差，需要通過損失函數計算數據庫內對應標簽文件中真值與輸出概率值之間的錯誤程度，即損失值，該損失值即作為算法的整體優化目標。因此，損失函數在算法訓練中扮演關鍵角色。本文選擇交叉熵損失函數J作為CRPN算法訓練過程中的損失函數，其表達式為

(13)

其中，M1為類別的數量；c為類別序號；δc為對應類別c的指示變量，當算法分類正確時取1，否則取0；pc為對于觀測樣本屬于類別c的預測概率。一般情況下，對數以e為底。

訓練優化過程中，損失函數對算法模型中各神經元權值求偏導，由鏈式法則可拆分為3項偏導的乘積：

(14)

式中，sci為解碼后屬于類別i的得分；wj為第j個權值參數；pk為屬于類別k的輸出概率。

將3項分別計算后，可得到損失函數對權值參數求偏導的最終表達式為

(15)

由于CRPN算法面對的是分類問題，δi，δk為對應類別i，k的指示變量，只有在分類正確時取1，其他類別均取0；xj為與權重wj對應的輸入分量；σ為式(12)確定的概率輸出函數。因此，最終求得的梯度為

(16)

在使用優化算法對參數更新的過程中，學習速度由學習率和梯度決定。學習率通常為提前設定的超參數，梯度由損失函數決定。由式(16)可知，梯度大小取決于xj和[σ(yi)-yi]，后者反映了模型的錯誤程度。錯誤程度越大，則求得偏導數值越高，模型學習速度越快。因此，使用交叉熵損失函數可以根據模型錯誤程度調控學習速率，很好地衡量了算法訓練效果。

3.3 優化算法設計

在通過損失函數將損失值確立為算法的整體優化目標后，訓練的主要目標即轉變為借助合適的優化算法，參數不斷迭代更新，使損失值達到最小。常用的優化算法有隨機梯度下降(SGD)[29]、自適應矩估計(Adam)[30]等，不同的優化算法之間各有利弊：SGD收斂較好，但計算速度慢；Adam算法計算效率高，但容易陷入局部最優解。

為了兼顧訓練效率和精度，筆者使用了由LIU Liyuan[31]于2019年提出的修正自適應矩估計(Rectified Adam)優化算法。該算法通過控制自適應率的方差改進了標準Adam算法的訓練效果，兼有Adam和SGD兩者的優點，既能保證收斂速度快，也不容易掉入局部最優解，而且收斂結果對學習率的初始值非常不敏感。煤礦井下環境復雜，工作面獲取的圖像往往干擾較大，Rectified Adam算法魯棒性較高的特點適合用于煤巖圖像識別任務。其具體步驟如下

算法輸入參數為：步長st；衰減率α1,α2，用于計算移動均值和移動方差；初始參數θ0；損失函數Jt(θ)。

步驟1，將移動量的期望和方差初始化為μ0=0，σ0=0，計算出簡單移動平均值(SMA)的最大長度ρ∞：

(17)

步驟2，計算第t步時的梯度gt：

gt=ΔθJt(θt-1)

(18)

式中，θt-1為t-1時步的參數值。

步驟3，計算移動量的方差σt：

(19)

步驟4，計算移動量的期望μt：

μt=α1μt-1+(1-α1)gt

(20)

步驟5，計算移動偏差的修正εt：

(21)

步驟6，計算簡單移動平均值的最大值ρt：

(22)

步驟7，更新參數。如果ρ∞大于4，那么先計算移動量方差的修正值lt和方差修正范圍rt：

(23)

(24)

再使用自適應性動量更新參數

θt=θt-1-strtεtlt

(25)

如果ρ∞≤4，則使用非自適應動量更新參數

θt=θt-1-stεt

(26)

步驟8，判斷參數是否收斂，若收斂則結束計算，未收斂則重復步驟2～8。

筆者提出的CRPN網絡模型在Rectified Adam算法下進行了50次迭代訓練，訓練過程中的正確率和損失值變化曲線如圖13所示。

圖13 模型訓練效果

4 煤巖識別效果及驗證

為驗證和討論筆者提出的CRPN算法模型在井下工作面煤巖圖像識別任務中的應用效果，選擇Segnet網絡、U-net網絡等常用圖像分割模型進行對比分析。

4.1 主觀分析

現場原位煤巖圖像數據庫中用于測試的圖像數量合計600張，圖像尺寸統一為320 pix×212 pix。將筆者提出的CRPN模型與Segnet網絡模型、U-net網絡模型分別應用于測試數據集，執行煤巖圖像識別任務，特征提取網絡統一采用深度可分離網絡模型，各算法識別效果如圖14所示。

受篇幅所限，圖14中選擇8組典型識別結果進行展示，由左至右分別為原始輸入圖像、CRPN-HDC(使用混合空洞卷積結構的CRPN模型)識別效果、CRPN-DC(使用常規空洞卷積結構的CRPN模型)識別效果、U-net識別效果、Segnet識別效果。為便于展示，識別結果統一采用原圖覆蓋，綠色區域為算法識別的煤壁區域，紅色區域為算法識別的巖壁區域，黑色區域為陰影區域。

圖14可以看出，Segnet算法模型識別準確性較低，甚至在一些圖像中出現了較大規模的識別錯誤。CRPN和U-net可以在無掛網支護遮擋的情況下有效區分出主要的煤、巖和陰影區域，但在有掛網支護遮擋時，U-net的煤巖識別顯著降低，而筆者提出的CRPN則保持了識別準確性。此外，使用了混合空洞卷積的CRPN-HDC模型在細節處理上的判識效果更好，對煤巖分界線處的識別準確性更高。

4.2 客觀分析

對各算法模型煤巖識別效果進行定量的客觀分析，筆者采用了像素準確度(PA)和交并比(IOU)作為主要評價指標。

PA指標表征圖像中正確預測分類的像素所占百分比，如圖15所示，圖15(a)為各像素的真實類別，圖15(b)為算法預測得到的像素分類，圖15(c)為各像素點的屬性，PA指標的計算公式如式(27)所示。

圖15 PA指標計算過程

(27)

式中，Tm為像素點屬于煤，且分類正確；Ty為該像素點屬于巖，且分類正確;Fm為該像素點本應屬于煤，但分類錯誤；Fy為該像素點本應屬于巖，但分類錯誤。

IOU指標表征圖像中各像素真實類別與預測類別之間的重疊程度，通過像素真實值與預測值交集與并集之間的比值進行計算：

(28)

式中，ti為屬于i類的像素總數;nji為預測類別為j而實際類別為i的像素總數;nii為預測正確的像素總數。

在現場原位煤巖圖像數據庫中的測試圖集上，使用PA指標、IOU指標和模型計算速度分別對CRPN-HDC模型、CRPN-DC模型、Unet模型和Segnet模型的煤巖識別結果進行定量評估，評估結果見表4。

通過對表4，表5中評估結果分析可以發現，筆者提出的CRPN模型對于井下原位煤巖圖像的識別結果在PA和IOU指標下分別取得了96.38%和91.67% 的平均分值，在參與對比的算法模型中表現最佳。由表6可知，CRPN模型單張圖像計算時間平均值為0.037 s，由于CRPN模型復雜度高于對比模型，因此在統一采用深度可分離網絡作為特征提取網絡的條件下在參與對比的算法模型中計算時間最長，但其0.037 s 的平均識別時間對應幀率為27.02 fps，高于井下防爆攝像設備25 fps的成像能力，故本模型具備現場應用部署條件。

表4 PA評估得分

表5 IOU評估得分

表6 單張圖像計算速度

4.3 井下現場動態驗證試驗

在模型訓練完成后，將訓練好的CRPN算法模型應用于含有煤巖分界線的井下現場視頻，進行動態條件下的應用測試。視頻拍攝自陜西省神木市某礦井薄煤層綜采工作面，采用高感光度本安型單反數碼相機拍攝，清晰度為1 080P高清視頻，視頻格式為MP4。將CPRN算法模型、U-net算法模型分別應用于同一段視頻，對比展示應用效果，如圖16所示。

當視頻穩定拍攝時，圖像清晰度高，CRPN模型和U-net模型均可以取得良好的識別效果(圖16(a)，16(b))。但當相機移動、抖動、振動而造成視頻圖像模糊時，CPRN算法的識別準確性顯著強于U-net模型(圖16(c),(d))。CRPN算法在預測過程中會關注到更多的全局信息，因此具備更強的魯棒性，更適合應用于煤礦井下對采、掘工作面煤巖分布狀態的移動監測。

圖16 不同網絡模型動態識別效果對比

5 結 論

(1)基于塔式池化架構和卷積神經網絡提出了一種新的煤巖圖像分割算法模型(CRPN)，該模型使用深度可分離卷積構建了特征提取網絡，顯著降低了計算量。使用混合空洞卷積核替代標準卷積核，拓展了特征圖的感受野。在殘差卷積模塊中嵌入全局注意力機制，從全局信息的角度強化了有效特征。采用基于塔式池化架構的計算框架，弱化了特征圖內部不同區域之間關聯信息的損失，獲得了更多的全局信息。

(2)采集了薄煤層采煤工作面的煤巖圖像信息，構建了煤礦井下原位煤巖高清圖像數據庫，涵蓋了煤巖完整類、裂隙陰影類、暗光類等圖像采集過程中可能面對的3類常見環境條件。經過添加噪聲、改變圖像特征和形態等數據預處理和信息標注，共形成6 400個有效樣本。

(3)提出了基于交叉熵損失函數和修正自適應矩估計的模型訓練優化算法。使用PA和IOU指標對訓練后的CRPN模型煤巖識別效果進行評估，分別取得了96.05%和91.54%的平均分值，優于現有圖像分割模型。將訓練后的CRPN模型應用于工作面現場的動態視頻，結果表明在穩定和抖動條件下均取得了良好的煤巖識別效果，驗證了該方法的魯棒性和實用性。