基于雙層路由注意力機(jī)制的煤粒粒度定量分析

程德強(qiáng)， 鄭麗娟， 劉敬敬， 寇旗旗， 江鶴

（1.中國礦業(yè)大學(xué) 信息與控制工程學(xué)院，江蘇 徐州 221000；2.中國礦業(yè)大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 徐州 221000）

0 引言

隨著煤炭工業(yè)不斷發(fā)展，煤粒粒度成為直接影響分析煤中甲烷氣體傳播規(guī)律的關(guān)鍵因素。不同粒度的煤粒對甲烷氣體的吸附、擴(kuò)散及釋放等過程表現(xiàn)出顯著差異[1-2]。因此，煤粒粒度分析成為煤炭工業(yè)生產(chǎn)和能源利用領(lǐng)域的重點和熱點研究內(nèi)容。

傳統(tǒng)的煤粒粒度分析方法包括篩分、液體排量和激光粒度分析等[3-4]，這些分析方法通過直接測量煤粒的篩選情況、沉降速度或光散射等物理特性來獲取煤粒的粒度信息。盡管這些方法在煤炭工業(yè)中有一定的應(yīng)用，但它們在準(zhǔn)確性、效率方面都存在限制，難以滿足現(xiàn)代工業(yè)生產(chǎn)的需求。

近年來，隨著圖像處理技術(shù)的快速發(fā)展，許多學(xué)者采用圖像分析法對煤粒粒度進(jìn)行測量。文獻(xiàn)[5]利用圖像采集系統(tǒng)獲取煤粒的二維圖像，通過形態(tài)學(xué)方法測量粒度在1～2 mm的煤粒，進(jìn)而推導(dǎo)出煤粒的粒度分布對甲烷氣體擴(kuò)散系數(shù)的影響。但使用二維方法[6-7]對煤粒粒度進(jìn)行研究時，常會面臨圖像噪聲、煤粒形狀多樣性等挑戰(zhàn)。文獻(xiàn)[8]使用X射線計算機(jī)斷層掃描技術(shù)，以微米級分辨率圖像直觀展示顆粒的三維粒度特征。由于X射線計算機(jī)斷層掃描儀價格昂貴，難以在實驗室中進(jìn)行大規(guī)模應(yīng)用。隨著計算機(jī)視覺技術(shù)的快速發(fā)展，基于深度學(xué)習(xí)[9]的語義分割網(wǎng)絡(luò)在處理復(fù)雜煤粒圖像時表現(xiàn)出色，能夠獲取更為準(zhǔn)確的煤粒粒度特征。文獻(xiàn)[10]提出了一種基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)，用于煤粒圖像的分割，但由于缺乏路由模塊，導(dǎo)致網(wǎng)絡(luò)會過度關(guān)注像素之間微小的差異，從而造成過分割的問題。文獻(xiàn)[11-12]以U型網(wǎng)絡(luò)對煤塵顆粒圖像進(jìn)行分割，成功獲取了煤粒粒度特征，證明了U型網(wǎng)絡(luò)可較好地滿足煤粒粒度分析的要求，且具有良好的知識遷移性，但直接使用U型網(wǎng)絡(luò)對煤粒進(jìn)行分割時，傳統(tǒng)的跳躍連接不能很好地處理煤粒圖像像素之間的長程依賴性，從而造成漏分割情況。

為解決在煤粒分割過程中出現(xiàn)的過分割和漏分割問題，本文提出了一種基于雙層路由注意力機(jī)制（Bi-level Routing Attention，BRA）的煤粒粒度定量分析模型。首先，在殘差U型網(wǎng)絡(luò)ResNet-UNet中嵌入BRA模塊[13]，得到B-ResUNet網(wǎng)絡(luò)模型。然后，對分割出的煤粒提取特征信息，采用等效圓粒徑獲取煤粒粒度及粒度分布。

1 煤粒分割網(wǎng)絡(luò)模型

1.1 ResNet-UNet網(wǎng)絡(luò)

ResNet-UNet在U-Net基礎(chǔ)上使用34層殘差網(wǎng)絡(luò)作為編碼器，并使用7×7卷積核來提取圖像特征，這樣的設(shè)計使得ResNet-UNet具有出色的空間感知能力，能夠捕獲更多上下文信息，提取更全面的特征。直接將ResNet-UNet網(wǎng)絡(luò)應(yīng)用于煤粒的分割時，由于煤粒圖像像素之間的依賴性，上下文信息在網(wǎng)絡(luò)傳輸中常常會丟失，從而造成漏分割的情況；對于大小和形狀相似的煤粒來說，ResNet-UNet網(wǎng)絡(luò)會過度關(guān)注像素之間微小的差異，從而造成過分割的問題。

1.2 BRA模塊結(jié)構(gòu)

BRA模塊是一種通過雙層路由機(jī)制實現(xiàn)的自適應(yīng)注意力模塊，其結(jié)構(gòu)如圖1所示。其中，雙層路由機(jī)制由區(qū)域級路由和令牌級路由組成，這2個級別的路由有助于理解特征在不同路由區(qū)域之間的傳遞過程。

圖1 BRA模塊結(jié)構(gòu)Fig.1 Structure of the BRA module

將H×L（長×寬）的二維輸入特征圖分為s×s個不重疊的區(qū)域，從而得到輸入特征圖中的特征向量。通過對這些特征向量進(jìn)行線性映射，可得到查詢張量Q、鍵張量K和值張量V。

式中：xr為重塑后的特征圖；LQ，LK，LV分別為查詢張量、鍵張量、值張量在網(wǎng)絡(luò)中對應(yīng)的權(quán)重。

采用Q、K的平均值進(jìn)行區(qū)域級路由計算，并推導(dǎo)出區(qū)域級查詢張量Qr和區(qū)域級鍵張量Kr，將Qr與Kr的轉(zhuǎn)置矩陣相乘，得到區(qū)域間的鄰接矩陣Br。在注意力機(jī)制中，top-k策略[14]是一種選擇前k個最大或最小元素的算法。使用top-k策略選擇鄰接矩陣Ar的前k個最大元素，并通過topkindex方法返回這些元素的索引地址，將其保存在矩陣Fr中，以此來高效地定位有價值的鍵值對。

式中Γ（·）為topkindex方法。

索引地址在Fr中的分布是分散的，因此使用gather算法[15]從Fr中收集離散的鍵張量K和值張量V。為了捕捉路由區(qū)域中不同令牌之間的語義關(guān)系，采用細(xì)粒度的注意力機(jī)制。為增強(qiáng)上下文信息，在網(wǎng)絡(luò)模型中引入局部上下文增強(qiáng)數(shù)據(jù)U[16]。

其中：Kg為聚合鍵張量；G（·）為gather算法；Vg為聚合值張量；O為BRA模塊最后的輸出；Z(·)為注意力計算函數(shù)。

1.3 B-ResUNet網(wǎng)絡(luò)模型結(jié)構(gòu)

為減少在煤粒分割過程中出現(xiàn)的漏分割問題，在ResNet-UNet網(wǎng)絡(luò)的上采樣前添加BRA模塊，使網(wǎng)絡(luò)根據(jù)上一層的特征調(diào)整當(dāng)前特征層的重要性，增強(qiáng)特征的表達(dá)能力，提高長距離信息的傳遞能力。同時，為減少在煤粒分割過程中出現(xiàn)的過分割問題，在ResNet-UNet網(wǎng)絡(luò)的特征拼接模塊后添加BRA模塊，通過動態(tài)選擇和聚合重要特征，實現(xiàn)更有效的特征融合。

B-ResUNet網(wǎng)絡(luò)模型主要由編碼器和解碼器組成，并借助跳躍連接實現(xiàn)了不同特征層的融合，其結(jié)構(gòu)如圖2所示。

圖2 B-ResUNet網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.2 Structure of B-ResUNet network model

在編碼器部分，本文以34層預(yù)訓(xùn)練殘差網(wǎng)絡(luò)為基礎(chǔ)，通過5次下采樣來提取圖像的底層語義特征。首先對輸入圖像進(jìn)行7×7的卷積處理，并利用3×3最大池化層提取圖像的重要信息。然后，使用4組通道數(shù)不同的殘差塊（3個通道數(shù)為64的殘差塊、4個通道數(shù)為128的殘差塊、6個通道數(shù)為256的殘差塊和3個通道數(shù)為512的殘差塊）對輸入向量進(jìn)行特征融合，以緩解網(wǎng)絡(luò)梯度消失的現(xiàn)象。每個殘差塊由2個3×3卷積層和非線性激活單元組成，如圖3所示。其中，Xl為殘差塊的輸入，l為神經(jīng)元的層數(shù)，f(·)為殘差網(wǎng)絡(luò)的映射函數(shù)，Yl為殘差塊的最終輸出。最后，使用2×2的最大池化層進(jìn)行池化。在解碼器部分，網(wǎng)絡(luò)通過5次上采樣操作恢復(fù)編碼器輸出的語義特征，從而實現(xiàn)對圖像的精準(zhǔn)分割。將解碼器輸出的結(jié)果與原始圖像尺寸相匹配，得到煤粒分割圖。

圖3 殘差塊Fig.3 Residual block

2 煤粒粒度分析

通過對分割出的煤粒提取特征信息，成功獲取煤粒粒度及粒度分布，這對于量化甲烷氣體傳播規(guī)律和優(yōu)化煤炭加工工藝具有重要意義。鑒于煤粒形態(tài)的多樣性，不同煤粒粒度表征方法可能引起不同程度的誤差[17]。因此，為了精確表征煤粒的粒度，選擇合適的粒度表示方法至關(guān)重要。

等效圓粒徑[18-19]是將顆粒的實際形態(tài)近似為具有相同面積的圓形，通過計算該圓形的直徑來獲得等效粒度，其等效過程如圖4所示。本文所制作的煤粒數(shù)據(jù)集中的粒度與細(xì)胞大小相當(dāng)，且形態(tài)復(fù)雜多樣，因此，采用等效圓粒徑來表征煤粒的粒度大小。

圖4 等效圓粒徑原理Fig.4 Principle of the equivalent circular particle size

式中：D為等效圓粒徑；e為煤粒的實際面積。

在使用等效圓粒徑方法計算煤粒的像素粒度大小時，為了將像素轉(zhuǎn)換為實際尺寸，以確保粒徑測量的準(zhǔn)確性，須確定像素與實際長度之間的轉(zhuǎn)換比例系數(shù)[20]。首先校準(zhǔn)圖像中的像素大小，將像素轉(zhuǎn)換為實際尺寸。接著，進(jìn)行圖像系統(tǒng)的標(biāo)定，以建立圖像中像素坐標(biāo)與實際物理坐標(biāo)之間的轉(zhuǎn)換關(guān)系，從而確保粒度分析的準(zhǔn)確性和可靠性。

選用邊長為5 mm的正方形[21]作為標(biāo)定對象。

式中：?為長度比例系數(shù)；M為單位長度；E為單位長度的像素數(shù)；S′為實際的粒子面積；S為粒子以像素為單位的面積；P′為實際粒子周長；P為粒子以像素為單位的周長；d′為實際粒子直徑；d為粒子以像素為單位的直徑。

3 模型數(shù)據(jù)及訓(xùn)練

3.1 數(shù)據(jù)集構(gòu)建

基于深度學(xué)習(xí)的煤粒分割網(wǎng)絡(luò)需大量數(shù)據(jù)進(jìn)行訓(xùn)練，但網(wǎng)上缺乏開源的煤粒數(shù)據(jù)集。因此，本文制作了煤粒數(shù)據(jù)集。首先，從永煤集團(tuán)股份有限公司順和煤礦隨機(jī)選取粒徑為1～2 mm的4 000多個煤粒，并將它們編組為1—6。然后，使用Labelme[22]對煤粒進(jìn)行標(biāo)注，并對標(biāo)注后的圖像進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換和可視化，可視化結(jié)果如圖5所示。最后，為提高煤粒圖像質(zhì)量并突出煤粒粒度特征，對煤粒圖像進(jìn)行了預(yù)處理，其中包括圖像灰度化和二值化、高斯濾波和網(wǎng)格畸變、翻轉(zhuǎn)等。在網(wǎng)絡(luò)訓(xùn)練過程中，按照5∶2∶1的比例將煤粒數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集。其中訓(xùn)練集和驗證集用于網(wǎng)絡(luò)模型訓(xùn)練，測試集用于網(wǎng)絡(luò)模型評估。

圖5 煤樣可視化結(jié)果Fig.5 Visualization of coal sample

3.2 超參數(shù)設(shè)置與模型訓(xùn)練

本文使用Pytorch1.12深度學(xué)習(xí)框架，在Windows10操作系統(tǒng)下進(jìn)行煤粒的分割實驗。硬件環(huán)境為AMD Ryzen 55600x處理器、16 GiB內(nèi)存和Nvidia GeForce RTX 3060 12 GiB顯存GPU。在自建的煤粒數(shù)據(jù)集上，利用34層殘差網(wǎng)絡(luò)的預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練。訓(xùn)練輪數(shù)為15，訓(xùn)練步長為1，批處理尺寸為2。訓(xùn)練集包括約2 500個形態(tài)各異的煤粒，在訓(xùn)練過程中，優(yōu)化器為AdamW，其學(xué)習(xí)率為0.001，權(quán)重衰減因子為0.01，動量參數(shù)β1和β2分別為0.9和0.999。使用交叉熵?fù)p失函數(shù)來計算網(wǎng)絡(luò)輸出結(jié)果與真實標(biāo)簽之間的差異，并添加L2正則化項來減輕過擬合。為加快網(wǎng)絡(luò)模型的收斂速度，采用OneCycleLR訓(xùn)練策略調(diào)整學(xué)習(xí)率。

式中：J為網(wǎng)絡(luò)總損失；η為煤粒的真實標(biāo)簽；為網(wǎng)絡(luò)模型的預(yù)測概率；ψ為L2正則化項的超參數(shù)；||w||2為權(quán)重w的L2范數(shù)。

3.3 評估指標(biāo)

采用準(zhǔn)確率、平均交并比、召回率作為網(wǎng)絡(luò)模型的評價指標(biāo)。

式中：A為準(zhǔn)確率；NTP為模型正確預(yù)測為正類的樣本數(shù)；NTN為模型正確預(yù)測為負(fù)類的樣本數(shù)；NFP為模型錯誤預(yù)測為正類的樣本數(shù)；NFN為模型錯誤預(yù)測為負(fù)類的樣本數(shù)；I為平均交并比；R為召回率。

4 實驗結(jié)果與分析

4.1 煤粒分割實驗

4.1.1 對比實驗

為評估B-ResUNet在煤粒分割任務(wù)中的性能，將B-ResUNet網(wǎng)絡(luò)模型與PAN[23]、PSPNet[24]、U-Net[25]、Link-Net[26]和ResNet-UNet[27]網(wǎng)絡(luò)模型進(jìn)行對比，結(jié)果見表1，從6組煤樣中隨機(jī)選取4組煤樣進(jìn)行對比，不同網(wǎng)絡(luò)模型的語義分割結(jié)果如圖6所示。由表1可看出，B-ResUNet網(wǎng)絡(luò)模型在所有的分割指標(biāo)中都取得了最佳結(jié)果。B-ResUNet網(wǎng)絡(luò)模型的準(zhǔn)確率、平均交并比、召回率較ResNet-UNet基礎(chǔ)網(wǎng)絡(luò)模型分別提高了0.6%，14.3%，35.9%，這說明BRA模塊在提升分割性能方面的優(yōu)越性，證明了B-ResUNet網(wǎng)絡(luò)模型的卓越性。

表1 不同網(wǎng)絡(luò)模型評價指標(biāo)對比Table 1 Comparison of the evaluation indexes of different network models%

圖6 不同網(wǎng)絡(luò)模型的語義分割結(jié)果Fig.6 Semantic segmentation results for the different network models

由圖6可看出，PAN、PSPNet、U-Net、Link-Net和ResNet-UNet網(wǎng)絡(luò)模型在煤粒分割過程中都存在不同程度的過分割和漏分割問題，B-ResUNet網(wǎng)絡(luò)模型在4組煤樣中具有較好的分割效果，能夠檢測出較為完整的顆粒結(jié)構(gòu)。這是因為在B-ResUNet網(wǎng)絡(luò)中加入的BRA模塊使模型更加關(guān)注與分割相關(guān)的語義信息，忽略與模型無關(guān)的特征信息，從而突出煤粒邊界區(qū)域特征，有效改善顆粒分割效果。

4.1.2 消融實驗

為測試B-ResUNet網(wǎng)絡(luò)模型的效果，進(jìn)行消融實驗。分別對比在解碼器結(jié)構(gòu)的特征拼接后和上采樣前引入BRA模塊的情況，實驗結(jié)果如圖7所示，各模型性能見表2。可看出在沒有引入BRA模塊的情況下，網(wǎng)絡(luò)的特征提取效果最差，難以有效區(qū)分煤粒目標(biāo)和背景；當(dāng)在解碼器結(jié)構(gòu)的上采樣前或特征拼接后引入BRA模塊時，網(wǎng)絡(luò)開始對煤粒的邊緣區(qū)域產(chǎn)生一定的關(guān)注，但關(guān)注程度并不是很高；在解碼器結(jié)構(gòu)的上采樣前和特征拼接后均引入BRA模塊時，網(wǎng)絡(luò)對煤粒的邊緣區(qū)域給予了足夠的關(guān)注，且對一些不太重要的區(qū)域減少了關(guān)注度，從而提高了網(wǎng)絡(luò)的計算效率，B-ResUNet網(wǎng)絡(luò)模型的準(zhǔn)確率、平均交并比、召回率分別為99.6%，92.6%，94.4%。這說明BRA模塊的引入對于改善分割性能和提高運行效率起到了積極的作用。

表2 各網(wǎng)絡(luò)模型性能Table 2 Network performan%

圖7 BRA模塊的消融實驗Fig.7 Ablation experiments of the BRA module

4.2 煤粒粒度分析

為獲得更準(zhǔn)確的煤粒粒度分布，首先采用B-ResUNet語義分割網(wǎng)絡(luò)對6組煤粒圖像進(jìn)行了分割。隨后，利用等效圓粒徑的方法表征煤粒粒度，從而得到了6組煤粒粒度分布直方圖，如圖8所示?？煽闯?組煤樣的粒度分布接近正態(tài)分布，表明煤粒的粒度大小在1～2 mm內(nèi)呈相對均衡的分布趨勢，說明本文方法在粒度分析方面具有一定穩(wěn)定性。粒度在1～2 mm內(nèi)的煤粒占比最大為99.04%，最小為90.59%，表明本文方法在粒度分析方面具有較高的準(zhǔn)確性。

圖8 6組煤粒的粒度分布Fig.8 Particle size distribution of six groups of coal particles

為進(jìn)一步驗證本文方法的可靠性和優(yōu)越性，采用本文方法、基于形態(tài)學(xué)的測量方法和基于激光粒度分析（Laser Particle Analyzer，LPA）的測量方法對6組煤樣在1～2 mm內(nèi)的粒度分布進(jìn)行了對比，結(jié)果見表3。

表3 不同方法測量粒度的準(zhǔn)確率Table 3 Accuracy of particle size measurement by different methods%

由表3可看出，使用本文方法測量大小在1～2 mm范圍內(nèi)的煤粒粒度準(zhǔn)確率較基于形態(tài)學(xué)的測量方法、基于LPA的測量方法分別提高了12.92%，35.24%，準(zhǔn)確率最高達(dá)97.42%。

5 結(jié)論

1） 為了更好地對煤粒圖像進(jìn)行分割，設(shè)計了B-ResUNet語義分割網(wǎng)絡(luò)。與6種經(jīng)典語義分割模型進(jìn)行評估對比，B-ResUNet網(wǎng)絡(luò)模型準(zhǔn)確率、平均交并比、召回率分別為99.6%，92.6%，94.4%，有效緩解了在分割煤粒的過程中出現(xiàn)的漏分割和過分割的情況，為獲取準(zhǔn)確的煤粒粒度分布提供了可靠的基礎(chǔ)。

2）通過深度學(xué)習(xí)和圖像處理相結(jié)合的方法，得到了煤粒的粒度分布，并與基于形態(tài)學(xué)的測量方法和基于LPA的測量方法進(jìn)行了對比。結(jié)果顯示，基于雙層路由注意力機(jī)制的圖像處理方法的準(zhǔn)確率較基于形態(tài)學(xué)的測量方法、基于LPA測量方法分別提高了12.92%，35.24%。

3） 深度學(xué)習(xí)技術(shù)對訓(xùn)練數(shù)據(jù)集的質(zhì)量要求較高，且數(shù)據(jù)集越大、標(biāo)注越精確，效果越好，這增加了方法的難度。因此，未來在煤粒粒度分析方面，需建立適用于廣泛場景且具有高準(zhǔn)確度的深度學(xué)習(xí)模型，以進(jìn)一步推動該領(lǐng)域的發(fā)展。