電荷耦合頻響多光譜反演網(wǎng)絡(luò)的煤矸石檢測方法

摘 要：煤矸石作為煤炭開采的副產(chǎn)品，其處理與監(jiān)測對環(huán)境保護(hù)和資源利用具有重要意義。傳統(tǒng)的煤矸石檢測方法存在效率低下、資源消耗大等問題。為解決這些問題，提出一種基于電荷耦合頻響多光譜反演網(wǎng)絡(luò)的煤矸石檢測方法。該方法利用無人機(jī)搭載高分辨率相機(jī)拍攝煤矸堆圖像，首先，通過構(gòu)建光譜重建網(wǎng)絡(luò)模型MST++，實(shí)現(xiàn)對光譜數(shù)據(jù)的高效重建，彌補(bǔ)了RGB圖像在光譜信息上的不足；然后，利用Faster R-CNN模型處理重建后的光譜數(shù)據(jù)；最后，對矸石堆中的煤炭含量進(jìn)行預(yù)測。結(jié)果表明：與原始RGB數(shù)據(jù)集相比，多光譜重建后的煤矸石與煤炭圖像的檢測準(zhǔn)確率顯著提升至91.2%，將真實(shí)含碳量與預(yù)測結(jié)果進(jìn)行比對，兩者誤差控制在5%以內(nèi)，為煤炭資源的回收利用提供了科學(xué)依據(jù)。該方法充分利用了無人機(jī)遙感技術(shù)與深度學(xué)習(xí)算法的優(yōu)勢，通過光譜重建與目標(biāo)檢測的有機(jī)結(jié)合，實(shí)現(xiàn)了煤矸石的精準(zhǔn)識別與定量分析，為煤矸石的高效處理與資源化利用提供了新的技術(shù)路徑，具有良好的應(yīng)用前景。

關(guān)鍵詞：光譜重建；多光譜圖像；卷積神經(jīng)網(wǎng)絡(luò)；目標(biāo)檢測；煤矸石

中圖分類號：TD 849

"文獻(xiàn)標(biāo)志碼：A 文章編號：1672-9315（2025）01-0117-12

DOI：10.13800/j.cnki.xakjdxxb.2025.0111

Gangue detection methods by charge-coupled frequency

response multispectral inversion network

ZHAO Shuanfeng¹，WANG Li¹，LI Xiaoyu¹，XING Zhizhong²

（1.College of Mechanical Engineering，Xi’an University of Science and Technology，Xi’an 710054，China；

2.School of Rehabilitation，Kunming Medical University，Kunming 650500，China）Abstract：As a by-product of coal mining，the treatment and monitoring of coal gangue is of great significance to environmental protection and resource utilisation.The traditional coal gangue detection methods have problems such as low efficiency and high resource consumption.For these，a coal gangue detection method based on charge-coupled frequency response multispectral inversion network is proposed.A UAV carrying a high-resolution camera was used to take images of the coal gangue.Firstly，by constructing a spectral reconstruction network model MST++，an efficient reconstruction of the spectral data was achieved，which makes up for the lack of spectral information in the RGB image.Secondly，the reconstructed spectral data were processed using the Faster R-CNN model，and finally the coal content in the gangue pile was also predicted.The results show that compared with the original RGB dataset，the detection accuracy of the multispectral reconstructed gangue and coal images is significantly improved by 91.2%，and the error between the real carbon content and the prediction results is controlled by less than 5%，which provides a scientific basis for the recycling of coal resources.The method makes full use of the advantages of UAV remote sensing technology and deep learning algorithms，with the accurate identification and quantitative analysis of coal gangue achieved through the organic combination of spectral reconstruction and target detection.The research provides a new technical path for efficient treatment and resourceful use of coal gangue，and has good application prospects.

Key words：spectral reconstruction；multispectral images；convolutional neural networks；target detection；gangue

0 引 言

煤矸石作為煤炭開采和洗選過程中產(chǎn)生的大量固體廢棄物，其露天堆存不僅占用土地資源，還可能引發(fā)次生環(huán)境災(zāi)害，對礦區(qū)生態(tài)環(huán)境和居民生命財(cái)產(chǎn)安全構(gòu)成威脅^[1]。對煤矸石堆進(jìn)行有效監(jiān)測和管理是煤炭行業(yè)綠色發(fā)展和生態(tài)文明建設(shè)的重要內(nèi)容。準(zhǔn)確估算煤矸石堆的含煤量對于矸石的資源化利用和環(huán)境治理具有重要意義。

傳統(tǒng)的煤矸石含煤量估算方法主要依賴人工經(jīng)驗(yàn)和抽樣檢測^[2]，存在效率低^[3]、精度不足^[4]等問題。近些年來，光譜成像技術(shù)和深度學(xué)習(xí)技術(shù)的快速發(fā)展為煤矸石含煤量估算提供了新的思路^[5]。光譜成像技術(shù)憑借其無損、快速、信息量豐富等優(yōu)勢，在材料檢測領(lǐng)域得到廣泛應(yīng)用。李瑞等利用可見-近紅外光譜技術(shù)對煤矸石進(jìn)行分類識別，取得了良好效果，但光譜范圍較窄，特征信息不夠豐富^[6]；曹珍貫等采用熱成像技術(shù)對煤矸石的物質(zhì)組成進(jìn)行了表征，并結(jié)合深度學(xué)習(xí)算法實(shí)現(xiàn)了煤矸石圖像識別，但成像系統(tǒng)復(fù)雜，數(shù)據(jù)處理效率較低^[7]；來文豪等提出一種基于多光譜成像和深度學(xué)習(xí)的煤矸石檢測方法，在一定程度上提高了檢測精度和效率，但未充分利用光譜數(shù)據(jù)的高維特性^[8]。

深度學(xué)習(xí)在光譜圖像處理和目標(biāo)檢測領(lǐng)域取得了突破性進(jìn)展。齊永鋒等提出了融合Gabor濾波與3D/2D卷積的高光譜圖像分類方法，通過端到端的特征學(xué)習(xí)和分類識別，大幅提升了分類精度^[9]；DUAN等針對高光譜數(shù)據(jù)體量大、冗余度高等特點(diǎn)，設(shè)計(jì)一種基于深度自編碼網(wǎng)絡(luò)的光譜圖像重建模型，在壓縮數(shù)據(jù)量的同時(shí)保持了關(guān)鍵光譜特征^[10]；張德鈞將Faster R-CNN引入到高光譜目標(biāo)檢測領(lǐng)域，通過深度特征提取和區(qū)域候選網(wǎng)絡(luò)實(shí)現(xiàn)了復(fù)雜背景下的精確檢測^[11]。

鑒于以上研究背景，提出一種結(jié)合電荷耦合頻響多光譜成像和深度學(xué)習(xí)技術(shù)的煤矸石含煤量估算方法。首先，在矸石堆上劃分場景，通過相機(jī)采集高質(zhì)量的煤矸石和煤炭樣本圖像。鑒于實(shí)時(shí)性需求和RGB圖像光譜信息不足的問題，引入光譜重建網(wǎng)絡(luò)模型MST++，對原始光譜數(shù)據(jù)進(jìn)行了重建處理。接著，利用Faster R-CNN模型對重建后的光譜數(shù)據(jù)進(jìn)行煤炭區(qū)域檢測，并通過與RGB數(shù)據(jù)集對比試驗(yàn)，評估了多光譜重建對檢測性能的影響。

采用無人機(jī)攜帶相機(jī)對不同地區(qū)進(jìn)行數(shù)據(jù)采集，并進(jìn)行光譜重建和煤炭區(qū)域檢測。結(jié)果顯示，重建圖像的檢測效果更好。通過進(jìn)一步對煤炭區(qū)域進(jìn)行輪廓提取和面積計(jì)算，確定了含煤量，也驗(yàn)證了方法的準(zhǔn)確性。這一方法降低了實(shí)地測量成本，提高了估算效率，為資源化利用和生態(tài)治理提供一定的依據(jù)。利用深度學(xué)習(xí)光譜重建和目標(biāo)檢測技術(shù)，為煤炭行業(yè)的智能化和綠色化發(fā)展提供了新技術(shù)。這些成果有望在煤礦生產(chǎn)、環(huán)境監(jiān)測、資源評估等領(lǐng)域得到應(yīng)用，從而推動煤炭行業(yè)的可持續(xù)發(fā)展。

1 材料與方法

1.1 數(shù)據(jù)集準(zhǔn)備

1.1.1 數(shù)據(jù)采集

數(shù)據(jù)于榆家梁煤礦的矸石堆進(jìn)行采集。根據(jù)矸石堆的面積和地形特點(diǎn)，采用網(wǎng)格法對矸石堆進(jìn)行規(guī)則劃分^[12]。具體而言，將矸石堆劃分為若干個(gè)大小相等的網(wǎng)格，并將每個(gè)網(wǎng)格的交點(diǎn)作為一個(gè)采樣點(diǎn)，每個(gè)采樣點(diǎn)對應(yīng)一個(gè)場景。根據(jù)矸石堆的面積大小，共布設(shè)3個(gè)場景。在每個(gè)場景中，采集一定量的矸石樣本，一般而言，每個(gè)采樣點(diǎn)處采集1～3 kg的樣本。

采樣完成后，將樣本帶回實(shí)驗(yàn)室，使用RGB相機(jī)對樣本進(jìn)行數(shù)據(jù)采集。RGB相機(jī)能夠捕捉矸石樣本的可見光波段信息，為后續(xù)的圖像分析奠定基礎(chǔ)。圖1展示部分采集的數(shù)據(jù)集樣例，直觀地呈現(xiàn)了不同場景下的矸石樣本圖像。通過規(guī)范化的采樣和數(shù)據(jù)采集流程，確保數(shù)據(jù)的代表性和可靠性，為后續(xù)的煤矸石含煤量估算研究提供高質(zhì)量的數(shù)據(jù)支持。

1.1.2 數(shù)據(jù)集處理

當(dāng)光照強(qiáng)度較大時(shí)，采集到的數(shù)據(jù)集可能會出現(xiàn)失真，從而會影響重建效果。為保證數(shù)據(jù)集的可靠性，可以根據(jù)式（1）使用2種參考色（白色和深色）來對多光譜數(shù)據(jù)進(jìn)行校準(zhǔn)，目的是消除光照條件對數(shù)據(jù)的影響，使得數(shù)據(jù)在不同條件下具有可比性和一致性。

Ic=Ir－IdIw－Id

（1）

式中 Ic，Ir分別為校準(zhǔn)后的多光譜圖像和原始多光譜圖像；Iw為白色圖像；Id為深色圖像。

采集到的數(shù)據(jù)集圖像為1 280×1 300的像素，然而，這些圖像作為光譜重建的輸入時(shí)，網(wǎng)絡(luò)模型會因?yàn)閳D片尺寸過大而報(bào)錯(cuò)。為減輕網(wǎng)絡(luò)負(fù)擔(dān)，將采集到的數(shù)據(jù)集進(jìn)行處理至700×800的像素。處理的數(shù)據(jù)集圖像可以滿足網(wǎng)絡(luò)模型的輸入要

求，并減少計(jì)算負(fù)荷，提高重建網(wǎng)絡(luò)的運(yùn)行穩(wěn)定性。

1.2 光譜重建方法

多光譜成像技術(shù)具有更寬的帶寬，受可見光的影響較小^[13]，提供更多的光譜信息，在目標(biāo)檢測中具有良好的應(yīng)用潛力。然而，多光譜相機(jī)成本相當(dāng)高，便攜性較差，不適用于現(xiàn)場煤矸石檢測。因此，提出一種使用單個(gè)RGB圖像重建多光譜圖像的方法，并將該方法應(yīng)用于煤矸石檢測。

1.2.1 采樣成像原理

RGB圖像是包含3個(gè)波段的圖像，RGB圖像通過將紅綠藍(lán)3種顏色的光進(jìn)行糅合進(jìn)而得到其他顏色^[14]。當(dāng)光源為日光時(shí)，光譜是連續(xù)的，此時(shí)RGB圖像的輸出如下式

pk=∫Ωo

（λ）ck（λ）dλ

（2）

式中 Ck為R、G、B這3個(gè)通道；λ為波長；o為入射光。

RGB相機(jī)是一種以光學(xué)成像原理進(jìn)行記錄影像的成像設(shè)備，通過光學(xué)鏡頭傳遞目標(biāo)影像路徑，通過電荷耦合器對目標(biāo)影像進(jìn)行接收^[15]。光源會發(fā)出一定波長的電磁波，不同物體對電磁波有著不同的反射率，當(dāng)光源照射到目標(biāo)物體上，由相機(jī)捕捉到目標(biāo)物體表面的反射光譜，并通過相機(jī)的成像設(shè)備進(jìn)行轉(zhuǎn)換，得到RGB圖像，在不考慮影響因素的情況下^[16]，RGB圖像的形成過程可以由式（3）表示

I=∫ΩE（λ）S（λ）CSS（λ）dλ

（3）

式中 E（λ）為光源的光譜能量分布；S（λ）為物體的光譜反射率；CSS為相機(jī)的光譜響應(yīng)函數(shù)；λ為電磁波波長，其范圍一般為400 nm到700 nm的可見光。

RGB相機(jī)的成像過程可以看作是物體表面的光譜與RGB相機(jī)的光譜響應(yīng)函數(shù)的乘積^[17]。而式（3）中E（λ）與S（λ）相乘即為物體表面的光譜值，可得到式（4）

I=∫ΩHSI（nλ）×CSS（nλ）dλ

（4）

式中 HSI為物體表面光譜；CSS為RGB相機(jī)光譜響應(yīng)函數(shù)。根據(jù)式（4）可知，進(jìn)行光譜重建最重要的是獲取RGB相機(jī)的光譜響應(yīng)曲線。

1.2.2 相機(jī)光譜響應(yīng)曲線的獲取

在RGB相機(jī)進(jìn)行成像時(shí)，一些因素會對相機(jī)光譜響應(yīng)曲線產(chǎn)生影響，例如白平衡（AWB）和曝光時(shí)間等^[18]，這些因素會對后續(xù)網(wǎng)絡(luò)訓(xùn)練產(chǎn)生影響。白平衡（AWB）會影響拍攝的RGB值，從而導(dǎo)致RGB值與對應(yīng)光譜之間的映射不確定。在校準(zhǔn)過程中，將RGB增益設(shè)置為1∶1∶1，并固定相機(jī)的曝光時(shí)間。

搭建的采集裝置平臺如圖2（a）所示。平臺由標(biāo)準(zhǔn)光源、凸透鏡和三棱鏡以及用于采集光譜圖像 通過搭建試驗(yàn)平臺獲取到不同光強(qiáng)下該CCD相機(jī)的色條，色條上的每個(gè)顏色塊都代表著特定波長光的反射或透射特性。將色條進(jìn)行測量，并將得到的光譜數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)化的光譜響應(yīng)曲線。

對光譜數(shù)據(jù)進(jìn)行數(shù)據(jù)處理和曲線擬合，得到該CCD相機(jī)的光譜響應(yīng)曲線，如圖3所示。

1.3 光譜重建與煤矸石檢測框架

整體框架如圖4所示。通過上述試驗(yàn)獲取到所使用相機(jī)的光譜響應(yīng)曲線。首先，利用煤矸石光譜重建網(wǎng)絡(luò)模型對原始RGB數(shù)據(jù)進(jìn)行訓(xùn)練；其次，將原始煤矸石與煤炭RGB圖像輸入到光譜重建網(wǎng)絡(luò)中，得到重建后的HSI圖像；隨后，將重建后的煤炭和煤矸石HSI圖像和未進(jìn)行光譜重建的原始RGB圖像，輸入到檢測網(wǎng)絡(luò)中，通過對比試驗(yàn)的結(jié)果，最終得到檢測結(jié)果。

1.3.1 光譜重建神經(jīng)網(wǎng)絡(luò)

光譜重建的原理是一個(gè)具有RGB和HSI配對的監(jiān)督數(shù)據(jù)集來學(xué)習(xí)從RGB到HSI的映射。通過RGB圖像重建多光譜圖像的過程中，面臨的最大困難是信息丟失。傳統(tǒng)的光譜重建方法，如主成分分析（PCA）和非負(fù)矩陣壓縮（NMF）^[19]，雖然可以對光譜數(shù)據(jù)進(jìn)行降維和壓縮處理，但存在對噪聲敏感、受限于線性假設(shè)以及模型復(fù)雜程度低的局限性。對于煤矸石與煤炭等特定數(shù)據(jù)集，傳統(tǒng)方法的性能可能不盡人意。

近年來，深度學(xué)習(xí)在計(jì)算機(jī)視覺中得到廣泛應(yīng)用，并且在光譜重建中也有應(yīng)用，通過大量的訓(xùn)練數(shù)據(jù)，深度學(xué)習(xí)網(wǎng)絡(luò)可以學(xué)習(xí)RGB圖像與多光譜圖像之間的映射關(guān)系^[20]。基于CNN的方法可以學(xué)習(xí)從三維RGB像素值到高維高光譜信號的有效映射函數(shù)，但基于CNN的網(wǎng)絡(luò)模型應(yīng)用于光譜重建中會存在數(shù)據(jù)不平衡和計(jì)算量問題等限制^[21]，以及在捕捉長程依賴性和自相似性先驗(yàn)方面存在局限性。近年來，Transformer模型在自然語言處理（NLP）領(lǐng)域取得了成功，并被應(yīng)用于計(jì)算機(jī)視覺中。相較于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）^[22]，Transformer模型引入自注意力機(jī)制來解決信息丟失或梯度消失等問題^[23]。Transformer中的多頭自注意（MSA）機(jī)制在建模遠(yuǎn)程依賴和非局部自相似方面優(yōu)于CNN，可以緩解基于CNN的光譜重建算法的局限性^[24]。

然而，在光譜重建中直接使用Transformer模型會面臨一些問題。首先，MSA計(jì)算復(fù)雜度較高；其次，MSA對于輸入序列長度有限制^[25]。為解決上述問題，引入基于Transformer框架的多級頻譜智能Transformer模型（MST++）^[26]。MST++通過將RGB圖像作為輸入，并利用其空間特征以及與光譜信息的關(guān)聯(lián)性^[27]，重建對應(yīng)的多光譜圖像。RGB圖像作為輸入經(jīng)過編碼器，提取出特征，隨后將特征輸送到S-MSA模塊中，利用自注意力機(jī)制，對RGB圖像的空間特征與光譜信息進(jìn)行融合，將所得的特征圖輸送到解碼器中，利用上采樣操作將其還原為多光譜圖像。

MST++網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。圖5（a）描述了提出的MST++模型，網(wǎng)絡(luò)輸入為煤矸石的RGB圖像，并重建其HSI對應(yīng)物^[28]，利用長身份映射來簡化訓(xùn)練過程。圖5（b）展示了U形SST，由編碼器、瓶頸和解碼器組成。嵌入和映射塊是單個(gè)Conv 3×3層。編碼器中的特征圖依次經(jīng)歷下采樣操作、一個(gè)下采樣操作和N2個(gè)SABs。瓶頸由N3個(gè)SABs組成。解碼器采用對稱結(jié)構(gòu)。上采樣操作是一個(gè)Deconv 2×2層。為避免下采樣中的信息丟失，編碼器和解碼器之間使用跳躍連接。圖5（c）說明了SAB的組成部分。

1.3.2 煤矸石檢測神經(jīng)網(wǎng)絡(luò)

Faster RCNN是一種由4個(gè)部分組成的網(wǎng)絡(luò)結(jié)構(gòu)，分別為特征提取網(wǎng)絡(luò)（Feature Extraction）、區(qū)域候選網(wǎng)絡(luò)（Region Proposal Network）、生成ROI（Region Proposal）及分類和回歸（Classification and Regression）。其中特征提取網(wǎng)絡(luò)模塊由Conv+Relu+Pool層構(gòu)成，將輸入的圖片的特征進(jìn)行提取，即為特征圖^[29]，用于后續(xù)的RPN網(wǎng)絡(luò)；區(qū)域候選網(wǎng)絡(luò)模塊將特征圖作為輸入，輸出為多個(gè)興趣區(qū)域（ROI），每個(gè)候選區(qū)域都表示為一個(gè)概率值，并且通過分類器進(jìn)行分類；生成ROI模塊將RPN輸出的區(qū)域和特征提取網(wǎng)絡(luò)兩者輸出的特征圖作為輸入，綜合兩者的區(qū)域特征，并輸入到全連接網(wǎng)絡(luò)中進(jìn)行分類；分類和回歸模塊將所有特征圖作為輸入，輸出物體的類別以及物體在圖像中的位置，并通過邊界框?qū)ξ矬w位置的修正。該網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示^[30]。

1.4 模型訓(xùn)練

使用Anaconda3（Python 3.6）、PyTorch庫等進(jìn)行光譜重建算法的實(shí)現(xiàn)。光譜重建網(wǎng)絡(luò)的訓(xùn)練和測試在intel i7-12700kCPU（3.60 GHz）、32 gb內(nèi)存和NVIDIA RTX3080（CUDA 11.4）顯卡下進(jìn)行。在進(jìn)行光譜重建網(wǎng)絡(luò)模型訓(xùn)練時(shí)，采用NTIRE 2020光譜數(shù)據(jù)集作為基礎(chǔ)數(shù)據(jù)集。該數(shù)據(jù)集包括450張訓(xùn)練圖像、10張驗(yàn)證圖像和10張測試圖像，光譜波段數(shù)為31，光譜范圍在400～700 nm之間。RGB圖像是通過將對應(yīng)的多光譜圖像經(jīng)過使用的RGB相機(jī)的光譜響應(yīng)曲線作為映射函數(shù)生成的，其過程如圖7所示。

為進(jìn)一步擴(kuò)充數(shù)據(jù)集規(guī)模并提高模型的泛化能力，對原始數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)。具體而言，對每張訓(xùn)練圖像，隨機(jī)應(yīng)用旋轉(zhuǎn)、翻轉(zhuǎn)、縮放等變換，生成多個(gè)增強(qiáng)樣本。同時(shí)，為模擬不同光照條件下的影像，對圖像的亮度、對比度和飽和度進(jìn)行隨機(jī)調(diào)整。通過這些數(shù)據(jù)增強(qiáng)技術(shù)，將原始的450張訓(xùn)練圖像擴(kuò)展為45 000張，將10張驗(yàn)證圖像擴(kuò)展為1 000張，將10張測試圖像擴(kuò)展為1 000張。擴(kuò)展后的數(shù)據(jù)集規(guī)模達(dá)到了原始數(shù)據(jù)集的100倍，大大豐富了訓(xùn)練樣本的多樣性。

在數(shù)據(jù)增強(qiáng)的過程中，需要注意保持原始光譜信息的完整性和一致性。為此，對多光譜圖像和對應(yīng)的RGB圖像采用相同的變換參數(shù)，確保二者之間的映射關(guān)系不被破壞。擴(kuò)展后的數(shù)據(jù)集為模型訓(xùn)練提供了更加充足的樣本支持，有助于提高模型的魯棒性和泛化性能。通過大規(guī)模數(shù)據(jù)集上的訓(xùn)練，模型能夠更好地學(xué)習(xí)到煤矸石的光譜特征，為后續(xù)的含煤量估算任務(wù)奠定了堅(jiān)實(shí)的基礎(chǔ)。

在訓(xùn)練過程中，需要對RGB圖像進(jìn)行歸一化處理，重新縮放至[0，1]，使用Adam優(yōu)化器進(jìn)行參數(shù)優(yōu)化，其中超參數(shù)默認(rèn)設(shè)置為0.9和0.999。采用余弦退火法來將初始學(xué)習(xí)率進(jìn)行衰減，初始學(xué)習(xí)率為0.004。當(dāng)學(xué)習(xí)率沒有明顯的衰退時(shí)，停止訓(xùn)練，采用的評價(jià)指標(biāo)為Loss、MRAE、RMSE。

對于煤矸石檢測網(wǎng)絡(luò)，輸入為光譜重建網(wǎng)絡(luò)的輸出即為重建后的HSI圖像以及對照組的RGB煤矸石照片，訓(xùn)練集和預(yù)測集比例為10∶1。引入評價(jià)指標(biāo)，包括準(zhǔn)確率（Precision）、精度（Accuracy）、召回率（Recall）、Loss。

1.5 評價(jià)指標(biāo)

將平均相對誤差（MRAE）和均方根誤差（RMSE）作為光譜重建的評價(jià)指標(biāo)，將準(zhǔn)確率和Loss作為檢測模型的評價(jià)指標(biāo)。在光譜重建中，平均相對誤差（MRAE）用來衡量重建光譜與實(shí)際光譜之間的平均相對誤差，定義為式（5），MRAE的值會直接反映光譜重建的預(yù)測誤差，MRAE的值越小，說明光譜重建的效果越好；均方根誤差（RMSE）用來衡量重建光譜與實(shí)際光譜的差異程度，定義為式（6），MRSE的值越小，說明光譜重建的預(yù)測誤差小，這也證明光譜重建模型的性能越好。但是使用RMSE進(jìn)行模型評估時(shí)，需要注意比較對象是否為相同的光譜范圍，不同的光譜范圍會導(dǎo)致RMSE的值變化，從而造成影響。

MRAE=1N∑Ni=1IiR－IiGIiG

（5）

RMSE=（1N∑Ni=1（IiR－IiG）2）

（6）

式中 N為總像元數(shù)；IiR和IiG分別為重建的光譜圖像和真實(shí)圖像的第i個(gè)像素值。

準(zhǔn)確率是用來衡量模型在所有預(yù)測為正例的樣本中正例實(shí)際所占的比例，見下式

Precision=TPTP+FP

（7）

式中 TP為模型正確預(yù)測為正例的樣本數(shù)量；FP為模型錯(cuò)誤地將負(fù)例預(yù)測為正例的樣本數(shù)量。

在Faster RCNN網(wǎng)絡(luò)中，損失函數(shù)分類問題中常用的交叉熵?fù)p失函數(shù)，其用來衡量分類網(wǎng)絡(luò)中輸出的概率分布與真實(shí)類別之間的差異。當(dāng)誤差處于平穩(wěn)時(shí)，即輸出與真實(shí)之間的差異越小，表明模型的預(yù)測能力得到提升；當(dāng)Loss曲線在訓(xùn)練后期處于平穩(wěn)時(shí)，表明模型已經(jīng)收斂到一個(gè)較好的狀態(tài)。損失值的計(jì)算公式如下

L（{pi}，{ui}）=

1Ncls∑iLcls（pi，pi）+λ1Nreg∑ipiLreg（ti，ti）

（8）

式中 pi為候選框內(nèi)物體預(yù)測為目標(biāo)的概率；ti={tx，ty，tw，tn}為向量，為候選框的4個(gè)頂點(diǎn)的坐標(biāo)；Lcls為目標(biāo)和非目標(biāo)的對數(shù)損失；Lreg為回歸損失。

2 試驗(yàn)結(jié)果與分析

2.1 光譜重建質(zhì)量評估

為評估光譜重建效果，使用NTIRE 2020光譜數(shù)據(jù)集比較MST++網(wǎng)絡(luò)模型與當(dāng)前先進(jìn)的重建網(wǎng)絡(luò)模型，包括HSCNN+、HRNET、和MIRNET。評價(jià)模型性能的指標(biāo)包括Loss、MRAE、和RMSE。試驗(yàn)結(jié)果表明，MST++模型在重建質(zhì)量上展現(xiàn)出顯著優(yōu)勢。由表1可知，MST++的MRAE僅為0.158 5，低于HSCNN+的0.171 7、HRNET的0.165 5和MIRNET的0.191 5，分別下降了7.6%、4.2%和17.2%；同樣，在RMSE指標(biāo)上，MST++也表現(xiàn)最佳，為0.019 2，較其他模型分別降低9.4%、4.2%、14.7%。這些成果不僅證實(shí)了MST++在光譜重建方面的卓越性能，也為煤矸石檢測提供了更精確和可靠的技術(shù)基礎(chǔ)。

選取NTIRE 2020光譜數(shù)據(jù)集中的若干樣本，通過4種網(wǎng)絡(luò)模型包括MST++在內(nèi)，進(jìn)行光譜重建。圖8展示其中4個(gè)波段的多光譜圖像重建結(jié)果，并在最后一行對比了真實(shí)的光譜圖像（Ground Truth）。從結(jié)果中可以清楚地看出，MST++模型的光譜重建質(zhì)量顯著優(yōu)于其他模型，尤其是在細(xì)節(jié)恢復(fù)和光譜信息還原方面。從而檢測更準(zhǔn)確、可靠，使模型能夠更精確地識別和定位煤矸石區(qū)域。

為進(jìn)一步驗(yàn)證光譜重建的精確性，在選定圖像上隨機(jī)選擇2個(gè)坐標(biāo)點(diǎn)，對比MST++網(wǎng)絡(luò)模型與其他3種網(wǎng)絡(luò)模型（HSCNN+、HRNET、MIRNET）的重建結(jié)果和真實(shí)光譜（Ground truth）。如圖9所示，隨機(jī)選定的坐標(biāo)點(diǎn)包括P1（419、170）和P2（324、250），以及P3（254、235）和P4（43、273）。圖9中的黑色實(shí)線代表真實(shí)光譜，紫色實(shí)線（MST++）、紅色實(shí)線（MIRNET）、藍(lán)色實(shí)線（HRNET）和綠色實(shí)線（HSCNN+）分別表示各網(wǎng)絡(luò)模型的重建譜線。從圖9可以看出，紫色實(shí)線（MST++的重建結(jié)果）在大多數(shù)情況下與黑色實(shí)線（真實(shí)光譜）的吻合度更高，說明MST++模型能夠更準(zhǔn)確地還原具體坐標(biāo)點(diǎn)的光譜信息，與真實(shí)光譜的一致性更強(qiáng)。這一發(fā)現(xiàn)不僅進(jìn)一步證實(shí)了MST++模型在光譜重建方面的優(yōu)異性能，也為將來基于真實(shí)煤矸石數(shù)據(jù)的光譜重建工作提供了堅(jiān)實(shí)的技術(shù)支持。

為驗(yàn)證光譜重建網(wǎng)絡(luò)的效果，將所采集到的部分煤炭和煤矸石及其混合體數(shù)據(jù)集輸入到MST++模型中進(jìn)行重建，挑選4個(gè)波段下的多光譜圖像，如圖10所示。圖中可以清楚地看到，重建的圖像很好地保留了煤矸石和煤炭的光譜細(xì)節(jié)，并且能清晰地區(qū)分煤矸石與煤炭，因此可以有效應(yīng)用于多光譜圖像的檢測。

為進(jìn)一步探尋光譜重建后煤矸石與煤炭之間的差異，對煤炭和煤矸石進(jìn)行混合，并進(jìn)行光譜重建。通過將重建后的多光譜數(shù)據(jù)映射到三維空間，可以很清楚地看到每個(gè)煤炭、煤矸石與路面之間的區(qū)別，為后續(xù)的煤矸石檢測提供了強(qiáng)有力的支持。圖11展示清晰的煤矸石重建以及三維映射的結(jié)果。從圖11可以看出，煤炭與煤矸石之間的差異，并且通過將光譜重建與三維映射相結(jié)合，可以更全面地了解煤矸石的特征，更準(zhǔn)確地定位和區(qū)分煤矸石和煤炭，這對于后續(xù)進(jìn)一步檢測提供了強(qiáng)有力的支撐。

2.2 煤矸石檢測模型在不同場景下的對比

針對劃分的3個(gè)場景，使用無人機(jī)進(jìn)行

不同角度和高度的拍攝，確保覆蓋每個(gè)場景的各個(gè)部分，并且保證拍攝精度，確保拍攝的圖像具備足夠的分辨率和特征度。圖12為場景的數(shù)據(jù)樣本。

考慮到煤矸石和煤炭的數(shù)據(jù)集有限，對數(shù)據(jù)進(jìn)行增強(qiáng)，從而成功擴(kuò)展了訓(xùn)練數(shù)據(jù)集。圖像增強(qiáng)后的部分樣本展示如圖13所示，可以看出增強(qiáng)操作豐富了數(shù)據(jù)集的多樣性，為模型學(xué)習(xí)提供了更為全面和多變的特征信息^[31]。通過這種方法，提高了模型在實(shí)際應(yīng)用中的魯棒性和準(zhǔn)確性，為后續(xù)的煤矸石檢測提供了堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)和方法支持。

檢測結(jié)果如圖14和圖15所示。在處理檢測結(jié)果時(shí)，為了獲取到最為可靠的類別識別結(jié)果，選擇最高預(yù)測框作為最終的分類，并且將預(yù)測結(jié)果與真實(shí)類別進(jìn)行比對，得到最終的準(zhǔn)確度，挑選60張為預(yù)測集。

類別預(yù)測結(jié)果在圖形中通過不同的符號進(jìn)行區(qū)分，其中煤矸石、煤炭分別用紅色圓圈和黑色正方形表示。根據(jù)RGB預(yù)測集所預(yù)測結(jié)果，從圖16可以很清晰地看到在對應(yīng)的03、05預(yù)測集數(shù)據(jù)中，煤矸石的錯(cuò)誤達(dá)到7張，煤炭達(dá)到4張，2類樣品的整體預(yù)測準(zhǔn)確度為81.2%。

重建后的矸石數(shù)據(jù)的預(yù)測類別結(jié)果在結(jié)果中通過不同的符號進(jìn)行區(qū)分，其中煤矸石、煤炭分別用紅色圓圈和黑色正方形表示。根據(jù)RGB預(yù)測集所預(yù)測結(jié)果，圖17可以很清晰地看到在對應(yīng)的03、05預(yù)測集數(shù)據(jù)中，煤矸石錯(cuò)誤達(dá)到3張，煤炭2張，總體類別預(yù)測正確率為91.7%，相比于RGB的正確率，重建后的多光譜檢測準(zhǔn)確度得到巨大提升。

為體現(xiàn)2種圖像的檢測差異，引入查準(zhǔn)率和查全率，表2為RGB圖像以及HSI圖像的查準(zhǔn)率和查全率，這些指標(biāo)旨在反映2類圖像在檢測性能上的差異。

由表2可知，HSI圖像的查準(zhǔn)率結(jié)果中煤矸石、煤炭分別為81.2%、91.7%均明顯高于RGB圖像中煤炭（56.7%）、煤矸石（74.2%）的查準(zhǔn)率；同樣查全率也是明顯高于RGB圖像。結(jié)果表明使用光譜重建后的圖像效果更佳，說明光譜重建的HSI圖像比起傳統(tǒng)的RGB圖像更適用于煤矸石檢測，并且效果更佳，準(zhǔn)確度更高。

2.3 矸石堆煤炭含量預(yù)測

針對榆家梁煤礦的一個(gè)矸石堆進(jìn)行了圖像采集和含碳量評估。首先，將矸石堆分成3個(gè)場景，并對每個(gè)場景進(jìn)行真實(shí)含碳量的人工分揀。然后，統(tǒng)計(jì)每個(gè)場景中煤矸石和煤炭的數(shù)量。具體來說，在場景1中，分揀115塊煤矸石和8塊煤炭；在場景2中，分揀為52塊煤矸石和3塊煤炭；在場景3中，分揀為63塊煤矸石和5塊煤炭。最后，對這3個(gè)場景的樣本進(jìn)行稱重，可得真實(shí)含碳量分別為6.65%、5.47%和7.38%。

利用光譜重建技術(shù)和目標(biāo)檢測技術(shù)對這3個(gè)場景的煤矸石和煤炭進(jìn)行數(shù)據(jù)采集和分析。對已經(jīng)檢測出的煤炭區(qū)域，運(yùn)用邊緣檢測算法提取煤炭的輪廓，并利用圖像處理中的形狀分析方法計(jì)算了煤炭的面積占比。輪廓提取如圖18所示，煤炭含量占比見表3。

經(jīng)過輪廓提取和面積計(jì)算后，得出這3個(gè)場景的含碳量分別為4.25%、8.16%和5.48%。將這些結(jié)果與真實(shí)含碳量進(jìn)行比較，發(fā)現(xiàn)含碳量結(jié)果的誤差分別為2.4%、2.69%和1.9%。這些結(jié)果充分證明了對于矸石堆含碳量評估的準(zhǔn)確性。

通過光譜重建、目標(biāo)檢測、樣點(diǎn)劃分以及數(shù)據(jù)采集，將采集到的樣點(diǎn)數(shù)據(jù)進(jìn)行光譜重建，將重建后的矸石數(shù)據(jù)進(jìn)行檢測和網(wǎng)格化處理，對于樣點(diǎn)的含碳量與真實(shí)含碳量進(jìn)行比較，證實(shí)了該方法的準(zhǔn)確性。基于此，未來可以對于大規(guī)模的矸石山進(jìn)行含碳量評估，從而降低矸石山實(shí)地測量的成本并提高效率；還可以通過對矸石山煤炭含量的評估，更好地評估其對環(huán)境的潛在影響。

3 結(jié) 論

1）提出一種基于光譜重建技術(shù)和深度學(xué)習(xí)的創(chuàng)新性煤矸石含煤量估算方法。通過將電荷耦合頻響多光譜成像與深度學(xué)習(xí)算法相結(jié)合，實(shí)現(xiàn)了煤矸石堆的高效、準(zhǔn)確檢測和含煤量評估。該方法克服了傳統(tǒng)人工抽樣檢測的局限性，為矸石堆

的資源化利用和環(huán)境治理提供了重要的技術(shù)支持。

2）MST++模型在MRAE和RMSE這2個(gè)評價(jià)指標(biāo)上均優(yōu)于對比模型。實(shí)現(xiàn)了像素級重建、煤矸石與煤炭的RGB圖像重建以及三維重建，直觀地展現(xiàn)了煤矸石與煤炭之間的光譜差異，為后續(xù)的檢測工作奠定了堅(jiān)實(shí)的基礎(chǔ)。

3）基于重建后的多光譜圖像的檢測準(zhǔn)確度顯著優(yōu)于原始RGB圖像。對重建后的煤矸石數(shù)據(jù)進(jìn)行含碳量預(yù)測，結(jié)合檢測結(jié)果和輪廓提取，對3個(gè)場景的含碳量進(jìn)行估算。估算結(jié)果與實(shí)測含碳量的誤差均在5%以內(nèi)，驗(yàn)證了該方法的準(zhǔn)確性。這為后續(xù)針對整個(gè)矸石山的含煤量評估奠定了良好的基礎(chǔ)具有重要的實(shí)踐意義。

參考文獻(xiàn)（References）：

[1] 王世林，牛文靜，張攀，等.煤矸石的研究現(xiàn)狀與應(yīng)用[J].江西化工，2019（5）：69-71.WANG Shilin，NIU Wenjing，ZHANG Pan，et al.Research status and application of coal gangue[J].Jiangxi Chemical Industry，2019（5）：69-71.

[2]王小云，牛艷霞.煤矸石研究綜述：分類、危害及綜合利用[J].化工礦物與加工，2023，52（11）：18-25.WANG Xiaoyun，NIU Yanxia.Review of research on coal gangue with its classification，hazards and comprehensive utilization[J].Industrial Minerals and Processing，2023，52（11）：18-25.

[3]鄭道能.一種改進(jìn)的tiny YOLO v3煤矸石快速識別模型[J].工礦自動化，2023，49（4）：113-119.ZHENG Daoneng.An improved tiny YOLO v3 rapid recognition model for coal gangue[J].Journal of Mine Automation，2023，49（4）：113-119.

[4]顧霖駿，申艷軍，王念秦，等.煤矸石堆積區(qū)土壤重金屬潛在危害評價(jià)及污染特征[J].西安科技大學(xué)學(xué)報(bào)，2022，42（5）：942-949.GU Linjun，SHEN Yanjun，WANG Nianqin，et al.Pollution characteristic and potential risk accessment of heavy metals in soil of coal gangue accumulation areas[J].Journal of Xi’an University of Science and Technology，2022，42（5）：942-949.

[5]龍超，黃德軍，方成剛，等.基于深度學(xué)習(xí)的煤矸石檢測技術(shù)研究[J].煤礦機(jī)械，2023，44（11）：61-64.LONG Chao，HUANG Dejun，F(xiàn)ANG Chenggang，et al.Research on coal gangue detection technology based ondeep learning[J].Coal Machinery，2023，44（11）：61-64.

[6]李瑞，李博，王學(xué)文，等.基于XGBoost與可見-近紅外光譜的煤矸識別方法[J].光譜學(xué)與光譜分析，2022，42（9）：2947-2955.LI Rui，LI Bo，WANG Xuewen，et al.A classification method of coal and gangue based on XGBoost and visible-near infrared spectroscopy[J].Spectroscopy and Spectral Analysis，2022，42（9）：2947-2955.

[7]曹珍貫，呂旻姝，張宗唐.基于熱成像技術(shù)和深度學(xué)習(xí)的煤矸石識別方法[J].湖南工程學(xué)院學(xué)報(bào)（自然科學(xué)版），2021，31（1）：48-52.CAO Zhenguan，LV Minshu，ZHANG Zongtang.Coal gangue recognition method based on thermal imaging technology and deep learning[J].Journal of Hunan Institute of Engineering（Natural Science Edition），2021，31（1）：48-52.

[8]來文豪，周孟然，胡鋒，等.基于多光譜成像和改進(jìn)YOLOv4的煤矸石檢測[J].光學(xué)學(xué)報(bào)，2020，40（24）：72-80.LAI Wenhao，ZHOU Mengran，HU Feng，et al.Coal gangue detection based on multi-spectral imaging and improved YOLOv4[J].Acta Optica Sinica，2020，40（24）：72-80.

[9]齊永鋒，陳靜，火元蓮.一種融合Gabor濾波與3D/2D卷積的高光譜圖像分類算法[J].光電子激光，2021，32（5）：477-484.QI Yongfeng，CHEN Jing，HUO Yuanlian.A hyperspectral image classification algorithm combining gabor filtering and 3D/2D convolution[J].Journal of Optoelectronics Laser，2021，32（5）：477-484.

[10]DUAN S，LI J，SONG R，et al.Unmixing-Guided convolutional transformer for spectral reconstruction[J].Remote Sensing，2023，15（10）：2619.

[11]張德鈞.基于Faster R-CNN和多光譜圖像的漂浮HNS檢測與分類研究[D].杭州：浙江大學(xué)，2019.

ZHANG Dejun.Detection and classification of HNS on water surface based on

Faster R-CNN and multispectral imaging[D].Hangzhou：Zhejiang University，2019.

[12]陳彪，盧兆林，代偉，等.基于輕量化HPG-YOLOX-S模型的煤矸石圖像精準(zhǔn)識別[J].工礦自動化，2022，48（11）：33-38.CHEN Biao，LU Zhaolin，DAI Wei，et al.Accurate recognition of coal gangue image based on lightweight HPG-YOLOX-S model[J].Journal of Mine Automation，2022，48（11）：33-38.

[13]李定川.數(shù)碼單反相機(jī)的成像原理[J].影像技術(shù)，2007（2）：29-33.LI Dingchuan.Imaging mechanism of digital single lensreflex cameras[J].Imaging Technology，2007（2）：29-33.

[14]FU Y，ZHENG Y，ZHANG L，et al.Spectral reflectance recovery from a single RGB image[J].IEEE Transactions on Computational Imaging，2018，4（3）：382-394.

[15]GAO X，WANG T，YANG J，et al.Deep-learning-based hyperspectral imaging through a RGB camera[J].Journal of Electronic Imaging，2021，30（5）：053014.

[16]張飛，劉珩，楊潔，等.基于相機(jī)RGB值的光譜反射率重建方法研究[J].兵器裝備工程學(xué)報(bào)，2024，45（2）：284-290.ZHANG Fei，LIU Heng，YANG Jie，et al.Research on spectral reflectance reconstruction method based on camera RGB value[J].Journal of Ordnance Equipment Engineering，2024，45（2）：284-290.

[17]TRAN V L，LIN H Y.A Structured light RGB-D camera system for accurate depth measurement[J].International Journal of Optics，2018，2018（8）：1-7.

[18]胡欣，劉瑞杰.基于光譜重建技術(shù)的遙感圖像復(fù)原方法[J].激光雜志，2023，44（11）：72-76.HU Xin，LIU Ruijie.Remote sensing image restoration method based on spectral reconstruction technology[J].Laser Journal，2023，44（11）：72-76.

[19]LIU X，GHERBI A，LI W，et al.TaijiGNN：A new cycle-consistent generative neural network for high-quality bidirectional transformation between RGB and multispectral domains[J].Sensors，2021，21（16）：5394.

[20]宋玲，夏智敏.人體關(guān)鍵點(diǎn)檢測的Mask R-CNN網(wǎng)絡(luò)模型改進(jìn)研究[J].計(jì)算機(jī)工程與應(yīng)用，2021，57（1）：150-160.SONG Ling，XIA Zhimin.Research on improved Mask R-CNN network model for human keypoint detection[J].Computer Engineering and Applications，2021，57（1）：150-160.

[21]陳杰，馬靜，李曉峰，等.基于DR-Transformer模型的多模態(tài)情感識別研究[J].情報(bào)科學(xué)，2022，40（3）：117-125.CHEN Jie，MA Jing，LI Xiaofeng，et al.Multi-model emotion recognition based on DR-Transformer model[J].Information Science，2022，40（3）：117-125.

[22]BASTARD P，BERTRAND P，MEUNIER M.A transformer model for winding fault studies[J].IEEE Transactions on Power Delivery，1994，9（2）：690-699.

[23]TORO C，ARIAS L，TORRES S，et al.Flame spectra-temperature estimation based on a color imaging camera and a spectral reconstruction technique[J].Applied Optics，2014，53（28）：6351-6361.

[24]LI S，LI F，GAO M，et al.A new method for winter wheat map based on spectral reconstruction technology[J].Remote Sensing，2021，13（9）：1810.

[25]WANG X，LI Y，QIU J，et al.RetroPrime：A diverse，plausible and transformer-based method for single-step retrosynthesis predictions[J].Chemical Engineering Journal，2021，420：129845.

[26]馮耀澤，萬仕文，潘勝，等.基于RGB圖像光譜重建的魚糜摻假定量檢測研究[J].農(nóng)業(yè)工程學(xué)報(bào)，2023，39（20）：275-282.FENG Yaoze，WAN Shiwen，PAN Sheng，et al.Quantitative detection of surimi adulteration based on spectral reconstruction of RGB images[J].Transactionsof the Chinese Society of Agricultural Engineering，2023，39（20）：275-282.

[27]CAI Y，LIN J.Mst++：Multi-stage spectral-wise transformer for efficient spectral reconstruction[C]]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2022：745-755.

[28]謝奇芳，姚國清，張猛.基于Faster R-CNN的高分辨率圖像目標(biāo)檢測技術(shù)[J].國土資源遙感，2019，31（2）：38-43.XIE Qifang，YAO Guoqing，ZHANG Meng.Research on high resolution image object detection technology based on Faster R-CNN[J].Remote Sensing for Land amp; Resources，2019，31（2）：38-43.

[29]FANG F，LI L，ZHU H，et al.Combining faster R-CNN and model-driven clustering for elongated object detection[J].IEEE Transactions on Image Processing，2019，29：2052-2065.

[30]FAN Q，BROWN L，SMITH J.A closer look at Faster R-CNN for vehicle detection[C]//2016 IEEE intelligent vehicles symposium（Ⅳ），IEEE，2016：124-129.

[31]火久元，李宇峰，常琛，等.基于混合裁剪失衡數(shù)據(jù)增強(qiáng)與SwinNet網(wǎng)絡(luò)的滾動軸承故障診斷[J].振動與沖擊，2024，43（6）：64-74.HUO Jiuyuan，LI Yufeng，CHANG Chen，et al.Fault diagnosis of rolling bearings based on mixed-cutout imba-lance data augmentation and the SwinNet network[J].Journal of Vibration and Shock，2024，43（6）：64-74.

（責(zé)任編輯：高佳）