基于目標檢測網絡的煤矸石識別

高新宇， 李 博， 王璐瑤， 李廉潔， 王學文

(太原理工大學機械與運載工程學院； 煤礦綜采裝備山西省重點試驗室， 山西太原 030024)

在未來的一段時間內，國內煤炭在一次能源消費中仍將占主導地位。《煤炭清潔高效利用行動計劃(2015—2020)》明確提出：截止到2020年，中國煤炭行業的原煤洗選率將達到80%以上[1]，而在原煤入洗之前，需要將原煤中難以破碎的矸石進行分選。傳統的分選由人工完成，存在著分選效率低、精度差以及對工人身體危害較大的問題[2]，故研發一套智能的、高精度的煤矸石分選系統就顯得非常必要。

目前已投入使用的分選系統是利用射線對煤和矸石穿透力不同的原理進行分選的，主要有X射線識別[3]、γ射線識別[4]等。該類方法雖識別速度快，但存在著輻射、對粒徑較大的煤矸石穿透力弱的問題。隨著近年來機器視覺及相關算法的不斷發展，基于圖像處理的煤矸石識別研究成為該方向的重點[5-6]。相關研究人員采用數字圖像處理的方式人工提取煤矸石特征，再結合支持向量機的方法對特征進行訓練以識別煤與矸石[7-9]，但目前還沒有找到一個魯棒的煤矸石特征提取算法。

自2012年以來以卷積神經網絡為代表的深度學習算法在圖像識別領域展示出強大的潛力，現在已在各個行業得到了廣泛應用[10-11]。 徐志強等[12]采用各種經典卷積神經網絡模型對煤和矸石的圖像進行了分類，并對模型進行了優化和壓縮。Gao等[13]對采集的60張圖片在U-net網絡下進行了訓練和測試，并且實現了煤矸石的定位和分類，驗證集的準確率達到93.0%；Li等[14]提出了一個基于深度學習模型的層次化煤矸石檢測框架，實現了單幅圖像中多個目標的檢測。以上研究中的深度學習模型均沒有部署，僅通過驗證集對模型進行了評估。

本文中在實驗室按照實際工況搭建了煤矸石分選平臺，基于HALCON軟件(版本19.11)使用搭建的深層目標檢測網絡對煤矸石進行了識別與定位，并在煤矸石分選平臺上進行了動態測試。

1 煤矸石分選平臺的搭建與數據集采集

1.1 煤矸石分選平臺

搭建的煤矸石分選平臺如圖1所示。 該平臺由帶式輸送機、 物料排隊機構、 圖像識別系統以及分選機構組成。 其中， 帶式輸送機的帶長為4 m， 帶寬為800 mm， 可在速度為0～2 m/s的范圍內調速。 圖像識別系統由計算機、 工業相機以及光源組成。 工業相機采用LA-GM-02K08A-00-R線掃描相機(加拿大Dalsa)， 像素為2 048的分辨率滿足了準確提取煤矸石紋理特征的清晰度， 最高可達80 kHz的行頻和千兆以太網的通信接口確保了整個識別系統采集和傳輸數據的實時性， 鏡頭選用Componon 2.8/35-0001定焦鏡頭(法國施耐德)， 該鏡頭搭配相機在滿足分選平臺安裝要求的情況下， 能在一定的噪音和振動下長時間穩定成像。為了增加圖像中煤和矸石的對比度，采用了照度可調的高均勻LED線性光源(LTS-2LINS1000-W)，避免了在采集圖像的過程中由于照度變化而出現的煤矸石圖像特征差異不明顯的情況。

圖1 煤矸石分選平臺Fig.1 Coal and gangue separation platform

在采集煤矸石圖像以及進行動態識別試驗時， 模擬煤礦手選帶式輸送機工況， 將帶速設置為0.4 m/s， 匹配帶速的相機采集行頻設置為2 000 Hz，采集的圖像大小設置為2 048像素×1 000像素；將相機安裝于帶式輸送機上方1 000 mm處，并通過光源控制器將采集區域的光照強度調整為350 lux；為了貼近實際的煤矸分選現場，本文中還將煤和矸石樣本隨機擺放于物料排隊機構前端，經過排隊的煤矸石被有序的排為3列，便于后續圖像的采集識別和分選機構的分選。

1.2 數據集

山西省一直是我國最重要的煤礦生產地，本文中將山西省西山礦區的煤矸石作為試驗樣本。由于煤矸初選是針對原煤而言，原煤粒徑一般在300 mm以下，因此由輸送機輸送到選煤廠的原煤的粒徑分布具有隨機性，這與煤礦的地質條件、采煤機截割策略等眾多因素有關。煤矸在初步分選時的粒徑在50～300 mm之間，所以本文中采集1 000張圖像時，隨機選取50～300 mm粒徑的煤矸石作為樣本。為了使網絡達到更好的訓練效果，剔除了質量較差的圖像，選取了其中716張作為數據集，數據集包含有單塊煤矸石圖像和多塊煤矸石圖像。采集的各類圖像的具體數量如表1所示。

表1 數據集的構成

2 目標檢測網絡

目標檢測是計算機視覺的一個重要分支，用來估計特定類型目標出現在圖像的哪些位置[15]，與傳統淺層學習相比，該類網絡可實現端到端的識別，不足之處是所需數據集大且需人工標注、網絡模型構建復雜、訓練時間較長。此外，目標檢測網絡自動提取特征的方式可在實際工況下提取各種有效特征，避免了傳統淺層學習需要一個魯棒的特征提取算法的局限性，故本文中使用該類網絡進行煤矸的識別及定位研究。

2.1 標注數據集

在煤矸分選平臺上采集的煤矸石圖片如圖2 a)所示，用HALCON標注助手對716張煤矸石圖像進行標注，生成數據集，如圖2 b)所示；此數據集中圖像大小為2 048像素×1 000像素，為了節約計算成本，減少模型的訓練時間，將數據集中的圖像壓縮為512像素×384像素；由于目標檢測網絡模型需要優化大量的參數，因此為了豐富數據集，降低過擬合風險，對數據集進行了鏡像操作，在每一次迭代中由行、列的鏡像軸隨機組合鏡像。

圖2 數據集Fig.2 Date set

2.2 目標檢測網絡的搭建

現有的研究中使用的煤矸識別深度網絡模型大多數是基于已有模型(VGG-16、 LeNet)針對具體的煤矸石數據集進行1層或2層的改變，且完成的是分類任務，并沒有對圖像中煤矸石的具體位置進行定位。考慮到實際煤礦中煤矸石分選工況以及深度學習模型的部署，本文中基于HALCON軟件搭建了目標檢測網絡，具體結構如圖3 a)所示，Block結構包含3個卷積層和1個深度連接層，如圖3 b)所示。該網絡由3部分組成，第1部分為骨干網絡，采用HALCON預訓練網絡，主要由Block結構組成，目的是生成具有高低層次信息的煤矸石特征圖；第2部分采用特征金字塔，對第1部分不同維度的特征圖進行連接并生成新的特征圖。由于粒徑為50～300 mm的煤矸石在圖像中所占比例在一定范圍內，故建立了3個尺度的特征金字塔，尺度分別為16×12、 32×24、 64×48，負責檢測大目標、中目標、小目標的特征；第3部分為預測網絡，由定位和分類子網絡組成，預測網絡對3個尺度特征圖中的目標進行定位和分類(分別為Bboxhead1、Classhead1、Bboxhead2、Classhead2、Bboxhead3、Classhead3)，根據煤矸石的形狀、大小特征，將定位時錨(參考框)的高寬比設為0.5、0.8、1.2、1.8，使得定位子網絡能夠對煤矸石進行更加準確的定位。由圖3可知，由于采用了不同的卷積核(如Block結構)，網絡會自動學習更加有效的特征，大大增加了訓練時的收斂速度[16]，且采用的特征金字塔結構確保了網絡可以提取圖像中不同粒徑的煤矸石特征，3個不同尺度金字塔的連接也使網絡在識別和定位煤矸時充分應用了骨干網絡所生成的高低層次信息的特征圖。

圖3 目標檢測網絡結構Fig.3 Object detection network structure

2.3 網絡訓練配置

為了便于在煤矸分選平臺進行圖像采集以及動態的識別試驗，在一臺CPU為i5-6200U，GPU為NVDIA GeForce940M，內存為8GB DDR3的PC上對目標檢測網絡進行訓練，訓練集和驗證集的比例為8∶2，迭代次數設置為90，由于該網絡模型較大，為了防止過擬合，在訓練中設置了改變學習率的策略，初始的學習率設置為0.000 55，在訓練到第45輪時，將學習率改變為0.000 055。由于計算機的配置有限，故在多次訓練的情況下平均耗時約為2.5 h。

2.4 評估方法

本文中使用mAP(mean average precision)指標對目標檢測模型進行評價，mAP可以衡量一幅圖像中煤和矸石分類和定位的準確性，是煤和矸石2類平均精度的均值,其根據精確度和召回率曲線得出，其中，精確度(Jpre)和召回率(Zrec)的計算公式為

(1)

(2)

式中：Tpos(true positive)為目標的真實標簽與模型預測一致的數量；Fpos(false positive)表示識別目標時受分類錯誤、 定位不準確以及背景影響的圖片數量；而Tpos+Fneg(false negative)則表示數據集中目標的總數量。

Tpos的數量直接與IOU(intersection-over-union)的閾值相關，而IOU是度量圖像中預測矩形框與真實矩形框相似程度的指標，即預測框與真實框的交集與并集之比，取值范圍在0～1之間，IOU越接近1，說明模型對煤和矸石的定位效果越好，其計算公式為

(3)

式中參數所表述含義與上述一致。

為了更好地評估模型，設置了0.5、 0.55、 0.6、 0.65、 0.7、 0.75、 0.8、 0.85、 0.9、 0.95 共10個IOU閾值測試模型，并比較了不同IOU閾值下煤和矸石的平均精度，得出了滿足實際工況下的IOU閾值和IOU對應的煤矸識別的準確率和召回率。

3 網絡的訓練與結果分析

1)在對目標檢測網絡進行多次訓練后，選取訓練及驗證結果最佳的網絡模型用于評估和分析。圖4 a)為網絡的訓練損失曲線圖。由圖可以看出，模型在訓練迭代50次左右后已經收斂，損失值一直保持在0.1以下。圖4 b)所示為訓練過程中該模型的mAP和學習率改變的折線圖，在0～40次的訓練中，mAP折線圖穩定上升，在第50～90次時，一直穩定在0.8左右。

2)使用驗證集(包含75張煤的和60張矸石的圖片)對該模型進行驗證，并得出了驗證集在10個不同IOU閾值下的平均精度AP(average precision)，如圖5所示。

a)訓練損失b)mAP折線圖圖4 模型的訓練結果Fig.4 Training results of model

圖5 煤和矸石在不用IoU下的AP折線圖Fig.5 AP broken line diagram of coal and gangue

從總體趨勢上看，矸石的AP始終大于煤，這可能由于圖片背景特征與煤更加接近，影響了網絡模型對煤的定位和識別，此外，隨著IOU閾值的增加，煤和矸石的AP在IOU為0.8之前穩定在0.9～1，在IOU為0.8之后快速減小。這是因為在實際的煤矸識別過程中，預測框與真實框大多數不會完全重合。

圖6為預測框與真值的對比，預測框為網絡預測的目標位置，真值為紫色和紅色背景，即數據集標注的目標準確位置，二者重合度越高，預測越準確；定位誤差主要與數據集特性、網絡結構以及訓練設置的超參數有關。由于分選系統對目標進行分選時允許存在定位誤差，因此只要將IOU限定在某一閾值之上即可。

圖6 預測框與真值的對比Fig.6 Comparison of prediction box and real box

綜合考慮到分選時的煤矸石粒徑(50～300 mm)、煤和矸石的AP以及機械手或氣閥分選的定位精度要求，最終將IOU閾值設置為0.8，此時驗證集的mAP為0.913。表2為IOU為0.8時，驗證集的混淆矩陣。由表可得，若針對矸石，60張矸石圖片被正確識別58張，其余2張受到定位和背景的影響，模型沒有正確識別。

表2 驗證集的混淆矩陣

3)在煤矸分選平臺上進行實時的識別定位測試，分選平臺工作1 h，煤矸石的識別定位結果如表3所示，識別試驗如圖7所示。可以看出，測試的煤和矸石的精確度和召回率均達到了95%以上，均高于目標檢測網絡在驗證集的表現，證明該網絡的泛化能力良好，可為分選平臺在選煤廠的使用提供重要的參考。

表3 目標檢測網絡動態測試結果

圖7 煤矸分選平臺識別試驗Fig.7 Identification test of separation platform

表4為用于煤矸識別的深度學習方法比較，與已有深度學習方法相比，本文中的目標檢測網絡研究更加突出實際工況下的分選應用。首先，數據集不僅僅包含單塊煤或矸石，還包含多塊煤矸石混雜的圖片， 50～300 mm的煤矸石粒徑更加貼近分選現場工況；其次，搭建了能夠反映煤矸石圖片中不同層級信息的特征金字塔網絡，使得該網絡可以準確識別和定位50～300 mm的煤矸石，且可直接部署進行現場測試；最后，在評估模型時考慮到分選煤矸石時對于定位精度的要求，將IOU設定為0.8，并在搭建的煤矸分選平臺上進行了實時地、動態地測試。

表4 深度學習方法比較

4 結論

1)50～300 mm的煤矸石粒徑以及含有多目標的數據集更加貼近實際分選工況，此外，通過對比煤和矸石不同IOU下的AP值，得出IOU為0.8時，模型的分類和定位效果最好。

2)在煤矸分選平臺的動態測試中，具有3個不同特征提取尺度的目標檢測網絡在滿足定位精度的前提下(IOU為0.8)，煤矸的精確度和召回率均達到了95%以上。本文中搭建的目標檢測網絡具有在環境較復雜的工況下實現高準度識別和高精度定位的潛力，可為選煤廠的實際應用提供重要參考。