輕量化煤矸目標檢測方法研究

杜京義， 史志芒， 郝樂， 陳瑞

(1.西安科技大學 電氣與控制工程學院，陜西 西安 710054；2.西安科技大學 安全科學與工程學院，陜西 西安 710054)

0 引言

煤炭開采中不可避免地會摻雜矸石，不僅影響煤炭充分燃燒，還會造成環境污染[1]。因此在煤礦生產中需進行煤矸檢測及分選。目前較為成熟的煤矸檢測方法主要是基于射線法[2-4]，如X射線、γ射線等，但該方法存在輻射危害，且設備昂貴、不易管理，難以推廣應用。隨著計算機視覺技術的發展，基于圖像處理的煤矸檢測方法因設備簡單、效率高等優點，得到越來越多學者的關注。該方法通過人工分析煤和矸石的灰度、紋理等空間域信息，將其直接作為特征或建立聯合特征，結合支持向量機、人工神經網絡等機器學習算法進行分類[5-8]，可有效實現煤矸識別，但存在特征不易提取或特征區分不明顯等問題，檢測模型在不同煤矸分選場景下的泛化性能較差。

與經典機器學習算法相比，卷積神經網絡(Convolutional Neural Network，CNN)可自動提取圖像的魯棒和高級特征表示[9]，被廣泛應用于計算機視覺任務中。文獻[10]分析了不同CNN模型對煤和矸石的分類效果，結果表明SqueezeNet識別精度和速度最優。文獻[11]利用VGG16結合遷移學習進行煤矸檢測，檢測精度達82.5%。考慮到實際煤矸分選場景中，煤和矸石出現在輸送帶上的位置是隨機的，因此利用抓取裝置進行煤矸分選時不僅需要區分煤和矸石的類別信息，還要準確獲取矸石在輸送帶上的位置信息。為此，文獻[12]提出了一種基于深度學習模型的分層煤矸檢測框架，并在3種不同的數據集上進行實驗。文獻[13]針對大粒度矸石分選目標，結合區域生成網絡(Region Proposal Network，RPN)建立了煤矸目標檢測模型。文獻[14]提出了一種由檢測器和鑒別器組成的級聯煤矸檢測網絡，檢測精度達91.3%，但檢測速度取決于每張圖像中的煤矸樣本數量。

在實際煤矸分選場景中，復雜惡劣的環境導致基于深度學習的煤矸檢測方法精度較低，特別是針對圖像中像素點較少的煤矸小目標，很容易發生漏檢現象，且難以兼顧檢測精度和實時性，同時難以部署在存儲和計算資源有限的嵌入式平臺上。為了及時準確地獲取煤矸類別和位置信息，本文對基于多尺度特征圖進行目標檢測的SSD(Single Shot MultiBox Detector)模型[15]進行改進，結合GhostNet輕量化特征提取網絡、自注意力機制、錨框優化方法，構建了Ghost-SSD模型，由此提出一種輕量化煤矸目標檢測方法，并采用以輸送帶為背景采集的煤矸數據集進行實驗，驗證了該方法的有效性。

1 相關網絡模型

1.1 SSD模型

SSD是一種基于多尺度特征圖的一階段目標檢測模型。其主干特征提取網絡以VGG16為基礎，并將VGG16的FC6層和FC7層轉換為卷積層，同時增加了4層擴展層。與Faster-RCNN[16]、YOLO[17]等只提取頂層特征圖進行檢測的模型不同，SSD模型分別采用38×38，19×19，10×10，5×5，3×3，1×1這6個尺度的特征進行預測。在SSD模型中，隨著特征提取網絡層數和下采樣操作次數的增多，特征圖對應原始圖像的感受野[18]逐漸增大，因此淺層特征圖有利于檢測小目標，深層特征圖有利于檢測大目標。SSD模型利用不同尺度的特征圖進行目標檢測，提高了模型泛化能力。

SSD模型借鑒Faster-RCNN模型的候選框生成思想，根據每個特征圖的尺寸對原始圖像劃分網格，在每個網格的中心點生成不同長寬比的錨框，6個尺度的特征圖中每個網格點生成錨框的數量分別為4, 6, 6, 6, 4, 4，利用卷積操作預測每個先驗框的位置偏移量和類別概率，通過設置閾值篩選預測結果，并利用非極大值抑制得出最終檢測結果。SSD模型的訓練損失包括類別置信度損失和定位損失，前者采用多分類交叉熵損失函數，后者采用Smooth L1損失函數。

1.2 GhostNet

GhostNet的核心思想在于采用線性變換代替部分常規卷積進行特征提取[19]，減少了推理計算量，與以往的輕量化網絡相比，可更好地利用特征之間的相關性和冗余性。Ghost模塊是GhostNet的基本結構。該模塊首先采用常規卷積對輸入特征圖進行特征提取，生成基礎特征圖；然后對基礎特征圖的每一個通道做線性變換(深度卷積)，生成Ghost特征圖；最后堆疊基礎特征圖和Ghost特征圖作為輸出。

GhostNet有步幅為1和步幅為2這2種瓶頸結構，如圖1所示。2種結構中分別在不同位置加入批量歸一化(Batch Normalization，BN)層和Relu激活函數。步幅為1的結構中，第1個Ghost模塊用于增加通道數，第2個Ghost模塊用于減少通道數，從而保證與輸入特征圖的尺寸一致。步幅為2的結構則使用下采樣和步幅為2的深度卷積進行shortcut路徑匹配。

(a)步幅為1

2 煤矸目標檢測方法

2.1 Ghost-SSD模型

Ghost-SSD模型結構如圖2所示。該模型采用GhostNet代替VGG16作為主體網絡層。為了保持擴展層包含特征圖的尺寸不變，主體網絡層保留GhostNet的前5個特征提取塊，去掉其余特征提取塊和全連接層。Ghost模塊中每個通道基礎特征圖對應的冗余特征圖數量設置為2。輸入圖像的分辨率調整至300×300后，分別經過主體網絡層、擴展層提取煤矸特征，最終選用6個尺度的特征圖預測煤矸類別和位置信息。

圖2 Ghost-SSD模型結構

SSD模型采用多尺度特征圖檢測目標，提高了對不同大小煤矸的檢測能力，但淺層特征圖中語義信息不足，同時夾雜較多的背景噪聲，影響了小目標檢測效果。針對該問題，在尺度為38×38，19×19的特征圖進行檢測之前，引入2條分支重新標定特征圖，每條分支分別以2種尺度的特征圖為輸入，經過自注意力模塊(Self-Attention Module，SAM)增強有效特征，抑制背景噪聲，同時利用擴張卷積增大淺層特征圖的感受野，從而提高淺層特征圖對煤矸目標的特征提取能力。受ResNet[20]啟發，將輸入特征圖與SAM的輸出進行shortcut連接，保證網絡更容易被優化。分支最后加入1×1卷積層，實現特征跨通道交互和信息整合。

2.2 SAM

SAM在機器翻譯模型Transformer[21]中得到成功應用，可捕獲全局上下文信息的長期依賴關系。本文針對38×38，19×19尺度的特征圖引入SAM(圖3)，得到淺層特征圖中任意2個位置的全局依賴關系，從而抑制淺層特征圖中包含的背景噪聲，突出前景區域特征，并在SAM中引入擴張卷積，通過設置不同的擴張率，豐富淺層特征圖的語義信息。

圖3 SAM結構

設SAM輸入特征圖為x，x∈Rh×w×c,h,w分別為輸入特征圖的高度和寬度。x分別經過3個分支q，p，v。分支q，p均使用3×3擴張卷積對x進行尺度縮放，同時擴大x的感受野，擴張率r分別設置為1，3，得到輸出Q(x)∈Rh×w×c/t，P(x)∈Rh×w×c/t，其中t為輸出通道數相比輸入縮放的倍數，本文設置為8。對Q(x)，P(x)進行維度變換，得Q(x)∈RN×c/t，P(x)∈RN×c/t，其中N=hw。對P(x)的轉置與Q(x)的乘積進行softmax運算，得到注意力圖θ(x)∈RN×N。分支v使用3×3擴張卷積，擴張率r設置為5，輸出V(x)∈Rh×w×c，將其維度變換為RN×c。將θ(x)與V(x)相乘，得到自注意力特征圖y∈RN×c，并將其維度變換為Rh×w×c。

2.3 錨框優化方法

Ghost-SSD模型訓練前，采用K-means算法對錨框進行聚類，根據聚類結果重新設計錨框尺寸，以滿足特定任務需求，提高煤矸識別精度。K-means算法首先隨機給定K個中心點，然后計算每個中心點到聚類中心點的距離，按照最鄰近原則將待分類樣本點分到各個簇，最后計算每個簇中所有點的坐標平均值，并將該值作為新的聚類中心，經過反復迭代獲得最終聚類結果。

傳統的聚類方法一般選用歐氏距離作為度量標準，但針對目標檢測問題，更適合使用每個錨框與聚類中心框的交并比作為度量標準。本文使用的度量參數為

D=1-R(b，m)

(1)

式中：b為所有真實標注框的集合；m為聚類中心框的集合；R(b，m)為真實標注框與聚類中心框之間的交并比。

通過改變K進行多次聚類實驗，求出每次聚類的平均交并比，結果如圖4所示。可看出K<6時平均交并比增長較快，K>6時趨于平緩。結合SSD模型錨框參數設置，選擇K=6對煤矸數據集進行聚類，可視化結果如圖5所示。根據圖5對Ghost-SSD模型的錨框尺寸進行優化，得錨框的長寬比參數為0.65, 0.90, 1.23, 1.39, 1.55, 1.80，每個尺度網格點生成錨框個數均為6。

圖4 不同K值下錨框聚類平均交并比

圖5 K=6時錨框聚類結果

3 實驗與結果分析

3.1 數據采集與處理

以輸送帶為背景，共采集2 886張煤矸圖像，采用LabelImg軟件對每張圖像中的煤矸類別和區域進行標注，檢測類別包括煤和矸石2類。隨機選取2 500張圖像作為訓練集，386張圖像作為測試集，訓練集和驗證集的比例設置為9∶1。為了更好地反映模型的多目標檢測效果，對測試集中煤和矸石樣本數進行統計，結果見表1。根據表1得平均每張煤矸圖像包含3.9個真實樣本。

表1 煤矸測試集真實樣本統計

3.2 模型訓練

實驗在TensorFlow2.0框架下進行，操作系統為Ubuntu18.04，處理器為Intel@Xeon E5-2630 v4，內存為16 GB，顯卡為Quadro P2200，安裝CUDA10.1和cudnn7.6.5支持圖形處理器(Graphics Processing Unit，GPU)使用，編程語言采用python3.7。模型訓練時，超參數batch size設置為8，epoch設置為500；初始學習率設置為0.001，并采用自動衰減策略調節學習率，當驗證集損失值連續10次未下降10-4或上升時，學習率更新為原來的0.9倍；優化器采用Adam。

3.3 實驗結果分析

采用平均精度(Average Precision, AP)、平均精度均值(mean Average Precision, mAP)和幀率3個指標對目標檢測模型進行評估。設計消融實驗測試本文改進策略的效果。首先，將未經改動的SSD模型作為基準模型，然后分別測試加入錨框優化方法、GhostNet和SAM的檢測效果，最后將 3種改進策略同時加入SSD模型。所有實驗均在同一煤矸數據集上進行，且實驗環境和訓練方式保持一致。實驗結果見表2。

表2 消融實驗結果

從表2可看出，基準模型分別加入錨框優化方法和SAM后，mAP均有所提升；采用GhostNet構建輕量化模型可在mAP損失很小的情況下，大幅提升模型檢測速度；融合錨框優化方法、GhostNet、SAM的Ghost-SSD模型的mAP為88.7%，較基準模型提高3.6%，檢測速度為108 幀/s，較基準模型提高75幀/s，實現了檢測精度和速度的提升。

SSD模型與Ghost-SSD模型針對煤矸測試集中每一類的檢測結果見表3。可看出Ghost-SSD模型較SSD模型對煤和矸石檢測的AP分別提高3.4%，3.7%，進一步驗證了Ghost-SSD模型可提高煤矸檢測精度。

表3 SSD，Ghost-SSD模型檢測結果對比

為了進一步探究SAM的效果，對SSD模型與引入SAM的模型進行對比實驗，利用Grad-cam算法[22]生成顯著圖，對目標檢測區域進行可視化分析，結果如圖6所示。顯著圖上可顯示與決策特征相關區域的顯著度，顏色越深則顯著度越高。從圖6可看出，SSD模型引入SAM可提高前景區域的顯著度，且可抑制背景噪聲，有利于增強淺層特征的表征能力。

圖6 煤矸顯著圖

SSD模型與Ghost-SSD模型的訓練損失函數曲線如圖7所示。可看出Ghost-SSD模型的訓練損失初始值低于SSD模型，訓練過程中Ghost-SSD模型的訓練損失在迭代100次后降至1以下并逐漸穩定，且收斂值低于SSD模型。

圖7 SSD，Ghost-SSD模型訓練損失函數曲線

為了直觀驗證Ghost-SSD模型的有效性，從測試集中選取有代表性的圖像進行實驗。分別采用SSD模型和Ghost-SSD模型進行煤矸檢測，結果如圖8所示。可看出SSD模型對于第1張圖像出現誤檢情況，對第2張、第4張圖像出現漏檢情況(第2張圖像中漏檢對象為表面與背景非常相似的矸石，第4張圖像中漏檢對象為小塊矸石)，對第3張圖像出現定位誤差較大情況，而Ghost-SSD模型均能準確檢測出每張圖像中的煤矸目標。

(a)原圖

3.4 不同模型實驗對比

在實驗環境和數據集均一致的條件下，分別采用SSD300，SSD512，Faster-RCNN，Yolov3，Ghost-SSD模型進行煤矸檢測實驗，結果見表4。可看出SSD512模型的mAP高于SSD300，但輸入分辨率的增大導致檢測速度降低；Faster-RCNN模型的mAP最高，但檢測速度在當前實驗環境下只有10幀/s；Yolov3模型的檢測速度較上述3種模型快，但精度較低；Ghost-SSD模型具有較高的檢測精度和速度，優于其他模型。

表4 不同模型的煤矸檢測結果

4 結論

(1)為了提高煤矸目標檢測精度和速度，對SSD模型進行改進，設計了Ghost-SSD模型。該模型以GhostNet網絡作為SSD模型主體網絡層，提高了煤矸目標檢測速度；在淺層特征圖中引入SAM和擴張卷積，增強了淺層特征圖對煤矸目標的表征能力，提高了對煤矸小目標的檢測效果；針對煤矸特定檢測目標進行K-means聚類錨框優化，提高了煤矸檢測精度。

(2)基于Ghost-SSD模型提出了輕量化煤矸目標檢測方法，通過實驗得出采用Ghost-SSD模型進行煤矸檢測的精度和速度均優于SSD，Faster-RCNN，Yolov3模型，且能夠有效檢測出煤矸小目標。

(3)下一階段將重點研究在煤矸檢測環節之后加入目標跟蹤技術，提高煤矸識別定位穩定性。