基于改進YOLOv3的煤矸識別方法研究

雷世威，肖興美，張 明

(中煤科工集團重慶研究院有限公司，重慶 400039)

我國能源結構的現狀為富煤、貧油、少氣，而清潔能源尚處于發展階段，目前煤炭在我國能源結構中仍處于主體地位[1]。煤和矸石分選是煤炭生產中的重要環節，有助于提高原煤品質，也可避免矸石因發生自燃、雨淋、泥化等情況對環境造成危害[2]。

傳統選煤方法存在成本高、自然資源消耗大、環境污染大等諸多問題，煤矸分選的機械化、自動化、智能化已成為煤炭生產中亟待研究的重要課題，其中煤矸的準確識別是實現自動分選的首要任務和關鍵技術。目前煤矸識別方法主要有密度識別法、硬度識別法、射線識別法、圖像識別法[3]。圖像識別法相較于其他的識別方法具有安全、系統簡單、易于維護等優點，是目前煤矸識別的一個重要發展方向。傳統的圖像識別技術[4-11]主要運用圖像處理技術對煤和矸石的灰度和紋理等參數進行提取，通過不同的算法建立特征值模型，分析并優化分割參數，最終實現煤和矸石的識別，但在特征的選取和閾值的確定過程中需要通過人為分析確定，其實用性和適應性不強。近年來，深度學習技術已逐漸應用于煤矸識別的研究中，曹現剛等[12]提出了一種基于GoogLenet深度學習網絡的煤矸識別方法，采用Inception 模型，并通過遷移學習共享已訓練模型卷積層權值和偏差，取得了較高的分類準確率；王冠軍等[13]采用Tengine深度學習框架中的VGG16深度學習模型對煤矸圖像進行訓練識別，提升了網絡識別精度。采用GoogLenet、VGG16等深度學習網絡避免了人工確定特征參數，在識別的準確率上相較于傳統圖像識別方法有較大提升，但相較于在VOC和COCO數據集上表現良好的R-CNN[14-17]、SSD[18]、YOLO[19-21]等目標檢測算法的識別效果還有一定差距。R-CNN系列算法屬于兩階段目標檢測方法，先使用卷積神經網絡產生候選區域，然后將候選區域進行分類和回歸，其準確率高但處理效率偏低；SSD及YOLO系列算法屬于一階段目標檢測算法，使用回歸算法直接預測不同目標的類別與位置，滿足實時性要求，但其準確率偏低。YOLOv3在前兩個版本的基礎上，優化了網絡結構及參數，相較于其他目標檢測算法，在識別準確率及識別速度的綜合表現上具有較大優勢。近年來深度學習技術發展迅速，但在煤矸識別領域尚未得到較好的應用，針對上述問題，結合煤矸識別的應用場景，筆者提出一種基于改進YOLOv3的煤矸識別方法，可對煤與矸石進行準確識別，并具有較快的識別速度。

1 YOLOv3算法

1.1 YOLOv3算法原理

YOLOv3吸收了當前優秀檢測框架的思路，提出了DarkNet-53網絡結構，如圖1所示。

圖1 DarkNet-53網絡結構簡圖

圖1中：DBL為卷積、BN(Batch Normalization)、Leaky ReLU三層的組合；DBL為卷積層的基本組件，DBL后面的數字為組件數量；Res為殘差模塊，上采樣使用的方式為上池化，使用元素復制擴充的方法擴大特征尺寸；Concat操作即通道的拼接，和FPN中使用的元素相加不同，Concat是在上采樣后將深層與淺層的特征圖進行拼接。

由圖1可見，該特征提取網絡由52個卷積層和1個全連接層組成，DarkNet-53網絡默認使用416×416×3的輸入，DarkNet-53在基礎網絡中大量使用了殘差網絡連接，使得網絡結構可以設計得很深，并緩解了訓練過程中出現梯度消失的問題，增加了模型的收斂能力。通過上采樣與Concat操作，將深層特征與淺層特征進行融合，最終輸出3種尺寸的特征圖用于后續的預測，多層特征圖有助于對多尺度目標與小目標的檢測。DarkNet-53網絡與其他網絡的性能比較見表1。

表1 DarkNet-53網絡與其他網絡的性能對比

由表1可知，DarkNet-53網絡在Top-1和Top-5識別的準確率和ResNet-101、ResNet-152相當，網絡對GPU的硬件資源利用率較高，浮點運算次數可達到1 457次/s。同時，DarkNet-53網絡具有較快的檢測速度，在DarkNet-19的基礎上對網絡性能進行了平衡，在滿足實時檢測要求的情況下，提高了識別準確率。

1.2 YOLOv3損失函數計算

損失函數表示的是模型的預測值與真實值的不一致程度，是判別模型是否收斂和優化模型的重要參數，損失函數的計算值越小，說明模型的預測值和真實值的差距越小，識別的準確率和魯棒性越高。對于YOLOv3的損失函數原論文作者Redmon J沒有明確的講解，筆者根據YOLOv3論文實現的源碼DarkNet歸納總結出YOLOv3的損失函數為：

(1)

式中：floss為YOLOv3的損失函數；λobj為目標系數，在特征圖網格單元中存在目標時為1，若不存在目標則為0；wtru、htru是經過標準化及歸一化后目標寬和高的真實值；rtru是真實位置；rpre是預測位置；c是預測類別值；ctru是真實類別值；Pc是預測類別概率值；Ftru是真實置信度；Fpre是預測置信度。

由于網絡存在3個檢測尺度，每個檢測尺度的特征圖網格單元存在3個預設的錨框，因此需要計算3×(13×13+26×26+52×52)即10 647個錨框的損失值。

2 改進的YOLOv3算法

2.1 網絡結構改進

更深的卷積層數及更深的網絡結構可增強對目標特征提取和識別的效果。由于煤和矸石在圖像特征上非常相似，相較于COCO數據集和VOC數據集中的飛機、自行車、椅子、船等日常生活中的物體，煤和矸石的目標較小且兩者之間的辨識度較低，結合算法本身的結構深度，筆者對YOLOv3算法的特征提取網絡DarkNet-53進行了改進，在網絡中增加 2個 1×1和3×3的卷積層。增加卷積層可提升卷積神經網絡特征提取能力[22]，具體體現在以下幾個方面：降低卷積核通道維數與參數，簡化卷積神經網絡；在不損失分辨率的情況下增加非線性特征表達，豐富信息表現形式；在獲得相同的感受野與捕捉更多的語言信息的同時，較小的卷積核可在加深網絡的同時提高網絡表達能力；較小卷積核的卷積層比較大卷積核的卷積層擁有更多層的非線性函數，可增強網絡的泛化能力[23]。改進后的YOLOv3網絡結構參數如圖2所示。

圖2 改進后的YOLOv3網絡結構參數圖

為了區分原始網絡和改進后的網絡，便于對比改進前后的網絡性能，將改進網絡結構后的YOLOv3網絡命名為YOLOv3-A。

2.2 邊界框回歸損失函數改進

YOLOv3對每個邊界框輸出4個預測值，分別記為tx，ty，tw，th。通過公式(2)～(5)計算得到邊界框在特征圖上的中心坐標bx、by及寬高bw、bh：

bx=σ(tx)+cx

(2)

by=σ(ty)+cy

(3)

bw=wpetw

(4)

bh=hpeth

(5)

式中：tx、ty為網絡預測的偏移量值，經過Sigmoid運算將其縮放到[0,1]區間；cx、cy為特征圖網格單元左上角的坐標值；wp、hp為預設錨框映射到特征圖中的寬和高；tw、th為網絡預測的尺度縮放值，由于在預測時tw、th經過了log運算縮放到了對數空間，故需要經過指數運算進行轉換。

通過位置偏移、縮放偏移值的預測，讓預設錨框盡可能地接近真實框，通過置信度過濾掉低分的預測框，然后對剩下的預測框進行非極大抑制(Non Maximun Suppression, NMS)處理，得到網絡最終的預測結果。邊界框預測公式如圖3所示。

圖3 邊界框預測公式

由圖3邊界框(bounding boxes)預測公式可知，在不同大小的預測中，相同像素值的位置偏差，對小邊界框的IOU的影響更大。而經過均方誤差的計算，大邊界框和小邊界框相同尺寸的誤差對損失值的影響卻相同，這將影響到小邊界框預測回歸的精確度。在YOLOv3中增加了尺度修正，采用λm=2-wtruhtru來加大對小框損失的計算，這在一定程度上補償了小框損失對損失值的影響，但這個修正參數值域范圍小，不便于調整參數，而且對于不同尺度的特征值，這個補償參數是相同的。由于特征值尺度越小，其特征像素點對應到原始圖像的感受野就越大，所以小尺度的特征圖用于預測較大的目標，而大尺度的特征圖用于預測較小的目標。筆者針對不同尺度的特征圖對損失進行修正，給出了修正位置回歸的計算方法，如式(6)～(8)所示：

(6)

Fs=λs(1/(1+exp(wtru+htru)))

(7)

Fl=λl(1/(1+exp(-1/max(ws/wl,hs/hl))))

(8)

式中：Lerr為單個預測框的位置回歸損失函數；Fs為目標尺度修正參數；Fl為特征圖尺度修正參數；λs、λl分別為目標尺度和特征尺寸修正系數；ws、hs分別為輸入圖片的寬和高；wl、hl分別為特征圖的寬和高。

修正參數的設計采用類似Sigmoid的計算方式將值縮放到[0,1]區間，為了平衡參數之間對損失值貢獻度，本文取λs=4，λl=2。將改進網絡結構和損失函數的YOLOv3網絡命名為YOLOv3-M。

3 實驗驗證與分析

3.1 實驗平臺與模型參數

硬件平臺為臺式計算機，處理器為Intel Core i5-7500，主頻為3.40 GHz，16 GB內存，1 TB 硬盤，顯卡為NVIDA GeForce GTX1080Ti，11 GB顯存。軟件環境為Ubuntu 16.06 64位操作系統，編程語言為C++、Python，采用Darknet深度學習框架。

主要模型配置參數如下：網絡輸入尺寸width×height為416×416；網絡輸入通道數channels為3；動量因子Momentum為0.9；權重衰減因子Decay為0.000 5；學習率Learning_rate為0.001；批次樣本數Batch為64；細分次數subdivisions為16；最大迭代次數Max_batches為50 200；學習率調整策略Policy為steps；學習率衰減因子Scales為0.1。

3.2 實驗數據集

以煤、矸石為研究對象，采用礦用防爆攝像頭(型號KBA127A)對煤矸圖像進行采集，共收集到不同形態、不同光照、不同角度的煤矸圖片約360張。其中將240張作為訓練集，60張作為驗證集，60張作為測試集，每張圖像的煤矸數量為1～6個不等，采用YOLO_MARK工具對數據進行標注。

3.3 網絡訓練與評價指標

平均損失變化曲線如圖4所示。

圖4 平均損失變化趨勢

由圖4可知：訓練開始時的損失函數值極大，隨著訓練迭代次數的增加，損失函數值逐漸減小，并逐漸趨于平穩；訓練迭代到2 000次時，損失函數在0.14上下浮動，從平均損失的收斂情況來看，訓練結果比較理想，此時停止訓練，用訓練生成的模型進行煤矸識別。

對煤矸識別準確率的評價需要同時考慮精確率(Precision)和召回率(Recall)[24]，其定義如下：

(9)

(10)

式中：P為精確率；R為召回率；ntp為實際是煤或矸石并且被識別為煤或矸石的個數；nfp為實際是背景或其他物體卻被識別為煤或矸石的個數；nad為所有檢測到的目標數量；nfn為實際是煤或矸石但沒有被識別為煤或矸石的個數；nagt為所有待識別的目標數量。

將模型識別出的目標置信度(屬于煤或矸石的概率值)由大到小進行排序，逐個把目標加入進行預測，得到一組P、R序列，代入式(11)、式(12)，求得Pa(Average Precision)值：

(11)

(12)

將煤和矸石二者的Pa值取平均值，作為識別準確率的評價指標。

3.4 結果與分析

采用改進網絡結構和損失函數的YOLOv3-M對煤、矸進行識別，部分煤(coal)、矸(gangue)識別效果如圖5所示。

由圖5可知：YOLOv3-M網絡可以較為準確地識別并定位煤和矸石，在不同背景、不同大小、不同形態、不同光照強度的情況下，也能進行準確識別，其魯棒性、泛化能力較強。

原始網絡YOLOv3、改進網絡結構的YOLOv3-A，以及改進網絡結構和損失函數的YOLOv3-M部分煤、矸檢測效果對比如圖6所示。

(a)YOLOv3

(b)YOLOv3-A

(c)YOLOv3-M

由圖6可知：YOLOv3在光照條件好、煤和矸石的辨識度較高的情況下預測結果比較理想，而在光照較弱、煤和矸石的辨識度較低的情況下原始網絡YOLOv3易出現漏檢的情況；YOLOv3-A由于網絡深度的提升,故比YOLOv3有更強的識別能力，可以識別出YOLOv3部分漏檢的目標；YOLOv3-M在加深網絡深度的情況下優化了損失函數，使得模型對不同環境下煤矸圖像的適應性更強，在識別準確率和錨框精度上都優于YOLOv3-A和YOLOv3。

此外，使用基于傳統識別算法的支持向量機SVM、高斯混合模型Gaussian Model，以及基于深度學習網絡的Inception V3、VGG16、YOLOv3等識別算法，與筆者提出的算法進行對比，對比結果如表2所示。

表2 各種煤矸識別算法對比

由表2可知，煤矸識別網絡YOLOv3-A、YOLOv3-M的單張圖像識別時間與原始YOLOv3相當，在對煤矸識別的準確率上分別有0.9%和2.2%的提升；YOLOv3-M在識別速度上比其他類別的網絡具有較大的優勢，可以達到實時檢測的目的。綜上所述，基于改進YOLOv3的煤矸識別網絡YOLOv3-M具有較強的適應性，較好地平衡了識別準確率和識別速度。

4 結論

1)加深神經網絡結構，可加強對煤和矸石的特征提取性能，提升對煤和矸石的識別準確率。

2)改進邊界框損失函數，可優化邊界框回歸過程，提升預測框的識別和定位準確率。

3)煤矸識別網絡YOLOv3-M模型收斂速度快，對不同背景、不同大小、不同形態、不同光照強度的煤矸具有較強的適應性和泛化能力。

4)煤矸識別網絡YOLOv3-M在識別速度和識別準確率上取得了較好的平衡，可滿足工程應用的準確性、實時性要求。