基于全局自注意力機制的煤矸石目標檢測網絡

汝洪芳, 李作淘, 王國新, 王書俠

(黑龍江科技大學 電氣與控制工程學院, 哈爾濱 150022)

0 引 言

煤炭是我國能源的主體,煤炭工業在國民經濟中有著重要的地位,煤矸石作為煤礦開采伴生的固體廢棄物,嚴重污染環境,因此煤矸石分選一直是煤炭工業的重要環節[1]。精確且智能地識別是分選的前提,也是煤礦智能化發展的內在要求。

現階段的選矸方法主要有人工排矸法、復合式干法分選法[2]、γ射線分選法[3]和基于機器學習的智能分選法等。其中,人工排矸法效率低且浪費人力資源;而γ射線法則會損害工人的健康。基于機器學習的方法有基于圖像的灰度和紋理特征的煤矸石目標檢測方法,如趙明輝[4]使用煤矸石圖像灰度直方圖的三階矩陣特征參數設計了識別方法。在卷積神經網絡提出之后,與基于圖像灰度與紋理的方法相比,基于卷積神經網絡的深度目標檢測網絡有著更高的精度,張永超等[5]使用SSD視覺算法對煤矸石進行檢測。雷世威等[6]通過改進的YOLOv3模型對煤矸石進行檢測。郭永存等[7]使用遷移權重和簡化神經元的方法優化CNN網絡并對煤矸石進行了檢測。各類深度學習網絡對運算量要求較大,不能很好地支持實際工業應用,而YOLOv5s體積小,速度快,能夠適應計算資源受限的工業現場。因此,對YOLOv5s進行改進,引入全局上下文模塊和全維動態卷積,突出目標前景,提升檢測精度,提出GO-YOLOv5s煤矸石檢測網絡。

1 YOLOv5s網絡原理

現階段的目標檢測方法有兩階段檢測和單階段檢測方法。兩階段方法指的是將目標檢測拆分為檢測和分類兩個任務,而單階段方法為在一個網絡中同時執行檢測和分類任務。文中選用的YOLOv5系列算法為單階段目標檢測方法。

1.1 網絡結構

YOLOv5系列由五種網絡組成,按照網絡的深度和寬度由小到大排序,分別為YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。隨著網絡結構復雜度的提升,網絡的預測精度隨之提升,而網絡的速度則隨之下降。考慮到煤矸石分選工作對工業現場實時性和準確性的雙重需求,文中選取YOLOv5s作為改進優化目標。

YOLOv5s的網絡結構如圖 1所示。主要由Backbone骨干網絡、Neck部分和Head檢測頭組成。

圖1 YOLOv5s網絡結構Fig. 1 Structure of YOLOv5s

1.2 CSP結構

YOLOv5s的骨干網絡使用了New CSP Darknet53,其中包含了兩種CSP結構,如圖 2所示。分別為CSP1_X和CSP2_X,圖中,CBS模塊由標準卷積Conv、批歸一化BatchNorm和激活函數SiLU組成。CSP模塊的主要作用是對殘差特征進行學習以提升學習能力,避免梯度爆炸等問題。其中,CSP1_X用于骨干網絡,而CSP2_X則用于Neck部分。

圖2 CSP結構Fig. 2 Structure of CSP

經過骨干網絡和Neck部分處理后的特征圖最終被輸入到檢測頭中。YOLOv5s擁有三個檢測頭,每個檢測頭對應著不同的預測尺寸。

2 網絡優化方法

2.1 全局上下文模塊

研究者們發現,引入注意力機制對神經網絡的性能有著較為顯著的提升。全局上下文模塊(Global context block, GCBlock)[8]在SENet[9]和自注意力機制NLNet[10]的基礎上設計,融合了SENet和NLNet的優點,將NLNet的全局自注意力信息建模方法和SENet的高效賦權轉化方法相結合,設計出既保留了自注意力機制帶來的全局特征信息,又有SE模塊低計算量特點的全局上下文模塊。SE模塊和NL模塊如圖 3所示。

圖3 各模塊內部結構Fig. 3 Internal structure of each module

SE模塊能夠有效地捕捉通道間的交互特征。通過全局平均池化,將特征圖處理為通道指示符向量模式,之后通過兩個卷積處理,使用ReLU作為激活函數,Sigmoid作為歸一化函數,得到權重向量,最后通過通道重構,獲得通道賦權的特征圖。

NL模塊所使用的自注意力機制是注意力機制的變種,其核心思想在于最大限度地利用特征本身的信息構建注意力機制。通過這種基于自注意力機制的全局特征信息建模,網絡能夠獲得捕獲長距離特征依賴,進而強調前景,擴大感受野。

GCBlock的設計原理如圖 4所示。通過比較SE模塊和NL模塊,可以發現,二者的模塊結構有著相似的設計思路。即先通過建模過程對指定的信息進行建模,之后再將建模后的信息進行編碼轉換,轉換為具有權重指示符意義的淺層數據形式,最后將這一權重指示符同建模前信息進行融合,得到有偏重性的特征數據以供后續網絡學習處理。

對二者進行研究可以發現,SE模塊有著高效的編碼轉換過程,而NL模塊則有著信息更加全面、豐富的建模過程,因此,吸取二者的優點,使用NL模塊基于自注意力的建模過程搭配SE模塊基于基本卷積的編碼過程,設計出既保留更多的全局信息,突出目標前景,擴大感受野,又計算高效的GC模塊。

圖4 GCBlock的設計原理Fig. 4 Principle of GCBlock

將這一模塊引入煤矸石目標檢測任務中,可以大大緩解實際檢測工作中目標前景和背景相似度過高所帶來的誤檢和漏檢問題。

2.2 全維動態卷積

常規卷積層是使用一個不變的卷積核去處理所有輸入的樣本信息,而動態卷積[11]則不同,動態卷積是多個卷積核的加權線性組合,其加權方法是一種基于注意力機制的動態加權方法。動態卷積是與輸入樣本信息有關的卷積,進而增強網絡的性能。

y=(αw1W1+…+αwnWn)*x,

式中:x——輸入特征,x∈h×w×ci;

y——輸出特征,y∈h×w×co;

αω1——用以賦權Wi的注意力值,αwi∈,通過一個基于輸入特征的注意力公式πwi(x)得到;

*——卷積操作。

可以看到,動態卷積由兩個基礎部分構成,即卷積核{W1,W2,…,Wn}和用來計算注意力加權值{αw1,αw2,…,αwn}的注意力公式。

全維動態卷積(ODConv)[12]則是通過平行策略,構建一種多維注意力機制,從卷積核空間的四個維度上進行不同注意力機制的學習。全維動態卷積的結構如圖 5所示。

圖5 ODConv的原理Fig. 5 Principle of ODConv

式中:αwi∈——用以賦權的注意力值;

αsi∈k×k——基于卷積核空間尺寸的注意力;

αci∈ci——基于輸入通道的注意力;

αfi∈co——基于輸出通道的注意力;

⊙——不同維度間的乘法運算。

通過四類互為補充的注意力機制的作用,能夠從輸入信息x的卷積的空間位置、輸入通道、濾波參數和卷積核方面進行處理,全面捕捉更為豐富的上下文線索。引入這一卷積結構,能夠增強網絡模型的特征提取和特征融合能力。

2.3 改進的網絡結構

將YOLOv5s的Backbone中的CSP結構替換為GCBlock,通過自注意力機制捕獲長距離特征依賴,擴大網絡感受野,利用SE模塊的高效編碼轉換方法進行權重分配,最后得到融合特征,使網絡能夠更多地關注有利于煤矸石目標檢測的特征信息,更好地消減相似背景和其他次要信息的影響。將Neck部分的三個CBS替換為ODConv,加強網絡從多個維度提取特征的能力。通過上述改進方案,提升網絡的性能。改進后的網絡結構如圖 6所示。

圖6 GO-YOLOv5s的結構Fig. 6 Structure of GO-YOLOv5s

3 實 驗

實驗軟件環境為基于Pytorch 1.21.1、Python 3.9和Anaconda3的Linux深度學習環境,硬件為2片Intel(R) Xeon(R) Gold 6226R處理器,4張NVIDIA Tesla T4顯卡及196 Gb內存。

3.1 評價指標

在目標檢測算法中,準確率P、召回率R、F1值、所有類別平均準確率的平均值αmAP以及推理速度常被選作網絡模型的評價指標。推理速度為在指定軟硬件條件下,網絡模型每秒處理的圖像數量。

式中:F1——評價二分類問題的重要指標;

αmAP——全類別平均準確率的平均值;

TP——模型檢測正確的樣本數;

FP——誤檢的樣本數;

FN——漏檢的樣本數;

Pek——平均準確度;

C——類別數。

3.2 實驗結果與分析

使用工業相機采集圖像數據,為貼合實際工況背景,在實驗室搭建了黑色傳送帶平臺,將煤矸石目標放置于傳送帶上進行圖像數據采集。經過適當的篩選和圖像增強方法處理之后,最終得到圖像總數為16 424的數據集。將數據集按照8∶1∶1的比例劃分為訓練集、測試集和驗證集。數據集圖像如圖 7所示。整體實驗結果如圖 8所示。

圖7 煤矸石數據集圖像Fig. 7 Coal and coal gangue dataset

選用YOLOv5s、YOLOv5m、YOLOv5l、YOLOv7[13]和YOLOv7x作為對照組,實驗參數進行統一設置,訓練批次Batch Size為16,訓練周期Epoch為60,實驗結果見表1。

圖8 整體實驗結果Fig. 8 Results of experiments

從表1可知,GO-YOLOv5s的αmAP值為88.6%,較YOLOv5s、YOLOv5m、YOLOv5l、YOLOv7和YOLOv7x分別提升了4.1%、3.2%、2.1%、2.6%和2%;推理速度為每秒158.73幀,較YOLOv5s、YOLOv5m、YOLOv5l和YOLOv7x分別提升了1.6%、30.2%、60%和39.2%;F1值為99.7%,較YOLOv5s、YOLOv5m、YOLOv5l、YOLOv7和YOLOv7x分別提升了1.4%、1.6%、1%、0.9%和1.2%;召回率為99.7%,較YOLOv5s、YOLOv5m、YOLOv5l、YOLOv7和YOLOv7x分別提升了1.1%、1.5%、1.1%、0.7%和1%。可以看到,改進網絡的性能提升較為全面,這是因為GO-YOLOv5s優化了原本模型的特征提取和特征融合方法,對圖像中的重要信息進行了增強并且對干擾檢測的背景信息進行了抑制,加強了整體網絡的特征提取和融合能力。

對文中改進模型進行消融實驗,以分析各改進模塊獨立的效果,實驗結果見表 2。其中,×表示未使用該模塊,√表示使用該模塊。

表2 消融實驗結果

從表 2可知,引入GCBlock之后,模型的αmAP值上升了1.7%,為86.2%,說明通過在骨干網絡中引入這一模塊,有效地加強了骨干網絡對關鍵特征信息的提取能力。引入ODConv之后,模型的αmAP值上升了0.9%,說明在Neck部分引入全維動態卷積能夠幫助模型在特征融合方面取得提升,實現整體效果的提升;在YOLOv5s模型中,將骨干網絡的CSP替換為GCBlock,將Neck部分的三個CBS替換為ODConv后,模型的值達到了88.6%,較原模型提升了4.1%,說明文中提出的改進方案能夠有效地提升網絡模型的整體性能。

為了進一步探究神經網絡的訓練過程,使用Grad-CAM熱力圖算法[14]。通過Grad-CAM算法計算網絡模型末尾卷積層的特征圖權重,其為可視化的彩色熱力圖,如圖 9所示。

圖9 熱力圖可視化結果Fig. 9 GradCAM results

從圖 9可以看出,改進后網絡模型的關注區域更為集中,而且對背景的信息有著明顯的抑制作用。

4 結 論

(1)將全局上下文模塊和全維動態卷積融入YOLOv5s網絡中,使網絡能夠更多地關注影響檢測結果的重要信息,同時抑制干擾檢測的無關背景信息和次要信息,進一步加強網絡模型的特征融合能力,有效地提升網絡的性能。

(2)實驗結果證明,同原始網絡相比,改進網絡有著明顯的精度提升,同時,檢測速度和原網絡相當,略有提升;同對照組網絡相比,改進網絡有著較高的精度和速度。改進網絡結構更加符合煤矸分選任務需求。