基于深度圖像的帶式輸送機煤量檢測方法

劉 飛,張樂群,蔣 偉,劉明輝

(1.西安科技大學 電氣與控制工程學院,陜西 西安 710054;2.陜西省礦山機電裝備智能監測重點實驗室,陜西 西安 710054;3.天地(常州)自動化股份有限公司,江蘇 常州 213014)

0 引 言

帶式輸送機作為煤礦生產的主要運輸設備,能長時間不間斷地將煤從地下運至地面[1-2]。在礦山工作時,帶式輸送機所耗能源占整個礦山工作能源消耗的60%[3]。因煤料分布不均帶式輸送機經常在輕載或空載狀態下長時間全速運行,造成電能的浪費[4],導致帶式輸送機各個運行部分的無效磨損,縮短設備使用壽命。根據帶式輸送機上的煤量來調速,可以節約能源,延長設備使用時間[5-7]。

傳統的動態煤量計量方式有3種,分別為機械式皮帶秤[8]、電子皮帶秤、核子皮帶秤。機械式皮帶秤和電子皮帶秤的精度會受到皮帶自重以及運動慣性的影響。雖然核子秤精度較高但其校準十分復雜,同時放射性材料會嚴重危害到工人的生命健康。由于傳統測量方法存在各種弊端,學者們開始研究基于機器視覺的非接觸式煤量檢測方法[9]。李紀棟等利用圖像邊緣檢測能夠求解煤炭寬度,利用知識庫模糊計算,求解出運輸量[10]。賀杰等提出一種基于圖像處理技術的皮帶煤量測量方法,提取煤堆的骨架,獲取煤輪廓,根據帶煤截面積與帶速的關系,測量輸送帶上煤流體積[11]。王宗省等提出一種基于窗口閾值的濾波方法,用于解決反光問題導致試驗結果不準確的問題,該方法能去除噪聲同時保留邊界信息,并使用不同反射程度的模板進行EMD匹配,解決邊界對比度低和光源不穩定等問題。通過腐蝕和膨脹后,使用改進的自適應閾值算法進行分割。同時,使用幀間差分法對一次輸送帶的運行狀態進行識別,以協調控制能耗[12]。王桂梅等以深度學習為基礎提出一種新的檢測方法,提出改進的FF-CNN(Feed Forward Neural Network)網絡,將帶式輸送機的煤量進行分類,實現煤量的檢測[13]。

作為基于機器視覺的煤量檢測方法唯一的研究對象,樣本圖像的質量對最終煤量檢測結果的精確度有很大影響。而井下昏暗、復雜的環境會使獲取的樣本圖像無法達到檢測的要求。

現有的煤量檢測方法還包括線激光測量以及雙目立體視覺測量[14-15]。線激光測量使用激光掃描煤流獲取煤量,但礦井中的粉塵會嚴重影響激光掃描的效果,而且其高昂的成本限制了激光掃描的普及。雙目立體視覺測量使用兩臺面陣相機來實現物體的三維測量。但由于井下昏暗的環境,以及補光燈造成的多光源效應,給雙目立體視覺測量的核心算法雙目立體匹配算法造成了巨大影響。

與上述方法不同的是,深度圖像的獲取使用的是深度相機[16],深度相機通過近紅外激光器,將具有一定結構特征的光線投射到被拍攝物體上,再由專門的紅外攝像頭進行采集。這種具備一定結構的光線照射在被攝物體上的不同深度區域并被反射回去,深度相機會采集被反射回來的結構光信息,然后通過運算單元將這種結構光的變化換算成深度信息。由于深度相機是主動發出結構光,因而適合在光照不足甚至無光的場景使用。

因此,文中提出一種基于深度圖像的煤量檢測方法,這種方法可以在昏暗的井下環境實時檢測帶式輸送機的負載煤量且使用成本低,有利于推廣。

1 煤量檢測方法

基于深度圖像的煤量檢測方法由搭建合適的煤量檢測網絡進行模型訓練、對訓練好的模型進行驗證2部分組成。

模型訓練流程如圖1所示。首先使用深度相機獲取膠帶機負載煤流深度圖像,并將采集到的煤流深度圖像進行雙邊濾波,在濾除噪聲的同時保留圖像信息,然后將深度圖像按照少煤量、中煤量、多煤量3個類別分別放在不同的文件夾,構建數據集。最后,將數據集導入搭建的DID-CNN(Depth Image Detection Convolutional Neural Network)網絡進行訓練得到煤量檢測模型。

圖1 模型訓練流程Fig.1 Flow of model training

模型驗證:將驗證集的數據導入訓練得到的煤量檢測模型進行分類,檢測模型的精確度和檢測速度。

2 煤量檢測模型

將帶式輸送機上負載煤量按照所占滿載煤量的百分比劃分為3個類別:0%～30%為“少煤量”、30%～60%為“中煤量”、60%～100%為“多煤量”,把它們作為網絡輸出的結果。 在卷積神經網絡中,選取VGG網絡(Visual Geometry Group Network)[17]作為基礎網絡構建適用于煤量檢測的深度學習網絡DID-CNN。

2.1 DID-CNN網絡

DID-CNN網絡如圖2所示,在第一次7×7卷積后加入CBAM模塊,然后將4個CSPResNet模塊加入網絡。使用全連接層將特征空間映射樣本標記空間,輸入Softmax函數得到最終輸出[18]。

圖2 DID-CNN網絡Fig.2 DID-CNN network

2.2 CSPResNet模塊

深層網絡會帶來大量計算,使訓練參數大幅度增加。這就造成模型訓練的效率降低和內存成本提高的問題。使用CSPNet模塊不僅能夠增強CNN的學習能力,而且能夠在輕量化網絡的同時保持準確性,降低計算瓶頸,降低內存成本[19]。

2.3 CBAM模塊

使用深度圖像作為數據集,其背景信息為傳送帶,在少量及中等煤量時背景信息所占比重過大。為了提高模型的檢測精度,在第一次卷積之后加入卷積注意力模塊(Convolutional Block Attention Module,CBAM)對特征輸入進行加權再輸出,希望網絡關注到的地方給較大的權重,不希望網絡注意的地方給較小的權重,以此來提高模型的學習效率[20]。

2.4 BN層

為提高煤量的檢測精度和檢測速度,DID-CNN網絡在輸入層后加入殘差塊防止梯度消失[21]。在卷積層之間加入BN(Batch Normalization)層,加快網絡的訓練和收斂速度。

3 試驗和驗證

3.1 深度圖像

使用深度相機獲取深度圖像,將深度信息轉換為顏色信息,不同的深度用不同的顏色代表,其原理如圖3所示。

圖3 深度與顏色對照Fig.3 Contrast of depth and color

圖4為不同類別煤量的深度圖像,深度圖像中該點的顏色代表了該點距離深度相機的距離。因此可以根據深度圖像中不同顏色的面積大小來區分煤量類別。

圖4 不同類別煤量的深度圖像Fig.4 Depth images of different categories of coal

3.2 數據集制作

使用深度相機采集不同煤量的深度圖像,選取不同煤量的深度圖像存放在不同的文件夾下,文件夾名為對應的煤量類別的標簽。其標簽設置見表1。

表1 煤量類別標簽設置

將數據導入網絡訓練之前先將數據集的數據隨機打亂,然后分別抽取其中的五分之一作為測試集和驗證集,剩下的五分之三作為訓練集。

3.3 圖像的預處理

圖像的預處理是圖像識別過程中重要的一環。圖像預處理不僅能夠濾除圖像的干擾信息如噪聲信號等,還能夠加強圖像的有用信息[22]。使用適當的預處理方法能夠有效地提升圖像識別的精度。

通過深度相機采集的煤量深度圖像含有大量噪聲,因此需要對深度圖像做濾波處理。這里對深度圖像分別進行了均值濾波、高斯濾波、以及雙邊濾波,濾波后效果如圖5所示。均值濾波的噪聲濾除效果不理想且模糊了圖像;高斯濾波的噪聲濾除效果很好,但是模糊了邊緣信息;雙邊濾波不僅濾除了噪聲還保留了邊緣信息。考慮到需要提取深度圖像的深度特征和邊緣特征,在比對均值濾波、高斯濾波、以及雙邊濾波的效果之后,選擇雙邊濾波。

圖5 濾波效果Fig.5 Filtering effects

3.4 數據增強

數據增強能夠增加數據集圖片的數量,提高檢測模型的泛化能力[23]。此次試驗使用的數據增強方法有:翻轉、旋轉、平移等。

數據增強還能夠降低模型對圖像的敏感度,提升檢測模型的魯棒性。此次試驗通過給數據集添加高斯噪聲來實現此目的。

3.5 正則化

使用正則化是為了減少模型的復雜度,并降低過擬合的風險[24]。在神經網絡中,常用的正則化技術有L1正則化、L2正則化和Dropout。

L1正則化:將L1范數作為正則化項加入到損失函數中,使得模型權重的絕對值之和最小化,從而實現特征選擇的效果,減少無用權重的影響[25]。

L2正則化:將L2范數作為正則化項加入到損失函數中,使得模型權重的平方和最小化,從而防止權重過大,降低過擬合的風險[26]。

Dropout:在訓練時,以一定的概率隨機將一些神經元的輸出置為0,從而強制模型學習到更加魯棒的特征。

L1正則化是一種從改變模型結構的角度,減少模型參數的數量,解決過擬合的方式。而L2正則化則是為了使模型盡量不依賴于某幾個特殊的特征,從而使得每個特征得到盡量均衡的權重,以此來解決過擬合的問題。因此,此次試驗選擇在訓練模型時加入L2正則化和Dropout。為了最大化正則化的效果,在損失函數中加入懲罰項。其損失函數見式(1)

Tloss=Closs+L2loss

(1)

式中Closs為交叉熵損失[27];L2loss為L2正則化損失。

3.6 試驗環境

數據采集平臺由運輸煤流的膠帶機和獲取深度圖像的深度相機組成,如圖6所示。

圖6 數據采集平臺Fig.6 Data collection platform

硬件環境:CPU(AMD Ryzen 75800H),16 GB內存NVIDIA GTX3060Ti顯卡,KBA18(D)礦用本安型深度相機。

3.7 模型訓練

在訓練之前設置網絡的超參數學習率α=0.000 1,將訓練的迭代次數設置為40次,然后將數據集導入DID-CNN網絡訓練。隨著訓練的迭代,訓練損失和測試損失變化曲線如圖7所示,從圖7可以看出,隨著迭代次數增加,訓練損失和測試損失不斷下降,模型在逐漸收斂,經過36次迭代后訓練損失和測試損失穩定在0.005左右,準確率達到99.3%。

圖7 訓練和測試損失變化Fig.7 Variation curves of training and test loss

3.8 模型驗證

3.8.1 檢測速度

使用訓練得到的煤量檢測模型對煤量深度圖像進行檢測,為了準確地測試出模型檢測一張圖像的時間,分別向模型中導入200張、500張和1 000張圖像,獲取各自的檢測時間,重復試驗10次求平均值。試驗結果見表2。

表2 檢測時間

由表2可知,煤量檢測模型檢測每張圖像的時間是0.024 3 s。

3.8.2 模型評估

F1值(F1 score):是精確度和召回率的調和平均值,是精確度和召回率的綜合評價指標,被用來綜合評價一個模型在精確度和召回率兩個指標下的表現的指標[28]。其計算方法見式(2)

(2)

式中P為模型預測為正例中,實際為正例的比例;R為模型在所有正例中,正確預測為正例的比例。

F1 Score的取值范圍為0～1,數值越大表示模型的性能越好。當P和R都很高時,F1 Score會更接近于1。

對訓練后得到的模型進行驗證,結果見表3。

表3 模型驗證

根據表3所示,計算出每個類別的精確率、召回率和F1 score。具體計算結果如下。

對于類別少煤量,樣本數量為784張。其中,750張樣本被正確地預測為少煤量,34張樣本被錯誤地預測為中煤量。因此,該類別的精確率為0.956,召回率為1,F1 score為0.977。

對于類別中煤量,樣本數量為791張。其中,785張樣本被正確地預測為中煤量,6張樣本被錯誤地預測為多煤量,沒有樣本被預測為類別0。因此,該類別的精確率為0.992,召回率為1.000,F1 score為0.996。

對于類別多煤量,樣本數量為784張。其中,全部樣本被正確地預測為多煤量。因此,該類別的精確率為1.000,召回率為1.000,F1 score為1.000。

綜上所述,該模型的F1 score可以通過對每個類別的F1 score進行加權平均得到該模型的F1 score為0.991。

3.8.3 模型性能對比

為了驗證 DID-CNN 網絡的性能,將其與傳統的分類網絡VGG16做對比。將數據集導入VGG16網絡進行模型性能對比,結果見表4。

由表4可知DID-CNN網絡比 VGG16網絡收斂速度更快且準確率更高,有更好的擬合性能。因為在DID-CNN 網絡中加入了BN層,使其能夠更充分地利用圖像特征,同時避免了反向傳播,加速了網絡收斂,而且CMBA模塊提升了網絡學習有用特征的效率,因此網絡能夠快速達到較高的準確率,更適用于煤量深度圖像的檢測。

4 結 論

1)提出一種基于深度圖像的帶式輸送機煤量檢測方法,使用雙邊濾波對圖像進行預處理,去除噪聲的同時增強圖像的邊緣特征,使用圖像增強技術彌補煤量圖像數量相對較少的問題。

2)根據CSPnet的思想構建DID-CNN煤量檢測網絡。使用網絡提取煤量深度圖像的特征并進行分類。在網絡中加入L2正則化和Dropout泛化模型,最終得到的煤量檢測模型檢測效果較好。

3)在實際的煤礦井下膠帶機控制中多采用分級調控,而試驗所得到的煤量檢測結果能夠用于膠帶機的分級調控。

4)DID-CNN煤量檢測效果雖好,但是由于空載和滿載數據的單一性樣本不足,因此并未將其作為檢測結果。下一步的研究重點是在此基礎上將空載和滿載也作為檢測結果,使檢測模型能夠更好地為帶式輸送機調速提供依據。