基于熱紅外圖像的帶式輸送機托輥故障檢測研究

郭硯秋， 苗長云， 劉意

（1. 天津工業(yè)大學 電子與信息工程學院，天津 300387；2. 天津工業(yè)大學 機械工程學院，天津 300387；3. 天津工業(yè)大學 工程教學實習訓(xùn)練中心，天津 300387）

0 引言

帶式輸送機是一種現(xiàn)代化生產(chǎn)中的連續(xù)運輸設(shè)備[1-2]，具有運量大、運距遠、運費低、效率高、運行平穩(wěn)、裝卸方便、適合散料運輸?shù)葍?yōu)點，已廣泛應(yīng)用于煤炭、礦山、港口、電力、冶金、化工等領(lǐng)域[3-4]。

帶式輸送機主要由托輥、輸送帶、滾筒、傳動裝置等構(gòu)成。托輥是承載輸送帶和物料的關(guān)鍵部件，在使用過程中，由于多種原因，會發(fā)生軸承輥軸、密封件損壞和筒體磨損等故障，引起托輥卡轉(zhuǎn)，增加托輥與輸送帶間摩擦力，加大能耗，引發(fā)輸送帶跑偏、托輥和輸送帶溫度升高，造成輸送帶斷帶、縱向撕裂、火災(zāi)等安全事故[5]。為了保證帶式輸送機安全可靠運行，需要對托輥故障進行檢測[6-7]。由于托輥數(shù)量大且分散，工作環(huán)境惡劣，檢測條件苛刻，所以其故障在線檢測難度大。

傳統(tǒng)的托輥故障檢測方法主要有人工檢測法、聲音信號檢測法、振動信號檢測法等。人工檢測法勞動強度大，易受檢測人員主觀因素影響，準確性差；因現(xiàn)場工作環(huán)境惡劣，聲音信號檢測法采集的信號噪聲大，導(dǎo)致檢測結(jié)果準確性差；振動信號檢測法需接觸式傳感器，在惡劣的環(huán)境中不易進行數(shù)據(jù)采集，且采集的信號可靠性差、振動傳感器易損壞[8-10]。

基于巡檢機器人及紅外圖像檢測可實現(xiàn)非接觸式的數(shù)據(jù)采集，受周圍環(huán)境影響小，檢測準確率較高。朱振[11]采用輸送帶巡檢機器人代替人工檢測，使用ANSYS仿真托輥與輸送帶摩擦生熱產(chǎn)生的溫度場，分析托輥故障時其紅外圖像的特點，進而實現(xiàn)故障檢測。蘇耀瑞[12]采用智能巡檢機器人搭載拾音器，通過自動化巡檢的方式采集信號，對聲音信號進行去噪、特征參數(shù)提取和分類器構(gòu)建等處理，實現(xiàn)托輥故障信號識別，然后根據(jù)信號的RFID標簽追溯到故障托輥位置。馬宏偉等[13]提出一種基于連通分量的帶式輸送機托輥紅外圖像自動分割和定位算法，采用紅外熱像儀進行數(shù)據(jù)采集，通過垂直水平投影、Canny邊緣檢測、連通分量提取托輥閉合輪廓等圖像處理算法，實現(xiàn)托輥圖像自動分割與定位。金學智[14]提出采用智能巡檢機器人和紅外熱像儀進行托輥故障巡檢，完成故障判定，并生成故障預(yù)警報告。P. Dabek等[15]提出基于UGV機器人技術(shù)，對帶式輸送機過熱托輥進行自動檢測，通過對RGB圖像進行預(yù)處理，將預(yù)處理后的圖像與紅外圖像融合得到過熱點，實現(xiàn)托輥故障檢測。但目前帶式輸送機巡檢機器人搭載紅外采集設(shè)備移動受限，存在不能實時進行數(shù)據(jù)采集、數(shù)據(jù)處理并上傳至監(jiān)控終端，無法完成遠程故障檢測，續(xù)航能力不足等問題。

針對目前帶式輸送機托輥故障檢測存在可靠性和準確性不高等問題，提出一種基于熱紅外圖像的帶式輸送機托輥故障檢測方法，利用帶式輸送機巡檢機器人搭載托輥故障檢測器及紅外熱像儀進行數(shù)據(jù)采集，紅外熱像儀將采集的托輥熱紅外圖像序列與溫度數(shù)據(jù)傳輸給托輥故障檢測器，利用托輥故障檢測算法實現(xiàn)故障檢測，將檢測結(jié)果通過無線傳輸模塊發(fā)送至上位機，實現(xiàn)帶式輸送機托輥運行狀態(tài)的遠程實時監(jiān)測與報警。

1 帶式輸送機托輥故障檢測系統(tǒng)

基于熱紅外圖像的帶式輸送機托輥故障檢測系統(tǒng)主要由帶式輸送機巡檢機器人（搭載紅外熱像儀、托輥故障檢測器、報警器等）、上位機組成，如圖1所示。該系統(tǒng)采用艾睿T3S紅外熱像儀進行托輥熱紅外圖像與溫度數(shù)據(jù)采集。采集數(shù)據(jù)傳輸給托輥故障檢測器進行數(shù)據(jù)處理與故障判定，通過內(nèi)置的WH-L101無線傳輸模塊將檢測結(jié)果傳輸給上位機進行顯示。若檢測到托輥發(fā)生故障，啟動托輥故障檢測器與上位機報警器，實現(xiàn)雙報警。

2 帶式輸送機托輥故障檢測算法

托輥故障檢測算法部署在托輥故障檢測器的Cortex-A57處理器中。利用YOLOv5s 目標檢測算法提取托輥熱紅外圖像的感興趣區(qū)域（Region of Interest，ROI），采用維納濾波和自適應(yīng)中值濾波算法對ROI圖像進行濾波，利用自適應(yīng)直方圖均衡化和圖像銳化算法對濾波后的圖像進行增強，采用基于形態(tài)學的Otsu圖像分割算法對增強后的圖像進行分割，得到待檢測的托輥圖像，利用Harris角點檢測算法提取托輥圖像特征，獲得托輥位置信息并提取相應(yīng)的溫度信息。采用基于相對溫差法的托輥故障檢測算法判定托輥故障，當溫度超過初始閾值時，算法進一步判斷相對溫差所在閾值范圍，確定故障類型，并輸出檢測結(jié)果，否則直接輸出無故障檢測結(jié)果。托輥故障檢測算法流程如圖2所示。

圖2 托輥故障檢測算法流程Fig. 2 Process of the roller fault detection algorithm

2.1 托輥ROI提取

帶式輸送機巡檢機器人沿預(yù)設(shè)好的軌道移動并進行數(shù)據(jù)采集，采集到的部分熱紅外圖像沒有目標托輥或存在其他物體，影響后續(xù)數(shù)據(jù)處理工作，因此采用YOLOv5s算法[16]對目標進行識別并進行ROI提取。

實驗過程中，首先對托輥熱紅外圖像進行標注，完成數(shù)據(jù)集制作，然后在訓(xùn)練好的YOLOv5s網(wǎng)絡(luò)模型中進行預(yù)測，最后準確框選出ROI部分并進行截取，如圖3所示。

圖3 YOLOv5s網(wǎng)絡(luò)模型處理結(jié)果Fig. 3 YOLOv5s network model processing results

2.2 ROI圖像預(yù)處理

采用維納濾波對熱紅外圖像運動模糊和高斯白噪聲進行濾波處理，采用自適應(yīng)中值濾波對熱紅外圖像中的椒鹽噪聲進行抑制，并采用自適應(yīng)直方圖均衡化和圖像銳化算法對圖像進行增強。

維納濾波通常用于提取被噪聲污染的有用信號，以最小均方誤差準則進行濾波，以圖像和噪聲各自的相關(guān)矩陣為最優(yōu)準則，根據(jù)圖像的局部方差調(diào)整濾波輸出，局部方差越大，濾波的平滑作用越強[17-18]，結(jié)果如圖4所示。

圖4 維納濾波結(jié)果Fig. 4 Wiener filter results

中值濾波通過比較一定領(lǐng)域內(nèi)像素值的大小，取其中值作為這個領(lǐng)域的中心像素值。根據(jù)預(yù)設(shè)好的條件，選用自適應(yīng)中值濾波器動態(tài)改變窗口尺寸，不僅可濾除椒鹽噪聲，還可平滑其他非脈沖噪聲，降低噪聲對圖像的影響并保護圖像細節(jié)[19-20]，處理后的結(jié)果如圖5所示。

圖5 自適應(yīng)中值濾波結(jié)果Fig. 5 Adaptive median filtering results

采用自適應(yīng)直方圖均衡化和Roberts圖像銳化算法對托輥熱紅外圖像進行處理，增強目標托輥區(qū)域與背景區(qū)域之間的不相關(guān)性，改善圖像的局部對比度及獲得更多的圖像細節(jié)[21]，處理結(jié)果如圖6所示。

圖6 圖像增強結(jié)果Fig. 6 Image enhancement results

2.3 托輥圖像分割

帶式輸送機安裝環(huán)境復(fù)雜，采集的托輥熱紅外圖像包含支架、傳感器等物體。采用基于形態(tài)學的Otsu圖像分割算法對圖像進行分割。Otsu圖像分割算法是一種確定圖像二值化分割閾值的算法，通過選擇最佳閾值將圖像分為背景區(qū)域及目標區(qū)域。最佳閾值由背景區(qū)域與目標區(qū)域間的類間方差確定。背景區(qū)域和目標區(qū)域間的類間方差越大，說明背景區(qū)域和目標區(qū)域間差別越大[22]， 區(qū)域之間的相關(guān)性越小，分割效果就越好。區(qū)域間類間方差最大時的閾值即為最佳閾值。

假設(shè)灰度圖像有M個像素點，灰度等級總數(shù)為L，圖像的灰度等級為[0,L-1]，灰度等級i對應(yīng)的像素個數(shù)為mi。

灰度等級i的像素點出現(xiàn)的概率Pi滿足：

將圖像分為目標區(qū)域S0和背景區(qū)域S1，S0和S1的灰度等級為[0,θ-1]和[θ,L-1]，其中θ為設(shè)定的閾值，分割后圖像的各個點的像素值為F(x,y)，(x,y)為像素點坐標，則

S0與S1出現(xiàn)的概率為PS0和PS1，對應(yīng)的灰度等級均值為μ0和μ1。

S0和S1方差分別為

則目標區(qū)域和背景區(qū)域的類間方差為

確定圖像分割的最佳閾值θ′后，采用基于形態(tài)學的Otsu算法對圖像進行分割處理，可準確地分割出輸送帶與托輥的形狀。其中開運算處理可達到去除毛刺和增加圖像邊緣平滑度的效果，閉運算可通過填充圖像的凹角對圖像進行濾波，來彌合小斷點及填充物體內(nèi)細小空洞、連接鄰近物體，使分割效果更好，結(jié)果如圖7所示。

圖7 基于形態(tài)學的Otsu圖像分割算法處理結(jié)果Fig. 7 Image processing results by morphology-based Otsu image segmentation algorithm

2.4 托輥特征提取

Harris角點檢測算法是使用一個固定窗口在圖像上進行任意方向上的移動，判斷移動后各方向上灰度值的變化情況，若發(fā)生較大變化則判定為窗口區(qū)域所在的位置就是角點所在的位置。

Harris角點檢測算法采用泰勒級數(shù)展開的思想獲取窗口移動后任意方向上的像素值變化，以像素點為中心，窗口對應(yīng)的像素點位置為(x,y)，窗口在x,y方向上的移動量分別為u,v。移動前與移動后對應(yīng)的窗口中的像素點灰度變化可用自相關(guān)函數(shù)描述。

式中：w(x,y)為窗口函數(shù)；I(x+u,y+v)為移動后圖像像素灰度值；I(x,y)為移動前圖像像素灰度值。

I(x+u,y+v)經(jīng)過泰勒級數(shù)展開并簡化得

由于是局部微小的移動量，則可忽略上式中的余項，得

式中H為梯度的協(xié)方差矩陣，由圖像的導(dǎo)數(shù)求得。

通過角點響應(yīng)函數(shù)計算每個角點的響應(yīng)值R[23]，R只與H的特征值λ1和λ2有關(guān)。根據(jù)R判斷像素是否為角點，設(shè)角點閾值為N，若某點的響應(yīng)值R>N，則該點為角點，若R

式中：det(H)為H的行列式；k為經(jīng)驗常數(shù)；trace為H的跡。

比較得到R的最大值Rmax，將0.01Rmax作為設(shè)定的閾值N，人為設(shè)置經(jīng)驗常數(shù)k=0.04～0.06。根據(jù)Harris角點檢測算法對分割后的圖像進行特征提取并得到托輥位置信息，如圖8所示。可看出，將特征提取后的圖像分為輸送帶與托輥接觸面區(qū)域和軸承區(qū)域，并用綠色框標出，設(shè)為Tangent Area（簡稱TA）及Bearing Area（簡稱BA）。

圖8 基于Harris角點檢測算法的特征提取結(jié)果Fig. 8 Feature extraction results by Harris corner point detection algorithm

2.5 基于相對溫差法的托輥故障檢測

進行熱紅外圖像和溫度數(shù)據(jù)采集時，故障狀態(tài)下采集的溫度會隨著故障部位溫度升高而升高。為了避免環(huán)境溫度對實驗數(shù)據(jù)和故障判定的影響，本文選用相對溫差法作為故障判定方法。

相對溫差法需要求得發(fā)生故障時及無故障時關(guān)鍵區(qū)域的溫升，即關(guān)鍵區(qū)域溫度與環(huán)境溫度的差值。相對溫差為

式中：τ1為發(fā)生故障時關(guān)鍵區(qū)域的溫升；τ2為無故障狀態(tài)下關(guān)鍵區(qū)域的溫升。

根據(jù)實驗數(shù)據(jù)求得無故障狀態(tài)時的TA和BA區(qū)域的溫升最大值，將溫升最大值分別設(shè)為TA、BA區(qū)域檢測的初始閾值，用t0（TA）和t0（BA）表示，用于初步判斷托輥運行時是否存在故障。當圖像或視頻提取TA及BA區(qū)域的溫升均未超過t0（TA）和t0（BA）時，則判定為無故障，若溫升超過任意初始閾值，則進行下一步的故障判定。

根據(jù)式（17）計算軸承銹蝕（B1）、托輥卡轉(zhuǎn)（C1）和筒體磨穿（D1）故障下的相對溫差，分別設(shè)閾值為tB1，tC1，tD1。當關(guān)鍵區(qū)域的相對溫差超過tB1且小于tC1時，則托輥設(shè)備屬于B1故障；當關(guān)鍵區(qū)域的相對溫差超過tC1但未超過tD1時，則托輥設(shè)備屬于C1故障；當關(guān)鍵區(qū)域的相對溫差超過tD1時，則為D1故障。最終輸出故障類型。

3 托輥故障檢測器設(shè)計

采用Jetson Nano嵌入式開發(fā)板設(shè)計托輥故障檢測器的硬件，其主要由主處理器電路、USB接口電路1和2、WH-L101無線傳輸模塊、串口接口電路、GPIO接口電路、HDMI接口電路、顯示器、鍵盤、鼠標等組成，如圖9所示。選用Jetson Nano嵌入式開發(fā)板為托輥故障檢測器的主處理器，其包含GPU和CPU，具有操作簡單、功耗較低、尺寸小巧等優(yōu)點，包含1塊128核Maxwell架構(gòu)的GPU，搭載四核Cortex-A57處理器及4 GiB內(nèi)存，用于托輥熱紅外圖像及溫度數(shù)據(jù)處理、托輥故障判定等。USB接口電路1連接鍵盤鼠標，USB接口電路2連接紅外熱像儀，用于托輥熱紅外圖像和溫度數(shù)據(jù)采集；WH-L101無線傳輸模塊使用串口進行數(shù)據(jù)的收發(fā)，可滿足于上位機一對一或一對多的通信，實現(xiàn)多臺上位機遠程監(jiān)測托輥運行情況，達到實時監(jiān)控的檢測要求；串口接口電路連接WH-L101無線傳輸模塊；GPIO接口電路連接報警器，故障時啟動報警器報警[24]； HDMI接口電路連接顯示器，用于故障顯示。

圖9 帶式輸送機托輥故障檢測器硬件組成Fig. 9 Hardware composition of fault detector for belt conveyor roller

托輥故障檢測器軟件流程如圖10所示。設(shè)置紅外熱像儀的技術(shù)參數(shù)，如焦距、測溫范圍、色板選擇等，確保拍攝的托輥熱紅外圖像滿足質(zhì)量要求。對于采集的熱紅外數(shù)據(jù)，利用部署在Jetson Nano上的托輥故障檢測算法判斷是否發(fā)生故障，并判定為何種故障，同時啟動報警器進行報警。最終將結(jié)果顯示在上位機軟件。

圖10 托輥故障檢測器軟件流程Fig. 10 Flow of idler fault detector software

4 實驗與結(jié)果分析

4.1 實驗平臺搭建

為了驗證基于熱紅外圖像的帶式輸送機托輥故障檢測方法的準確性和可靠性，搭建了帶式輸送機托輥故障檢測實驗平臺，如圖11所示。

圖11 帶式輸送機托輥故障檢測實驗平臺Fig. 11 Experimental platform for belt conveyor idler fault detection

4.2 YOLOv5s目標檢測算法結(jié)果分析

選用YOLOv5s目標檢測算法提取熱紅外圖像的ROI，制作數(shù)據(jù)集并訓(xùn)練網(wǎng)絡(luò)，對訓(xùn)練好的網(wǎng)絡(luò)進行測試。網(wǎng)絡(luò)訓(xùn)練和測試平臺配置見表1。

表1 網(wǎng)絡(luò)訓(xùn)練和測試平臺配置Table 1 Network training and test platform configuration

在實驗室環(huán)境下，帶式輸送機巡檢機器人搭載紅外熱像儀沿固定軌跡移動，對2個帶式輸送機進行視頻拍攝。分別對A0（無故障）、B1、C1、D1 4種狀態(tài)的視頻數(shù)據(jù)進行取幀處理，獲得1 032張圖像，經(jīng)過擴增獲得8 256張圖像，按照7∶3的比例隨機劃分訓(xùn)練集（5 780張）和測試集（2 476張）。訓(xùn)練迭代次數(shù)為100，使用自制數(shù)據(jù)集在訓(xùn)練好的YOLOv5s模型中進行測試，結(jié)果如圖12所示，得到平均準確率為99.12%。

圖12 YOLOv5s目標檢測結(jié)果Fig. 12 YOLOv5s target detection results

4.3 溫度特性實驗結(jié)果分析

結(jié)合帶式輸送機工程設(shè)計規(guī)范和實驗需求，通過對正常托輥進行鹽水浸泡和一定程度的損壞，得到B1、C1、D1 3種托輥故障[25]，如圖13所示。

圖13 托輥故障Fig. 13 The roller fault

實驗環(huán)境的恒定溫度為15.6 ℃，在同一帶式輸送機的托輥組上，采用紅外熱像儀分別采集A0、B1、C1、D1 4種狀態(tài)下托輥熱紅外圖像及溫度數(shù)據(jù)。每隔5 min進行一次數(shù)據(jù)保存，進行25次采集，共得到100個樣本。將采集圖像經(jīng)過ROI提取、圖像處理、托輥分割和特征提取后，得到特征點所在區(qū)域的位置信息，根據(jù)TA區(qū)域和BA區(qū)域的位置信息對相應(yīng)位置的溫度數(shù)據(jù)進行提取。

對溫度數(shù)據(jù)進行處理，求得100個樣本中TA區(qū)域和BA區(qū)域的最大溫度及平均溫度，將TA區(qū)域的最大溫度作為輸送帶與托輥接觸面溫度（簡稱TTA），BA區(qū)域的平均溫度作為軸承溫度（簡稱TBA）。4種狀態(tài)下TA區(qū)域及BA區(qū)域的溫度曲線如圖14所示。可看出在TA區(qū)域前10 min內(nèi)TTA迅速升高，在100 min進行第25次采樣時趨于穩(wěn)態(tài)，C1和D1的穩(wěn)態(tài)溫度分別為31 ℃和53 ℃，明顯區(qū)別于B1，這說明對于C1或D1故障，TTA是有效的判別指標，且C1、D1達到穩(wěn)態(tài)時的溫度越高，卡轉(zhuǎn)越嚴重。在BA區(qū)域前10 min內(nèi)TBA迅速升高，B1的TBA有明顯升高，且達到穩(wěn)態(tài)時的溫度為27 ℃，與A0狀態(tài)下的溫度形成鮮明對比， C1和D1狀態(tài)下的溫度變化不明顯。在50 min后，B1的TBA逐漸下降，說明當出現(xiàn)BA時，潤滑良好的軸承有自我修復(fù)的功能，且TBA是B1有效的判別指標。

圖14 4種狀態(tài)下TA區(qū)域最大溫度及BA區(qū)域平均溫度Fig. 14 The maximum temperature in TA region and average temperature in BA region under 4 states

4.4 托輥故障檢測結(jié)果分析

對關(guān)鍵區(qū)域特征點的溫度進行提取與處理，計算相對溫差，得到托輥故障判定標準，見表2。當TTA≤2.84 ℃且TBA≤2.34 ℃時，判定為無故障。

表2 托輥故障判定標準Table 2 Roller fault judgment criteria

分別拍攝實驗平臺中托輥1和托輥2 在A0、B1、C1、D1 4種狀態(tài)下的托輥紅外視頻，分別對托輥紅外視頻進行取幀得到托輥熱紅外圖像序列，并從2個實驗托輥的熱紅外圖像中各抽取100張圖像序列，將200張測試圖像輸入托輥故障檢測器中，利用托輥故障檢測算法分別對4種狀態(tài)的圖像序列進行處理，結(jié)果見表3。

表3 托輥故障檢測正確數(shù)量Table 3 Correct number of roller fault detection張

由表3可看出，利用托輥故障檢測算法進行故障判定，得到無故障A0、軸承銹蝕B1、托輥卡轉(zhuǎn)C1、筒體磨穿D1 4種狀態(tài)的檢測總正確數(shù)量分別為199張、193張、194張及195張，準確率分別為99.5%、96.5%、97%、97.5%，平均準確率為97.625%，幀率為16 幀/s。

為進一步驗證本文方法的可靠性和準確性，制備A0、B1、C1、D1狀態(tài)的托輥各2組，隨機安裝在2個不同的帶式輸送機托輥組上。巡檢機器人搭載托輥故障檢測器在不同環(huán)境溫度下對8組托輥組進行巡檢，經(jīng)過托輥故障檢測算法處理，得到檢測結(jié)果，并通過WH-L101無線傳輸模塊將檢測結(jié)果傳輸給上位機。上位機軟件界面顯示4種狀態(tài)的檢測結(jié)果與相關(guān)數(shù)據(jù)，并進行報警處理，如圖15所示。可看出基于熱紅外圖像的帶式輸送機托輥故障檢測方法可實現(xiàn)托輥檢測。

5 結(jié)論

1） 提出了基于熱紅外圖像的帶式輸送機托輥故障檢測方法，可實現(xiàn)ROI提取、圖像濾波與增強、目標托輥分割、特征提取及故障判定等功能。

2） 基于熱紅外圖像的帶式輸送機托輥故障檢測方法使用YOLOv5s目標檢測算法提取托輥圖像ROI，平均準確率為99.12%，可準確識別目標托輥。對ROI圖像進行預(yù)處理，可實現(xiàn)托輥特征提取。

3） 通過溫度特性實驗得到故障判定標準，根據(jù)托輥故障檢測算法實現(xiàn)托輥故障檢測，得到無故障A0、軸承銹蝕B1、托輥卡轉(zhuǎn)C1、筒體磨穿D1的檢測準確率分別為99.5%，96.5%，97%，97.5%，平均準確率為97.625%，幀率為16 幀/s。檢測結(jié)果通過無線傳輸模塊傳送至上位機，可顯示故障類型及關(guān)鍵區(qū)域溫度，并進行報警。

4） 基于熱紅外圖像的帶式輸送機托輥故障檢測方法可實現(xiàn)托輥非接觸式在線故障檢測。下一步將模擬實際工況對該方法進行進一步論證及改進。