基于機(jī)器視覺的煤矸識別實(shí)驗(yàn)教學(xué)平臺研發(fā)

姜海燕，宋慶輝，宋慶軍，劉治江，郝文超

（1.山東科技大學(xué)智能裝備學(xué)院，山東泰安 271000；2.日照港集裝箱發(fā)展有限公司，山東日照 276800）

0 引言

在煤礦開采中，降低原煤含矸率是實(shí)現(xiàn)煤炭高效綠色發(fā)展的必要條件，它不僅能增加煤的發(fā)熱量，提升煤炭利用效率，還能減少對環(huán)境的污染［1］。在綜放工作面，實(shí)現(xiàn)頂煤下放過程的煤矸識別是降低原煤含矸率、提高煤炭質(zhì)量的根本途徑。經(jīng)過近幾十年的發(fā)展，煤矸識別方法高達(dá)30 多種，涵蓋了γ射線、雷達(dá)探測、振動(dòng)信號、聲波信號和圖像識別等方法［2-3］。煤矸圖像識別是近幾年比較流行的研究方法，劉富強(qiáng)［4］利用圖像處理技術(shù)對煤矸界面識別方法進(jìn)行了深入的探討，并在此基礎(chǔ)上提出圖像處理方法的煤矸識別方法。文獻(xiàn)［5-6］中對煤矸圖像信息進(jìn)行采集，利用去噪、多尺度分解、灰度共生矩陣分析的方式進(jìn)行特征提取，提出一種基于小波、小波包和支持向量機(jī)的煤矸圖像識別方法。王家臣等［7］提出圖像識別智能放煤技術(shù)，建立輕量級的放頂煤工作面矸石識別及邊界測量模型，實(shí)現(xiàn)混矸率的精準(zhǔn)快速識別。劉軍鋒等［8］提出一種記憶放煤和融合視覺監(jiān)控采放協(xié)調(diào)控制技術(shù)，實(shí)現(xiàn)放頂煤工作面放煤的煤矸識別和自動(dòng)化放煤。于斌等［9］提出一種特厚煤層智能化綜放開采技術(shù)架構(gòu)和融合振動(dòng)與高光譜的煤矸識別研究思路。Jiang 等［10］在聲波、模式識別的基礎(chǔ)上，提出基于MFCC和多分支卷積神經(jīng)網(wǎng)絡(luò)的煤矸識別方法。

煤矸識別是國際前沿課題，也是工科院校，特別是煤炭院校熱門的研究課題，不僅對煤礦生產(chǎn)的實(shí)際指導(dǎo)意義重大，且有助于大學(xué)生、研究生實(shí)踐和創(chuàng)新能力的培養(yǎng)。基于此，本文研發(fā)了一套模擬綜放工作面智能化放煤的教學(xué)和科研綜合實(shí)驗(yàn)平臺，為相關(guān)專業(yè)的學(xué)生和科研人員開展煤矸識別的基礎(chǔ)和關(guān)鍵技術(shù)研究提供了硬件支撐。

1 實(shí)驗(yàn)平臺設(shè)計(jì)

1.1 實(shí)驗(yàn)平臺總體設(shè)計(jì)

煤矸識別實(shí)驗(yàn)平臺主要由落煤裝置、計(jì)算機(jī)系統(tǒng)、工業(yè)相機(jī)、光源和煤矸石等部分組成，如圖1 所示。落煤裝置主要實(shí)現(xiàn)頂煤下放，計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)煤炭、矸石圖像的采集、圖像信號處理及煤矸識別。

圖1 實(shí)驗(yàn)平臺總體設(shè)計(jì)方案

1.2 落煤裝置

落煤裝置主要由液壓支架、儲煤倉、插板以及控制插板開閉的直線推桿組成。實(shí)驗(yàn)臺支架將各部分固定在相應(yīng)位置。儲煤倉是邊長500 mm 的正方體空箱，在儲煤倉底部安裝有插板控制儲煤倉內(nèi)的煤矸下落，插板由直線推桿驅(qū)動(dòng)，用以模擬放煤口開閉。儲煤倉前表面裝有透明鋼化玻璃，可觀察煤或矸石在里面儲存狀態(tài)。插板由直線推桿電動(dòng)機(jī)推動(dòng)，推桿最大行程為300 mm，速度為7 mm／s，推桿電動(dòng)機(jī)控制器選用Liyixun推桿電動(dòng)機(jī)控制器。

1.3 圖像采集系統(tǒng)

實(shí)驗(yàn)平臺選取MV-CS200-10GC 彩色面陣的CMOS工業(yè)相機(jī)，分辨率為5472 ×3648，最大幀率為5.9F／s＠5472 ×3648，曝光時(shí)間為46 μs～2.5 s。

為避免其他光源的影響，實(shí)驗(yàn)驗(yàn)證需要在暗室中進(jìn)行，在此使用EFIII-200 型LED 可調(diào)節(jié)光源作為實(shí)驗(yàn)光源，如圖2（a）所示。為驗(yàn)證不同波段光源對煤矸識別準(zhǔn)確率的影響，分別采用紅、黃和藍(lán)色濾色片（見圖2（b））對光源進(jìn)行濾色，收集紅（波長625～740 nm）、黃（波長565～590 nm）、藍(lán)（波長485～500 nm）光源下的煤矸樣本圖像。此外，實(shí)驗(yàn)配套使用55°標(biāo)準(zhǔn)反光罩加擋光板使光線反射均勻。

所搭建的實(shí)驗(yàn)平臺如圖3 所示。

煤矸識別教學(xué)科研實(shí)驗(yàn)平臺服務(wù)于自動(dòng)化、智能控制和模式識別等專業(yè)的本科（研究）生與該領(lǐng)域的科研人員。利用該平臺學(xué)生能開展放煤規(guī)律、信號采集、信號處理與分析、煤矸識別與智能控制等教學(xué)綜合性實(shí)驗(yàn)和科研探索與驗(yàn)證實(shí)驗(yàn)，有助于激發(fā)學(xué)生樂于探索和敢于動(dòng)手的科研興趣，培養(yǎng)學(xué)生理論和實(shí)踐相結(jié)合的研究能力。該實(shí)驗(yàn)裝置為科研人員提供煤炭開采關(guān)鍵技術(shù)的研究與開發(fā)提供了理論驗(yàn)證平臺。

2 煤矸圖像預(yù)處理及特征提取

煤矸圖像經(jīng)預(yù)處理和特征提取之后，獲得有效的煤矸圖像的顏色、邊緣、紋理等特征，構(gòu)成了特征維數(shù)為18 的煤矸數(shù)據(jù)集，其處理過程如圖4 所示。

圖4 圖像預(yù)處理及特征提取流程

2.1 圖像預(yù)處理

由于強(qiáng)光照產(chǎn)生的高斯噪聲、圖像傳感器產(chǎn)生的泊松噪聲和由解碼誤差造成的椒鹽噪聲［11］，在進(jìn)行圖像特征提取之前需對圖像進(jìn)行濾波和增強(qiáng)處理。常用的圖像降噪處理方法有高斯濾波、均值濾波和中值濾波。

濾波后的圖像通常需圖像增強(qiáng)來提高圖像成分的清晰度，有利于計(jì)算機(jī)處理。

利用Retinex理論可將其分解為反射圖像R（x，y）和光照圖像L（x，y）［12］，通過相機(jī)所獲得的圖像為

利用對數(shù)函數(shù)可獲得對數(shù)域反射圖像為

式中，g（x，y）為中心環(huán)繞函數(shù)，通常采用高斯函數(shù)。本文提出使用雙邊濾波代替高斯濾波對輸入圖像進(jìn)行光照估計(jì)，在不增大圖像噪聲的基礎(chǔ)上，得到更多細(xì)節(jié)信息的圖像。

為便于計(jì)算像素權(quán)重，設(shè)置空間鄰近度因子Ws和亮度相似因子Wr來構(gòu)造雙邊濾波函數(shù)：

式中：δs為空間域標(biāo)準(zhǔn)差；δr為值域標(biāo)準(zhǔn)差。δs和δr分別控制著空間鄰近度因子和顏色空間內(nèi)的亮度相似度因子的衰減程度。

設(shè)（i，j）為當(dāng)前像素點(diǎn)的位置，（k，l）為中心點(diǎn)的位置，且此中心像素領(lǐng)域范圍Si，j，則雙邊濾波函數(shù)

2.2 特征提取

灰度、紋理和顏色能表征煤與矸石表面特性差異，本文利用這3 種特征來分析煤與矸石在不同波長光源照射下的差異?；叶葘傩杂没叶戎狈綀D［13］來表征；灰度的紋理特性用灰度共生矩陣（Gray level cooccurrence matrix，GLCM）來表征，包含能量、熵、對比度和相關(guān)性［14］；Tamura 紋理是在對人類視覺感知的心理學(xué)研究的基礎(chǔ)上通過粗糙度、對比度、方向度、線性度、規(guī)則度和粗略度6 種視覺紋理特征表示煤炭與矸石圖像樣本紋理特征［15］。顏色屬性用RGB 各通道的一階矩、二階矩來表示。一階矩μi用來表示圖像的顏色信息；二階矩σi表示圖像中的顏色分布，即：

式中：pi，j為煤和矸石圖像顏色分量i中灰度值為的概率；N為煤和矸石圖像樣本的像素點(diǎn)的數(shù)量。

通過對比分析，在不同光源，3 種波長光源下的特征屬性具有不同的煤矸識別區(qū)分度，按照區(qū)分度值的大小排列，依次為灰度特征中的灰度均值，灰度方差紋理特征中的粗糙度、對比度、線性度、粗略度，顏色特征中的一階矩、二階矩。

3 實(shí)驗(yàn)測試與分析

實(shí)驗(yàn)測試任務(wù)為煤矸圖像的數(shù)據(jù)采集、信號處理、特征提取、煤矸識別實(shí)驗(yàn)。測試的實(shí)驗(yàn)平臺為本文所研發(fā)的煤矸識別實(shí)驗(yàn)教學(xué)平臺。

3.1 數(shù)據(jù)采集實(shí)驗(yàn)

利用LabVIEW完成煤矸圖像采集系統(tǒng)的設(shè)計(jì)，采集長波（紅色）、中波（黃色）、短波（藍(lán)色）3 種光源下的煤矸圖像樣本，前面板如圖5 所示，圖像采集程序如圖6 所示。

圖5 圖像采集系統(tǒng)的操作界面

圖6 圖像采集程序

通過視覺硬件平臺，培養(yǎng)學(xué)生運(yùn)用LabVIEW解決一些實(shí)際工程應(yīng)用問題的能力。在液壓支架安裝聲音和振動(dòng)傳感器，獲得頂煤下放過程中不同煤矸比的聲音和振動(dòng)信號［16］。可根據(jù)實(shí)驗(yàn)需求靈活調(diào)整傳感器類型和數(shù)量，為多傳感器信息融合提供了大量的數(shù)據(jù)集。

3.2 信號處理實(shí)驗(yàn)

利用不同波長光源下的圖像樣本，自主研發(fā)圖像信號濾波處理子系統(tǒng)，驗(yàn)證不同濾波算法的優(yōu)缺點(diǎn)。圖7 顯示了藍(lán)色光源下煤矸濾波效果，表1 為不同光源的降噪峰值信噪比（Peak Signal to Noise Ratio，PSNR）。

表1 不同光源下煤炭矸石樣本圖像濾波后的PSNR值dB

圖7 藍(lán)色光源下煤矸圖像濾波結(jié)果

由實(shí)驗(yàn)結(jié)果分析發(fā)現(xiàn)，均值濾波可通過煤矸圖像噪聲附近的像素值來修復(fù)噪聲像素，對椒鹽噪聲過濾效果較好，但無法對圖像的細(xì)節(jié)起到良好的保護(hù)作用，導(dǎo)致圖像模糊；從圖7 很難判斷出高斯濾波和中值濾波的濾波效果，但中值濾波的PSNR 值高于高斯濾波和均值濾波。說明中值濾波對于煤矸圖像樣本的降噪能力優(yōu)于高斯濾波和均值濾波。

3.3 特征提取實(shí)驗(yàn)

特征提取實(shí)驗(yàn)運(yùn)行在Windows7 系統(tǒng)上，可利用Matlab、LabVIEW軟件平臺或Python、C＃等編程語言，結(jié)合采集不同波長光源的圖像，按照第2 節(jié)的方法自主編寫特征提取程序。圖8、9 分別顯示了部分灰度特征和GLCM紋理特征。

圖8 不同光源下煤矸樣本灰度特征散點(diǎn)圖

圖9 不同光源下煤矸GLCM紋理特征散點(diǎn)圖

3.4 煤矸識別實(shí)驗(yàn)

為分析不同波長光源照射下煤炭與矸石的識別差異，采用支持向量機(jī)（Support Vector Machine，SVM）實(shí)現(xiàn)煤矸識別的測試。開展單類特征和多類特征聯(lián)合實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果分別如圖10、11 所示。

圖10 單類特征的識別準(zhǔn)確率

圖11 不同特征聯(lián)合下的識別準(zhǔn)確率

由圖10、11 可見，分析出光源波長和圖像特征對煤矸識別的影響：

（1）短波藍(lán)光的識別精度最高，其次是長波紅光，最后是中波黃光。

（2）從單類特征上看，藍(lán)光下顏色特征識別精度最高，其次是灰度特征，最后是紋理特征。

（3）從聯(lián)合特征上看，藍(lán)光下灰度和顏色特征聯(lián)合識別精度最高，而灰度＋紋理＋顏色3 類特征聯(lián)合的識別精度卻不是最優(yōu)。

可見，光源波長和特征組合影響了煤矸識別精度，基于機(jī)器視覺的煤矸識別需要通過實(shí)驗(yàn)選擇光源和特征的最優(yōu)組合。

3.5 煤矸實(shí)驗(yàn)平臺特點(diǎn)

該平臺面向?qū)嶋H工程應(yīng)用，可支撐不同綜放工作面的煤矸識別和智能化放煤等教學(xué)與科研關(guān)鍵技術(shù)的研究與開發(fā)。培養(yǎng)學(xué)生從工程的角度思考問題、解決問題。

該平臺具有良好的通用性，可滿足不同專業(yè)的教學(xué)和科研的需求，例如：放煤規(guī)律的研究、液壓支架的有限元及動(dòng)力學(xué)分析、放煤智能化控制、模式識別、多傳感器信息融合等。

該平臺靈活性好，可提供振動(dòng)、聲音和圖像等多種數(shù)據(jù)集，可模擬各種頂煤下放的場景，提供關(guān)鍵技術(shù)的驗(yàn)證條件。

該平臺可培養(yǎng)學(xué)生能利用LabVIEW、Matlab 軟件和Python、C＃等編程語言實(shí)現(xiàn)工程關(guān)鍵技術(shù)的研究。

4 結(jié)語

本文設(shè)計(jì)了一套綜放工作面頂煤下放教學(xué)和科研綜合實(shí)驗(yàn)平臺，可模擬不同放煤工作面運(yùn)行情況，為多傳感器信息融合、智能控制和模式識別等領(lǐng)域提供大量實(shí)測數(shù)據(jù)。針對機(jī)器視覺煤矸識別研究課題，利用該平臺研究了圖像的預(yù)處理、特征提取和不同波長的光源對煤矸識別精度的影響，驗(yàn)證了煤炭和矸石在實(shí)驗(yàn)條件下采用機(jī)器視覺進(jìn)行識別的可行性與先進(jìn)性。借助該綜合實(shí)驗(yàn)平臺的開發(fā)與運(yùn)行經(jīng)驗(yàn)，相關(guān)的關(guān)鍵技術(shù)已成功推廣到多個(gè)科研機(jī)構(gòu)和智能放煤工程項(xiàng)目，有助促進(jìn)學(xué)生理論和實(shí)踐相結(jié)合，提升學(xué)生的科研創(chuàng)新和動(dòng)手實(shí)踐能力，完善產(chǎn)學(xué)研學(xué)生培養(yǎng)體系，為時(shí)代發(fā)展培養(yǎng)具有解決實(shí)際問題能力的人才。

教育是民族振興、社會(huì)進(jìn)步的基石，是提高國民素質(zhì)、促進(jìn)人的全面發(fā)展的根本途徑。強(qiáng)國必先強(qiáng)教。優(yōu)先發(fā)展教育、提高教育現(xiàn)代化水平，對全面實(shí)現(xiàn)小康社會(huì)目標(biāo)、建設(shè)富強(qiáng)民主文明和諧的社會(huì)主義現(xiàn)代化國家具有決定性意義。

摘自《國家中長期教育改革和發(fā)展規(guī)劃綱要》