礦用煤流安檢雜物預(yù)報(bào)篩撿機(jī)器人關(guān)鍵技術(shù)研究

范紅斌張 坤

（1.山西潞安環(huán)保能源開(kāi)發(fā)股份有限公司常村煤礦，山西 長(zhǎng)治 046102；2.遼寧工程技術(shù)大學(xué)工商管理學(xué)院，遼寧 葫蘆島 125105）

近年來(lái)國(guó)家一直強(qiáng)調(diào)設(shè)備的機(jī)械化、自動(dòng)化、信息化、智能化的改造，大多礦企將實(shí)現(xiàn)“機(jī)械化換人、自動(dòng)化減人”作為轉(zhuǎn)型升級(jí)的重要措施[1]。因此，提出礦用煤流安檢雜物預(yù)報(bào)篩撿機(jī)器人關(guān)鍵技術(shù)[1-6]，將高清攝像和成像技術(shù)應(yīng)用于煤礦開(kāi)采領(lǐng)域，通過(guò)有針對(duì)性的圖像、大數(shù)據(jù)分析實(shí)現(xiàn)煤流雜物的識(shí)別、篩選、預(yù)警及機(jī)器人指令驅(qū)動(dòng)[7-10]，解決煤礦開(kāi)采運(yùn)輸過(guò)程（簡(jiǎn)稱(chēng)“煤流”）中出現(xiàn)的嚴(yán)重影響安全生產(chǎn)的一系列問(wèn)題，在實(shí)際應(yīng)用中具有非常重要的意義和必要性。

1 國(guó)內(nèi)外研究現(xiàn)狀

目前國(guó)內(nèi)外煤炭開(kāi)采的過(guò)程中，僅有巡查、巡檢類(lèi)的機(jī)器人開(kāi)始試用，而開(kāi)采的煤炭經(jīng)過(guò)順槽破碎機(jī)的一次破碎后很難保證炭塊、雜物等物料的體積滿(mǎn)足運(yùn)輸、轉(zhuǎn)載過(guò)程中不出現(xiàn)卡口、撕裂膠帶現(xiàn)象的要求，經(jīng)常發(fā)生各種嚴(yán)重影響安全生產(chǎn)的問(wèn)題，且煤流中也會(huì)混入大塊木料、鐵器等物品。導(dǎo)致以上問(wèn)題發(fā)生的根本原因是運(yùn)輸沿線(xiàn)沒(méi)有很好的探測(cè)預(yù)報(bào)裝備，僅靠人為的看護(hù)和簡(jiǎn)單的控制裝置不能辨識(shí)是煤炭還是雜物。

因?yàn)橹T多不確定因素，適合煤礦井下使用的智能機(jī)器人一直處于空白，雖然近兩年在試驗(yàn)射線(xiàn)式撿矸機(jī)器人，但采用射線(xiàn)式存在諸多問(wèn)題。同時(shí)，使用環(huán)境惡劣，粉塵、瓦斯?jié)舛雀?，?duì)系統(tǒng)的防護(hù)等級(jí)提出了更高的要求，適應(yīng)煤礦的“防爆化”要求，也是一項(xiàng)新的技術(shù)挑戰(zhàn)。另外，由于煤流中雜物的多樣性、特殊性，對(duì)系統(tǒng)的識(shí)別能力和指令是一項(xiàng)重大挑戰(zhàn)。再則，煤礦的生產(chǎn)能力、運(yùn)輸速度不斷提升，相應(yīng)的篩選物料任務(wù)也在增大，對(duì)系統(tǒng)提出了更高的要求。

為了能夠?qū)崿F(xiàn)雜物篩選操作，本文首次提出將國(guó)際上成熟的、先進(jìn)的高清攝像和成像技術(shù)應(yīng)用于煤礦開(kāi)采領(lǐng)域，使其具有獲取外部圖像信息的能力，增強(qiáng)其自適應(yīng)性以滿(mǎn)足篩選種類(lèi)繁多的雜物要求，通過(guò)有針對(duì)性的圖像、大數(shù)據(jù)分析并應(yīng)用于煤流雜物識(shí)別、篩選、預(yù)警、機(jī)器人指令驅(qū)動(dòng)等控制技術(shù)中。此研究是一次煤礦開(kāi)采技術(shù)的提升，并且可推廣應(yīng)用于煤礦開(kāi)采技術(shù)的其他機(jī)器人中。

2 研究關(guān)鍵技術(shù)

綜合考慮理論及實(shí)際情況，選擇機(jī)器視覺(jué)識(shí)別+神經(jīng)網(wǎng)絡(luò)技術(shù)+AI 算法+預(yù)警信號(hào)的方案，根據(jù)現(xiàn)場(chǎng)皮帶運(yùn)轉(zhuǎn)情況，用煤流安檢雜物預(yù)報(bào)篩檢機(jī)器人對(duì)雜物進(jìn)行識(shí)別，將識(shí)別后的雜物通過(guò)機(jī)械動(dòng)作裝置篩選至雜物倉(cāng)，實(shí)現(xiàn)煤流的清理工作。

（1）將抓拍成像技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于技術(shù)中，對(duì)物料進(jìn)行深度識(shí)別，將煤流中的大塊雜物去除，提升煤質(zhì)，減少雜物堆積而引起的設(shè)備故障。

（2）將識(shí)別后的物料通過(guò)預(yù)警裝置預(yù)報(bào)，預(yù)留接口可與機(jī)械動(dòng)作裝置進(jìn)行線(xiàn)路連接，并發(fā)出驅(qū)動(dòng)機(jī)械裝置對(duì)物料的轉(zhuǎn)移和定位等指令，有效實(shí)現(xiàn)物料分離的智能效果，且通訊能力滿(mǎn)足調(diào)度一體化需要和信息傳輸，具備升級(jí)改造條件。

3 方案設(shè)計(jì)

3.1 識(shí)別硬件

（1）工業(yè)相機(jī)。工業(yè)相機(jī)是圖像采集環(huán)節(jié)中重要的視覺(jué)傳感器，相較于其他相機(jī)，其具備更強(qiáng)的穩(wěn)定性及抗干擾能力，其與光學(xué)鏡配合一起構(gòu)成了圖像獲取的單元，在視覺(jué)篩選作業(yè)中，工業(yè)相機(jī)捕捉圖像幀然后送至工業(yè)控制計(jì)算機(jī)處理。

（2）光學(xué)鏡頭。光學(xué)鏡頭的主要作用在于調(diào)制光束，通過(guò)折射將成像目標(biāo)物體的光線(xiàn)照射到視覺(jué)傳感器的感光面上，進(jìn)而將光信號(hào)轉(zhuǎn)換成電信號(hào)，最終產(chǎn)生數(shù)字圖像。

（3）照明光源。在機(jī)器視覺(jué)系統(tǒng)中，光源照明方案的選取直接影響到目標(biāo)的成像效果，進(jìn)而影響到視覺(jué)算法的設(shè)計(jì)和系統(tǒng)運(yùn)行的穩(wěn)定性，一般情況下，光源配備有相應(yīng)的光源控制器。

3.2 系統(tǒng)軟件設(shè)計(jì)

本系統(tǒng)設(shè)計(jì)基于機(jī)器視覺(jué)的工業(yè)機(jī)器人雜物篩選系統(tǒng)總體方案，系統(tǒng)的主要組成部分包括基于廣數(shù)機(jī)器人的篩選抓取子系統(tǒng)和圖像獲取分析子系統(tǒng)。通過(guò)網(wǎng)口從相機(jī)端采集圖像并完成目標(biāo)與識(shí)別得到位置信息，傳遞給機(jī)器人控制器繼而控制機(jī)器人完成抓取，系統(tǒng)結(jié)構(gòu)如圖1。

圖1 視覺(jué)篩選系統(tǒng)軟件結(jié)構(gòu)圖

4 方案實(shí)施

4.1 硬件選取

（1）工業(yè)相機(jī)和光學(xué)鏡頭。采集圖像的相機(jī)和光學(xué)鏡頭的選取原則基于HALCON 軟件數(shù)據(jù)庫(kù)的攝像機(jī)標(biāo)定實(shí)驗(yàn)進(jìn)行確認(rèn)。選用元件檢測(cè)、識(shí)別和引導(dǎo)能力出色的光譜識(shí)別相機(jī)，能夠在雜物表面附著煤粉的情況下準(zhǔn)確分辨雜物。

（2）照明光源。由于照明方案不具有普適性，根據(jù)現(xiàn)場(chǎng)相應(yīng)情況提出諸多方案，進(jìn)行多次雜物和煤的視覺(jué)識(shí)別測(cè)試，基于自然光照條件照射下圖像中不同物體的不同灰度進(jìn)行識(shí)別，克服了以往機(jī)器視覺(jué)對(duì)自然光敏感的情況，使得所形成的圖像質(zhì)量高，幾乎不含噪聲。

4.2 方案實(shí)施過(guò)程

系統(tǒng)視覺(jué)采用國(guó)際先進(jìn)的HOLCON 視覺(jué)算法進(jìn)行計(jì)算。其以最新的計(jì)算機(jī)圖像處理和計(jì)算機(jī)視覺(jué)技術(shù)為基礎(chǔ)，擁有強(qiáng)大的集成開(kāi)發(fā)工具HDevelop，節(jié)約程序開(kāi)發(fā)時(shí)間。HOLCON 圖像處理過(guò)程如圖2。

圖2 HOLCON 圖像處理過(guò)程

Step1：工業(yè)相機(jī)首先對(duì)圖像進(jìn)行預(yù)處理，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)原始數(shù)據(jù)提取特征、降低維度、特征分類(lèi)并輸出結(jié)果，有效降低了由于工作環(huán)境和數(shù)據(jù)傳輸存在干擾而導(dǎo)致的噪聲，提升了圖像質(zhì)量，增強(qiáng)了可用的目標(biāo)特征。Deep ID 模型如圖3。

圖3 DeepID 模型

Step2：采用Canny 算法對(duì)預(yù)處理后的圖像進(jìn)行邊緣檢測(cè)；Canny 算法較高的信噪比和定位精度適用于不同環(huán)境下的邊緣檢測(cè)，明晰了雜物之間位置關(guān)系，剔除了目標(biāo)識(shí)別中不相關(guān)信息，提高了后續(xù)圖像處理的精度和性能。

Step3：雜物特征提取及識(shí)別。基于形狀的輪廓特征提出目標(biāo)識(shí)別與定位算法，并通過(guò)實(shí)驗(yàn)驗(yàn)證該算法具有較好的適應(yīng)性，且具有良好的抗噪性及平移、旋轉(zhuǎn)和尺度不變性，對(duì)非線(xiàn)性形變也具有一定的魯棒性。如圖4。

圖4 基于模型目標(biāo)識(shí)別方法原理

Step4：雜物位置測(cè)定。光譜設(shè)備識(shí)別雜物后，傳遞給3D 相機(jī)測(cè)定數(shù)據(jù)通過(guò)高速通訊傳遞給雜物抓取設(shè)備，從而實(shí)現(xiàn)雜物的篩選和拾取，如圖5。

圖5 相機(jī)標(biāo)定流程圖

Step5：機(jī)器人控制系統(tǒng)，如圖6。PC 機(jī)通過(guò)向圖像采集卡控制CCD 相機(jī)進(jìn)行目標(biāo)物的圖像信息采集，經(jīng)過(guò)PC 機(jī)的計(jì)算和圖像處理得到目標(biāo)位置的信息，并計(jì)算出SCARA 機(jī)器人運(yùn)動(dòng)位姿，通過(guò)運(yùn)動(dòng)控制卡向驅(qū)動(dòng)器發(fā)出脈沖指令，控制電機(jī)運(yùn)轉(zhuǎn)并帶動(dòng)機(jī)械臂運(yùn)動(dòng)到相應(yīng)位姿對(duì)雜物進(jìn)行拾取。

圖6 機(jī)器人控制系統(tǒng)流程圖

5 方案結(jié)果

（1）雜物識(shí)別分類(lèi)測(cè)試?；谳喞卣魈岢龅哪繕?biāo)識(shí)別與定位算法，有效地克服了雜物發(fā)生線(xiàn)性形變而造成形狀不同時(shí)的影響，將雜物歸為正確的類(lèi)別，還可在一定范圍內(nèi)包容非線(xiàn)性形變。同時(shí)在多種煤和雜物互相堆積干擾、煤粉覆蓋的情況下，光譜識(shí)別仍可以有效識(shí)別雜物和煤，擺脫干擾。

（2）相機(jī)標(biāo)定測(cè)試。通過(guò)視覺(jué)標(biāo)定求取出圖像中的像素坐標(biāo)點(diǎn)與其在世界坐標(biāo)系中三維幾何位置之間的轉(zhuǎn)換關(guān)系，能夠準(zhǔn)確地標(biāo)定雜物位置。

6 結(jié)論

煤流安檢雜物篩選預(yù)報(bào)機(jī)器人的應(yīng)用填補(bǔ)了煤礦開(kāi)采的一項(xiàng)空白，對(duì)提升開(kāi)采技術(shù)、降低人工投入和勞動(dòng)強(qiáng)度、減少人員以及提升煤礦智能化開(kāi)采水平有著積極作用，是煤礦開(kāi)采裝備智能化技術(shù)的巨大提升。

（1）經(jīng)濟(jì)效益

煤流安檢雜物篩選預(yù)報(bào)機(jī)器人的應(yīng)用，將極大程度上加快煤炭無(wú)人化開(kāi)采的進(jìn)程。機(jī)器人不受溫度和環(huán)境的影響，能適應(yīng)多種人為不適應(yīng)的惡劣工作環(huán)境，運(yùn)用范圍更廣，效率相較人工也大幅提升。在煤流雜物篩撿時(shí)有效地克服了人工作業(yè)看護(hù)時(shí)的弊端，極大提升了礦井的經(jīng)濟(jì)效益。

（2）安全和社會(huì)效益

煤流安檢雜物篩選預(yù)報(bào)機(jī)器人的應(yīng)用消除了安全隱患，提升了煤炭開(kāi)采自動(dòng)化水平，減少了設(shè)備易損壞的可能，提高了設(shè)備使用和生產(chǎn)保障效率，減輕了操作人員操作的勞動(dòng)強(qiáng)度，提升了煤礦安全管理水平和少人化、無(wú)人化開(kāi)采的技術(shù)水平。