煤矸分選機器人圖像識別方法和系統

李 曼，段 雍，曹現剛，劉長岳，孫凱凱，劉 浩

(1.西安科技大學 機械工程學院，陜西 西安 710054; 2.陜西煤化韓城礦業有限公司，陜西 韓城 715400)

煤矸分選是煤炭生產的重要工作之一，傳統的人工分選具有勞動量大、效率低、粉塵多、對人體危害等問題。隨著選煤技術的不斷進步，人工操作已逐漸被自動分選設備替代[1-4]。目前國內外應用較為成熟的煤矸自動分選設備主要采用γ和X射線檢測法。γ射線檢測法根據γ射線穿過煤和矸石時衰減量的不同來識別煤和矸石[5]，X射線法是根據煤和矸石對射線吸收量的不同來進行識別的，用高壓氣閥噴嘴作為執行機構，通過高壓氣流將矸石分離[6]。該類分選設備，由于煤和矸石下落時間快，對系統執行速度提出了較高的要求，并且射線法易受煤矸含水量的影響，同時還存在射線探測部分環保要求較高，執行部件準確率不高，容易故障等缺點。

近年來，煤矸分選機器人的研究已成為選煤自動化生產的重要課題，其中煤矸的準確識別是實現機器人分選的首要任務。針對這一問題，國內外不少研究人員從圖像分析或視覺計算的角度對煤矸識別進行了研究，文獻[7-9]通過對煤和矸石的灰度和紋理信息進行分析，得到了較為準確的分類結果，但是這些識別方法的特征提取相對單一，在實際生產環境中準確度易受影響。文獻[10-14]對煤矸識別提出了一些新的方法，能得到較好的煤矸識別率，但是都存在識別過程中耗時長、算法復雜、對硬件要求較高等問題。文獻[15]將原煤的表面分為4種類型，通過特征遞歸剔除方法找出了圖像的最優特征子集，得到了一種效果波動小，準確率較高的煤矸識別方法，但在矸石中煤含量過高時，此方法有失效的可能性。文獻[16]提出了一種將PCA算法用于識別傳送帶上油石的算法，實現了對油石區域的檢測，但是當油石的密度過大時，油石的定位準確度變差，使識別受到影響。目前，基于虛擬儀器技術的機器視覺因其開發周期短、兼容性廣、圖形化編程、系統可視化等優點已經應用于各行各業[17]。該技術在煤炭生產中，如采煤機自動調高，礦井提升機系統的監測及煤泥浮選等方面均有研究[18-20]，但在煤矸分選機器人中此技術的應用并不多見。

筆者以陜西韓城礦區的煤和矸石為分類對象，確定了適于該類樣本圖像的降噪處理方法，得到了其灰度和紋理特征中區分度較高、利于識別的相關參數。以LS-SVM為分類器，通過對不同輸入向量的訓練和對比分析，得到了以灰度特征參數中最大頻數對應的灰度值和紋理特征參數中的對比度為聯合輸入向量，該分類器識別效果更好。隨機樣本圖像識別驗證結果表明本系統對實際工況下的煤和矸石基本可實現快速、準確的識別。

1 圖像獲取及處理

1.1 圖像采集系統硬件平臺

煤矸分選機器人作為一種新的選煤設備，主要由圖像識別系統、控制系統、分揀系統等組成，其主要組成如圖1所示。

圖像識別系統作為煤矸分選機器人的首要環節，直接影響煤矸分選效果。圖像識別系統的硬件主要由相機、光源、工控機等構成。相機是圖像采集中的一個關鍵部件，相機的選擇決定了所采集圖像的分辨率、圖像質量等，關系到整個系統的識別效果。煤矸分選機器人的圖像采集相機選擇需考慮物料運輸帶式輸送機運行速度、膠帶寬度，煤和矸石的粒度大小等因素。鏡頭采用具有自動對焦功能的高清攝像頭，安裝時相機與帶式輸送機分離，這樣可以在一定程度上避免膠帶振動對圖像采集的影響。選擇滿足采集視場范圍的相機，調整相機與膠帶的安裝距離，以獲得較全面的拍攝覆蓋角度。圖像的灰度和紋理信息是區分煤和矸石的主要特征量。在不同光照強度下，煤和矸石的灰度特征和紋理特征會隨之改變，這就導致了特征向量的提取具有不確定性，但在相同照度下，煤和矸石的灰度和紋理特征具有較為穩定的差異[21]?！哆x煤廠安全規程》規定地表水平面手動選矸地點光照強度不小于30 lux，根據光照強度的要求以及結合實際煤矸分選環境，圖像識別系統光照采用自然光加LED補償光源，以保證獲得較好的光照條件。

1.2 圖像獲取

在實驗室搭建圖像采集系統，獲取訓練樣本圖像，系統實物如圖2所示。上位機為研華610L工控機，相機選用羅技C920，其分辨率為1 920×1 080，每秒采集幀數為30 fps，工控機與相機采用USB總線方式連接，光照采用自然光加LED補償光源，光照強度在70～120 lux。

筆者以韓城礦區桑樹坪2號礦井的煤和矸石為分類對象，該礦區煤和矸石主要為瘦煤和頁巖。選取300個煤矸樣本進行圖像采集，得到煤炭樣本圖片150張，矸石樣本圖片150張。為了節省存儲空間以及提高樣本訓練及識別的效率，對每張圖片提取具有代表的區域并進行編輯，處理后的圖像大小為200×200，部分樣本圖片如圖3所示。

1.3 煤矸圖像處理

煤矸分選作業工況條件比較惡劣，采集的圖像會受到灰塵、光線、設備振動等因素的影響。為了保證圖像一定的清晰度，需要對原始圖像進行處理。選取3×3，5×5，7×7 三種窗口尺寸，采用高斯、低通和中值3種濾波器對圖像進行降噪處理，處理前后圖像對比如圖4所示。

圖4 3種濾波方式處理結果Fig.4 Three filtering methods are used to process the results

由圖4可看出，濾波時窗口尺寸越大，圖像越模糊，濾波窗口尺寸為3×3時，圖像最為清晰，去噪效果最好，因此確定3×3為最佳濾波窗口尺寸。采用最小化平方誤差(MSE)和峰值信噪比(PSNR)對降噪效果進行評價。最小化平方誤差反映了圖像處理前后的變化程度，其表達式為

(1)

式中，樣本圖像的大小為M×N;P(i,j)為原圖像在(i,j)位置的像素值;B(i,j)為濾波降噪后圖像在(i,j)位置的像素值。

峰值信噪比反映了圖像信噪比變化的統計平均，是一種衡量圖像主觀質量的方法，值越大代表圖像失真越小，其表達式為

(2)

以3×3為窗口尺寸對3種濾波器濾波效果進行對比，由表1，圖5可知，相比較于高斯濾波器和中值濾波器，非線性低通濾波器的最小化平方誤差更低，而峰值信噪比更高，對于樣本圖像的濾波效果最好，圖像更為清晰，平滑度更好。因此非線性低通濾波更適合瘦煤、頁巖樣本圖像的處理。

表1 3種濾波器結果Table 1 Results of the three filters

圖5 煤和矸石3種濾波比較Fig.5 Comparison of three filters for coal and gangue

2 煤矸識別特征選取

2.1 灰度特征選取

灰度特征描述圖像或圖像區域所對應的表面性質，灰度分析可以得到灰度圖像的直方圖及基本的灰度衡量特征值。圖像灰度特征基本衡量參數有灰度均值、灰度方差和最大頻數所對應的灰度值。

分別對75張煤和75張矸石樣本圖像進行灰度分析，得到煤和矸石的灰度統計直方圖和各參數值，各參數值的分布范圍見表2。

表2 煤矸樣本灰度特征參數分布范圍Table 2 Distribution range of gray scale characteristic parameters of coal and gangue samples

從表2中可看出煤和矸石的各衡量參數都有各自的分布范圍，其中煤和矸石的灰度均值和最大頻數所對應的灰度值存在較大的差異，區分度較高，其分布曲線如圖6所示。因此，選取這2個參數作為煤矸灰度識別的特征向量。

圖6 煤矸灰度具有較大差異衡量值的分布曲線Fig.6 Distribution curves of coal and gangue gray values with great difference

2.2 紋理特征選取

紋理是物體表面固有的特征之一，其中灰度共生矩陣法是進行圖像紋理研究最常用的一種方法，灰度共生矩陣是對空間中相距一定距離的兩像素點之間的像素差值進行統計研究后得出的，其反映的是圖像灰度關于方向、相鄰間隔、變化幅度的綜合信息，是一種經典的紋理特征提取方法[22]。

基于灰度共生矩陣，Haralick導出了14個能反映紋理特征的二次統計參數，稱為Haralick特征，其中常用的特征參數有能量、對比度、熵、同質性和相關性。對與灰度分析相同的75張煤樣本圖像和75張矸石樣本圖像進行紋理分析，得到各參數值的分布范圍見表3。

表3 煤矸樣本紋理特征參數分布范圍Table 3 Distribution range of texture characteristic parameters of coal and gangue samples

從表3中可以看出煤和矸石的各衡量參數都有各自的分布范圍，其中煤和矸石的紋理對比度、熵存在的差異較大，具有較高的區分度，其分布曲線如圖7所示。因此，選取紋理對比度和熵作為煤矸紋理識別的特征向量。

圖7 煤矸紋理具有較大差異衡量值的分布曲線Fig.7 Distribution curves of coal and gangue textures with great difference in measured values

3 最小二乘支持向量機煤矸圖像識別

3.1 煤矸識別模型的確定

支持向量機是一種有監督的學習方法，其基本思想是通過內積核函數將輸入空間轉換到高維特征空間，在新空間中尋找一個最優識別面[23-24]。對于未知樣本，支持向量機將其映射到同一特征向量空間，并基于它們落在分割面的哪一側來預測其所屬類別。該方法在解決小樣本、非線性以及高維識別問題中表現出許多特有的優勢[25]。

在煤矸分選中，煤和矸石混雜在一起，致使部分煤和矸石的灰度、紋理特征參數變得線性不可分，因此，以非線性分類器來進行煤和矸石的辨識能夠獲得更高的識別率。最小二乘支持向量機是專門處理樣本線性不可分問題的機器學習算法[26]，其將支持向量機的不等式約束變為等式約束，降低了求解超平面的難度，極大的提高了算法的求解效率。最小二乘支持向量機算法為設樣本集V={(xi,yi)}，i=1,2,…,n;xi為輸入樣本數據;yi為輸出標示;n為樣本數量，引入非線性變換核函數K(x,xi)=(φ(x)φ(xi))，最小二乘支持向量機的原始空間可以表示為

(3)

yi[wTφ(xi)+b]=1-ξi,i=1,2,…,n

(4)

其中，J為目標函數;ξ為松弛變量;α為拉格朗日乘子;φ(xi)為非線性變換核函數K(x,xi)=(φ(x)φ(xi))設的函數;C為懲罰因子。構造的Lagrange函數為

b]-1+ξ}

(5)

分別對w，b，ξi，α求偏導數，可得

(6)

式中，w為特征空間中的高維向量;ξi為松弛因子;b為分類閾值。

由KKT最優化條件得到線性方程組

(7)

式中，Ω，α，Y，I分別為

Ωi,j=yiyjφ(xi)Tφ(yj)=yiyjK(x,xi)

α=[α1,α2,…,αn]T

Y=[y1,y2,…,yn]

I=[I1,I2,…,In]

求解原始空間上的線性分類方程組可以得到決策函數為

(8)

利用支持向量機對煤、矸進行分類時，選擇不同類型的核函數，得到的分類效果不同。徑向基核函數RBF對焦煤、瘦煤、頁巖和砂巖的識別率較好[27]。徑向基核函數表達式為

K(x,xi)=exp[-σ|x-xi|2]

(9)

用Libsvm平臺對選取的決策函數參數進行反復交差驗證得到，當參數懲罰因子C=128，徑向基核函數寬度參數為16時，煤矸識別準確度較好。

3.2 分類器訓練

以灰度特征，紋理特征，聯合特征(灰度-紋理)3組參數作為分類器的輸入向量分別對75張煤和矸石樣本圖像進行訓練，得到分類視圖如圖8所示。其中灰度特征參數選用灰度均值和最大頻數對應的灰度值，紋理特征參數選用對比度和熵,聯合特征參數選用最大頻數對應的灰度值和對比度。

圖8 分類視圖Fig.8 Classification of view

通過分類視圖和分類器驗證得出煤和矸石樣本圖像在訓練時錯分樣本數，統計結果見表4。

由表4可以看出，以3種特征得到的分類器對于煤和矸石都能進行很好的區分，其中聯合特征得到的分類器具有更高的訓練準確度。

表4 分類器訓練結果Table 4 Classifier training result

3.3 分類器對比驗證

分別以灰度，紋理，聯合特征作為最小二乘向量機的特征向量對樣本庫剩余的75張煤和75張矸石樣本圖像進行分類器對比驗證，分類結果見表5。

表5 樣本圖像分類準確度Table 5 Sample image classification accuracy

由表5可以看出，以3種特征向量進行煤矸識別均能達到較好的識別準確度，以聯合特征進行分類具有更高的識別準確度。

4 煤矸識別程序設計

煤矸識別程序主要由圖像采集、圖像濾波、聯合特征向量的提取、樣本分類幾部分組成，程序的編寫主要在LABVIEW2017平臺上完成。其編程流程圖如圖9所示。

圖9 煤矸識別程序流程Fig.9 Flow chart of coal and gangue identification program

4.1 圖像采集程序

圖像采集由軟件實現控制。采集程序通過調用NI Vision下的NI-IMAQdx模塊的IMAQdx Open Camera VI，IMAQdx Grab VI，IMAQdx Close Camera VI來完成相機的打開、采集圖像、關閉和釋放內存等。圖像采集顯示界面和部分程序代碼如圖10,11所示。

圖11 圖像采集程序Fig.11 Image acquisition program

4.2 圖像濾波程序

圖像處理程序主要由圖片讀取、圖像濾波和圖像存儲等部分組成。NI Vision中的Filters模塊提供了IMAQ LowPass子函數來進行非線性低通濾波器的程序編寫。用IMAQ Read File讀取已處理樣本，格式為8位灰度，調用IMAQ LowPass函數時，將函數尺寸輸入窗口設置為3×3，并將處理后的圖像通過IMAQ Write File函數以JPG的形式進行存儲。

4.3 特征提取程序

特征向量提取程序主要由圖像讀取、灰度分析子函數、紋理分析子函數、數據存儲等部分組成。LABVIEW中的NI Vision模塊提供了IMAQ Histograph和IMAQ Histogram兩種灰度分析子函數。紋理分析則使用位于Image Processing 函數模塊下的Texture模塊中的IMAQ Cooccurrence Matrix可直接得出Haralick特征。用IMAQ Read File讀取已處理樣本，格式為8位灰度，在調用灰度分析函數時，將函數的灰度設置為0～255。將得到的特征參數采用TDMS數據流格式存儲。特征提向量提取程序界面如圖12所示。

圖12 特征向量提取顯示界面Fig.12 Feature vector extraction display interface

4.4 識別程序

煤、矸分類程序主要由樣本采集、圖像濾波、特征向量的提取、LS-SVM分類程序調用和分類結果輸出等部分組成。首先對讀取的待識別樣本進行非線性低通濾波，得出待識別樣本的聯合特征向量Xt，然后使用LS-SVM工具包調用分類函數對被測樣本進行分類識別，得到的Ytest變量即為待識別樣本的識別結果。對Ytest元素進行提取，其中元素為0時，代表識別結果為煤，元素為1時，識別結果為矸石。以聯合特征作為最小二乘支持向量機的特征向量煤矸樣本圖像分類，其顯示界面及程序如圖13所示。

5 煤矸識別系統的驗證

通過實驗對所提出的煤矸識別方法及系統進行驗證，得到其識別的準確性和識別速度。從韓城礦區實際工況條件下隨機選取300塊煤和300塊矸石作為樣本進行實驗驗證，實驗平臺如圖14所示。圖像采集相機與樣本距離為40 cm，光照強度為100 lux左右。打開識別系統，點擊圖13(a)中“分類開始”控件，系統控制相機采集圖像并進入自動識別，當完成識別后，界面上顯示識別結果。同時在圖像識別系統程序中設置計時器，記錄點擊“分類開始”控件時的時間為初始時間、輸出識別結果時的時間為終止時間，兩者之差為該識別系統的煤矸圖像采集和分類識別總時間。樣本分類實驗結果統計見表6。

表6 樣本分類準確度Table 6 Sample classification accuracy

圖14 煤矸分選機器人實驗平臺Fig.14 Experimental platform for coal and gangue sorting robot

實驗結果統計顯示，煤樣本識別準確度為90.3%，矸石樣本的識別準確度為83.0%;所有實驗樣本識別中最大識別時間為0.247 s，最小識別時間為0.085 s，平均識別時間為0.153 s。

6 結 論

(1)本圖像識別方法和系統對同一礦區實際工況下隨機選取的煤和矸石分類準確度分別可達到為90.3%和83.0%，平均識別時間為0.153 s。

(2)非線性低通濾波對該類煤和矸石樣本圖像降噪效果最佳。

(3)該類煤和矸石樣本圖像在灰度均值、最大頻數對應的灰度值、紋理對比度、熵4個參數上具有較高區分度。

(4)采用灰度特征參數中最大頻數對應的灰度值和紋理特征參數中的對比度2個參數作為LS-SVM分類器輸入向量，可得到比單獨由灰度特征或紋理特征作為輸入向量更好的識別效果。