基于卷積神經網絡的電選粉煤灰顆粒圖像識別與燒失量預測模型

劉仲博

(寧夏職業技術學院，寧夏 銀川 750022)

0 引 言

受到我國能源結構的影響以及火力發電技術的發展，煤炭廣泛應用于火力發電中。煤炭在使用過程中由于燃燒不充分會產生粉體污染物，該污染物排放在一定時期內存在監管不到位的現象，產生了嚴重的環境問題[1]。同時，由于粉煤灰具有特殊的物理化學性質，可以廣泛應用于工業和農業生產中，因此開展粉煤灰的回收再利用具有一定的環境意義和經濟價值。粉煤灰中未燃燒完全的有機物影響粉煤灰的物理化學性能，如含量過高就會導致具有較強的吸水性，強度不夠大，燒失量衡量粉煤灰中未進行充分燃燒的有機物含量，用來表征煤炭的燃燒效率，在進行粉煤灰重復利用之前需要對燒失量進行檢測。檢測的步驟一般包括人工取樣、灼燒和稱重幾個部分，受到現場工期以及檢測成本的限制，檢測的樣本數量常常不能滿足現場要求。利用圖像識別開展粉煤灰燒失量研究，能夠縮短檢測周期，降低檢測成本，對粉煤灰燒失量的預測具有重要意義。近年來機器學習技術不斷發展，廣泛應用于工程與科學研究方面[2]。周波等[3]在實驗基礎上建立了遺傳算法優化的BP神經網絡抗壓強度預測模型，預測了高強高摻粉煤灰實現高強度目標的實驗條件。李章建等[4]建立了BP神經元網絡預測模型對偏高嶺土高性能混凝土的抗壓強度進行了預測，并與多元線性回歸模型預測結果進行了對比，研究認為BP神經網絡的預測精度高，結果可靠。胡明玉等[5]在研究粉煤灰抑制AAR問題時引入了模糊神經網絡，利用該模型分析了粉煤灰抑制AAR的整體規律，指出水泥堿量和粉煤灰堿量與AAR膨脹成正比，粉煤灰摻量與AAR膨脹成反比。方崇[6]為了全面對粉煤灰產品品質性能進行評價，利用投影尋蹤聚類分析模型對粉煤灰進行分類，研究結果相對準確、客觀。陳師杰等[7]利用工業攝像頭抓拍了粉煤灰圖片，獲取了多個特征參數，利用BP神經網絡、SVM神經網絡、ELM神經網絡對粉煤灰燒失量進行了訓練和學習，對比了不同模型的預測效果，最終認為ELM神經網絡預測精度相對較高。

傳統的神經網絡模型雖然表現出一定的智能特性，但在自主學習上表現較差。近年來隨著深度學習的發展，自主性學習功能受到越來越多的關注，卷積神經網絡在圖像識別上和語音分析上取得了一些成果，然而在粉煤灰燒失量方面研究較少。為了準確的預測粉煤灰燒失量，挖掘出數據內部的深層關聯和規律，本文采用了卷積神經網絡對粉煤灰燒失量進行預測，卷積神經網絡是近年興起的圖片高效識別方法，其獨特的特征映射層使其在圖片分析和識別方面具有明顯優勢。為彌補傳統神經網絡不能自主提取特征信息的特點，本文利用了卷積神經網絡權值共享和自主特征學習能力的優勢開展粉煤灰燒失量預測，對卷積神經網絡的原理進行介紹，利用粉煤灰燒失量圖片資料建立預測模型，對卷積神經網絡的網絡參數進行優化調節，對比不同模型的預測精度。

1 卷積神經網絡的優化和改進

多層神經網絡經過多年的進化和發展形成卷積神經網絡,卷積神經網絡結構包括輸入層、卷積層、池化層、全連接層和輸出層5個部分，其中卷積層和池化層是其具有的兩個獨特單元,卷積層用于連接前層并獲取特征數據，池化層用于在保持數據內部特征的條件下對特征數據進行降維。通過相鄰節點局部連接的形式對空間數據局部特征信息進行挖掘，在圖像處理時效果顯著，具有預處理簡單、網絡優化參數少以及網絡復雜度小的特點[8-10]。

1.1 卷積與池化層

卷積層又名特征提取層，該層計算時首先確定卷積核，將卷積核與前層特征圖輸入參數利用非線性激活函數進行卷積處理，其他特征的位置由局部特征的提取獲得。 卷積層特征值輸出的表達式見式(1)。

(1)

池化層是對卷積層特征圖進行降維處理，因此又稱為采樣層，用于減少和優化網格參數，從而提高數據特征的魯棒性，隨機池化和最大池化是常用的池化方法，卷積層的計算表達式見式(2)。

(2)

式(1)和式(2)中的激活函數通過引入權重使得神經網絡具有非線性的表達能力，ReLu分段函數是常用的激活函數，其數學表達式見式(3)。

ReLU=max(0,x)

(3)

該函數將x<0神經元輸出為0，提高了網絡的運行速度和收斂性，對解決過擬合問題具有較好的效果。

1.2 Adam優化算法

通過在神經網絡中引入優化算法可以減少網絡訓練迭代次數，提高了優化速度的同時加速了網絡收斂。Adam優化算法充分結合了AdaGrad算法和RMSprop算法的優勢，在處理稀疏梯度和非平穩目標時表現出了良好的性能，確保了梯度下降過程中參數更新的準確性和平穩性，其梯度計算的表達式見式(4)。

(4)

式中，φ為梯度值，包含權重項和偏置項兩部分。

1) 首先估算梯度值和梯度平方值的均值，采用方法為指數加權平均法，見式(5)和式(6)。

Vφ=ρ1Vφ+(1-ρ1)φ

(5)

Sφ=ρ2Sφ+(1-ρ2)φ2

(6)

式中：Vφ和Sφ為加權平均值；ρ1和ρ2為偏差修正的指數衰減率。

2) 給定時間步長，對加權平均值進行偏差修正，其表達式見式(7)和式(8)。

(7)

(8)

3) 利用梯度的修正值對權重和偏置進行，其表達式見式(9)。

(9)

式中：α為學習率；δ為常數。

1.3 dropout技術

通過文獻調研發現，隨著神經網絡層數的增加，預測精度并不是逐漸增加的，這是因為網絡訓練參數與網絡層數呈指數關系，模型的累計誤差大大增加。粉煤灰燒失量預測模型的輸入參數相對較少，特征提取時多樣性較差，容易產生過擬合的現象，為了提高模型的預測精度，本文在建立卷積神經網絡時引入了dropout技術，該技術在卷積神經網絡訓練時首先設定神經元從網絡中丟棄概率，部分神經元的活性保留，而另一部分神經元的輸入和輸出設置為0。該方法通過隨機挑選神經元參與網絡訓練，弱化了部分神經元節點之間的連接，使得整個網絡的泛化能力得到增強，有效地降低了模型迭代過程中的過擬合現象。

2 實驗與分析

2.1 數據來源及數據處理

在獲取不同燒失量粉煤灰時，首先從不同地區的電廠采集高低燒失量的兩種粉煤灰，按照質量配比的原則獲取2 000份不同燒失量粉煤灰樣品，利用粉碎機將樣品粒徑粉碎至70 μm以下，隨后進行脫水處理。將所有樣品放入暗室中進行拍攝，暗室中配備有光源，利用計算機程序對工業攝像頭進行控制，每個樣品連續拍攝照片3次，選取最好的一組。在獲得2 000份不同燒失量圖片和燒失量后，利用圖像灰度的特征參數進行燒失量研究。本文在進行卷積神經網絡預測時不同于常規圖像處理問題，運用有監督訓練的方式，采用圖像的特征參數模擬像素點。

灰度照片的特征參數分別為灰度均值、灰度方差、能量和熵值，在獲取4個特征參數值之前首先建立灰度直方圖，其數學表達式見式(10)。

(10)

式中：K為某樣品采樣點數量；ki為第i個灰度級像素點的個數。

直方圖建立后對直方圖的四個特征參數進行表征，數學表達式分別見式(11)～式(14)。

(11)

(12)

(13)

(14)

式中：m為灰度均值；σ2為灰度方差；U為圖像能量；e為圖像熵值；L為歸一化后直方圖的灰度級；ai為第i個灰度級；p(ai)為概率直方圖中第i個灰度級的分布概率。

隨機選取80%作為卷積神經網絡的訓練集，其余20%作為卷積神經網絡的測試集進行研究。考慮到不同特征參數評價指標的差異性，為減少量綱以及量級對數據的影響，提高梯度下降算法的收斂速度，提高模型的計算準確度，在對各參數進行使用時首先進行歸一化處理。

2.2 模型精度評估方法

模型精度進行評估時采用Pearson相關系數(R)和均方差函數(RMSE)來評判。其中R的取值范圍在-1～1之間，用于衡量兩個變量之間相關程度，該值越大代表精度越高；RMSE則用來反映目標值與預測結果之間的誤差最大值，該值越小代表精度越高，兩者的數學表達式見式(15)和式(16)。

(15)

(16)

式中：Y和P分別為參數的實際值和預測值；D為方差；Cov(Y，P)為協方差；yi和pi為某樣品的燒失量實際值和預測值；N為樣本數量。

3 結果分析

首先對2 000個樣本的圖片數據進行預處理建立卷積神經網絡模型，根據經驗設置卷積核為3×3權值矩陣，本文使用單層卷積神經網絡，設置8個濾波器在卷積層中，迭代次數選值為500，每迭代5次輸出一個結果。圖1和圖2展示了不同學習率下卷積神經網絡模型訓練值相關性以及訓練精度。 從圖1中可以看出，學習率為0.001、0.003、0.005、0.010、0.030和0.050時訓練的相關性分別為0.904 3、0.948 0、0.911 9、0.948 0、0.929 9和0.920 9，學習率為0.003和0.010相關性較高；從圖2中可以看出，不同時訓練的模型訓練精度相差不大，均在0.080左右，從學習率0.003和0.010的預測偏差曲線對比來看，學習率為0.010時的模型精度收斂速率較快，綜合考慮相關性和模型訓練精度，選取學習率為0.010時的卷積神經網絡預測模型。

圖1 不同學習率下的相關系數對比Fig.1 Comparison of correlation coefficients under different learning rates

圖2 不同學習率下的精度對比Fig.2 Accuracy comparison under different learning rates

為了驗證卷積神經網絡預測效果與網絡深度之間的關系，開展了網絡深度與敏感性實驗，與此同時引入dropout技術對卷積神經網絡進行改進，對比了引入和不引入dropout技術時的精度預測曲線。從圖3和圖4可以看出，在不引入dropout技術時，卷積神經網絡的最優層數為3，此時的預測效果最佳，數值相關性為0.975 0，訓練精度為0.090 7，當網絡深度超過3層后，過擬合現象出現，當達到6層時，數值偏差小于單層網絡，這是由于網絡加深過多后，內部參數增加量過快造成的。 引入dropout技術后，使得復雜的網絡變得稀疏，在一定程度上避免了過擬合現象，隨著層數的增加，預測精度不斷遞增。

圖3 相關系數與網絡深度關系Fig.3 Relationship between correlation coefficient and network depth

圖4 預測偏差與網絡深度關系Fig.4 Relationship between prediction bias and network depth

隨后，為了進一步檢驗卷積神經網絡模型在粉煤灰燒失量預測中的應用效果，對比了不同模型的預測精度，見表1。對比的模型分別為深度神經網絡(DNN)、長短期記憶網絡(LSTM)、和BP神經網絡(BPNN)，從數值預測偏差和相關性上看，卷積神經網絡(CNN)的預測性能最佳，表明卷積神經網絡對粉煤灰圖像具有較好的數據特征提取能力。

表1 不同模型的燒失量預測結果對比Table 1 Comparison of loss on ignition prediction results of different models

4 結 論

1) 針對目前粉煤灰燒失量實驗成本高，樣本點少的問題，本文提出利用多層卷積神經網絡預測模型，運用深度學習技術開展粉煤灰燒失量預測，采用灰度照片的特征參數分別為灰度均值、灰度方差、能量和熵值對卷積神經網絡進行訓練。網絡在構建時，設有相同層數的特征捕捉器提高預測精度，深度挖掘具有不確定性的輸入數據，同時引入dropout技術降低網絡的過擬合問題。

2) 以已有實驗數據為基礎開展預測模型研究，并于類似深度學習模型DNN、LSTM、BPNN等進行預測精度對比，對比結果表明本文的卷積神經網絡模型具有相對較高的魯棒性，與實際實驗數據數值偏差為0.090 7，預測的數值相關性為0.975 0，預測的誤差相對較小。

3) 運用卷積神經網絡在進行粉煤灰燒失量預測時，需要對模型的相應參數進行適當調整，不需改變模型整體結構，訓練好的模型具有較好的時效性和泛化性能，卷積神經網絡不僅在圖片識別上具有獨特優勢，還可以應用于特征提取上，在粉煤灰燒失量預測上具有廣泛的應用前景。