基于深度信念網絡的磷石膏充填材料強度預測

張安安， 鄧芳明

(1.江西省科學院能源研究所，南昌 330029；2.華東交通大學電氣與自動化工程學院，南昌 330013)

近年來，隨著綠色開采技術的發展，充填材料作為該項技術核心部分，中外研究人員對此開展了研究，如膏體充填材料[1-2]、未分級尾礦材料膠結充填材料[3]、高水充填材料[4]和似膏體充填材料[5]。這些材料中，成本低、流動性好、強度高、污染低的膏體型充填材料最為流行。尹博等[6]對摻入粉煤灰的膏體充填材料水化過程各階段變化特征進行分析；膏體充填材料的強度主要取決于他的配合比，因此，需得到較高的強度則需要找到最佳的混合比例。

然而，傳統計算最佳配比是采取正交試驗以及運用理論模型來確定，Ren等[7]采用正交試驗設計方法，進行了RPC(reactive powder concrete)配合比設計研究。然而這些實驗方法缺點是成本高、耗時長。隨著機器學習[8]技術的發展，人工智能算法開始被應用于建筑和礦業工程領域。常慶糧等[9]運用神經網絡建立充填材料質量的預測模型；董越等[10]通過正交實驗并結合BP神經網絡建立充填體強度預測模型；王春雷等[11]針對鋰電池基于改進RVM進行壽命預測；張靜等[12]采用粒子群算法優化支持向量機對混凝土強度進行預測。但這些方法預測精度較低，需要大量的訓練數據和測試數據，導致預測速度較慢。與支持向量機相比，關聯向量機的框架更稀疏，核函數約束更少，預測時間更短，當處理具有不確定連接的參數，RVM(relevance vector machine)的預測精度較差。然而相對于RVM、BP(back propagation)神經網絡和支持向量機的上述不足，深度學習則具有預測精度高且預測時間快的優勢，近年深度學習理論的迅速發展，深度學習方法也被廣泛應用于各大領域，自動編碼器(AE)、卷積神經網絡(convolution neural network,CNN)和深度信念網絡(deep belief network,DBN)是應用最為廣泛的三種深度學習方法。史楊等[13]提出一種改進自動編碼器方法來預測大尺度下土壤有機質含量等級。Jang等[14]運用深層卷積神經網絡對混凝土抗壓強度進行預測，然而，這兩種方法AE易于訓練，所需訓練數據較少。CNN由于池化層處理會丟失大量有價值信息，忽略局部與整體之間關聯性。然而DBN通過訓練前的無監督學習，有效地避免了訓練數據集的過擬合現象。與傳統的無監督學習模型相比，DBN可以獲得隱藏在多個特征中的深層規律，并具有較好的泛化能力。Peng等[15]提出了一種基于深度信念網絡的無監督健康指標構建方法，并將其與粒子濾波相結合進行建筑剩余壽命預測。

為此，提出一種基于DBN的膏體充填材料強度預測方法,采用量子粒子群算法優化深度信念網絡確定DBN的隱含層節點個數和學習率來預測磷石膏充填材料的強度。

1 基本原理

1.1 受限玻爾茲曼機

利用逐層貪婪訓練原理，根據受限玻爾茲曼機(RBM)構造DBN模型。RBM模型由可視層v={0,1}D和隱含層h={0,1}K,兩層組成，RBM的結構如圖1所示?？梢晫雍碗[含層都包含一系列單位，輸入數據被送入可視層。各層的能量結構如式(1)所示：

圖1 RBM結構Fig.1 Structure of RBM

(1)

式(1)中：wpq為可見單位p與隱藏單位q之間的權重;cp和bq分別為可見單位p和隱藏單位q的偏置項；vp為可見單位p的狀態；hq為隱藏單位q的狀態。 各層的聯合概率密度分布為

(2)

式(2)中：Z為歸一化常數。從式(1)中可以看出，降低能量可以增加概率?？梢晫觱和隱層h的激活概率可由式(3)～式(5)計算:

(3)

(4)

(5)

采用CD算法權值進行更新，權值的變化量計算公式如式(6)所示:

Δwpq=ε(vphqorigin-vphqreconstruct)

(6)

式(6)中：ε為學習速率hqorigin為隱藏單位的原始狀態；hqreconstruct為隱藏單位的重構后狀態。每個RBM模型都有自己的學習速度，最優學習速度可以生成合適的權值分布。

RBM的重構過程如圖2所示。在這個過程中，隱含層嘗試重建一個可視層v1，可視層v1可以恢復原始的可視層v，那么在隱層中得到的數據可以被認為是輸入數據的特征。如果重構后的數據能夠很好地恢復原始輸入數據，則認為隱含層能夠有效地從原始數據中學習魯棒特征。

圖2 RBM的重建過程Fig.2 Reconstruction procedure of RBM

1.2 DBN結構

一般來說，單階段RBM無法實現最優的特征學習性能。因此，將多個RBMs進行疊加，形成一個較深的結構來很好地提取特征。第一個RBM提取的特征被輸入到下一個RBM。圖3為典型的(兩級RBM)DBN的整個訓練過程，該過程包括一個預訓練和一個微調過程，輸出層一般采用Softmax分類器。

圖3 DBN結構Fig.3 The structure of DBN

在訓練前的過程中，首先對輸入數據進行第一RBM處理，然后將所學習的特征作為第二RBM的輸入數據，得到第二RBM的特征。進行反復迭代，最后一次RBM得到的特征是訓練前過程中提取的特征。然后，將特征輸入Softmax分類器層進行微調。

在微調過程中，利用Softmax分類器對預先訓練好的DBN模型進行微調。利用軟最大分類器對訓練前提取的特征進行分類，生成特征標簽。然后，將生成的標簽與輸入數據標簽進行比較，并利用反向傳播機制通過更新RBM中的權值來最小化這兩種標簽之間的誤差。在微調過程完成后，最后一個RBM所提取的特征被認為是DBN模型的學習特征。

學習速率和RBM層是DBN模型的重要參數，對DBN的特征提取性能有重要影響。這兩個參數都是根據經驗來選擇的，并不能總是找到最優的結果。因此，采用量子粒子群優化(quantum particle swarm optimization,QPSO)算法來尋找這兩個參數的最優值。

1.3 QPSO算法

QPSO算法是將量子行為引入粒子群算法的收斂機制[16]。由于量子行為具有多態性和不確定性,它可以使粒子以一定的概率出現在空間的任何一點上，并且在性質差異上滿足聚集態的要求，從而使粒子能夠更有效地在整個空間中尋找全局最優解。QPSO算法中的粒子迭代如式(7)～式(9)所示:

(7)

P=μPi+(1-μ)Pj

(8)

Xi(t+1)=P±αmbest-Xi(t)ln(1/u)

(9)

式中：M為人口規模；μ和u的隨機數均勻分布區間[0,1]；mbest的平均位置所有粒子的最優位置；Pi和Pj分別為第i和第j個粒子個體最優位置和全局最優位置;X(t)為i粒子的位置在t迭代；α為壓縮擴張系數。利用QPSO優化DBN模型的過程可以描述如下。

Step 1初始化QPSO，包括粒子位置、搜索空間、壓縮膨脹因子和迭代，將DBN的學習率和隱含層節點數投影為粒子位置。

Step 2計算組中每個粒子的適應度值，然后計算每個粒子的個體最優位置和組的全局最優位置。

Step 3計算所有粒子的單個最優位置的平均值，然后更新粒子的位置。

Step 4重復Step1～Step3，直到滿足收斂條件，優化結果為DBN模型的最優學習率。

優化過程中采用的適應度函數為

(10)

式(10)中：RMSE為均方根誤差，當得到最大適應度值時，輸出結果為學習率的最優解。整個過程如圖4所示。

圖4 優化學習率流程圖Fig.4 The flow chart of optimizing learning rate

2 測試

2.1 原材料選取

由于磷石膏顆粒極其細小，實驗測得0.1 mm顆粒占93%，中位粒徑為0.043 mm，空隙率和滲透系數較小。這些特點決定了磷石膏不適合充填體脫水和快速硬化。此外，磷石膏中含有 CaSO4·2H2O，占90%以上，具有緩凝性，不適合作為回填材料。但添加粉煤灰和水泥后，磷石膏的性能會發生變化，所以選取以下材料作為實驗原材料。

(1)充填骨料:實驗采用磷石膏作為充填骨料。

(2)細骨料:采用華能熱電廠生產的粉煤灰級作為細骨料。

(3)膠結材料:采用安徽海螺水泥有限公司生產的42.5普通硅酸鹽水泥作為膠結材料。

2.2 測試方法

試件體積為70.7 mm×70.7 mm×70.7 mm。待試件完成后，將試件放入設定溫度為22 ℃的養護箱中。采用Instron 250 kN試驗機對不同齡期的單軸抗壓強度、充填材料配比、濃度、強度進行測試，結果如表1所示。值得注意的是，在表1中。D1為水泥比，D2為配比，D3為磷石膏料漿濃度，D4為抗壓強度，D5為粒度分形維數，D6為孔隙分形維數。后續作為預測模型的基本數據。

表1 充填材料配比正交試驗設計Table 1 Orthogonal test design of filling material ratio

從實驗中得出，隨著磷石膏料漿濃度的增加，充填材料的強度也會增加。當磷石膏料漿濃度從60%提高到63%時，90 d的抗壓強度可提高20%。但由于磷石膏漿液黏度大，濃度高，難以對其進行管道輸送，因此，最佳漿液濃度為60%～63%時磷石膏具有較強的流動性，易于實現全管道輸送，管道磨損小。粉煤灰具有良好的活化性能，可以降低水泥用量，提高磷石膏充填材料的性能，降低成本。

3 膏體充填材料預測模型

采用參數D1、D2、D3、D5、D6作為輸入值，D4(28 d強度)作為輸出值。由于兩階段DBN是最常用的模型，采用包含兩個RBM的兩階段DBN，每個RBM分別訓練。

4 預測結果與分析

實驗通過MATLAB 2016a建立了DBN的預測模型。首先選取表1中的10組數據(1～4、7～12)作為訓練數據，其余數據作為測試數據。初始化的偏置項設置為0，并隨機生成權重分布。DBN的分層訓練能夠提高訓練效率，通過最小化預測值與實際值之間的誤差，優化偏置項和權值分布。

實驗結果如表2所示。由表2可以看出，對于實驗數據集，本文方法對5個指標的預測誤差均較小，最大預測誤差為2.7%，這對于膏體充填材料強度預測是有效的。利用DBN模型，可以分析和確定充填材料中各變量的影響。

表2 提出方法的預測結果Table 2 Prediction results of the proposed approach

通過搜索DBN的最優學習率和隱含層節點個數來評價所引入算法的優化性能，收斂結果如圖5所示。由圖5可以看出，QPSO避免陷入局部最優，收斂速度快(37次迭代)，預測精度高(MSE為 0.000 153)，本文優化學習率為0.358，隱含層節點數分別為6和4。

圖5 QPSO的收斂性Fig.5 The convergence of QPSO

為了進一步評價優化性能，將優化后的DBN與傳統DBN的預測誤差進行對比，結果如圖6所示。誤差由式(11)計算:

(11)

式(11)中：E為總誤差；Vp為預測值；Vr為真實值。

從圖6可以看出，優化后的DBN預測誤差小于傳統DBN，在預測開始時，由于歷史數據有限，兩種方法的預測誤差都較高。隨著歷史數據個數的增加，優化后的DBN誤差迅速減小，最終誤差為0.001 3。傳統的DBN誤差下降速度較慢，最終誤差為0.475，遠高于優化后的DBN。

圖6 優化后的DBN與傳統DBN的預測誤差比較Fig.6 Prediction error comparison of optimized DBN and traditional DBN

并對長期預測精度進行了測量，評價了該方法的性能，測量結果如圖7所示。從圖7可以看出，在28 d的預測時間內，預測值與實測值具有較高的一致性，最大預測誤差為1.66%，說明所提出的預測模型在充填材料強度的長期預測中具有較好的性能。

圖7 長期預測精度Fig.7 Long term prediction accuracy

對本文方法與傳統方法的預測性能進行了比較。分別選取BP神經網絡、SVM和RVM構建預測模型。采用這4種模型對充填材料28 d后的抗壓強度進行估算，預測時間和精度記錄在表3中。從表3中看出，DBN模型預測精度最高，需要的預測時間最少。從測量結果可以推斷，提出的DBN模型可以為充填材料元件的優化提供指導，保證煤礦安全環境。

表3 4種模型預測結果比較Table 3 Error comparison of four prediction models

5 結論

充填材料的強度對煤礦的安全生產和可持續發展具有重要意義，但充填材料的組成與強度關系復雜，難以計算。因此，利用能夠發現材料構件之間深層連接的DBN及其強度來預測不同構件的充填材料強度。與傳統的BP神經網絡、SVM和RVM模型相比，DBN具有更好的預測能力，具有更高的預測精度和速度。實驗結果表明，所提出的DBN預測模型長期預測的最大錯誤率為1.66%，需要 1.89 s 的預測時間。這一結果表明，DBN模型能夠廣泛應用于充填材料的強度預測。