改進的深度信念網(wǎng)在磨削加工粗糙度值預測中的應用*

田　楊

(遼寧工程職業(yè)學院 科研處，遼寧 鐵嶺　112000)

?

改進的深度信念網(wǎng)在磨削加工粗糙度值預測中的應用*

田楊

(遼寧工程職業(yè)學院 科研處，遼寧 鐵嶺112000)

深度信念網(wǎng)(DBN)是由無監(jiān)督的受限玻爾茲曼機(RBM)和有監(jiān)督的BP網(wǎng)絡組成的神經(jīng)網(wǎng)絡分類器。針對RBM訓練過程中固定學習率不利于尋找最優(yōu)的缺點，提出一種動態(tài)學習率法則，改進RBM網(wǎng)絡以提高特征向量映射的準確度；構(gòu)造一個含有兩層RBM和一層BP，并使用對比分散準則(CD準則)進行神經(jīng)網(wǎng)絡的自訓練的DBN網(wǎng)絡，提高訓練速度，將改進型網(wǎng)絡應用于表面粗糙度值的預測，通過與改進前后的預測模型及RBM預測模型的對比，預測模型精度得到了提高。

深度信念網(wǎng)；RBM；粗糙度；預測模型

0　引言

表面粗糙度是評價工件表面質(zhì)量的重要因素之一，他對工件的疲勞強度、接觸剛度、配合性能、工作精度都有著重要的影響，然而由于不同加工參數(shù)的選擇，加工表面的粗糙度值也隨之改變，為此需要建立一種根據(jù)加工參數(shù)即可確定粗糙度值的預測模型，國內(nèi)外學者針對粗糙度預測模型做了相應的研究，王洪詳?shù)萚1]采用回歸分析法建立單點金剛石刀具超精車削表面粗糙度預測模型，蘇宇等[2]采用自適應神經(jīng)模糊推理系統(tǒng)建立了鋁合金銑削加工表面粗糙度預測模型；周斌等[3]建立了基于BP神經(jīng)網(wǎng)絡的表面粗糙度預測模型；劉牧等[4]采用響應曲面法建立了鋼及其合金銑削加工表面粗糙度預測模型；陳杰來等[5]采用遺傳算法優(yōu)化的反向神經(jīng)網(wǎng)絡法建立了超精密切削表面粗糙度預測模型；劉曉志等[6]利用線性回歸分析方法建立了硬質(zhì)合金立刀銑削鈦合金才來的表面粗糙度模型。

由于神經(jīng)網(wǎng)絡法在泛化能力方面尚存在不足、訓練時間長、難以表達結(jié)構(gòu)化知識等缺點，本文提出一種動態(tài)學習率策略來訓練RBM網(wǎng)絡，該方法通過在訓練過程中逐漸調(diào)整學習率，克服了固定學習率引起的特征提取精度不高的問題，提高RBM和DBN的特征向量映射能力，將該模型應用于磨削表面粗糙度值的預測中，可滿足粗糙度模型的預測精度。

1　深度信念網(wǎng)(DBN)

深度信念網(wǎng)(Deep Belief Networks,DBN)由一系列疊加的受限玻爾茲曼機(Restricted Boltzmann Machine,RBM)和一層BP網(wǎng)絡構(gòu)成，其結(jié)構(gòu)如圖1所示。DBN的訓練過程可以分為兩步：首先，使用無監(jiān)督學習方法訓練每一層RBM，且每個RBM的輸入為上一個RBM的輸出，即每一層RBM都要單獨訓練，確保特征向量映射到不同的特征空間時，盡可能多的保留特征信息；第二，使用最后一層的BP網(wǎng)絡接收最后一個RBM的輸出，用有監(jiān)督的方式訓練整個網(wǎng)絡，對其進行微調(diào)。

圖1　DBN網(wǎng)絡結(jié)構(gòu)

在第一步中，對每一層RBM的訓練能確保本RBM層內(nèi)的權(quán)值對特征向量的映射達到最優(yōu)，而不能保證整個DBN是最優(yōu)的，因為其不能完全消除映射過程中產(chǎn)生的錯誤和不重要的信息，而多個RBM會逐漸弱化上一層網(wǎng)絡產(chǎn)生的錯誤和次要信息，該過程可以看成對最后一層的BP進行參數(shù)初始化，能有效避免BP網(wǎng)絡因隨機初始化的參數(shù)造成容易陷入局部極小和訓練時間過長的缺點。而使用第二步的反向傳播網(wǎng)絡能夠?qū)⒛承┬枰{(diào)整的信息自上而下傳播給每一個RBM，進而整個DBN網(wǎng)絡，已經(jīng)證明在BP網(wǎng)絡之前，整個網(wǎng)絡的效果已經(jīng)比較好[7-8]，因此BP的作用是對整個DBN進行微調(diào)。

在DBN訓練過程中，底層的網(wǎng)絡接收原始數(shù)據(jù)的特征向量，自下而上的傳遞，每一層提取數(shù)據(jù)的一個或多個方面的特征，并把提取的特征作為下一層的輸入，在上層網(wǎng)絡中形成更易分類的組合特征向量，因此DBN是一個含有多隱含層的深度架構(gòu)的神經(jīng)網(wǎng)絡。文獻[9]證明增加網(wǎng)絡中RBM的個數(shù)仍然能夠保證整個DBN網(wǎng)絡的穩(wěn)定，且RBM個數(shù)越多，能夠使特征向量更加抽象化，用于數(shù)據(jù)分類的訓練結(jié)果也更精確，但一般來講使用3個RBM的結(jié)果已經(jīng)足夠精確[11]。

RBM是DBN的重要組成部分，也是整個網(wǎng)絡的核心，它由一個可見層和一個隱含層組成，可視層作為輸入部分，同時也是反向傳播的輸出部分，可視層與隱含層之間使用雙向全連接，學習規(guī)則采用模擬退火算法，層與層之間進行雙向全連接，但同一層內(nèi)沒有連接。

公式(1)為由已知的可視層節(jié)點得到的隱含層節(jié)點的值：

(1)

由于RBM是對稱網(wǎng)絡，因此可以得到由隱含層節(jié)點得到可視層節(jié)點的值，見公式(2)：

(2)

式中，vi是可視層第個節(jié)點的值，hj是隱含層第個節(jié)點的值，b和c分別表示可視層和隱含層的偏置值，wij為可視節(jié)點i和隱藏節(jié)點j之間的權(quán)值。

公式(3)為可視層的特征向量和隱含層的特征向量的聯(lián)合概率分布：

p(v,h)∝exp(-E(v,h))=ehTwv+bTv+cTh

(3)

(4)

式中，τ為迭代次數(shù)，η為學習速度。τ可以根據(jù)網(wǎng)絡規(guī)模進行設置τ=100～2000，學習速率能夠影響網(wǎng)絡的學習進度，合適的學習速率是保證θ=(W,b,c)學習到最佳狀態(tài)的必要條件。在RBM訓練過程中，運算初期在大范圍內(nèi)調(diào)整，而到迭代后期，網(wǎng)絡基本趨于穩(wěn)定，只需要部分且小步的調(diào)整，因此傳統(tǒng)的固定長度的學習速率η不適用于迭代尋優(yōu)，因此本實驗通過設定一個學習系數(shù)μ來動態(tài)調(diào)整學習速率，學習率調(diào)整公示如下：

ηt=μηmax+(1-μ)ηmin

(5)

(6)

式中，為輸入特征向量與其對應的隱含層特征向量的點乘的平均值，為馬爾可夫鏈末端可視層特征向量與其對應的隱含層特征向量的乘積的平均值，是收斂的。由公式(6)可知，聯(lián)合概率分布的斜率與中間狀態(tài)無關(guān)，只與網(wǎng)絡的初始狀態(tài)和最終狀態(tài)有關(guān)，根據(jù)公式(5)可以得出修改后的參數(shù)，從而達到自訓練的目的。于是權(quán)值更新公式為：

(7)

實際上，由于難以確定步長，利用馬爾科夫鏈的方法求得的P(v,h)和末端的聯(lián)合概率分布P(vi∞,hj∞)難以保證收斂性，因此實驗中可以使用Contrastive Divergence準則(CD準則)[11]來提高計算速度和保證計算精度。CD準則公式如下所示：

CDn=KL(p0‖p∞)-KL(pn‖p∞)

(8)

式中，p0為RBM在t=0時刻(即初始狀態(tài))的聯(lián)合概率分布，pn為經(jīng)過n步馬爾科夫鏈的計算之后網(wǎng)絡的聯(lián)合概率分布，p∞為馬氏鏈末端的分布，用KL(p‖p′)表示p和p′之間的差異性，所以CDn就是pn衡量介于p0和p∞之間的位置。在運算中，不斷地將pn賦值給p0，得到新的p0和pn。

在實驗中令n=1，經(jīng)過r次求斜率并用公式(4)修正θ，可以得到其值趨向于0的CDn，且實驗結(jié)果的精度近似于馬氏鏈方法。

2　實驗與分析

相同網(wǎng)絡結(jié)構(gòu)下，增加訓練樣本容量可在一定程度上提高預測精度，但會增加試驗次數(shù)。總樣本容量的選擇從30～300不等[12]，其中訓練樣本和測試樣本容量的經(jīng)驗比值為7:3。因此，本文確定總樣本容量為68，其中訓練樣本數(shù)為48，測試樣本數(shù)為20。樣本采用3因素(工件轉(zhuǎn)速vc、進給量fz、軸向切深ap)混合水平全組合模型實驗，進給量安排了6個水平，工件轉(zhuǎn)速安排4個水平，軸向切深安排了2個水平，具體實驗訓練樣本參照文獻[13]。

2.1實驗設置

實驗分兩步進行，第一步，用48個訓練樣本值訓練RBM，迭代次數(shù)為50，然后用訓練好的RBM對48個訓練樣本進行分類，其中學習速率為0.01～0.02；第二，建立一個含有兩層RBM的DBN網(wǎng)絡，每個RBM含有100個神經(jīng)元，輸入48個訓練樣本，利用BP對48個訓練樣本進行微調(diào)，馬氏鏈迭代次數(shù)為50，學習速率為0.01～0.02，訓練要求精度為MSE=0.001，最后用訓練好的DBN對20個測試組進行粗糙度值的預測。圖2為改進的DBN模型訓練誤差曲線。

圖2　改進深度神經(jīng)網(wǎng)絡模型訓練誤差曲線

2.2實驗結(jié)果

表1所示為20個測試樣本采用不同預測方法的平均相對誤差。可以看出實測值與預測值，相對誤差控制在10%以內(nèi)，最大相對誤差為6.8%，最小相對誤差為5.9%，說明采用改進DBN模型預測的粗糙度值比較準確。

表1　RBM和DBN實驗數(shù)據(jù)

表中黑色部分是改進網(wǎng)絡的數(shù)據(jù)。

通過上邊兩個實驗可以看出，改進方法的RBM較原始RBM在訓練準確度上有所提高，并且通過使用兩層RBM的疊加，DBN的訓練精度也有較為明顯的提升，證明了改進RBM的有效性。

3　結(jié)束語

本文針對算法的固定學習率引起的尋找最優(yōu)值準確度不高的問題進行了改進，將改進策略應用于磨削表面粗糙度值的預測問題中，實驗結(jié)果表明改進策略能夠有效提高DBN的準確性，由于訓練樣本的選取均來自高精度形貌儀，通過本文提出的預測模型，只要獲取磨削時的加工參數(shù)，即可完成對加工表面粗糙度值的預測，且預測誤差在6%以下，應用該模型可有效的降低產(chǎn)品檢測成本，具有較高的工程價值。

[1] 王洪詳，李旦，董申.超精密車削表面粗糙度預測模型的建立[J].高技術(shù)通訊,2003(3):77-82.

[2] 蘇宇，何寧，武凱，等.基于ANFIS的鋁合金銑削加工表面粗糙度預測模型研究[J].中國機械工程,2005,16(6):475-479.

[3] 周斌，曹勇，王禹林，等.基于BP神經(jīng)網(wǎng)絡的大型螺紋旋風銑削表面粗糙度預測[J].組合機床與自動化加工技術(shù),2015(7):5-10.

[4] 劉牧，楊茂奎.基于響應曲面法的表面粗糙度預測模型研究[J].機床與液壓,2006(7):87-90.

[5] 陳杰來，孫俊蘭.基于遺傳神經(jīng)網(wǎng)絡的表面粗糙度預測模型研究[J].制造業(yè)自動化,2011,33(12):10-12.

[6] 劉曉志，陶華，李茂偉.鈦合金TC18銑削表面粗糙度預測模型研究[J].組合機床與自動加工技術(shù),2010(7):8-11.

[7] Hinton G E, Osindero S.A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18:1527-1554.

[8] Yoshua Bengio,Pascal Lamblin,Dan Popovici,et al.Greedy Layer-Wise Training of Deep Networks[J].Advances in Neural Information Processing Systems 19 (NIPS 2006),MIT Press,2007,153-160.

[9] Y Bengio. Learning Deep Architectures for AI[Z].Foundations & Trends in Machine Learning,2009.

[10] Hinton GE. Products of experts[A].Proc. of the 9th Int’l Conf on Artificial Neural Networks(ICANN),Edinburgh,1999,1:1-6.

[11] Hinton GE. Training products of experts by minimizing contrastive divergence[J].Neural Computation, 2002,14(8):1771-1800.

[12] DAVIM J P,GAITONDE V N,KARMIK S R.Investigations into the effect of cutting conditions on surface roughness in turning of free machining steel by ANN models[J].Journal of Material Processing,2008,205(1-3):16-23.

[13] 陳廉清,郭建亮,楊勛,等.基于進化神經(jīng)網(wǎng)絡的磨削粗糙度預測模型[J].計算機集成制造系統(tǒng)，2013,19(11)：2854-2863.

(編輯李秀敏)

The Application of Improved Deep Belief Network in Surface Roughness of Grinding

TIAN Yang

(Department of Research, Liaoning Engineering Vocational College,Tieling Liaoning 112000,China)

Deep Belief Network(DBN)is a kind of neural network classifier which is made of several Restricted Boltzmann Machines(RBMs)and a layer of BP. In order to improve the disadvantage in optimizing stage due to the fixed learning rate in RBM,this paper proposes a dynamic rule to it.A DBN that includes two RBMs and a BP and the rule of comparison and dispersion was adopted to conduct the rapid training of neural network.The improved network is applied to the prediction of surface roughness, and the accuracy of the model is improved by comparing with the prediction model and RBM model.

deep belief network;restricted boltzmann machine;surface roughness;prediction model

1001-2265(2016)07-0108-03DOI:10.13462/j.cnki.mmtamt.2016.07.031

2015-09-03；

2015-10-02

遼寧省教育廳科學研究一般項目(L2014589)

田楊(1980—)，男，遼寧調(diào)兵山人，遼寧工程職業(yè)學院科研處副教授，博士，研究方向為數(shù)字化設計與制造， (E-mail)remlove@163.com。

TH164;TG65

A