基于改進的粒子群優化神經網絡粗糙度預測模型*

史柏迪，莊曙東，韓 祺

(1.河海大學機械工程學院，江蘇 常州 213022；2.梅特勒-托利多國際貿易(常州)有限公司，江蘇 常州 213022；3.南京航空航天大學江蘇省精密儀器重點實驗室，南京 21009)

0 引言

金屬零件加工后表面粗糙度直接決定零部件的配合性質、耐磨性、疲勞強度、接觸剛度、使用壽命及各類力學性能，為必須被約束的重要參數。當前機械加工日益趨向超高精密化[1]，傳基于統計學原理的多元線性[2]、以及非線性[3]回歸預測模型以及無法滿足實際加工需求。

當前機器學習與深度學習的浪潮之下為表面粗糙度預測提供了新的方案。國內外已經有了諸多研究，在機器學習算法中支持向量機(SVM)[4]，決策樹[5]、K近鄰[6]等在預測以及分類任務中均有廣泛使用。但近年來深度學習算法在圖像識別、特征工程、數據分析等領域相對機器學習算法均有更好的精度表現。且隨著近年來國內外學者的進一研究，目前其可讀性、表達能力、優化等問題有了較大改善[7-9]。但經網絡初始化、梯度消失等“黑盒”問題依舊存在，在工程運用中直接影響神經網絡模型的預測精度。基于此問題本文提出一種在初始化以及算法優化器兩方面進行改進的神經網絡。

神經網絡初始化目前一般最為簡單的方法為對各層神經元節點填充服從均值為0方差為1的高斯分布隨機數。其次便是使用群體智能算法對神經網絡參數進行預先篩選。目前常見有PSO-BP[10]、GA-BP[11]，但其本質為建立多個隨機正態分布神經網絡在此基礎上對其參數按照特定算法進行更新，最終篩選出最佳個體。本模型使用Xavier[12]初始化來提高初始群體，減少模型陷入局部最小無法優化的概率。其次算法優化器為另一決定預測精度的方面，目前大多神經網絡工具箱使用隨機梯度下降(SGD)更新模型參數，但近年來優化器有著較大的突破[13-14]。本模型使用Ada Mod[15]優化器，經測試相對SGD與Adam優化器可有效提高模型收斂速度及預測精度。

1 建模條件

1.1 特征的選取

機械加工過程中表面粗糙度(Ra)受到材料特性、切削參數、機床特性、刀具選擇等諸多因素的影響。本模型所使用的樣本材料為U71Mn高錳鋼因力學性能良好,具有較好的抗沖擊與耐磨性能[16]，為中國鐵軌的主要原材料。但當切削參數配置不合理時容易導致材料表面馬氏體粗大，力學性能急速下降。為提高數據樣本精確度，綜合考慮實際加工情況以及材料特性，選擇加工條件為三菱公司的M-V5CN組合機床，刀具為4齒平底立銑刀，刀具直徑20 mm如圖1所示。選取主軸轉速n(r/min)、每齒進給量f(mm/z)、銑削深度ap(mm)、銑削寬度ae(mm)為輸入特征。

圖1 4齒硬質平底銑刀

輸出特征為Ra(μm)由光電輪廓儀任選加工后表面三處均勻表面取均值獲得，最終獲取100組數據樣本,表1為部分樣本數據。

表1 部分樣本數據

1.2 數據集的處理

為使模型模型具有良好的泛化性避免過擬合現象，對數據集按照圖2進行劃分。

圖2 5折交叉驗證

此外從表1易知輸入特征n較其他特征而言數值量較大為減少其對梯度傳播的影響將4個輸入特征按照公式(1)進行歸一化處理:

(1)

式中，numnor為歸一化后的數據，下標min與max為該輸入特征的最小與最大值。i為該樣本序號1≤i≤100。

2 神經網絡初始化

2.1 高斯分布初始化

在隱藏層層數為n的BP網絡中如果使用高斯分布初始化易得其前向傳播通項公式(2):

(2)

式中，n為隱藏層總數，i為當前隱藏層序號。m為在第i層情況下神經元的數目，j為在第i層的第j個神經元。w為i層第j個神經元的權值(w)，b為偏置(b)。PRelu為激活函數。

從式(2)中可知雖然其權值與閾值的分布均滿足正態分布，可在一定程度里緩解激活值異常的情況，但是當網絡隱藏層增加時激活值彌散情況依舊無法避免。經式(1)處理后所有輸入值均分布在[0,1]取隱藏層數目依次為1、10、50，神經元數目固定為100，可得激活值變動如圖3所示。

圖3 高斯初始化輸出激活值

由圖3可知激活值伴隨著層數的增加逐步平緩趨向0。根據統計學原理易知數據方差越大其包含的信息量越大。僅對各層神經網絡權值與閾值基于隨機高斯分布式(2)初始化，在模型后續訓練會帶來的梯度飽和現象，易對模型精度造成影響。

2.2 Xavier初始化

Xavier初始化創始者Glorot發現在一個m層的多層神經網絡中初始化若僅使權值與閾值服從高斯分布，在輸出時無法保留輸入數據的方差特性。一個良好的網絡初始化因使數據激活輸出值服從高斯分布且保證輸入時的方差特性保持不變即滿足如下條件：

(3)

式中，Cost為代價函數因采用BP結構即為均方誤差;h為隱藏層;z為實際激活輸出值;i,j為任意兩個神經網絡的索引。

對于任何一個d層神經網絡如果所有層規格一致且采用相同的初始化方法可得式(4)分布規律。

(4)

式中，W為權值的向量矩陣。

以上即為Glorot條件認為初始化不應僅從w與b著手，而應使各層的輸出激活值和狀態梯度的方差在傳播過程中的方差保持一致。

結合式(2)～式(4)可知若各隱藏層神經元數目為k，為滿足Glorot條件第i層權值矩陣，需滿足式(5)分布規律。

(5)

式中，m為隱藏層層數;i,j滿足1≤i≤m；1≤j≤k;當神經網絡采用式(5)初始化時可得值如圖4所示。

圖4 Xavier初始化輸出激活值

由圖4可知，隨著神經層數量增加其各神經網絡激活值的方差特性得到了最大程度的保留，有效解決了高斯初始化帶來的梯度飽和問題。

3 基于Xavier的PSO算法

3.1 PSO初始化算法流程

PSO算法源于對鳥類捕食行為的模擬，每個粒子僅擁有速度與位置兩個屬性。在迭代中通過將個體極值與群體共享，所有粒子根據最優的個體極值決定下一輪的速度與位置。上述思想在BP神經網絡中的運用可描述為在T次迭代之中，由n個粒子組成特征數量為D的大小為[n×D]種群矩陣X且其初始化符合神經網絡規格為M的Xavier原則式(5)，粒子速度V為長度為D的向量。Pi為長度為n的向量對個體極值進行記錄。Pg為群體極值。屬性X與V按照式(6)進行迭代更新。

(6)

式中，ω為為慣性權重在后續進行討論；d為當前維度1≤d≤D；i為當前粒子1≤i≤n;k為當前迭代次數1≤k≤T;c1,c2為加速因子取[0,1]常數；r1,r2為[0,1]的隨機數通過添加擾動來阻止模型陷入局部最小值；為避免盲目搜索設置將速度約束在[-Vmax，Vmax];位置約束在[-Xmin,Xmax]。

在式(5)、式(6)的基礎上可以給出該模型的PSO初始化模塊算法流程如圖5所示。

圖5 基于Xavier的PSO初始化

圖5即為算法流程，且在PSO中其超參數相對于基因遺傳算法(GA)更易調節且,對于數據無需進行二進制編碼重組具有極強的算法可移植性，以及較低的算法復雜度因此在PID控制、模糊邏輯控制以及神經網絡初始化中有著廣泛的運用。

3.2 慣性系數更新算法的選取

在PSO算法中慣性系數直接決定模型繼承上一輪速度的能力，直接決定模型的收斂性以及全局搜索能力。傳統常系數法雖可降低模型的算法時間復雜度但隨著迭代的進行在經驗區間[0,4,0.9]內選取任一常數在深層網絡初始化中顯然欠佳。Shi Y首先提出線性遞減慣性系數法見式(7)。在此基礎上還有如下常見策略式(8)～式(10)。

ω(k)=ωstart(ωstart-ωend)(T-k)/T

(7)

(8)

(9)

(10)

式(7)～式(10)中，各項參數在3.1節中均已說明。大量工程實踐證明ω在開始時取0.9最終取0.4可使算法在中期有最佳的搜索能力在迭代終止前也可有效收斂。

設置粒子群數量(n)為100,最大迭代次數(T)為100。神經網絡采取5層隱藏層可得神經網絡結構圖如圖6所示。在圖6結構之中計算可得神經網絡有4×(100+1)+100×(100+1)×4+(100+1)項參數需要被初試化，即系數矩陣W為[101×405]。

圖6 神經網絡結構

本測試環境為pytorch使用cuda進行GPU并行運算。主機配置，CPU：i7 9750H,GPU：GTX1660TI，ROM：16G設置粒子群數量(n)為100,最大迭代次數(T)為100。按照式(7)～式(10)以及常系數0.6設置慣性系數ω得到表2。

表2 ω對模型影響

式(7)～式(10)實際耗時致均屬于一個量級。固定系數法最終模型誤差較線性遞減法差距較大故不采用。在線性遞減法中考慮最終均方誤差直接決定初試訓練精度故采用式(8)進行慣性系數更新。

4 Adam與Ada Mod優化器模型

4.1 Adam算法優化器

Adam算法為Kingma與Ba在2015年提出。并且經過大量工程證明在非凸函數優化以及非線性問題中相對SGD有著更為優秀的表現。目前在深度學習以及自然語言處理中有著廣泛的運用。

傳統隨機梯度下降(SGD)算法選用一個固定的學習速率對所有w、b按照一個維度進行更新。雖實際工程表現較好，但尚缺乏可解讀性。ADam算法在SGD算法的基礎上引入誤差梯度的一階與二階指數加權矩陣以此為依據在迭代中根據模型的實際訓練情況對各神經網絡節點的w、b采取合適的η步長，w的修正可表達為式(8)：

(8)

式中，β慣性系數；m、v為一階與二階動量項；g為均方誤差。η初始學習率。τ正則化常數量默認為108作用為限制修正量。t為當前次數。采用Adam算法優化器進行模型訓練可以得到如圖7訓練結果。

隨著迭代的進行，采用Adam算法基于式(8)對神經模型進行參數更新可有效降低訓練集誤差，對樣本特征進行有效學習，最終在固定105迭代次數下累計訓練集誤差為0.375綜合考慮測試集樣本數量，訓練效果良好。使用測試集樣本對模型進行泛化性測試如圖8所示。

圖7 Adam算法訓練誤差 圖8 Adam算法預測

由圖8可知模型在20個訓練集樣本之下累計絕對可控制在0.5 μm之下結合python工作臺可知誤差最大項為0.031 μm。綜上有理由相信Adam可有效作為表面粗糙度神經網絡預測模型的優化器。且相對SGD算法，Adam在神經網絡參數更新過程中對步長的調整以及梯度修正量更加具有針對性，一般來說當參數設置合理時可以使模型更快收斂且具有更好的擬合精度。

4.2 Ada Mod算法優化器

Ada Mod由北大孫栩課題組提出為Adam算法的一種改進，通過對參數的長期學習速率進行緩沖可使得模型在提高學習精度的基礎上更快收斂。在T次學習迭代中設初始化參數θ；步長α為長度為T的向量；動量β1，β2為一階與二階動量M、V對應的慣性系數；設代價損失函數ψ,正則化常數τ,則可得圖9算法流程。

圖9 Ada Mod算法流程

替換表3中θ為w、b即可得到神經網絡參數更新公式。對比章節4.1及式(8)可知Ada Mod在迭代中增加超參數β3對訓練中參數記憶長短進行了記錄，可有效避免Adam算法在自適應學習時初期即使有正則化系數τ進行限制依舊會導致學習率過大導致學習異常的現象。且具有RAdam算法的特征無需進行預熱開始訓練時便具有一定的算法穩定性。選擇同樣的測試指標可得如圖10所示。

(a) Ada Mod算法訓練誤差 (b) Ada Mod算法預測圖10 Ada Mod算法

結合圖7、圖8、圖10,可以直觀發現Ada Mod優化器無論在訓練集誤差還是測試集誤差上均相對Adam有著更好的表現。且最終測試集累計絕對誤差可以控制到0.02 μm，各項平均誤差為0.001 μm，誤差最大項為0.023 μm。有理由相信作為一種新的算法優化器Ada Mod不僅可以在卷積神經網絡、自然語言處理模型上對模型有效訓練，在表面粗糙度預測模型上也有著十分優秀的表現。

5 總結

(1)基于Xavier的粒子群優化算法進行神經網絡初始化相對傳統傳統PSO-BP可以有效降低神經網絡模型的初始均方誤差，獲得更好的初始化狀態。

(2)Ada Mod算法優化器通過對Adam進行算法改進，在神經網絡預測模型中可使模型參數更新更加有效，有效降低訓練集誤差，并提高模型預測能力。