基于長短期記憶網(wǎng)絡(luò)的載荷譜外推方法研究

向華榮，曾 敬，鄭國峰，秦致遠

(1.重慶西部汽車試驗場管理有限公司， 重慶 408300；2.中國汽車工程研究院股份有限公司， 重慶 401122)

在汽車或零部件的開發(fā)過程中，可靠性均需要通過道路試驗進行檢驗。根據(jù)疲勞理論的損傷等效原理，在已知用戶使用環(huán)境及汽車載荷輸入的情況下，理論上可通過在試驗場里按照一定比例混合各種強化路面，復(fù)現(xiàn)出用戶工況下的載荷輸入。通過試驗場的強化路面，可以在較短的時間內(nèi)完成可靠性驗證試驗，達到減少試驗時間、縮短研發(fā)周期的目的。出于降低研發(fā)成本和時間的考慮，一般用戶使用環(huán)境的汽車載荷輸入不會以目標里程為基準進行載荷譜采集，而是根據(jù)用戶道路比例分布情況，按類型進行采集，在樣本量足夠的前提下進行載荷譜外推，實現(xiàn)目標里程下的載荷譜獲取。

目前較為典型的外推方法包含參數(shù)外推法、按里程分位點外推法、峰值(peak over threshold，POT)外推法、雨流矩陣外推法[1-3]等。其中參數(shù)外推法的原理是獲取載荷譜均值、幅值的二維概率分布函數(shù)，基于概率密度分布函數(shù)以及外推目標里程，將相應(yīng)的累積頻次進行外推。POT外推法認為載荷譜時間序列中超過閾值的峰值服從一定的分布，通過對超過閾值的峰值的概率密度函數(shù)的擬合，基于概率密度函數(shù)對峰值進行外推。雨流矩陣外推法先將載荷譜通過雨流計數(shù)得到雨流矩陣，從雨流矩陣中選擇外推的閾值計算穿越等級密度，然后通過累積雨流矩陣獲取極限進行雨流矩陣估計外推。也有學(xué)者[4]對通過雨流計數(shù)后的分布進行核密度統(tǒng)計，得到非參數(shù)雨流外推模型后運用蒙特卡洛方法隨機放置載荷循環(huán)進行外推。上述方法可根據(jù)載荷譜的特點或應(yīng)用目的來進行選擇，但往往在用分布函數(shù)進行擬合或設(shè)置閾值時引入了人為因素，外推結(jié)果需要再轉(zhuǎn)化為時域程序譜作為下一步的輸入。

本文基于長短期記憶網(wǎng)絡(luò)(long-short term memory，LSTM)算法，對采集到的載荷譜進行外推[5-6]。該方法基于已有的采集樣本，對目標里程下的剩余樣本進行預(yù)測，直接得到目標里程下時域譜結(jié)果，在主要步驟上可減少外推中主觀因素的影響。對不同外推方法進行對比，結(jié)果表明：所提出的方法能夠?qū)崿F(xiàn)對載荷譜的外推，且基于LSTM的外推方法能很好地復(fù)現(xiàn)原始雨流圖分布特征。

1 基于長短期記憶網(wǎng)絡(luò)算法的載荷譜外推理論

長短期記憶網(wǎng)絡(luò)是一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的改進機器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，LSTM可以識別并記憶時間序列中長期信息的特征，并對當前的輸出產(chǎn)生影響。LSTM直接利用計算機“學(xué)習(xí)”原數(shù)據(jù)的特征，故該方法能在主要步驟上減少人的主觀因素。目前該方法已成功運用在語音識別、機器翻譯、交通流量預(yù)測、經(jīng)濟模型的擬合及預(yù)測上。黃婷婷等[7]通過LSTM神經(jīng)網(wǎng)絡(luò)的長期依賴特性來提高金融時間序列的預(yù)測精度，楊甲甲等[8]成功將其運用到工業(yè)負荷短期預(yù)測上，楊國田等[9]將其運用到火電廠NOx排放預(yù)測上，取得較好效果。本文使用LSTM對載荷譜時間序列進行學(xué)習(xí)后，通過得到的模型對原載荷譜進行長期預(yù)測，以達到“外推”的目的。基于長短期記憶網(wǎng)絡(luò)算法的載荷譜外推基本流程見圖1。

圖1 LSTM外推基本流程

根據(jù)圖1，基于長短期記憶網(wǎng)絡(luò)算法的載荷譜外推方法的主要步驟如下：

步驟1 將載荷譜輸入到基于長短期記憶網(wǎng)絡(luò)算法中。

步驟2 將輸入的載荷譜數(shù)據(jù)進行正則化，并劃分訓(xùn)練集和測試集。劃分訓(xùn)練集的目的在于獲取適應(yīng)輸入樣本的數(shù)學(xué)模型；劃分測試集的目的在于通過訓(xùn)練得到數(shù)學(xué)模型，之后對樣本進行載荷譜外推。

步驟3 基于LSTM算法，對輸入載荷譜進行訓(xùn)練，獲取適應(yīng)輸入樣本的數(shù)學(xué)模型。LSTM算法由輸入層xt、輸出層ht、遺忘層ft、狀態(tài)更新層Ct組成。對于標準循環(huán)神經(jīng)網(wǎng)絡(luò)，每個時刻的隱層狀態(tài)由當前時刻的輸入與之前的隱層狀態(tài)相結(jié)合組成，即LSTM 具有“記憶”功能。

LSTM的一個單位的基本結(jié)構(gòu)如圖2所示，其中xt序列為輸入時間序列，ht為輸出時間序列。LSTM的最大特點就是輸入xt不僅會影響到輸出ht，還會將Ct-1改變?yōu)镃t,Ct和ht將輸入到下一個基本單元甚至傳遞到更遠的基本單元并影響其狀態(tài)。

圖2 LSTM單元結(jié)構(gòu)

(1)

遺忘層ft由式(2)給出，它決定了過去記憶單元對當前記憶單元的重要程度，其由一個sigmoid函數(shù)控制輸出。

ft=σ(Wf·[ht-1,xt]+bf)

(2)

輸入層由式(3)給出，其與遺忘層類似，也是通過一個sigmoid函數(shù)來控制輸出，得到一個在[0,1]范圍的值，控制被加入的新信息。

it=σ(Wi·[ht-1,xt]+bi)

(3)

綜合以上各層，最新記憶由式(4)給出，在整個學(xué)習(xí)過程中，其狀態(tài)會不斷更新。

(4)

輸出層由式(5)(6)給出，輸出門的作用是篩選出記憶單元和隱層單元中存在的冗余信息，輸出時如果已達到閾值，就將輸出與當前層的計算結(jié)果相乘，并把得到的結(jié)果作為下一層的輸入；如果未達到閾值，則“遺忘”輸出結(jié)果。

ot=σ(Wo·[ht-1,xt]+bo)

(5)

ht=ot*tanh(Ct)

(6)

采用交叉熵損失作為代價函數(shù)能更好地解決參數(shù)更新效率下降問題，其損失C可通過式(7)進行計算，其中n表示樣本總數(shù)，zl表示實際值。

(1-z)ln(1-f(∑lwlxl+bl))

(7)

將訓(xùn)練的輸出數(shù)據(jù)與測試數(shù)據(jù)進行對比，計算兩組數(shù)據(jù)的交叉熵代價函數(shù)。每一次訓(xùn)練中，經(jīng)過前向計算得到當前訓(xùn)練階段的代價函數(shù)，通過誤差反向傳播進行網(wǎng)絡(luò)參數(shù)的更新，直至n次訓(xùn)練后代價函數(shù)收斂為止。

4) 對輸入載荷譜進行外推計算。通過得到的模型對原載荷譜進行長期預(yù)測，以達到“外推”的目的。

2 基于LSTM的載荷譜外推算法應(yīng)用

2.1 載荷譜采集

本次試驗在樣車各輪輪心處及減震器上安裝加速度傳感器，彈簧及部分連桿部位安裝應(yīng)變片，在某汽車試驗場的幾條主要特征強化路上進行采集，見圖3。需要多次采集強化路面的載荷譜，最后取有效的載荷譜進行剔除奇異點、消除趨勢項、濾波等預(yù)處理。各種試驗路況信息見表1。

2.2 基于LSTM的載荷譜外推

基于谷歌發(fā)布的人工智能開源工具TensorFlow[10]建立LSTM外推模型。TensorFlow的特點是使用圖來表示計算任務(wù)，圖中的一個操作節(jié)點獲得0個或多個張量來執(zhí)行計算,生成 0個或多個張量，每個張量是一個類型化的多維數(shù)組。TensorFlow在會話的上下文中執(zhí)行圖，使用張量表示數(shù)據(jù)，通過變量維護狀態(tài)。

圖3 傳感器安裝及道路情況

路面類型路面長度/m試驗車速/(km·h-1)卵石路15030比利時路15040變波矩長波路22045搓板路40035共振路18840碎石路20050

本文首先通過python環(huán)境導(dǎo)入TensorFlow、pandas、numpy模塊，將利用csv格式進行保存的時域譜數(shù)據(jù)通過pandas.read_csv函數(shù)讀入程序，用data-numpy.mean(data))/numpy.std(data)函數(shù)進行標準化處理。在TensorFlow中已將LSTM模型封裝為LSTMCell模塊。本文定義神經(jīng)元數(shù)量為100個，時間步長為20 ms，批處理大小為60，學(xué)習(xí)步長為0.000 1，在初始化輸入與輸出接口直接調(diào)用該模塊，利用圖1的流程進行訓(xùn)練。本文通過NVIDIA提供的CUDA作為硬件支撐，在整個機器學(xué)習(xí)過程中，通過tensorboard可以看到整個學(xué)習(xí)過程中l(wèi)oss的變化，見圖4。當學(xué)習(xí)準確率達到98%時，繼續(xù)學(xué)習(xí)的收益變小，可停止訓(xùn)練。

圖4 訓(xùn)練過程中輸入層偏置b、權(quán)重W的變化

利用訓(xùn)練得到的超參數(shù)模型即可進行外推，部分道路垂向加速度10倍外推結(jié)果如圖5所示。

2.3 基于LSTM的外推前后載荷譜對比

將LSTM方法外推數(shù)據(jù)與原始數(shù)據(jù)頻譜曲線進行對比，部分道路頻譜曲線如圖6所示。

在頻譜圖上，外推前后數(shù)據(jù)頻譜在總的形態(tài)上有很好的一致性，利用Pearson相關(guān)系數(shù)法對一致性進行檢驗。Pearson相關(guān)系數(shù)ρX,Y衡量數(shù)組X和Y線性關(guān)聯(lián)性的程度，系數(shù)的取值總是在-1.0～1.0范圍，接近0的變量被成為無相關(guān)性，接近1或者-1被稱為具有強相關(guān)性。外推前后的頻譜曲線，經(jīng)Pearson相關(guān)系數(shù)法檢驗后的結(jié)果如表2所示。經(jīng)LSTM方法外推前后數(shù)據(jù)的頻譜曲線有強相關(guān)性，說明該方法能對原始數(shù)據(jù)的頻譜特征有很高的學(xué)習(xí)率。

圖5 部分道路垂向加速度10倍外推結(jié)果

圖6 LSTM方法外推后與原始數(shù)據(jù)頻譜圖對比

表2 外推前后數(shù)據(jù)頻譜曲線的相關(guān)性

3 幾種外推方法的對比

對載荷譜的外推，普遍采用的幾種外推方法的特點見表3。

本文基于LSTM外推方法以及非參數(shù)核密度外推方法中分別采用expanechekov核函數(shù)、Circle核函數(shù)、均值核函數(shù)、幅值核函數(shù)對在卵石路上采集到的載荷譜進行外推，幾種方法的雨流圖對比見圖7。

表3 幾種外推方法對比

圖7 卵石路載荷譜雨流圖對比

從雨流圖可以看出，非參數(shù)核密度外推法的分布趨于“單核”特征，LSTM方法外推分布具有“多核”特征，后者的分布情況及對各向的疏遠點的復(fù)現(xiàn)效果更好，在實際工程運用中可選擇LSTM方法進行外推。

4 結(jié)束語

本文嘗試利用LSTM方法對汽車載荷譜進行外推。LSTM外推方法引入人為因素較少，外推數(shù)據(jù)平穩(wěn)，且可直接表示為時域數(shù)據(jù)，便于轉(zhuǎn)化為臺架試驗或加速壽命試驗的輸入。對一段載荷譜采用LSTM方法進行外推，并對外推前后的雨流圖進行對比，結(jié)果表明：通過LSTM外推后的載荷譜能較好地復(fù)現(xiàn)原始雨流圖分布特征，該方法有很大的工程應(yīng)用潛力，同時也展現(xiàn)了機器學(xué)習(xí)在工程研發(fā)領(lǐng)域的應(yīng)用前景。

LSTM外推方法雖比較“智能”，但機器學(xué)習(xí)生成的模型不直觀，對原數(shù)據(jù)特征依賴度較大，所以對原數(shù)據(jù)的選擇與處理要求更高。未來有如下研究方向：① 進一步探討更多種特征的原始載荷譜數(shù)據(jù)在外推前后的差異，建立載荷譜數(shù)據(jù)集；② 嘗試在臺架試驗中進行外推時域譜測試，并安排實車道路耐久測試，將真實部件損傷情況與仿真情況進行對比。