趙春陽(yáng),張海峰
(中車長(zhǎng)春軌道客車股份有限公司,吉林 長(zhǎng)春 130062)
卷積神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)的一種擴(kuò)展,其體系結(jié)構(gòu)受到生物視覺(jué)系統(tǒng)的啟發(fā),使得其擁有非常有用的兩個(gè)關(guān)鍵特性:空間共享和共享權(quán)重。這種學(xué)習(xí)網(wǎng)絡(luò)具有平移不變的特征,即濾波器在整個(gè)圖像中起到很好的作用(由于圖像統(tǒng)計(jì)是靜止的)。匯聚層負(fù)責(zé)降低輸出對(duì)輕微輸入移位和失真的敏感性。這種類型的神經(jīng)網(wǎng)絡(luò)在許多視覺(jué)應(yīng)用已被證明是非常有效的,如目標(biāo)識(shí)別和分割。一個(gè)典型的卷積網(wǎng)絡(luò)是由多個(gè)階段組成的。每個(gè)階段的輸出是由一組稱為特征映射的二維數(shù)組構(gòu)成的。每個(gè)特征映射是在整個(gè)圖像上應(yīng)用一個(gè)卷積濾波器的結(jié)果。非線性壓縮函數(shù)(如雙曲正切)始終遵循匯聚層原則。特征映射是通過(guò)在整個(gè)圖像的次區(qū)域中重復(fù)應(yīng)用函數(shù)得到的,通過(guò)輸入線性圖像的卷積,加入一個(gè)偏置項(xiàng),然后應(yīng)用一個(gè)非線性函數(shù)得到的。如果我們表示第k個(gè)特征映射在某一層作為hk,其決定了濾波器的權(quán)重WK和偏置BK,然后映射hk如下(雙曲正切非線性):

為了形成更豐富的數(shù)據(jù)表示,每個(gè)隱藏層由多個(gè)特征映射組成,{h(k),k=0…k}。隱含層的權(quán)重W可以表示為包含目標(biāo)要素地圖、特征圖、垂直位置和水平位置的每個(gè)元素的四維向量。偏差b可以表示為每個(gè)目標(biāo)特征映射包含一個(gè)元素的向量。
我們使用卷積神經(jīng)網(wǎng)絡(luò)捕獲軸的性能。其中,動(dòng)車組數(shù)據(jù)集包括速度、加速度、電流、電壓、環(huán)境溫度和軸頸溫度,我們把軸溫作為訓(xùn)練目標(biāo),以其它數(shù)據(jù)為輸入。然而只有1000到2000個(gè)數(shù)據(jù)點(diǎn)。插入原始數(shù)據(jù)和讓所有有數(shù)據(jù)的1000個(gè)點(diǎn),使用輸入數(shù)據(jù)作為一個(gè)1×1000圖像(5個(gè)數(shù)據(jù)集通道包括速度、加速度、電流、電壓和環(huán)境溫度),將1×10濾波器具有5個(gè)輸入通道、2個(gè)輸出通道和一個(gè)非線性壓縮函數(shù)通過(guò)匯聚層,然后我們將在匯聚層輸出通道MLP(多層神經(jīng)網(wǎng)絡(luò))來(lái)預(yù)測(cè)軸溫。我們插入軸溫達(dá)到一天100個(gè)點(diǎn)(預(yù)測(cè)每天有100個(gè)點(diǎn)),并使用L2損失函數(shù)來(lái)訓(xùn)練網(wǎng)絡(luò)。表1顯示了這個(gè)過(guò)程。

表1 顯示了獲取軸的性能的模型
一個(gè)典型的遞歸神經(jīng)網(wǎng)絡(luò)見圖1。

圖1 遞歸神經(jīng)網(wǎng)絡(luò)與所涉及的正向計(jì)算中時(shí)間計(jì)算展開
Hochreiter與Schmidhuber介紹了長(zhǎng)短期記憶(LSTM)模型。這是遞歸神經(jīng)網(wǎng)絡(luò)改進(jìn)的記憶。它使用具有內(nèi)部存儲(chǔ)器和門控輸入/輸出的存儲(chǔ)單元,這種存儲(chǔ)單元在獲取長(zhǎng)期屬性方面更有效。隱層函數(shù)的LSTM滿足下列方程組計(jì)算:

以上是邏輯S型函數(shù)和LSTM模型的組成,分別被稱為輸入門、輸出門、遺忘門和活躍的存儲(chǔ)單元,分別表示為I、F、O、C。
我們用兩層LSTM獲取潛在故障。第一層作為編碼器來(lái)執(zhí)行動(dòng)車組軸的日常情況。第二層接收編碼器的結(jié)果并輸出潛在故障的風(fēng)險(xiǎn)。由于動(dòng)車組故障記錄的數(shù)量有限,我們沒(méi)有一個(gè)大的數(shù)據(jù)集來(lái)訓(xùn)練,所以我們需要第一層LSTM的前訓(xùn)練。我們用seq2seq模型預(yù)訓(xùn)練編碼器(訓(xùn)練解碼器輸出與編碼器的輸入相同的內(nèi)容)。
在去年的126輛動(dòng)車組數(shù)據(jù)集上測(cè)試了我們所提出的方法。插入原始數(shù)據(jù),然后讓每天都有1000個(gè)數(shù)據(jù)點(diǎn)。
在訓(xùn)練集上的每個(gè)數(shù)據(jù)都經(jīng)過(guò)適當(dāng)?shù)奶畛浜蜌w一化,使它們具有零均值和單位方差。所有的網(wǎng)絡(luò)都經(jīng)過(guò)隨機(jī)選擇的一天的抽樣補(bǔ)丁訓(xùn)練,從隨機(jī)挑選出來(lái)的動(dòng)車組中訓(xùn)練動(dòng)車組數(shù)據(jù)的訓(xùn)練集。
我們考慮了CNN和RNN以上兩個(gè)模型,使用10倍交叉驗(yàn)證評(píng)估模型,表2、3是結(jié)果列表。

表2 顯示CNN對(duì)短期預(yù)測(cè)的模型評(píng)估

表3 顯示RNN評(píng)價(jià)獲取潛在故障模型
本文提出了一種聯(lián)合CNN和RNN的模型,用它們來(lái)預(yù)測(cè)短期軸溫和獲取軸潛在故障,結(jié)果表明CNN有相對(duì)誤差絕對(duì)值小于10%,RNN獲取故障記錄87.3333%。