在線自適應神經網絡算法及參數魯棒性分析

王 濤，翟緒恒，孟麗巖

(1.中國地震局 工程力學研究所 中國地震局地震工程與工程振動重點實驗室，哈爾濱 150080；2.黑龍江科技大學 建筑工程學院，哈爾濱 150022；3.同濟大學 土木工程防災國家重點實驗室，上海 200092)

混合試驗方法是一種將物理試驗與數值模擬相結合來檢驗整體結構動力反應的試驗手段。為了提高混合試驗中數值子結構模型精度，研究者們提出了基于模型更新的混合試驗方法[1-2],即在混合試驗過程中利用物理子結構試驗數據在線識別數值模型參數[3-4]或在線預測數值子結構恢復力[5-6]。在線模型參數識別算法需要事先假定系統數值模型，然而，算法假定的模型與結構真實滯回關系之間必然會存在模型誤差，這將大大降低算法參數識別精度和魯棒性。

BP神經網絡等智能算法不需要事先假定數值模型，可直接利用試驗數據在線預測結構或構件恢復力，為解決復雜系統在線模型更新提供了另一種途徑。Yang等首先在結構混合試驗中，基于試驗子結構觀測數據采用變神經元節點的神經網絡算法在線預測滯回結構的恢復力模型，然后采用訓練好的BP神經網絡在線預測數值子結構的恢復力。研究表明，該方法能夠提高數值子結構恢復力計算的精確性。Yun等[7]提出五變量的神經網絡輸入，并根據輸入變量在滯回曲線不同位置的正負號初步應用在恢復力識別中。張健[8]在此研究成果上又增加了三個輸入變量，并應用在混合試驗中預測數值子結構恢復力。傳統神經網絡算法基本采用離線學習方式，然后利用訓練好的網絡再進行在線預測應用[9]。這種離線學習并不能滿足混合試驗中數值子結構恢復力在線預測的要求。王濤等[10]在傳統的BP神經網絡基礎上提出一種在線學習的神經網絡算法，并應用于混合試驗中來在線預測數值子結構恢復力。然而，BP神經網絡本質上屬于靜態前饋網絡，對動態系統進行預測時會出現問題。尤其在利用BP神經網絡對非線性結構在線識別時，恢復力預測值會出現預測誤差偏差的現象，精度較差，這將大大降低混合試驗精度，甚至導致試驗失敗。同時，神經網絡在應用時需要人為事先確定算法相關參數，這些參數對算法性能具有重要影響。因此，如何進一步提高神經網絡算法在線預測性能并揭示算法參數對算法性能影響規律是亟需解決的問題。

本文首先在傳統BP算法的基礎上，通過增加反饋層和修改訓練樣本和權值與閾值更新方式，提出一種在線自適應神經網絡算法。然后，通過兩組防屈曲支撐(Buckling-Restrained Brace,BRB)構件擬靜力試驗數據驗證所提算法的恢復力預測精度和計算效率。最后，基于BRB構件試驗數據對該網絡結構中的輸入變量、輸入和觀測樣本、隱含層激活函數等算法參數進行了魯棒性分析，給出算法應用時參數選擇建議。

1 在線自適應神經網絡算法

傳統BP神經網絡一般包括輸入層、隱含層和輸出層，采用離線學習方式優化網絡結構各層權值和閾值來逼近任意非線性模型。然而，將該算法直接應用于在線預測時，會產生以下問題：①傳統BP算法采用樣本批量訓練方式進行離線學習，即需要事先得到全部的訓練樣本，包括所有的輸入樣本和觀測數據。然而，當訓練樣本只能是批次獲得時，傳統BP神經網絡算法無法進行在線學習，限制了傳統算法在線預測應用。②傳統BP算法也可僅利用當前步的訓練樣本直接進行在線學習和預測。傳統算法每一步都要對權值和閾值進行初始化，然后重新開始訓練參數。可見，這樣的學習方式沒有充分利用已有的訓練樣本信息，同時也大大降低了權值和閾值的收斂速度，增加了算法計算負荷。③傳統BP算法在當前步的權值和閾值訓練結果并沒有對下一步權值和閾值訓練產生直接影響。也就是說前后相連步之間的參數不存在遞推關系，記憶性能差，因此傳統BP算法對于動態系統預測的自適應能力不強。

針對傳統BP神經網絡算法在線預測方面存在的問題，本文提出了一種在線學習的自適應神經網絡算法，算法結構示意如圖1所示。包含了輸入層、隱含層、反饋層和輸出層組成。所提出的算法在傳統BP算法基礎上進行了以下三方面的改進。

圖1 第k步在線自適應神經網絡結構圖Fig.1 Structure of online adaptive neural network at the k step

(1)訓練樣本的選取方法

在學習階段，僅利用當前第k步的系統輸入和觀測數據集{xk,yk}對神經網絡結構中的權值和閾值進行內部迭代訓練，當滿足性能目標后，得到當前步最優的權值Wk和閾值θk。其中，k為算法預測步數；xk為當前第k步的系統輸入樣本

xk=[x1kx2k…xik…xnk]T

(1)

yk第k步的系統觀測樣本為

yk=[y1ky2k…yjk…ymk]T

(2)

式中：n,m為輸入樣本xk和觀測樣本yk的向量維度。由于僅利用當前的輸入和觀測樣本，而不是得到的所有樣本，因此縮減了矩陣運算維度，大大降低了計算負荷。

(2)權值與閾值更新方式

在學習階段，每一步的權值Wk與閾值θk都是在前一步網絡訓練得到的權值Wk-1與閾值θk-1基礎上進行修正，使得權值與閾值在計算上具有遞推形式，充分利用了上一步的訓練結果信息，減少了迭代計算耗時。權值更新表達式為

(3)

式中：ΔWk(·)為第k步權值Wk在前一步Wk-1基礎上的增量部分，通過網絡內部迭代得到；η為學習率，其取值范圍在0～1，本文采用固定學習率，η取值均為0.05；E為誤差性能函數。閾值的更新方法同上，這里不詳細闡述。

(3)增加反饋層

與傳統BP神經網絡相比，改進算法在隱含層上又增加了一個反饋層。其目的是加強了層間或層內信息反饋，使得在輸入與輸出之間存在時間上的后滯，承接隱含層輸出的信號并存儲之前的系統狀態，并在下一個輸入信號來臨后再次作為隱含層的輸入，進行系統的非線性映射，從而增強算法自適應動態學習能力。

由圖1可知，增加反饋層后，隱含層輸入則會發生改變。以第k步第1層隱含層第s個節點為例，其節點輸入為

(4)

隱含層第s個節點的輸出為

(5)

綜上，本文所提出的在線自適應神經網絡算法流程，如圖2所示。

圖2 在線自適應神經網絡算法流程圖Fig.2 Flow diagram of online adaptive neural network

2 算法試驗驗證

下面通過防屈曲支撐擬靜力試驗來檢驗本文所提的在線自適應神經網絡算法有效性。采用250 t MTS電液伺服試驗機完成兩組不同加載路徑下的擬靜力試驗，測得支撐軸向恢復力。防屈曲支撐構件內芯為一字型鋼板，截面尺寸為72 mm×13 mm，面積為93.6 mm2，屈服力實測值為309.7 kN；內芯的外部約束采用方鋼管，其截面尺寸為70 mm×4.8 mm，屈服力計算值為1 327 kN，約束比為4.28。

為了能通過試驗來驗證所提出在線神經網絡算法性能的有效性，采用以下方案：

(1)首先對同一根BRB構件在兩組不同加載路徑下的進行擬靜力試驗，加載步數均為3 000步，試驗測得的兩組BRB構件軸向滯回曲線，如圖3所示。兩組試驗數據均為同一根BRB構件在兩組不同加載路徑下的輸入和輸出。利用一組BRB構件試驗的位移和恢復力在線訓練神經網絡模型，以近似反映BRB構件受力特性，從而利用網絡模型在線預測在其它加載路徑下BRR構件的恢復力。與第二組BRB構件加載試驗相比，第一組試驗中BRB構件的加載位移幅度明顯更大，即在相同的試驗加載步中，第一組試驗BRB會首先進入非線性受力狀態。為了更好地近似BRB構件的非線性受力性能，選擇第一組BRB構件試驗的位移與恢復力數據集對神經網絡進行訓練。

(2)采用兩組BRB構件試驗數據驗證在線自適應神經網絡算法有效性，其驗證方法示意如圖4所示。其中，傳統BP神經網絡和在線自適應神經網絡在當前步學習時，均利用當前步及之前的所有樣本集對網絡進行訓練，然后將第二組支撐試驗當前步的輸入樣本輸入到訓練好的網絡中，從而輸出第二組試驗支撐在當前步的恢復力預測值。接下來再利用兩組試驗下一步的數據，進行在線學習，并在線預測第二組支撐在下一步的恢復力，如此循環往復，直至用完所有試驗數據而結束。

圖3 兩組BRB試驗滯回曲線Fig.3 Hysteresis curves of two groups of BRB tests

圖4 BRB恢復力在線預測示意圖Fig.4 Schematic diagram of online prediction of BRB restoring forces

(3)最后將兩種神經網絡得到的第二組BRB構件恢復力預測值與第二組支撐恢復力試驗測量值進行比較，以檢驗算法預測精度。

采用這種驗證方法主要考慮以下兩個方面：①與采用單純的混合試驗數值仿真相比，該方案可以在考慮真實BRB構件的力學性能的條件下，檢驗算法對不同加載路徑下試驗構件恢復力預測效果。②與進行真實結構混合試驗相比，該方案可以在比較經濟、安全情況下驗證改進算法在線學習及在線預測性能，同時也更為方便對算法參數進行魯棒性分析。

為了比較改進神經網絡算法性能，兩種算法采用相同的網絡拓撲結構，隱含層節點個數均設為20個，學習率均設定為0.05，訓練迭代次數限值設為100次，輸入向量采用八變量，分別為：uk,Rk-1uk-1，Rk-1sign(Δuk),uk-1，Rk-1,ut,Rt和ek-1。其中：下標k為試驗加載步數；uk為結構層間位移；Rk-1為結構恢復力；ut和ft分別為在滯回環轉折點處的位移和恢復力；ek-1為滯回系統第k-1步的耗能，即ek-1=(Rk-1+Rk-2)(uk-1-uk-2)/2；sign(Δuk)為第k步位移增量的符號函數。

為了定量分析試驗預測精度，文中選用量綱1的誤差指標：相對均方根誤差(Root Mean Square Deviation，RMSD)，第k步恢復力預測值RMSDk的表達式為

(6)

第二組BRB滯回曲線的試驗測量及預測結果對比如圖5所示，圖中“Exact”為試驗測量值；“BPNN(Back Propagation Neural Network)”為傳統離線BP神經網絡預測值；“ANN(Adaptive Neural Network)”為自適應神經網絡預測值。由圖5可知，在線自適應網絡算法預測結果與試驗結果吻合較好，而傳統BP算法的預測結果與試驗結果有較大偏差，說明在線自適應算法有較好的預測精度和自適應性。圖6給出了兩種神經網絡算法恢復力預測值相對均方根誤差對比，從圖6可知,在線自適應算法誤差在整體上明顯小于傳統BP算法，在最終試驗結束的第3 000步時，兩者的RMSD分別為0.017 2和0.115 94，相對于傳統BP算法，在線自適應算法的誤差降低了85.16%。

圖5 滯回曲線對比Fig.5 Comparison of hysteresis curves

圖6 恢復力在線預測精度對比Fig.6 Comparison of online prediction accuracy

為了驗證在線自適應神經網絡算法的計算效率，在線自適應算法和傳統BP算法在全部3 000步中的平均單步耗時為0.20 s和0.43 s。相對傳統BP網絡算法，在線神經網絡算法的計算用時縮短了53.48%。這主要有兩方面的原因：①傳統算法在每一步上需要利用從開始到當前步的所有樣本數據進行訓練，而在線自適應算法僅采用了當前步的數據，這樣就會大大縮減了運算負荷；②在線自適應網絡算法每次進行樣本訓練時權值與閾值都是在上一步的權值和閾值基礎上進行調整的，具有遞推性質，不僅充分利用前一步的訓練得到的有效信息，避免了網絡重新開始訓練的步驟，這樣就顯著減少了訓練所需要的用時，從而提高了計算效率。

3 在線自適應神經網絡算法魯棒性分析

神經網絡系統是一個非常復雜的算法結構，需要事情確定網絡結構和諸多參數，包括：輸入變量以及樣本集的選擇、隱含層的層數以及節點個數設定、激活函數的選取等，這些因素都會直接或間接的影響自適應神經網絡算法性能。因此，對算法進行參數魯棒性是非常必要的。下面仍以第“2”節中的兩組BRB構件試驗數據分別作為訓練樣本和預測模型，分析算法參數對預測精度的影響規律。

3.1 輸入變量的選擇

神經網絡輸入變量選擇對建立高精度的網絡結構具有直接關系，從而會影響算法預測精度。當輸入變量選擇越合理，則越能體現模型非線性的特點。結構滯回特性是具有較強的非線性，結構系統輸入位移與輸出恢復力并不是一一對應的映射關系。為了能夠更好地抓住結構恢復力模型的滯回特性，目前已有三種輸入變量形式，即三變量、五變量和八變量，如表1所示。三變量最為簡單，分別為uk，Rk-1uk-1和Rk-1sign(Δuk)，其中u為位移，R為恢復力，k為當前步。五變量是在三變量的基礎上增加了上一步的位移和恢復力uk-1和Rk-1。張健為了進一步的刻畫滯回環的強非線性，在五變量輸入的基礎上又加入了三個輸入變量，即轉折點處的位移ut、恢復力Rt及上一步的耗能ek-1，其中，ek-1=(Rk-1+Rk-2)(uk-1-uk-2)/2，從而最終形成了八變量輸入形式。

表1 輸入變量與滯回曲線的關系Tab.1 Relationship between the input vector and the hysteresis curve

下面分別采用三變量、五變量和八變量的輸入向量，分析輸入變量對在線自適應神經網絡算法預測性能影響。三者均采用當前步以及之前所有步的試驗加載數據作為訓練樣本。采用單層隱含層的拓撲結構，其中隱含層激活函數為tansig函數，輸出為結構恢復力。三輸入變量、五輸入變量、八輸入變量的條件下得到的第二組BRB構件恢復力預測值所對應的滯回曲線對比如圖7所示。

由圖7可知，采用三變量輸入時的恢復力預測效果最差，其滯回曲線與試驗真實值差別較大；而五變量和八變量輸入時預測得到的滯回曲線與試驗曲線基本吻合，恢復力預測精度有了很大提高。圖8給出了恢復力預測值相對均方根誤差對比。在計算到最終的第3 000步時，采用三變量輸入時的恢復力預測均方根偏差RMSD達到了約0.202，在三者之中累積誤差最大；采用五變量輸入時的累積誤差RMSD為0.017 2，與三變量相比，精度提高約91.48%；與五變量輸入相比，八變量輸入對滯回特性的描述更加細致，然而算法預測精度沒有提高，反而會下降。

圖7 輸入向量對滯回曲線預測影響Fig.7 Prediction of hysteresis curves with different input vectors

圖8 不同輸入向量下恢復力預測精度對比Fig.8 Comparison of prediction accuracy of restoring forces with different input vectors

采用三輸入變量、五輸入變量、八輸入變量的三種算法的平均單步計算耗時間分別為0.31 s，0.14 s和0.21 s?？梢?，采用三變量與八變量的神經網絡算法預測的耗時明顯高于五變量算法用時。三個輸入變量對滯回環的非線性特點描述不夠不充分，相對比較粗糙，導致神經網絡系統很難建立三個輸入變量與輸出層的精確映射關系，因此需要增加權值和閾值的訓練迭代次數，計算耗時也會隨之增大。同時，當采用輸入變量過多時，網絡結構變得復雜，矩陣運算的維度變大，也更容易造成數據冗余，增加了過學習的可能性，從而導致訓練耗時增大。

由以上分析可知，輸入變量過少會導致算法預測精度和計算效率降低，輸入變量過多，算法預測精度會有明顯提高，但同時會增加計算耗時。應用在線自適應神經網絡算法進行BRB構件恢復力在線預測時，采用五個輸入變量在預測精度和計算效率上效果上都相對更好。

3.2 訓練樣本數量的選擇

在混合試驗中，由于試驗加載是在線閉環進行，神經網絡預測與物理試驗加載過程需要同時進行，因此要求在線預測不僅要有較好的魯棒性，也要有較高的預測精度和計算效率。在確定了在線自適應神經網絡算法輸入變量后，還要確定在當前步進行訓練時所采用的樣本數量。訓練樣本數量將會對算法應能產生直接的影響，下面分別討論四種樣本選取方案，分析樣本數量對算法預測效果的影響規律。在下面的對比分析中，所有算法的輸入變量始終采用五變量，只是在學習階段樣本數量選取不同。

(1)情況1——在第k步在線學習時，訓練樣本為從第1步到當前第k步的所有輸入樣本和觀測數據，即1∶k步樣本。

(2)情況2——在第k步在線學習時，訓練樣本為第k-5步到當前第k步的輸入樣本和觀測數據，即k-5∶k步樣本。

(3)情況3——在第k步在線學習時，訓練樣本為第k-1步到當前第k步的輸入樣本和觀測數據，即k-1∶k步樣本。

(4)情況4——在第k步在線學習時，訓練樣本只選用當前第k步的輸入樣本和觀測數據，即第k步樣本。

以上四種情況在每一步中均基于第一組支撐試驗數據來進行在線學習訓練神經網絡，然后利用每一步訓練好的網絡和第二組支撐試驗加載位移在線預測第二組支撐恢復力。四種情況下在線自適應神經網絡算法得到的滯回曲線對比如圖9所示。由圖9可知，隨著訓練樣本數量的增加，算法預測得到的第二組支撐滯回曲線與試驗真實值就越接近。情況1與情況2的預測結果與試驗結果基本重合，而僅采用當前第k步樣本的情況5預測結果與試驗真實值偏差最大。

為了能更直觀看出四種情況預測效果的差異性，采用RMSD定量評價恢復力預測精度。

圖9 訓練樣本個數對滯回曲線預測影響Fig.9 Prediction of hysteresis curves with different training sample numbers

從圖10可知，在全部3 000步的整體預測中，從情況1～情況4的恢復力預測值相對均方根誤差依次增加。情況1與情況2在第3 000步時的相對均方根誤差分別為0.017 2與0.038 2，預測精度較高；對于情況3和情況4在第3 000步時相對均方根誤差分別為0.106 9與0.439 1，可見隨著樣本個數的減少，在線預測精度明顯降低。

在計算耗時方面，四種情況單步計算耗時依次分別為：0.136 3 s，0.118 9 s，0.100 8 s和0.066 s。可見，隨著樣本數量的增加，計算耗時會不斷增加。情況1采用當前步以及之前所有步的試驗加載數據，預測精度最高，但同時其計算耗時也最大。隨著樣本數據的不斷增多，系統的計算負荷將迅速增大，計算效率會明顯降低。因此，若綜合考慮預測精度和計算效率，情況2是一種相對更合理的選擇。

圖10 不同樣本數量下恢復力預測精度對比Fig.10 Comparisons of prediction accuracy of restoring forces with different training sample numbers

3.3 隱含層激活函數的選擇

當確定了輸入變量和訓練樣本后，算法還需要進步確定隱含層的層數和激活函數。在此文中，在線自適應神經網絡結構均采用單層隱含層。下面將分別在隱含層中采用兩種常見類型的激活函數，即雙曲正切函數(tansig)和對數函數(logsig)，分析隱含層激活函數類型對在線自適應算法計算耗時和預測精度的影響規律。其中，輸入均采用第“3.1”節中五變量輸入，訓練樣本個數采用第“3.2”節中的情況1，輸出層均采用線性激活函數(purelin)，未提的其他參數也均相同。

采用兩種隱含層傳遞函數的在線算法預測得到的第二組支撐滯回曲線，如圖11所示。由圖可看出，隱含層的激活函數的類型對在線自適應神經網絡算法的預測性能影響很敏感。采用對數型激活函數的神經網絡預測的效果很差，而采用雙曲正切型激活函數的神經網絡算法預測得到的滯回曲線與試驗真實值基本吻合，此時算法具有較好的預測精度。圖12給出了不同隱含層激活函數下恢復力預測精度對比，可以清楚看出雙曲正切型激活函數的算法誤差要明顯小于對數型激活函數的算法誤差，兩者在第3 000步時的相對均方根誤差分別為0.017 2，0.760 2。分析表明：在反饋型神經網絡中，雙曲正切型激活函數相比于對數型激活函數具有更強的輸入與輸出映射能力和更高的預測精度。

圖11 隱含層激活函數對滯回曲線預測影響Fig.11 Prediction of hysteresis curves with different activation functions in hidden layers

圖12 不同隱含層激活函數下恢復力預測精度對比Fig.12 Comparisons of prediction accuracy of restoring forces with different activation functions in hidden layers

4 結 論

本文提出了一種在線自適應動態神經網絡算法，通過兩組BRB構件擬靜力試驗數據檢驗算法對支撐恢復力在線預測效果。研究表明：與傳統BP神經網絡算法相比，改進算法可以顯著提高計算效率和恢復力預測精度。然后又進一步對網絡結構中的輸入變量、輸入和觀測樣本、隱含層激活函數等算法參數進行了魯棒性分析，研究表明：與三輸入變量和八輸入變量相比，五輸入變量可以同時取得較高預測精度和計算效率；隨著樣本數量的增加，預測精度和計算耗時增加，在第k步在線學習時，將第k-5步到當前第k步的輸入和觀測數據作為訓練樣本更為合理；隱含層激活函數對算法預測精度影響較大，相比于對數型激活函數，雙曲正切型函數在反饋型神經網絡中具有更強的輸入到輸出的映射能力，BRB構件恢復力預測精度更高。