基于卷積神經網絡的結構損傷識別

李雪松， 馬宏偉,2， 林逸洲

(1.青海大學 土木工程學院，西寧 810001；2.東莞理工學院，東莞 523808；3.暨南大學 力學與土木工程學院，廣州 510000)

近年來，多層、高層建筑及大跨度橋梁的出現給結構健康監測帶來一系列問題，如何提取結構的特征用于損傷識別是我們正在面臨的重要挑戰。為實現這一目標，國內外學者做出了很多成果，但距離應用在實際結構仍有一段距離[1]。傳統損傷特征如頻率、阻尼比等已被公認對損傷不敏感，而基于結構動力特性發展的如曲率模態[2]、柔度模態[3]、應變模態[4]等損傷特征雖在實驗階段均能取得良好效果，但很少在大型結構上取得良好效果。由于大型結構的檢測中，不同季節的自振頻率都會產生很大變化[5]，且由于結構始終處于激勵未知的狀態，所以一些在機械損傷檢測領域取得良好效果的方法如小波變換[6]、HHT[7]及一些基于此基礎上的變換方法也都受到一定限制。也有部分學者應用機器學習方法來進行損傷識別，如支持向量機[8]、神經網絡等。但傳統應用神經網絡多是做為頂層分類器，特征還是前述小波[9]等信號處理技術提取的特征或結構動力指紋[10]。原因在于神經網絡雖然有一定的特征提取能力，但應對實際結構的海量數據，訓練參數會指數級增多，而且容易出現過擬合現象。

近幾年，人工智能領域捷報頻傳，以谷歌的AlphaGo[11]在圍棋界的突出表現最能體現。而本文用的卷積神經網絡[12](Convolutional Neural Network，CNN)就是人工智能領域的一個重要工具。早在2012年，Abdel-Hamid等[13]將CNN應用于NN-HMM聲學模型，并在在LVCSR數據庫取得了成功。而加速度信號與聲音信號同屬振動響應，同理推斷CNN在加速度信號也能取得同樣好的效果。

基于前人工作，本文用卷積神經網絡直接從加速度信號自動提取特征，其優點是損傷敏感、計算簡單、容易獲得并有一定抗噪能力。并與小波包頻帶能量、本征模態函數能量特征對比，分析CNN提取特征的有效性。同時提出混合噪聲訓練模式，加強特征抗噪能力。具體如下：①對比小波包頻帶能量、經驗模態分解法[14](Empirical Mode Decomposition，EMD)證明卷積神經網絡對結構特征提取的有效性和優勢;②測試含噪聲數據，分析CNN自動提取特征的魯棒性;③由于分析單噪聲數據經CNN訓練的特征魯棒性有局限性，故提出混合噪聲數據訓練模式，驗證此方法的有效性;④分析卷積核自動提取特征的實際物理意義，驗證卷積的有效性和混噪訓練模式的優勢性。

具體過程為先對Benchmark數據進行劃分重組，構成訓練樣本，由卷積神經網絡提取特征再與目前兩種比較成熟的特征提取方法(小波包頻帶能量、EMD)輸入同樣的分類器進行對比，包括分類準確率與識別穩定程度以及計算效率，分析卷積神經網絡在提取特征方面的能力并分析其魯棒性。若準確率高說明該特征能很好的表達不同損傷工況之間的差別。

1 卷積神經網絡

CNN是受Hubel等[15]在1962年提出的貓的視覺結構模型啟發而衍生的一種具有深度學習能力的人工神經網絡。經典的LeNet等[16]誕生于1998年，然而由于當時計算力有限，所以其優勢并沒有被發掘。近些年，卷積神經網絡已經廣泛應用于搜索檢索、圖像理解、語音識別、手機應用、地圖導航、醫療制藥、無人機和無人駕駛汽車等領域。

1.1 卷積神經網絡基本思想

卷積神經網絡和常規神經網絡非常相似，他們都是由單層感知機[17]組成，如式(1)所示，單層感知機具有權值w和偏差b。每個單層感知機都會把輸入數據xi進行內積再進行激活函數運算。不同點在于

y=f(Σiwixi+b)

(1)

第一，由于權值過多，常規神經網絡在處理大尺寸數據時效果不理想，而CNN通過權值共享和局部連接有效的解決了大尺度數據網絡無法學習的問題；

第二，CNN通過局部連接、權值共享[18]和匯聚層(Pooling)等減少了參數，提高了效率。

第三，CNN能夠保留、提取具有拓撲結構的數據中的特征，正是由于這個特點才適合處理圖片和音頻，本文中采用的每個樣本大小均為4 000×16矩陣(寬4 000為采樣點數，高16為測點個數，類似于一張4 000×16的黑白照片)。

1.2 卷積神經網絡結構

輸入樣本在CNN中經過逐層的特征提取后輸入分類器。而特征提取階段一般包括卷積層和匯聚層。在卷積層中，單層感知機與輸入層的一個局部區域相連，圖中的小方塊(卷積核，大小為3×3)，每個單層感知機都會按一定的步長遍歷整個輸入層，每移動一步計算一個輸出，如圖1所示。本文第一層有16個卷積核，且控制第二層形狀與輸入層相同，所以得到的第一層特征圖為16×4 000×16。匯聚層在進行的是下采樣(down sampling)操作，本文采用最大下采樣操作，取每個區域最大值傳遞到下一層，如圖2所示。如圖3所示，本文采用4個卷積層，2個匯聚層。最后將4層卷積提取的特征，通過全連接網絡計算分類。

圖1 離散卷積計算示意

圖2 匯聚層計算示意

2 鋼架模型試驗驗證

2.1 特征提取

本文重點描述構建一個卷積神經網絡提取特征的方法，為了說明該方法的優勢，采用使用廣泛的小波包頻帶能量以及經驗模態分解得到的本征模態函數前5階頻帶能量作對比。

2.1.1 經驗模態分解法提取特征向量

利用經驗模態分解法把每個測點的加速度信號分解為10本征模態函數(Intrinsic Mode Function，IMF)和一個余項。為了防止邊緣效應截取三個采樣周期的加速度信號進行EMD變換，對變換后的IMF前后各截去一個采樣周期長度，并取前五階的IMF(能夠表達原信號的99.66%信息)分別對每一階的信號對時間求積分，計算每一階本征模態函數能量作為特征組成特征向量，為方便下文作圖表達此特征向量簡稱EIMF。

圖3 卷積神經網絡結構

2.1.2 小波包變換提取特征向量

利用db1小波包對每個測點的加速度信號做3層正交分解，得到3層小波包分解后8個頻段的小波包分解系數，對其進行重構，計算重構系數Si，重構后代入式(2)，求出各層小波包重構系數的能量，進行歸一化處理組成特征向量，此特征向量簡稱EWPT。

(2)

式中:k為分解層數，j為分解頻帶的序號，m為第k層第j個分量重構信號的離散點數，xj,m為重構信號Sk,j的幅值，N為每個測點的采樣點數[19]。

2.1.3 卷積神經網絡提取特征向量

將各個工況16個測點加速度數據拆分成4 000×16的矩陣輸入圖3所搭建的網絡結構，通過構建一個目標函數，用RMSprop[20]算法去訓練網絡中的卷積核，訓練完畢后卷積核提取到的特征為CNN自動提取的特征，結論部分會討論CNN自動提取的特征。

具體訓練參數如圖1所示：四層卷積，第一層16個3×3的卷積核，其余三層均是8個3×3的卷積核，為加快學習速度，步長取2。兩個2×2步長為2的池化層，四個規范層[21]防止過擬合加速訓練。編譯時設置優化函數為，學習率為0.000 4，訓練時設置批尺寸為32，總批數為500次的充分訓練，訓練保存最優模型，提取最頂層輸出組成卷積神經網絡提取特征向量進行損傷識別，此特征向量簡稱CONV。

2.2 損傷診斷

本文采用三層全連接人工神經網絡作為分類器，第一層為全連接層，起到數據變形作用，第二層的激活函數為ELU[22]，第三層的激活函數為Softmax[23]。圖4和圖1為對三種特征進行分類的模型結構圖。分別取特征向量CONV、EWPT和EIMF，把三種特征下的42個工況下的數據分別輸入分類器。

圖4 分類器

2.3 試驗數據

為便于讀者驗證，本文實驗數據均來自IASC-ASCE SHM Benchmark[24]結構的數值模擬數據，模型如圖5所示。模擬采用三種單元：梁單元(每層12個共48個)、柱單元(每層9個，共36個)、支撐單元(每層8個共32個)。筆者對IASC-ASCE SHM Benchmark的5類結構分別做了特征提取和損傷識別，發現類別1最能夠反應問題，故本文采用類別1模型說明問題(詳細信息見表1)，其中損傷模式見表2和圖6。每種工況取16個測點(其中8個x向，8個y向)的加速度數據作為構造特征的原始數據。取采樣頻率為250 Hz，采樣時間為3 200 s，得到7種損傷模式、6個噪聲水平的42種工況的數據，把每種工況數據劃分為16×4 000矩陣樣本，每條共200個樣本。本次模擬試驗總共取6中不同水平噪聲(0%、10%、20%、30%、40%、50%)數據進行訓練，每個訓練集共7種損傷模式(表2)。為下文記述簡便，這里把含有10%噪聲的數據訓練的特征記為n10，其他類似為n20-n50。

表1 損傷工況

表2 損傷模式

圖5 結構模型(m)

(a) 一層無剛度支架

(b) 一層無剛度支架 三層無剛度支架

一層無剛度支架

(d) 一層無剛度支架 三層無剛度支架

(e) 一層無剛度支架 三層無剛度支架 梁柱連接減弱

(f) 一層2/3剛度支架

2.4 結果分析

第一，卷積神經網絡自動提取特征的有效性與優勢性。如圖7所示，在CONV-n10(通過含有10%噪聲數據訓練的卷積神經網絡特征)測試過程中，CONV在10%噪聲測試點處的分類平均準確率均穩定在0.8以上，而另外兩種特征的識別準確率確很不穩定。

圖7 n10的分類準確率

Fig.7 Three kinds of feature classification accuracy by 10% noise data training

第二，單一噪聲數據訓練的特征魯棒性有一定局限。觀察圖7發現CONV-n10、EIMF-n10、EWPT-n10只針對含0%、20%噪聲數據樣本有很好的識別效果，對于含有40%、50%噪聲數據的識別準確率較低，這一點在三種特征均有表現。圖8也有體現。而在圖9～圖11中，由于采用高水平噪聲數據訓練，特征CONV的識別噪聲范圍擴大，但準確率降低。

圖8 n20特征的分類準確率

Fig.8 Three kinds of feature classification accuracy by 20% noise data training

圖9 n30特征的分類準確率

Fig.9 Three kinds of feature classification accuracy by 30% noise data training

圖10 n40的分類準確率

Fig.10 Three kinds of feature classification accuracy by 40% noise data training

第三，混噪模式訓練結果分析。為解決上述情況，本文提出混噪訓練模式，通過給CNN提供不同噪聲水平數據。采用含有0%和10%、0和20%、0%和30%、

圖11 n50的分類準確率

Fig.11 Three kinds of feature classification accuracy by 50% noise data training

10%和20%、20%和30%、30%和40%噪聲樣本混合輸入進各種特征提取器，對比結果(圖12～圖15)，發現CONV-n20&30(20%和30%噪聲混合數據訓練的卷積神經網絡特征)不但能夠更好的表達結構信息而且具有較廣泛的噪聲容錯區間。具體表現如圖13所示，無論是CONV還是EIMF、EWPT，平均識別準確率和穩定性均有明顯改善。經多工況反復試驗得出結論，單水平噪聲樣本訓練時，使用含中間水平噪聲訓練的特征的噪聲魯棒性較為優異，混合噪聲樣本訓練的特征比單水平噪聲樣本訓練的特征效果好，在混合噪聲樣本訓練的特征中，以中間水平噪聲混合訓練特征效果最為突出。在實測環節中，可根據實際情況取實測數據加噪聲后，與原始數據進行拼接放入特征提取器，進行特征提取工作。

圖12 n10和n20的分類準確率

Fig.12 Three kinds of feature classification accuracy by 10%& 20% noise data training

圖13 n20和n30的分類準確率

Fig.13 Three kinds of feature classification accuracy by 20%& 30% noise data training

圖14 n30和n40的分類準確率

Fig.14 Three kinds of feature classification accuracy by 30%& 40% noise data training

圖15 CONV混合噪聲模式分類準確率

Fig.15 Accuracy of CNN feature classification in mixed noise data training

第四，損傷識別過程中細觀問題分析。通過對比分析CONV-n20&30在0%、20%、40%噪聲水平下前20個樣本的分類結果(圖16、圖17、圖18)，再次證明CONV-n20&30在0%、20%、40%噪聲下識別結果一直非常穩定所示。相比小波包頻帶能量特征EWPT與本征模態函數能量特征EIMF，CONV在模式4、5(見表2和圖6)只是個別情況會發生混判，而EWPT與EIMF是對模式3、4、5均會發生混判，且EWPT與EIMF還出現了對模式1、6的混判。

(豎線為標簽類，每簇中最高柱為預測類，框圖為錯誤分類)

(豎線為標簽類，每簇中最高柱為預測類，框圖為錯誤分類)

(豎線為標簽類，每簇中最高柱為預測類，框圖為錯誤分類)

第五，中間層特征可視化分析。可視化中間層是通過定義一個損失函數，該損失函數將用于最大化某個指定濾波器的激活值。以該函數為優化目標優化后，則可以看到這個濾波器激活的究竟是什么。由于輸入的是16個測點加速度數據，這里沒有輸出可視化后的圖像，而是把可視化操作后的激活值輸出并做FFT變換，分析CNN提取特征的物理意義。在ASCE SHM Benchmark數據只公布了結構前三階頻率，分別為9.41 Hz，11.79 Hz，16.53 Hz。而實驗得出原始數據通過FFT變換的前四階為9.475 Hz，25.43 Hz，38.49 Hz，48 Hz。

圖19所示。筆者發現：

圖19 原始數據幅-頻曲線

卷積核自動提取的特征對頻率有更好的解析能力。在通過卷積核的加速度數據能明顯看出有更多階的頻率，說明卷積核能夠更好的解析結構頻率。

與單噪模式相比，混噪模式訓練的特征圖具有更多階頻率，如所示。證明在頻率解析能力上，混噪模式能訓練出可識別更多階頻率的特征。混噪模式下被卷積核激活數據的幅值-頻率曲線圖如圖20和圖21所示。單噪模式下被卷積核激活數據的幅值-頻率曲線圖如圖22所示。單噪模式下雖然卷積也識別出了一些其他頻段的特征但沒有特別明顯，而且無論從提取的頻段數量，還是提取特征精準程度上混噪模式的能力都較之更有效。篇幅有限具體提取的頻率對比見表3。

圖20 混噪模式被激活數據的幅-頻圖

Fig.20 Amplitude frequency curve of mixed noise mode training data

第六，CNN識別效率。其一，對比CNN、小波和HHT，以同等噪聲水平的所有損傷工況數據集進行識別，耗時見表4，CNN只是在訓練網絡階段耗時較長，測試階段相差幾秒。其二，相比于傳統的前饋神經網絡(Feedforward Neural Networks)使用相同大小的中間層，CNN通過采用局部感受野和權值共享減少了大量權值，對于深層神經網絡，權值更是減少了幾個數量級。其三，GPU加速[25]。CNN具有良好的性質以及相對高效的架構，應用于大規模圖像數據時還是很耗資源。但是，現在的顯卡(GPU)配合高度優化的二維卷積，已經能夠訓練大型CNN模型。本文使用的是GEFORCE GTX 950M顯卡，訓練一個模型耗時25 min，識別一個工況數據只需1.48 s(七個工況，10.4/7=1.48 s)。

圖21 混噪模式被激活數據的幅-頻圖

Fig.21 Amplitude frequency curve of mixed noise mode training data

表3 頻率提取對比

圖22 單噪模式被激活數據的幅-頻圖

Fig.22 Amplitude frequency curve of single noise mode training data

表4 項目計算時間表

3 結 論

本文以IASC-ASCE SHM Benchmark結構的數值模擬數據為研究對象，對其16個測點的加速度信號進行自動提取特征并進行分類，并分析了三種特征在不同噪聲情況下的識別準確率，證明了卷積神經網絡直接通過加速度數據進行分類的有效性和分類穩定性。提取特征過程由網絡自動完成，原理簡單，識別效果好。測試速度快，網絡參數訓練完畢后，測試一個工況耗時僅1.48 s，為實時判斷結構健康狀態提供一種選擇。對不同結構數據針對性好，由于網絡參數是根據特定結構數據訓練的，因此能學習到更多有用的信息進行分類。

提出了混合噪聲訓練模式，加強了特征的魯棒性。單水平噪聲樣本訓練時，使用含中間水平噪聲訓練的特征的噪聲魯棒性較其他要好，混合噪聲樣本訓練的特征普遍比單水平噪聲樣本訓練的特征要好，在混合噪聲樣本訓練的特征中，以中間水平噪聲混合訓練特征效果最佳。經多工況反復試驗，在對含有50%噪聲樣本進行識別時，卷積特征依然能夠達到很好的識別效果，準確率均在85%以上。

經過可視化證明卷積自動提取特征有一定的物理意義，同時發現了混噪模式訓練效果更好的原因。由于該方法目前處于試驗階段，僅用簡單網絡結構和有限計算資源，但仍取得良好效果，方法前景可見一斑。