基于多尺度卷積神經網絡的結構損傷識別研究

張健飛，蔡東成

（河海大學力學與材料學院，江蘇 南京 210098）

引言

工程結構在服役期間，由于受到環境侵蝕、材料老化、疲勞效應和自然災害等因素作用，將會不可避免地產生損傷累積，一旦關鍵構件的損傷累積到一定程度，將會導致結構破壞。因此，為了能夠保證結構性能、延長結構壽命，需要及時發現結構損傷并進行維修處理。基于振動的結構損傷識別方法利用結構的動力測試信號進行結構整體損傷狀況檢測，且檢測期間不需要中斷結構的使用，相較于傳統的無損損傷檢測方法具有很大的優越性［1］，但是在實際應用過程中，會不同程度地遇到易受環境影響、模型依賴性強、系統容錯性差等問題的困擾。人工神經網絡最初用于模擬人的大腦功能，它由大量相互連接的簡單神經處理單元組成，可以不依賴于模型，具有較強的容錯性和魯棒性以及學習聯想能力等特征，因而在結構損傷識別領域受到了廣泛的關注。人工神經網絡用于結構損傷識別的基本原理就是通過建立特征參數與結構的損傷狀態之間的輸入輸出映射關系來實現損傷識別，目前已經構建了許多結構動力特征作為神經網絡的輸入參數，如：固有頻率［2］、振型［3］、模態曲率［4］和加速度二次協方差［5］等。然而這些人為設計的特征參數并不一定是最優的，不可能在所有類型的損傷識別中都取得最優效果，以卷積神經網絡為代表的深度學習網絡可以直接從原始信號中提取最優的特征，從而最大程度上提高識別準確率［6］。

卷積神經網絡（convolutional neural networks，CNN）是一類受生物視覺感知機制啟發而建立的深度學習代表性網絡結構，其研究始于20世紀80至90年代，最早出現的經典卷積神經網絡是LeNet-5［7］。由于卷積神經網絡的局部連接、權值共享及池化操作等特性使之可以有效地降低網絡的復雜度，減少訓練參數的數目，使模型具有強魯棒性和容錯能力，且易于訓練和優化網絡結構，卷積神經網絡已經在計算機視覺、語音識別等領域得到了廣泛應用［8］。在結構損傷識別領域，近年來卷積神經網絡也得到較多研究和應用。羅雨舟等［9］通過有限元數值模擬試驗提取結構多點加速度信號組成矩陣，搭建卷積神經網絡模型對該加速度矩陣進行特征提取并實現損傷診斷，研究了結構在不同激勵類型作用下和不同噪聲強度下的損傷診斷精度。李雪松等［10］以IASC-ASCE SHM Benchmark 結構的數值模擬數據為研究對象，用卷積神經網絡直接從加速度信號自動提取特征，并與小波包頻帶能量、本征模態函數能量特征對比，分析卷積神經網絡提取特征的有效性，同時提出混合噪聲訓練模式，加強特征抗噪能力，取得了良好的識別效果。李書進等［11］以多層框架結構節點損傷位置的識別問題為研究對象，構建了可以直接從結構動力反應信號中進行學習并完成分類診斷的基于原始信號和傅里葉頻域信息的一維卷積神經網絡模型和基于小波變換數據的二維卷積神經網絡模型。何浩祥等［12］將車橋耦合振動下的原始結構響應信號進行小波包濾波和重構，通過遞歸分析獲取不同損傷工況的遞歸圖，將其作為卷積神經網絡的輸入，提出基于卷積神經網絡和遞歸圖的橋梁結構損傷識別計算流程和方法。Khodabandehlou等［13］將一座鋼筋混凝土公路橋縮尺模型振動臺試驗測得的加速度數據組成的矩陣作為輸入，采用二維卷積神經網絡對結構損傷進行識別，取得了很好的識別效果，并檢驗了網絡對微小損傷的魯棒性和敏感性。Lin等［14］采用卷積神經網絡從簡支梁有限元模擬生成的加速度數據中提取損傷特征，在有噪聲情況和多損傷情況下都取得了很高的損傷識別精度，同時通過隱層可視化對所提取的特征進行了物理解釋。Liu 等［15］將傳遞函數和一維卷積神經網絡相結合對結構損傷識別方法進行了研究，并以ASCE Benchmark 結構動力響應的傳遞函數作為卷積神經網絡的輸入數據，對方法的有效性進行了驗證，通過與時間序列和FFT數據相比較，顯示了傳遞函數數據中獲取的特征具有更高的損傷敏感性。

實際結構的動力響應中通常包含多階模態成分，而且外界激勵通常也在不斷變化，因此振動信號在不同時間尺度上具有不同的特征。傳統卷積神經網絡由于采用固定尺寸的卷積核，缺乏多尺度特征提取能力，難以捕捉到動力信號中的多尺度特征。為此，多尺度卷積神經網絡開始得到關注。Jiang 等［16］針對風機齒輪箱振動信號的多尺度特征，通過對原始信號施加不同尺寸窗口的滑動平均操作，得到表征不同尺度的信號，并作為卷積神經網絡的輸入，獲取不同尺度上的特征信息，提升了齒輪箱故障診斷的性能。Liu 等［17］針對發動機在不同運行狀態下振動信號的多尺度特性，提出了一種采用多尺度卷積核的卷積神經網絡，并通過實測數據驗證了方法的有效性和優良性能。Zhang等［18］首先采用具有不同尺寸卷積核的一維卷積神經網絡對振動信號進行處理，然后將處理結果連接形成二維矩陣作為二維卷積神經網絡的輸入數據，減少了網絡層數，提高了在小樣本情況下機械故障分類精度。

文中通過對振動信號下采樣、滑動平均和采用不同尺寸卷積核的策略實現了3個多尺度卷積神經網絡，并將之應用于結構的損傷識別，通過數值試驗和振動臺試驗，驗證了方法的有效性，較之單一尺度的卷積神經網絡，取得了更好的損傷識別效果。

1 卷積神經網絡

卷積神經網絡主要由卷積層、池化層和全連接層組成，其基本結構如圖1所示。卷積層的作用是從輸入數據中學習其內在的特征表示，卷積層由一系列卷積核組成，用于計算不同的特征圖，每一個特征圖在生成時，卷積核對于輸入來說是共享的，使用不同的卷積核就得到不同的特征圖。特征圖中的每一個神經元跟上一層的某一個區域的神經元相互連接，這部分區域被稱為神經元在上一層的感受野。特征圖的計算一般包含2步：首先利用卷積核對輸入數據進行卷積操作，然后對每個卷積計算結果施加非線性函數。第l層第k個特征圖中（i，j）位置處的數值計算如式（1）所示，

圖1 卷積神經網絡的基本結構Fig.1 Basic structure of the CNN

典型的激活函數有sigmoid、tanh和ReLU等。

池化層的作用是對卷積層中提取的特征進行匯總并對信息進行壓縮，從而使卷積神經網絡能夠抽取的特征范圍更廣。池化層通常位于2 個卷積層之間，池化層的每一個特征圖與它前面的卷積層相關聯。記池化函數為pool( · )，則對于每一個特征圖，可以得到

式中，?ij為（i，j）周邊的鄰近區域，常見的池化操作有取平均值和取最大值。

在經過多個卷積和池化操作之后，卷積神經網絡已經完成了輸入信號的特征提取和壓縮。在卷積神經網絡結構中，經多個卷積層和池化層后，連接著1 個或1 個以上的全連接層，將前一層的所有神經元與該層的每一個神經元相連接，以獲取全局信息。卷積神經網絡的最后一層全連接層的輸出值被傳遞給一個輸出層，通常采用softmax邏輯回歸進行分類，該層也可稱為softmax層。

卷積神經網絡的訓練是一個全局優化問題，令θ代表卷積神經網絡的所有參數（權值向量和偏移值），N個輸入-輸出數據對記為{ (x(n),y(n));n∈[ 1,2,…,N]}，其中x(n)為第n個輸入數據，y(n)是與第n個輸入數據相應的標記值。o(n)為卷積神經網絡的輸出值，則卷積神經網絡的損失函數可以表示為，

通過最小化損失函數，可以得到參數的最優值，隨機梯度下降法是常用的卷積神經網絡優化方法。

2 多尺度卷積神經網絡的實現

多尺度卷積神經網絡的主要思想是將多尺度特征學習能力融入傳統卷積神經網絡，文中采用2 種做法實現多尺度卷積神經網絡：一種是對輸入的振動信號進行多尺度處理；另一種是在卷積神經網絡中采用多尺度卷積核。

第1種做法就是采用固定尺度的卷積核，但是對輸入的振動信號進行多尺度處理。設振動測試得到的振動加速度信號為x={ }x1,x2,…,xN，其中xi為時刻點i的加速度值，信號中共有N個時刻點，即信號長度為N。然后對振動信號進行粗化，構建具有不同尺度特征的振動信號序列，粗化的策略主要有下采樣和滑動平均兩種方式。

下采樣就是對振動信號序列間隔s個樣值取樣一次，這樣得到新序列就是原序列的下采樣，如式（5）所示。

滑動平均就是以寬度為s的窗口在原始振動信號上以s為間隔滑動，對窗口內的數據進行平均運算，如式（6）所示。

對振動信號進行下采樣或者滑動平均后就得到不同尺度的振動信號，然后將這些信號并行地輸入分支卷積神經網絡進行卷積和池化運算，再將各個分支卷積神經網絡的輸出合并為一個融合多尺度特征的向量作為全連接層的輸入，最后由softmax層輸出損傷識別結果，如圖2所示。圖中原始信號處理成3種不同尺度的信號，其下采樣間隔（或者滑動窗口寬度）s分別等于s1、s2和s3。由于各分支卷積神經網絡對不同尺度的振動信號進行處理采用相同的卷積核大小，從而使得大尺度信號的感受野要比小尺度信號來的大，這樣不同的卷積神經網絡就提取到了不同尺度的特征。

圖2 多尺度輸入卷積神經網絡Fig.2 Structure of multi-scale CNN with multi-scale inputs

第2 種實現多尺度卷積神經網絡的做法就是在卷積運算中采用多種不同尺度的卷積核，從而實現對振動信號多尺度特征的提取。通過多個采用不同尺度卷積核的分支卷積神經網絡提取信號的不同尺度特征，然后將這多個卷積神經網絡的輸出合并為一個融合多尺度特征的向量作為全連接層的輸入，最后由softmax層輸出損傷識別結果，如圖3所示。圖中采用3個不同尺度卷積核的分支卷積神經網絡，卷積核尺寸分別為于s1×t1、s2×t2和s3×t3。

圖3 多尺度卷積核卷積神經網絡Fig.3 Structure of multi-scale CNN with different kernel sizes

為了下文描述方便，分別將下采樣、滑動平均和多尺度卷積核這3 個多尺度卷積神經網絡記為MSCNN1、MSCNN2和MSCNN3，將單一尺度卷積神經網絡記為SSCNN。

3 試驗驗證

3.1 網絡結構和參數

卷積神經網絡的結構和參數對其性能具有很大的影響，文中通過大量的試驗，選定了較優的卷積神經網絡結構和參數。MSCNN1、MSCNN2 中下采樣間隔（滑動平均窗口寬度）s=1，2，4 即包含3 個分支卷積神經網絡。每個分支卷積神經網絡采用相同的固定尺寸卷積核，包含3 個卷積層和池化層，第1 層包含8個32 × 3 卷積核的卷積層和4×1 的池化層；第2 層是16 個32×3 卷積核的卷積層和4×1 的池化層；第3 層是32 個32×3卷積核的卷積層和4×1的池化層。然后將各個分支卷積神經網絡的輸出合并為一個向量作為全連接層的輸入，最后連接輸出層，輸出層的神經元個數對應損傷模式的個數，每個神經元輸出對應不同損傷模式的發生概率，如圖2所示。

MSCNN3中的卷積神經網絡采用不同尺度卷積核，包含3個采用不同尺寸卷積核的分支卷積神經網絡。每一個分支卷積神經網絡包含3 個卷積層和池化層，第1 層包含8 個卷積核，緊接著4×1 的池化層；第2 層是16 個卷積核，緊接著4×1 的池化層；第3 層是32 個卷積核，緊接著4×1 的池化層。第1 個分支卷積神經網絡的卷積核尺寸為8×3，第2個分支卷積神經網絡的卷積核尺寸為32×3，第3 個分支卷積神經網絡的卷積核尺寸為128×3。然后將各個分支卷積神經網絡的輸出合并成全連接層的輸入向量，最后連接輸出層，輸出層的神經元個數對應損傷模式的個數，每個神經元輸出對應損傷模式的發生概率，如圖3所示。

為了比較和分析多尺度卷積神經網絡的性能，文中以單尺度卷積神經網絡作為基準，單尺度神經網絡同樣包含3個卷積層和池化層，第1層包含8個32×3卷積核的卷積層和4×1的池化層；第2層是16個32×3卷積核的卷積層和4×1的池化層；第3層是32個32×3卷積核的卷積層和4×1的池化層，并將其輸出作為全連接層的輸入；最后由輸出層輸出各個損傷工況的發生概率。

網絡中除了全連接輸出層的激活函數為softmax，其余各層的激活函數均為ReLU。為了防止過擬合，在全連接層的后面插入一個丟棄層（Dropout）［8］，丟棄概率為0.5。訓練時設置批尺寸為64，訓練總批數為30次，訓練時保存最優模型用于損傷識別。

3.2 數值試驗

3.2.1 懸臂梁

文中首先建立了一個懸臂梁有限元模型進行數值試驗，懸臂梁材質為鋼材，長1 200 mm，方形截面尺寸為20 mm×20 mm，底部為固定端，頂部為自由端。在懸臂梁一側不同高程處分別設置深2 mm的水平裂縫（記為C1～C6）模擬不同位置的損傷（截面損傷程度為10%），另一側設置7個測點（記為m1～m7）記錄懸臂梁水平向加速度，懸臂梁裂縫位置和測點位置如圖4所示。每個損傷工況為不同位置處的單個裂縫，如表1所示。

圖4 數值試驗中懸臂梁裂縫位置和測點圖（單位：mm）Fig.4 Positions of the cracks and accelerometers on the cantilever beam in numerical test（unit：mm）

通過在懸臂梁底部施加水平向白噪聲加速度模擬環境激勵，有限元計算時間步長取為0.000 1 s，采用Rayleigh 阻尼。按照表1 所示的損傷工況，生成7 個測點上7 種不同損傷工況的時長為30 s 的加速度響應信號序列，每個序列包含300 000 個時刻點，即每種損傷工況可得到一個300 000 × 7 的加速度信號矩陣。然后從每個信號矩陣中隨機抽取1 000 個大小為1 024 × 7 的子矩陣作為卷積神經網絡的輸入樣本矩陣，共得到7×1 000=7 000 個樣本矩陣。將樣本按照7∶2∶1 的比例劃分，分別作為卷積神經網絡的訓練集、驗證集和測試集，訓練集和驗證集用于網絡的訓練，測試集用于測試網絡的泛化性能。

表1 數值試驗中懸臂梁的損傷工況Table 1 Damage cases of the cantilever beam in numerical test

在實測信號中，噪聲總是存在的，這些噪聲一般可以假設為符合高斯分布的白噪聲［19］。文中在有限元計算所得的各測點加速度信號中加入白噪聲數據來模擬實測信號，即：

圖5 給出了單尺度卷積神經網絡和多尺度卷積神經網絡在本例數據集上的訓練曲線，限于篇幅只給出了在無噪聲數據集beam-n00 上的曲線，圖中橫坐標為訓練批次，縱坐標為準確度和損失函數。可以看出：單尺度卷積神經網絡在本例數據集上未能收斂，且驗證集上的損失函數不下降、準確率也不提高，存在過擬合的現象。而多尺度卷積神經網絡最終都收斂到理想水平，準確率接近100%，訓練集和驗證集上的訓練曲線基本吻合，未出現過擬合現象。表2給出了各個網絡在不同噪聲水平下訓練集和驗證集上的準確率，可以看出：隨著噪聲水平的提高，各個網絡在訓練集和驗證集上的準確率均有所下降，當噪聲水平達到5%時，驗證集上準確率明顯低于訓練集，說明網絡泛化性能也在下降。

表2 卷積神經網絡在懸臂梁數值試驗數據上的訓練準確率Table 2 Training accuracy of the CNNs on data from numerical test of cantilever beam

圖5 卷積神經網絡在懸臂梁數值試驗數據上的訓練曲線Fig.5 Training curves of the CNNs on data from numerical test of cantilever beam

為了進一步檢驗多尺度卷積神經網絡的泛化性能，文中在測試集的每一種損傷工況中隨機抽取了100個樣本，用于測試各個網絡的損傷識別性能。表3給出了各個網絡在測試集各個損傷工況上的識別性能，可以看出：根據概率最大損傷判別法則，單尺度卷積神經網絡在本例數據集上未能準確識別出損傷工況，這與訓練曲線的結論是一致的；各個多尺度卷積神經網絡雖然隨著噪聲水平的提高，識別精度不斷下降，但仍然都能準確識別出7種不同的損傷工況，具有較好的抗噪性。

表3 卷積神經網絡在懸臂梁數值試驗測試集上的損傷識別概率Table 3 Damage identifying probability on test data set from numerical test of cantilever beam

3.2.2 鋼框架

為了檢驗文中方法對于較為復雜結構的有效性，建立了一個兩跨鋼框架有限元模型，該框架由2根縱梁和7 根橫梁剛性連接而成，縱梁和橫梁采用相同的工字型截面，截面積和慣性矩分別為1.054 × 10-3m2和1.039 × 10-6m4，如圖6 所示。在結點A、H處采用鉸支座與基礎相連接，D、G、K和N結點處為輥軸支座。在B、C、E、F、I、J、L、M結點上設置測點記錄豎向加速度。損傷工況模擬了實際橋梁工程中常見的一些病害：基礎沉降引起的支座脫空、銹蝕老化引起的支座活動受限和螺栓松動引起的結點連接失效等，如表4 所示。

圖6 數值試驗中鋼框架結構圖Fig.6 Structure layout of the steel frame in numerical test

表4 數值模擬中鋼框架的損傷工況Table 4 Damage cases of the steel frame in numerical test

在結點B處施加豎向白噪聲隨機荷載激勵，分別對表4所示的損傷工況進行有限元模擬，計算時間步長取為0.002 s，采用Rayleigh 阻尼。在8 個測點上生成6 種不同損傷工況的加速度響應信號序列，記錄時長為500 s，即每種損傷工況得到一個250 000×8 的加速度信號矩陣。然后從每個信號矩陣中隨機抽取2 000 個大小為256×8 的子矩陣作為卷積神經網絡的輸入樣本矩陣，共計6×2 000=12 000 個樣本矩陣。為了模擬實測信號中的噪聲影響，樣本中加入2%和5%水平的噪聲，再按照7∶2∶1 的比例，將樣本劃分為訓練集、驗證集和測試集，分別將含有0%、2%、5%噪聲的數據集記為frame-n00、frame-n02和frame-n05。

各個網絡在不同噪聲水平下訓練集和驗證集上的準確率如表5所示，可以看出：在本例數據上單尺度網絡的訓練準確率隨著噪聲水平增大而下降較快，多尺度網絡的訓練準確率均高于單一尺度網絡，達到95%以上。表6給出的是各個網絡在測試集各個損傷工況上的識別性能，可以看出：雖然各個卷積神經網絡在本例數據集上均能準確識別出損傷工況，但是多尺度網絡的識別精度要更高一些，具有較強的抗噪性。從各個損傷工況的識別精度可以看出：損傷工況1、2、3 的識別精度明顯高于損傷工況4、5，說明本例中損傷工況1、2、3對結構動力特性的影響程度要大于損傷工況4、5，從而相對更容易被識別。

表5 卷積神經網絡在鋼框架數值試驗數據上的訓練準確率Table 5 Training accuracy of the CNNs on data from numerical test of steel frame

表6 卷積神經網絡在鋼框架數值試驗測試集上的損傷識別概率Table 6 Damage identifying probability on test data set from numerical test of steel frame

3.3 振動臺試驗

為了進一步驗證方法的有效性，文中在實驗室中進行了懸臂梁振動臺試驗。試驗所選用的懸臂梁材料和幾何參數以及邊界約束條件同第3.2.1節，損傷采用人工切割縫模擬，包括不同裂縫數量和不同裂縫深度等5個損傷工況如表7所示，其中2 mm深度裂縫相應的截面損傷程度為10%，4 mm深度的截面損傷程度為20%。試驗采用電動振動臺產生的隨機激勵模擬有限帶寬白噪聲振動，激勵的功率譜密度取0.1（m/s2）2/Hz，激振頻率帶寬為5 Hz～1 000 Hz。懸臂梁從自由端到固定端布置7個加速度傳感器采集懸臂梁水平加速度，測點布置如圖4所示，試驗裝置如圖7所示。懸臂梁各個測點的加速度信號采樣頻率為5 000 Hz，每一種損傷工況采集時長為30 s 的加速度信號，即每個測點150 000 個時刻點，從而每種損傷工況可得到一個150 000×7 的加速度信號矩陣。然后從每個序列中隨機抽取1 000個大小為1 024×7的子矩陣作為樣本矩陣，共得到5×1 000=5 000個樣本矩陣作為卷積神經網絡的輸入樣本，按照7∶2∶1的比例劃分成訓練集、驗證集以及測試集。

表7 振動臺試驗懸臂梁損傷工況Table 7 Damage cases of the cantilever beam in shaking table test

圖7 懸臂梁振動臺試驗裝置圖Fig.7 Device for shaking table test of cantilever beam

圖8 給出了單尺度和多尺度卷積神經網絡在實測加速度信號的訓練集和驗證集上的訓練曲線，表8 給出了訓練準確率，可以看出：單尺度卷積神經網絡的準確率和損失函數收斂相對比較緩慢，而多尺度卷積神經網絡均能快速收斂到理想水平，訓練集和驗證集的訓練曲線基本一致，沒有過擬合現象；單尺度卷積神經網絡在本例的實測數據上也取得了較好的訓練效果，準確率在90%以上；多尺度卷積神經網絡的訓練準確率在訓練集和驗證集上幾乎都達到了100%。

圖8 卷積神經網絡在振動臺試驗數據上的訓練曲線Fig.8 Training curves of the CNNs on data from shaking table test

表9給出了訓練好的各種卷積神經網絡在測試集上對各個損傷工況的識別精度，可以看出：按照概率最大損傷判別法則，每種卷積神經網絡都能準確識別出各個損傷工況，但是相對于其它損傷工況，工況3和工況4的識別精度要低一些，這是由于損傷工況3和工況4比較接近，只相差了一道深度為2 mm的淺裂縫。圖9給出了各種卷積神經網絡識別各個損傷工況的混淆矩陣，可以看出：單尺度卷積神經網絡在識別損傷工況0、工況1和工況4時可以達到很高的識別精度，但是工況2和3之間存在一定程度的混淆。比如：在識別工況2時，100個樣本中76個識別正確，24個被誤判成損傷工況3；識別工況3時，100個樣本中87個樣本識別正確，13個樣本誤判成工況2。再次說明，由于損傷工況2和工況3之間比較相似，辨別難度較大，存在一定的誤判混淆度。對于多尺度卷積神經網絡，這種混淆程度大大降低，損傷工況0、工況1和工況4的識別精度達到100%，損傷工況2和3的識別精度幾乎都在90%以上，較之單尺度卷積神經網絡，損傷識別性能大大提升。

表9 卷積神經網絡在振動臺試驗數據測試集上的損傷識別概率Table 9 Damage identifying probability on test data set from shaking table test

圖9 振動臺試驗數據測試集上的損傷識別混淆矩陣Fig.9 Confusion matrix for damage identification test data set from shaking table test

4 結論

文中通過對輸入的結構振動加速度信號進行下采樣和滑動窗口平均處理以及在卷積運算中采用不同尺寸的卷積核，實現了兩種多尺度卷積神經網絡，即多尺度輸入卷積神經網絡和多尺度卷積核卷積神經網絡；并給出了兩種卷積神經網絡的結構和參數取值的建議。數值試驗和振動臺試驗表明：由于能夠提取加速度信號中的多尺度特征，與單尺度卷積神經網絡相比，多尺度卷積神經網絡具有更高的損傷識別精度和良好的抗噪性；對于損傷特征相近的損傷模式，具有更高的辨識能力和較低的誤判率。多尺度卷積神經網絡雖然具有優良的損傷識別能力，但是與單尺度卷積神經網絡一樣存在網絡結構和網絡參數的優選問題，為了確定合理的網絡結構和參數，需要進行大量的試驗，存在一定的主觀性，因此需要進一步研究網絡結構和參數的自動優選問題；此外，文中僅僅對簡單結構的損傷定位進行了研究，對于損傷程度判別以及復雜結構和實際工程結構的損傷識別需要做進一步研究。