基于內積矩陣及深度學習的結構健康監測研究

王 慧，郭晨林，王 樂，張敏照

(1.長安大學理學院，西安 710064；2.西北工業大學航空學院，西安 710072；3.上海交通大學航空航天學院，上海 200240)

基于振動的結構健康監測方法因其容易實現在線監測，一直以來受到國內外研究者的廣泛關注。根據結構健康監測是否需要建立準確的結構理論模型，基于振動的結構健康監測方法可分為基于模型的方法及不基于模型的方法[1]。基于模型的方法一般為基于有限元模型修正的方法，其計算過程直觀、物理意義明確[2]。對于較為復雜的結構，一般不容易建立其準確的理論模型，因此不基于模型的方法更容易應用于復雜結構的健康監測。不基于模型的方法一般利用結構時域響應、頻域響應或模態參數及其組合[3-5]，并結合相關數據處理方法，建立結構振動響應特征量與結構健康狀態的對應關系。可以看出，數據處理在不基于模型的方法中有著至關重要的作用；同時，針對實際工程結構的健康監測往往涉及大量的測試數據。因此基于大數據及深度學習思想的結構健康監測研究是該領域的一個發展方向[6-7]。

深度學習作為一種更容易實現人工智能的機器學習方法，近些年來首先在計算機視覺、語音識別、自然語言處理等領域取得了顯著的成效[8]。深度學習的本質是通過深層次特征提取來獲取數據特征，因此在與數據處理相關的其他領域也開始受到關注，如數據檢測[9]、優化設計[10]、機械/結構健康監測[11]等多個領域。在結構健康監測領域，目前基于深度學習的方法主要從兩個方面開展研究：一類基于圖像識別的方法；另一類是基于振動響應信號處理的方法。

基于圖像識別的方法也稱計算機視覺，通過對結構局部照片圖像進行特征提取并識別其健康狀態[12]，一般監測的均為結構表面裂紋、表面腐蝕等結構表面損傷，其本質屬于圖像識別，且廣泛采用的是卷積神經網絡及其擴展網絡。例如，Cha 等[13]及Dorafshan 等[14]利用卷積神經網絡識別了混凝土的裂紋損傷，Liu 和Zhang[15]利用卷積神經網絡識別了結構鋼的超低周疲勞損傷裂紋，Reddy 等[16]利用卷積神經網絡識別了風機葉片的裂紋損傷，Yao 等[17]利用卷積神經網絡識別了船體結構板的腐蝕損傷，Ren 等[18]利用全卷積網絡識別了混凝土中裂紋損傷。

基于振動響應信號處理的方法利用深度神經網絡從振動響應中提取損傷特征，進而建立振動響應與結構健康狀態的映射關系，目前研究中最常采用的都是卷積神經網絡或自編碼器。在這類方法中，主要研究集中在兩個方面：一類為旋轉機械的故障診斷；另一類為結構損傷檢測。在旋轉機械故障診斷研究中，Guo 等[19]提出了基于分層自適應深度卷積神經網絡的軸承故障診斷方法，并采用軸承故障診斷實驗驗證了方法的有效性；Jing 等[20]提出了基于一維卷積神經網絡的故障診斷方法，并利用PHM2019 變速箱數據以及行星齒輪箱數據驗證了方法的有效性；Chang 等[21]提出了基于并行卷積神經網絡的故障診斷方法，并采用渦輪機齒輪的故障診斷實驗驗證了方法的有效性；Chen 等[22]提出了基于卷積循環神經網絡的故障診斷方法，并采用渦輪機齒輪的故障診斷實驗驗證了方法的有效性。在結構損傷檢測研究中，Lin 等[23]提出了利用多個測點加速度響應作為深度卷積神經網絡輸入的損傷定位方法，并利用仿真簡支梁的損傷檢測示例驗證了方法的有效性；Pathirage 等[24]以結構固有頻率及模態振型為輸入提出了基于堆棧自編碼器的深度學習框架，建立了包含特征降維及關系學習兩個步驟的結構損傷檢測方法，并通過鋼框架模型單位置及多位置損傷檢測的仿真算例及實驗研究驗證了方法的有效性，之后他們利用堆棧稀疏自編碼器來改善特征提取過程的抗噪性[25]，仿真及實驗結果表明采用稀疏自編碼器在存在測量噪聲及模型不確定性的情況下可以顯著提升檢測精度；Liu 等[26]利用過橋車輛上測試的振動加速度信號及相關特征降維技術(主成分分析、等度量映射、拉普拉斯特征映射、堆棧自編碼器)獲取結構損傷特征，建立了用于橋梁損傷檢測的數據驅動方法，通過損傷檢測模型實驗驗證了方法的有效性，結果表明采用堆棧自編碼器的檢測效果最佳。

上述研究現狀可以看出，不管是基于圖像識別的表面損傷檢測還是基于振動信號處理的各類型損傷檢測，其基本原理都是利用深度神經網絡強大的特征提取功能，建立可獲取的損傷圖像或振動響應與結構健康狀態之間的映射關系。

筆者前期在基于振動信號處理的結構損傷檢測研究中，以振動時域響應相關性分析為理論基礎提出了一種稱為內積向量(inner product vector，IPV)的損傷指標及對應的損傷檢測方法[1]，通過框架結構的剛度下降損傷、蜂窩夾層復合材料梁的脫粘損傷、航空壁板的螺栓松動損傷等實驗驗證了方法的有效性[27]，研究了環境激勵頻帶以及測試響應類型對檢測方法的影響[28]，并結合數據融合技術提升了方法對微小損傷的檢測精度[29]。研究表明，內積向量與結構的模態振型有關，可直接通過時域響應內積進行計算，且在其計算過程中可自動剔除相關測量噪聲的影響。然而，這些前期的研究僅利用了結構時域響應的部分相關性分析數據來構建損傷指標，也沒有采用大量的損傷指標給出具有統計意義的檢測結果。考慮到深度學習中的卷積神經網絡可以從大量數據中提取深層次的特征信息，并充分利用結構各個測點時域響應的相關性分析數據，本文將一維的內積向量擴展到了二維的內積矩陣，進而結合深度學習中常用的二維卷積神經網絡，提出基于內積矩陣及二維卷積神經網絡的結構健康監測方法，并通過典型航空加筋壁板螺栓松動的監測實驗驗證方法的可行性及有效性。

1 理論基礎

本文以振動時域響應的相關性分析為基礎，獲取表征結構健康狀態的原始特征信息，即內積矩陣，進而結合二維卷積神經網絡的深層次特征提取功能，建立相應的結構健康監測方法。因此，這里首先介紹內積矩陣與二維卷積神經網絡的基本概念與理論。

1.1 內積矩陣

假設可獲得結構n個測點的時域響應x1(t),x2(t),···,xn(t)，取其中測點l的響應xl(t)為參考響應，內積向量為：

式中，Rkl(0)表示響應xk(t) (k=1,2,···,n)與響應xl(t)的互相關函數在時間延遲τ=0時的值，根據互相關函數的定義可知：

式中：＜,＞表示內積運算符。研究表明，在帶通白噪聲激勵下內積向量是結構各階模態振型的加權疊加，且各階模態的加權系數與結構的模態參數有關[1,27-28]。對于一般的環境激勵譜，可視為若干個不同頻帶范圍的帶通白噪聲的組合譜，根據線性系統的疊加原理可知，在環境激勵下內積向量仍是結構各階模態振型的加權疊加，同時各階模態的加權系數也與結構的模態參數有關。通常，結構物理參數的變化(例如結構損傷導致的局部剛度下降)會體現在相關模態振型的突變上，因此內積向量也會因結構局部損傷而發生突變，即可以利用內積向量作為結構損傷指標來進行結構健康監測。

可以看出，內積向量是一個典型的一維向量，且只包含了結構各測點時域響應的部分內積計算數據，而深度學習中常用的二維卷積神經網絡的輸入是一個二維矩陣，為了采用內積向量作為二維卷積神經網絡的輸入，并充分利用結構各測點時域響應的所有內積計算數據，可將內積向量擴展到內積矩陣。從內積向量的定義式可以看出，內積向量僅采用某一個測點l的響應xl(t)作為參考響應來與其他測點響應進行內積運算，若參考測點l的取值也分別設為各個測點，即l=1,2,···,n，則可獲得內積矩陣：

結合內積向量的定義式，從內積矩陣的定義式可以看出，內積矩陣其實就是將參考響應測點分別設置為不同測點的多個內積向量依次排列組成的矩陣，因此內積矩陣也可以作為結構特征參數來進行結構健康監測。

1.2 二維卷積神經網絡

二維卷積神經網絡是深度學習中最常用的一種卷積神經網絡，可以從二維圖像中提取數據特征，其網絡結構主要包括用于提取數據特征的卷積層(convolution layer)、避免訓練過程梯度消失問題的批歸一化層(batch normalization layer)、對數據進行降采樣的池化層(pooling layer)、用于過渡的拉直層(flatten layer)、用于整合分類信息的全連接層(fully connected layer)以及用于網絡輸出的分類層(classification layer)等[13]。

在建立神經網絡結構之后，需選取一個合適的損失函數(loss function)來訓練網絡，損失函數是用于評估模型預測值與真實值不一致程度的函數，對于不同的問題應選擇不同的損失函數。結構健康監測往往可以抽象為分類問題，而針對分類問題，目前最常用的損失函數為交叉熵，其定義如下[21,23]：

式中：m為樣本數量；k為分類的類別數量；p(xi j)是樣本xi為第j類的真實概率；q(θ,xi j)為模型參數θ時將樣本xi預測為第j類的概率。

2 方法原理

二維卷積神經網絡通常用于處理圖片信息，將圖片每一個像素點的顏色信息作為特征，針對每一個圖片構建一個數值矩陣，并以數值矩陣作為深度神經網絡的輸入。考慮到表征結構健康狀態特征的內積矩陣也是數值矩陣，且與二維圖片像素顏色信息構成的數據矩陣有著相同的形式，則可將內積矩陣作為二維卷積神經網絡的輸入來構建深度神經網絡，以實現基于內積矩陣及卷積神經網絡的結構健康監測。

基于深度學習的結構健康監測方法與傳統的基于機器學習的結構健康監測方法類似，通常均包含2 個關鍵的步驟，即標簽數據庫的構建以及網絡模型的設計。標簽數據庫是指用于訓練、驗證、測試模型的輸入輸出數據，通常由一組特征數據及其對應的結構狀態標簽構成。網絡模型是指用于描述輸入-輸出關系的復雜非線性函數，在結構健康監測中，網絡的輸入為可測量的結構特征參數，網絡的輸出為結構健康狀態標簽。

結合作者前期研究以及二維卷積神經網絡對輸入數據的要求，本文以內積矩陣為網絡輸入數據。考慮到深度學習神經網絡需要大量的帶標簽數據來訓練模型，本文利用結構上多個測點的時域響應，并通過數據分組來構建標簽數據庫，具體實施過程如圖1 所示。將結構各個測點的時域振動響應信號分割為若干個數據子集，每個數據子集均包含了各個響應測點在同一時間段的振動響應信號；利用每一個數據子集內的所有響應信號，按照式(3)計算內積矩陣，即可獲得該數據子集對應的內積矩陣；針對若干個數據子集，可以獲得若干個內積矩陣，這些內積矩陣就構成了當前結構健康狀態下的標簽數據庫。

圖1 結構健康監測標簽數據庫的構建Fig.1 Construction of the labelled database for structural health monitoring

根據圖像識別研究中二維卷積神經網絡的基本結構，圖2 給出了本文采用的二維卷積神經網絡結構示意圖。輸入層之后連接若干個卷積層，以逐層提取輸入數據中所包含的結構健康特征信息；卷積層之后連接一個批歸一化層及一個池化層，以提升網絡訓練效率并防止過擬合；池化層之后連接一個拉直層，以實現二維數據向一維數據的轉變，用于后續的分類問題；拉直層之后連接若干個全連接層，以逐步整合前述層中具有類別區分性的局部信息；最后為分類層，以獲得各個分類的概率，即給出結構的健康狀態。

圖2 深度卷積神經網絡結構示意圖Fig.2 Schematic diagram of the deep convolutional neural network architecture

本文方法的具體流程如圖3 所示，即：利用圖1 所示的方法，針對每一種結構健康狀態，構建其內積矩陣集及其對應的健康狀態標簽集，獲得樣本數據庫，并從中隨機篩選出訓練集、驗證集以及測試集，按照圖2 所示的方法設計深度卷積神經網絡模型，然后，利用訓練集及驗證集進行模型訓練，最終通過測試集驗證模型的識別準確率。

圖3 本文方法的流程框架Fig.3 Framework of the proposed methodology

3 實驗驗證

加筋壁板是航空領域中常用的一種結構形式，傳統的加筋壁板一般采用螺栓或鉚釘等緊固件將型材連接在壁板上，以提升壁板結構的承載能力，而緊固件松動是導致壁板承載能力下降甚至引發安全事故的隱患，本節將采用加筋壁板結構的緊固件松動監測來驗證本文方法在航空結構健康監測中的可行性及有效性。

實驗采用常見的四邊固支加筋壁板，如圖4所示，加筋壁板由1 塊450 mm×350 mm×2 mm 的鋁板以及3 根長度340 mm、截面寬度25 mm、壁厚2 mm 的等邊角鋁組成，每根角鋁與鋁板均用11 個M5 螺栓連接，加筋壁板四邊由寬度為50 mm、厚度為20 mm、長度為450 mm 或350 mm 的8 塊鋼制夾板加持，以模擬四邊固支邊界條件。

圖4 加筋壁板示意圖Fig.4 Schematic diagram of the stiffened panel

為模擬航空結構所受的激勵形式，本文采用某飛機振動環境譜作為激勵，并采用加速度響應來構建內積矩陣，實驗布置及現場照片如圖5 所示。在m+p VibControl 振動控制系統中設置振動環境譜，并驅動東菱ET-50 振動臺來激勵四邊固支壁板，最后利用Dewesoft SIRIUS 數據采集系統采集布置在壁板上的15 個PCB Piezoelectrics 333B30加速度傳感器記錄的加速度響應。實驗中分別模擬了7 種結構狀態，包括完好狀態(即所有螺栓都完全緊固)以及分別松開編號為1、10、14、19、28、33 六個螺栓的6 種損傷狀態。針對每一種結構狀態，采用20 kHz 的采樣頻率進行加速度信號的采集，采集信號時長為50 s，即數據采樣點數為106個。

圖5 加筋壁板振動環境實驗Fig.5 Vibration tests of the stiffened panel

3.1 標簽數據庫容量對識別結果的影響

在標簽數據庫的構建中，選取各加速度測點同一時間段的512 個采樣點組成一個數據子集，來計算一個內積矩陣。標簽數據庫容量對深度學習方法一般有著顯著的影響，為了研究標簽數據庫容量(即每一種結構健康狀態所包含的內積矩陣個數)對監測方法的影響，分別從每一種結構健康狀態的總數據庫中按順序選取包含64 個、128 個、256 個、512 個及1024 個內積矩陣的標簽數據庫來驗證方法，則標簽數據庫的總容量(即模擬的7 種結構健康狀態下的內積矩陣個數)分別為64×7、128×7、256×7、512×7 及1024×7，簡稱為數據庫1～數據庫5。考慮到內積矩陣是采用環境激勵下的隨機響應計算而得，總數據庫中的內積矩陣相當于是隨機生成的，因此這里構建的各個數據庫中的樣本數據也具有隨機性。

考慮到本文研究用于輸入的數據維數較小(15×15)且識別的結構健康狀態數目不多(7 種)，結合圖2 所示的深度卷積神經網絡結構示意圖，本文僅采用2 層卷積層及1 層全連接層，具體網絡結構如表1 所列。在神經網絡訓練及方法驗證過程中，針對研究的六種不同容量的標簽數據庫，訓練集、驗證集及測試集所采用的數據量均為8∶1∶1。

表1 采用的網絡結構Table 1 The utilized network architecture

圖6～圖10 分別給出了利用數據庫1～數據庫5的網絡訓練過程的損失函數與識別準確率的變化曲線。從圖中可以明顯看出，隨著數據庫容量增大，訓練收斂速度加快、損失函數數值減小、識別準確率提高，且訓練集與驗證集的差異越來越小。

圖6 網絡訓練過程(數據庫1)Fig.6 Training process of network (Database 1)

圖7 網絡訓練過程(數據庫2)Fig.7 Training process of network (Database 2)

圖8 網絡訓練過程(數據庫3)Fig.8 Training process of network (Database 3)

圖9 網絡訓練過程(數據庫4)Fig.9 Training process of network (Database 4)

圖10 網絡訓練過程(數據庫5)Fig.10 Training process of network (Database 5)

為了進一步說明網絡在測試集上的識別準確率，表2 列出了分別利用數據庫1～數據庫5 進行網絡訓練的最終損失函數值及識別準確率。可以看出，當數據容量很小時，由于樣本數量不足，識別準確率很低，而當每一種結構健康狀態所包含的內積矩陣個數為1024 時，網絡在訓練集、驗證集以及測試集上的識別準確率均大于97%，這表明當數據庫容量足夠時，本文方法具有很高的識別準確率。上述圖6～圖10 以及表2 出現的規律表明，樣本容量較大時以內積矩陣作為網絡輸入可準確識別螺栓松動位置，這是因為內積矩陣的特征變化：一方面是由螺栓松動引起；另一方面是由相關測試噪聲引起。根據一般測試噪聲具有的隨機特性，在神經網絡訓練過程中通常可通過增加樣本數量來減緩測試噪聲的影響，因此隨著樣本容量的增加，網絡的識別準確率顯著增加。

表2 不同數據容量下網絡的損失函數值及識別準確率Table 2 The loss value and accuracy for different datasets

為了進一步對比不同數據容量下訓練的模型的識別準確率，針對每一種健康狀態，分別選取100 個內積矩陣(不包含在上述數據庫中)，組成用于驗證模型準確率的固定測試集(即共包含100×7個內積矩陣)，表2 的最后一行列出了各個網絡在固定測試集上的識別準確率。可以看出，固定測試集的識別準確率與訓練集、驗證集以及測試集上的識別準確率并無顯著差異。

3.2 測點數量對識別結果的影響

在結構健康監測中，通常難以獲得很多測點的測試數據，本節將研究測點數量對網絡識別結果的影響。考慮到15 個測點情況下，標簽數據庫容量為1024 個時識別準確率較高，本節后續的研究中的數據容量均為1024 個。針對圖5(a)中的測點布置，分別采用8 個測點、4 個測點的加速度響應進行螺栓松動識別。按照測點盡可能均布的原則，針對8 個測點，選取(1)、(3)、(5)、(7)、(9)、(11)、(13)、(15)號測點；針對4 個測點，選取(3)、(7)、(9)、(13)號測點。

采用同樣的網絡結構以及標簽數據庫容量進行網絡訓練，結果發現：當測點數量為8 時，網絡識別準確率下降到90%以下，當測點數量為4 時，網絡識別準確率下降到80%以下。分析出現這一情況的原因，主要是由于測點數量降低，在其它參數不變的情況下，導致包含結構健康信息的原始數據量下降，網絡難以從不足的信息中提取結構健康特征。在測點數量不足的情況下，通常可以從單個測點獲取更多的數據來提升特征信息量，基于此，本節將上節計算內積矩陣所采用的512 個加速度采樣點逐步增加到1024 個、2048 個、4096 個、8192 個，以研究測點數量對網絡識別準確率的影響，表3～表5 分別給出了15 個、8 個以及4 個測點數量下網絡的最終損失函數值及識別準確率。

表3 15 個測點下網絡的損失函數值及識別準確率Table 3 The loss value and accuracy of the network by 15 measurement points

表4 8 個測點下網絡的損失函數值及識別準確率Table 4 The loss value and accuracy of the network by 8 measurement points

表5 4 個測點下網絡的損失函數值及識別準確率Table 5 The loss value and accuracy of the network by 4 measurement points

當計算內積矩陣的加速度采樣點數從512 個增加到8192 個時，從表3～表5 可以看出：當采用15 個測點時，準確率略有提高(從97%增加到99%)；當采用8 個測點時，準確率有明顯提高(從小于90%增加到99%)；當采用4 個測點時，準確率顯著提高(從小于80%增加到98%)。為了說明加速度采樣點個數以及測點數量對計算耗時的影響，表6 給出了表3～表5 所有情況的計算耗時(含構建數據庫耗時及模型訓練耗時2 部分)，可以看出：1)構建數據庫的耗時隨著加速度采樣點或是測點數量的增加而增加，這是因為加速度采樣點越多、測點數量越多，進行內積運算的數據量越大，因而耗時越多；2)模型訓練的耗時隨著加速度采樣點或是測點數量的增加而減小，這是因為加速度采樣點越多、測點數量越多，提取的結構特征信息越顯著，網絡訓練越容易收斂，因而耗時越少；3)綜合構建數據庫及模型訓練兩部分耗時，單純增加加速度響應點個數或是減少測點數量對整個計算耗時并沒有顯著影響。上述分析結果表明，本文方法即便是在測點數量較少的情況下，合理增加計算內積矩陣的加速度采樣點個數可顯著提升網絡的識別準確率，且整個計算耗時并沒有顯著變化。

表6 不同情況下的計算耗時Table 6 Computational time consuming for different cases

為了進一步說明測點位置對監測結果的影響，針對4 個測點的情況，選取了遠離螺栓松動位置的(2)、(8)、(10)、(11)號測點進行研究，表7給出了這種情況下網絡的最終損失函數值及識別準確率。對比表7 和表5 可以看出，當測點數量不變僅改變測點位置時(且測點位置遠離螺栓松動位置)，各種狀態下網絡的識別準確率并無顯著差異，這說明本文方法受傳感器位置的影響較小。

表7 采用遠離螺栓松動位置的4 個測點時網絡的損失函數值及識別準確率Table 7 The loss value and accuracy of the network by 4 measurement points located far from the loosed bolt

上述研究表明，利用結構上少量測點在環境激勵下的時域加速度響應信號，并選取足夠的加速度采樣點來計算內積矩陣，進而以內積矩陣作為輸入來構建深度卷積神經網絡，可以有效地識別典型航空加筋壁板的螺栓松動位置。

4 結論

通過將各個響應測點分別設置為參考點，構建了多個內積向量并將其組成矩陣，提出了內積矩陣的概念。然后，根據內積矩陣的定義以及深度學習神經網絡訓練對數據庫的需求，針對完整的測試數據引入了數據分組策略，獲得了多個數據子集，通過在每一個數據子集中進行內積矩陣計算，建立了包含內積矩陣與結構健康狀態一一對應的標簽數據庫構建方法。進而以內積矩陣為輸入、結構健康狀態為輸出，構建了包含卷積層、批歸一化層、池化層、拉直層、全連接層以及分類層的深度卷積神經網絡結構，提出了基于內積矩陣及深度學習的結構健康監測方法。

利用典型航空加筋壁板的螺栓松動監測實驗驗證了方法的可行性及有效性，結果表明：1)隨著標簽數據庫容量的增大，網絡訓練收斂速度加快、損失函數數值減小、識別準確率提高；2)當每一種結構健康狀態所包含的內積矩陣個數足夠、且計算內積矩陣的加速度采樣點個數充足時，即便是僅有少量測點的加速度響應數據，網絡在訓練集、驗證集以及測試集上的識別準確率均可達到98%以上。