基于雙向門控式寬度學習系統的監測數據結構變形預測

羅向龍，王亞飛，王彥博，王立新

(1.長安大學 信息工程學院，陜西 西安 710064；2.中興通訊股份有限公司，陜西 西安 710111；3.中鐵第一勘察設計院集團有限公司，陜西 西安 710043；4.西安理工大學 土木建筑工程學院，陜西 西安 710048)

伴隨著信息技術的蓬勃發展，結構安全自動監測系統已成為結構工程建設和運營安全保障必不可少的組成部分.通過大量傳感器采集結構工程狀態數據預測結構的變形趨勢，是防止和減少安全事故的重要手段；利用監測數據建立基于數據驅動的預測模型預測結構變形數據，更成為結構自動監測系統研究的關鍵技術之一.

結構變形預測的模型主要包含回歸預測模型[1-3]、灰色模型[4-8]、時間序列模型[9-13]和人工智能模型[14].為了更加準確地預測土壩沉降，Chen等[3]在傳統回歸模型中加入物理因子，利用安裝在大壩內部的綜合監測系統采集沉降數據.測試結果表明，Chen 等[3]所提模型平均誤差為1.02%～4.48%，略低于傳統的多元非線性回歸模型.回歸預測模型屬于靜態模型，當監測數據量大且精準時，預測效果較好，但在實際使用過程中物理因子的選用對模型影響較大，模型的魯棒性有待提高.張立亞等[8]利用隧道拱頂和地表的沉降序列數據建立強、弱隨機性非等間隔灰色預測模型，由隧道累計沉降量的增長、減速增長及平緩增長3 個階段的數據測試結果得出當預測步數≥8 時，強隨機模型的精度仍能達到2.96%，但弱隨機在這3 個階段的預測效果均不佳.灰色模型要求數據呈指數增長趨勢，只適合中短期的預測，使該模型在實際工程中的應用受限.He 等[15]利用小基線子集干涉合成孔徑雷達（small baseline subset interferometric synthetic aperture radar，SBAS-InSAR）技術獲得礦區表面變形的時空演化特征.時間序列InSAR 數據通過具有窺視孔長短期記憶的卷積神經網絡（convolutional neural network with peephole long short time memory，CNN-PhLSTM）進行預測，得到的預測結果與不同軌道的InSAR 數據具有高度相關性，但當缺失數據量大時，時間序列模型預測結果將受到較大影響.

隨著結構安全自動監測系統的廣泛使用，結構監測數據正逐步進入大數據的時代，機器學習特別是深度學習研究浪潮的興起，基于深度學習的結構監測數據預測成為該領域的研究熱點.Qiu 等[16]提出基于萊文貝格-馬夸特（Levenberg-Marquardt，LM）優化的條件深度信念網絡（conditional deep belief network，CDBN）模型，并采用該模型預測超高層建筑變形，結果表明，優化的CBDN 具有較高的預測精度.Yang 等[17]利用長短時記憶網絡[18-21]（long short term memory，LSTM）模型預測邊坡周期性位移，結果表明，LSTM 模型可以充分利用歷史信息來提高預測性能.Luo 等[22]為了在不增加運算量的同時擴大感受視野，更多地利用時間序列的長周期特征，提出基于時間卷積網絡（temporal convol-utional network，TCN）的結構變形預測模型，并通過正交試驗優化模型參數，實測數據的測試結果表明，該模型預測精度良好且有效減少了運算時間.針對LSTM 只能提取數據的前向信息而對數據的時間特征利用效果不佳，王亞飛等[23]提出雙向長短時記憶網絡[24-25]（Bi-LSTM）的結構變形預測模型，利用2 個不相關的LSTM 模型從前向和后向分別提取數據的時間信息.測試結果表明，相比小波神經網絡[26]（wavelet neural network，WNN）、LSTM、門控循環單元[27](gated recurrent unit，GRU)模型，王亞飛等[22]所提模型具有更高的準確性.基于深度學習的預測模型因良好的預測性能得到廣泛的應用，但深度學習為了建立準確的映射關系，須增加隱含層層數，導致模型訓練時間復雜度劇增，限制了模型在實際中的應用.

作為新的機器學習方法，寬度學習系統[28]（broad learning system,BLS）在保障良好性能的同時使運算時間大幅度下降.為了改善深度學習預測模型運算時間的問題，本研究充分利用監測數據的雙向變化規律并結合GRU 和BLS，提出基于雙向門控式寬度學習系統（bi-directional gated broad learning system，Bi-G-BLS）的監測數據結構變形預測模型（以下簡稱為Bi-G-BLS 預測模型或Bi-G-BLS）.研究工作包括：對BLS 的特征節點增加循環反饋和遺忘門結構，克服BLS 模型對監測數據的長期依賴，提高當前節點對前一節點的依賴關系；分別從正向和反向提取時間序列的內部特征，有效挖掘監測數據的雙向變化規律，在提高預測精度的同時有效降低深度學習模型的預測時間.

1 基本理論

1.1 寬度學習

BLS 是在改進隨機向量函數連接神經網絡（random vector functional-link neural network，RVFLNN）輸入層組成結構的基礎上提出機器學習算法，模型的網絡結構如圖1 所示.假設{X∈Ra×l,Y∈Ra×1}分別為模型初始的輸入和最終輸出，其中a為訓練數據集的大小，l為模型預測步長.Zi為第i組特征映射節點輸出，由ui個映射節點組成；Zn∈Ra×μ為整個特征映射層輸出，其中；計算式分別為

圖1 寬度學習系統模型的網絡結構圖Fig.1 Network structure diagram of broad learning system model

式中：φi(·) 為激活函數，Wei∈Rl×ui為經過稀疏自編碼器產生的輸入權重，βei∈Ra×ui為第i組映射特征節點的偏置矩陣.輸入連接矩陣的維度和特征組的節點數相同.將特征映射節點數據通過映射函數變換為增強節點輸出值.Hj為第j組增強節點組輸出值，由vj個增強節點組成；Hm∈Ra×η為整個增強節點層輸出，其中；計算式分別為

式中：ξj為非線性激活函數，Whj∈Rμ×vj為第j組增強節點的隨機連接權值矩陣，βhj∈Ra×vj為偏置矩陣，m為增強節點層的組數.將特征映射節點和增強節點組輸出共同作為模型輸入，模型預測輸出Y的表達式為

其中組合矩陣[Zn|Hm]為模型輸入；∈R(μ+η)×1為求解嶺回歸得到的連接權值矩陣，表達式為

1.2 門控循環單元

GRU 是常用的門控循環神經網絡.除了解決循環神經網絡（recurrent neural network，RNN）容易丟失時間序列時間步長較大時信息的依賴關系問題，GRU 還能夠解決梯度消失與爆炸問題.如圖2 所示，GRU 主要由重置門和更新門組成，重置門決定是否保留上一時刻隱藏狀態輸出的信息，更新門可以控制隱藏狀態如何對當前時間步信息的候選隱藏狀態進行更新.重置門和更新門的輸入均為當前時刻的輸入Xt和上一時刻隱藏層輸出Ht-1，輸出由激活函數 σ 計算得出，表達式分別為

圖2 門控循環單元模型的結構圖Fig.2 Structure diagram of gated recurrent unit model

式中：Wxr、Wxz、WHx、WHz為權重矩陣，br、bz均為偏置矩陣.重置門的輸出Rt與上一時刻隱藏狀態輸出Ht-1相乘，若重置門輸出接近0 則將隱藏狀態重置，若接近1 則保留上一時刻隱藏狀態輸出，相乘結果和當前時刻輸入通過激活函數tanh輸出為候選隱藏狀態，表達式為

式中：WxH、WHH為權重矩陣，bH為偏置矩陣.t時刻的隱藏狀態Ht由當前時間步的更新門Zt、前一時間步的隱藏狀態Ht-1和當前時間步的候選隱藏狀態共同作用得到，表達式為

2 基于雙向門控式寬度學習系統的監測數據結構變形預測模型

2.1 Bi-G-BLS 預測模型

BLS 模型有結構簡單、訓練速度快、實時性高的優點，但它對所有數據都賦予相同的權值，無法區分不同輸入數據的重要程度.結合循環網絡結構的特點，本研究在BLS 模型的特征節點層增加門控式結構來控制特征節點提取信息，并充分考慮監測數據的前后相關性，借鑒Bi-LSTM 構建思路，對特征節點增加循環結構和遺忘門，以增強當前提取的時間信息與前一時刻的相關性，由于門控式結構能夠控制信息流的提取，對參與預測值的權重和的特征節點進行篩選，構建結構變形數據Bi-G-BLS 預測模型，模型的結構如圖3 所示.

特征節點層從2 個方向對輸入數據X進行特征提取，得到映射特征輸出E和增強節點輸出F，其中E包括k個正向特征節點組(qmodc=0)，與k個反向特征節點組(qmodc=0)，在F中包括k個正向增強節點組(qmodc=0)，與k個反向增強節點組(qmodc=0)，其中q為組數，c為遺忘門間隔參數，qmodc=0 時Zq重置為零，數據輸入X被分成前向輸入Xf和反向輸入Xb，2 種輸入分別通過特征節點層提取得到，通過增強節點層提取得到，各特征節點的計算式分別為

同理，后向輸入數據

拼接生成的前向和后向增強節點，得到最終增強層節點輸出Hm，

其中 [Zk|Hm] 作為模型輸入，Y為模型輸出.連接[Zk|Hm] 輸入和Y輸出的矩陣通過求解嶺回歸矩陣偽逆得到，

2.2 Bi-G-BLS 預測模型的算法流程

Bi-G-BLS 預測模型訓練過程和BLS 模型相似，無需利用梯度下降算法訓練模型參數取得最優解，該模型把模型訓練的迭代運算轉化為矩陣求解問題.預測模型的具體流程如圖4 所示.假設傳感器采集的一組結構監測數據為XN=[x1,x2,x3,···,xN]，其中N為采樣點數.假定訓練集數據為M，測試集數據為N-M，L為設定的模型步長，分別構造模型訓練輸入Xtr∈R(M-L)×L，測試輸入Xte∈R(N-M-L)×L.將模型訓練輸入劃分成正向結構變形數據和反向訓練數據，

圖4 所提預測模型的流程圖Fig.4 Flowchart of proposed prediction model

7）將Bi-G-BLS 提取的特征節點狀態與增強節點狀態進行拼接，得到連接矩陣的輸入捕捉數據的正向規律和反向規律，完成整體特征和局部特征的提取.和連接矩陣運算得到結構變形預測輸出Y.8）利用訓練后的模型對測試集數據進行預測，由各評價指標實現模型誤差分析.

3 實驗結果及分析

3.1 實驗數據及實驗環境

如圖5 所示，為了研究實驗方法的預測效果，使用某地在建地鐵基坑地表沉降數據作為本次實驗的監測數據集，數據由靜力水準儀測得，包含1 373 個沉降位移量.圖中，S為沉降位移.實驗中將數據70%劃分為訓練集，30%作為測試集.沉降數據分布區間廣，為了防止不同評價指標的量綱對結果的影響，消除奇異樣本數據，在實驗前進行數據歸一化處理，映射區間為 [-1,1]，計算式為

圖5 實驗沉降數據Fig.5 Experimental settlement data

式中：xi為第i個監測數據，為歸一化后的數據，Xmin和Xmax是原始數據的最小值和最大值.本實驗在96 G 內存，安裝有64 位操作系統的 Windows10系統上進行，處理器為Intel(R) Core(TM) i5-6200U @2.30 GHz，RAM 為4G，配置3 組NVIDIA GeForce RTX 2080 Ti 顯卡和480 G 固態硬盤.實驗平臺為Anaconda3-4.10.3，編程語言版本為 Python-3.6，實驗框架為Tensorflow2.2.0-gpu.

3.2 模型評價指標

衡量預測模型性能的常用指標為均方誤差MSE、均方根誤差 RMSE、平均絕對誤差 MAE、平均絕對百分比誤差 MAPE，本研究采用RMSE、MAE 和MAPE 衡量模型的預測效果，各項指標的計算式分別為

3.3 實驗結果及分析

為了檢驗Bi-G-BLS 預測模型的精準度和有效性，對影響預測的模型參數進行多次重復實驗，當遺忘門間隔參數c=6，映射特征節點數為15，映射特征組數為22 時，模型的預測結果最佳.利用測試輸入數據預測沉降值，并將預測結果與真實值進行對比，預測結果和真實值對比如圖6所示.由圖可知，Bi-G-BLS 的預測曲線和真實值曲線擬合度很高，僅少量點的預測數據和實際沉降值有些許偏差.在整體上，模型預測值準確反映了真實數據的變化趨勢；在局部數據變化較劇烈處，預測曲線也能夠貼近數據的真實曲線，各個峰值的預測值與沉降數據也較相近.Bi-G-BLS的預測誤差RMSE、MAE、MAPE 分別為0.905 4、0.449 8、0.793 2，完成數據預測所需的時間為2.07 s.綜合可知，Bi-G-BLS 預測結構沉降具有良好的準確性和處理速度.

圖6 所提預測模型的預測結果Fig.6 Prediction result of proposed prediction model

將Bi-G-BLS 與GRU、BLS、Bi-LSTM、G-BLS進行對比，并對把對比結果的局部變化進行放大，各預測模型對比結果如圖7 所示.由圖可知，BLS 的預測效果最差，在多處采樣點的預測值和真實值存在較大誤差.與BLS 相比，GRU 效果更好，在整體上能夠反映出沉降數據的變化趨勢.原因是GRU 利用2 個門把有用信息保留下來，將時間跨度過大的不相關信息濾除掉，保留了與當前數據時間相關度高的數據.GRU 處理數據花費時間長，僅利用單側信息的特征進行預測，精準度也有待提高，在采樣點100～180，前后數據變化幅度小時預測效果較好，在采樣點250～300，沉降數據出現較大變化，模型的預測結果出現很大誤差.G-BLS 整體上反映了沉降數據的變化趨勢，但在一些局部峰值處的預測值和真實值相差較大.從整體上看，Bi-G-BLS 和Bi-LSTM 的預測值和真實值接近，由圖7(b)可以看出，Bi-G-BLS 在數據峰值出的預測曲線和真實擬合程度最高，預測效果最好.Bi-G-BLS 結合了BLS 運算時間短和GRU運算精度高的優點，利用在BLS 的特征節點層加入的循環反饋與遺忘門，使上一時刻的特征節點輸出為當前特征節點的輸入，能夠有選擇地提取時間序列的相關特征，并通過提取數據的正向規律和反向規律對結構變形數據進行預測，使得數據的精度得到進一步提高.

圖7 不同預測模型的預測值與真實值對比Fig.7 Comparison of predicted value and real value for different prediction models

對比各預測模型誤差，綜合RMSE、MAE、MAPE 及運行時間判斷模型性能如表1 所示.表中，t為運算時間.可以看出，與GRU、BLS、Bi-LSTM、G-BLS 相比，Bi-G-BLS 的預測誤差RMSE 分別降低了35.31%、23.77%、9.01%、16.05%，MAE 分別降低了6.64%、29.99%、5.11%、9.51%，MAPE 分別降低了33.25%、34.89%、27.48%、2.03%.還可以看出，Bi-G-BLS 與Bi-LSTM 的預測誤差接近，運算時間比Bi-LSTM 降低了503.82 s，模型的運算效率得到顯著提高.綜合分析可知，Bi-G-BLS 不僅提高了BLS 的預測精確度，實現結構變形所需的時間較傳統BLS 和Bi-LSTM 顯著降低.對比結果表明，新模型是滿足現代工程結構變形預測要求的良好模型，能夠為大型工程提供科學有效的數據支持.

表1 不同預測模型的性能對比Tab.1 Performance comparison of different prediction models

4 結語

針對傳統的深度學習預測模型運算時間問題，本研究提出Bi-G-BLS 預測模型.所提模型結合Bi-LSTM 和BLS 模型優點，從正向和反向采集時間序列的內部特征，利用監測數據的前后時間變化規律在提高預測精度的同時降低了運算時間.結合GRU，所提模型對BLS 特征層增加循環反饋結構和遺忘門，利用歷史時刻與當前時刻數據關聯性，進一步提高了預測精度.工程實測數據測試結果表明，所提模型相較于GRU、BLS、Bi-LSTM、G-BLS 模型的MAPE、RMSE 和MAE 均有下降，是行之有效的結構監測預測模型，具有良好的實際應用價值.結構變形數據受外部因素多，未來將考慮外界因素對預測模型的影響，并利用多組傳感器對結構變形進行監測，充分利用多傳感器監測數據的相關性，通過數據融合綜合預測結構狀態的變化情況，為結構健康自動化監測系統輔助決策提供支撐.