基于ＴＣＮ 和遷移學習的混凝土壩變形預測方法

張健飛　葉亮　王磊

摘 要：混凝土壩變形測點數(shù)據(jù)丟失或者新增測點測量時間太短都會導致這部分測點的數(shù)據(jù)量不足，使得變形預測精度受到影響。為了提高這些小數(shù)據(jù)量測點的變形預測精度，提出了將時域卷積網(wǎng)絡(luò)（ＴＣＮ）與遷移學習相結(jié)合的變形預測方法。以數(shù)據(jù)量充足的測點為源域，以缺少數(shù)據(jù)的測點為目標域，將在源域上訓練好的ＴＣＮ 模型的結(jié)構(gòu)和參數(shù)遷移到目標域模型中，固定其中的凍結(jié)層參數(shù)，利用目標域中的數(shù)據(jù)對目標域模型可調(diào)層參數(shù)進行調(diào)整。同時，采用動態(tài)時間規(guī)整選擇與目標域數(shù)據(jù)序列相似度最高的監(jiān)測數(shù)據(jù)作為最佳源域數(shù)據(jù)，提升遷移學習效果。工程實例分析表明：遷移學習后的目標域模型的均方根誤差和平均絕對誤差與利用足量數(shù)據(jù)訓練的ＴＣＮ 模型的預測誤差相比，差異僅分別為１．７３％和８．０９％，小數(shù)據(jù)量情況下ＴＣＮ 預測模型的精度得到了提高。

關(guān)鍵詞：時域卷積網(wǎng)絡(luò)；遷移學習；動態(tài)時間規(guī)整；變形預測

中圖分類號：ＴＶ６９８．１ 文獻標志碼：Ａ ｄｏｉ：１０．３９６９／ ｊ．ｉｓｓｎ．１０００－１３７９．２０２４．０４．０２４

引用格式：張健飛，葉亮，王磊．基于ＴＣＮ 和遷移學習的混凝土壩變形預測方法［Ｊ］．人民黃河，２０２４，４６（４）：１４２－１４７．

混凝土壩是大壩的主要壩型之一，目前全球壩高２５０ ｍ 以上的大壩超過一半為混凝土壩。這些混凝土壩在運行過程中受到循環(huán)荷載、環(huán)境侵蝕、人為破壞及自然災害等因素作用，局部和整體安全性能將逐步下降。變形是一種能夠直觀反映混凝土壩安全狀態(tài)的綜合效應量。通過大壩變形分析和預測，能夠?qū)崟r掌握大壩工作性態(tài)、及時診斷大壩異常，因此依據(jù)實測數(shù)據(jù)建立變形預測模型對混凝土壩的安全運行具有重要意義［１］ 。目前，應用較廣的混凝土壩變形預測模型主要有統(tǒng)計模型、確定性模型、混合模型、組合模型、時空分布模型和人工智能模型等［２］ 。

隨著深度學習的快速發(fā)展，長短期記憶網(wǎng)絡(luò)（ＬｏｎｇＳｈｏｒｔ?Ｔｅｒｍ Ｍｅｍｏｒｙ，簡稱ＬＳＴＭ）和卷積神經(jīng)網(wǎng)絡(luò)（Ｃｏｎｖｏ?ｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，簡稱ＣＮＮ）等深度神經(jīng)網(wǎng)絡(luò)已經(jīng)在混凝土壩變形預測中得到了應用。其中ＬＳＴＭ 在長時間序列數(shù)據(jù)學習訓練中克服了梯度爆炸和梯度消失的瓶頸，具有較強的長序列數(shù)據(jù)學習能力，在混凝土壩變形預測中研究成果較多［３－５］ ，但ＬＳＴＭ 模型的每一步預測都依賴上一步的隱藏狀態(tài)，并行性較差，且存在訓練耗時長、處理長序列時容易丟失信息等問題［６］ 。時域卷積網(wǎng)絡(luò)（ Ｔｅｍｐｏｒａｌ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ， 簡稱ＴＣＮ）的提出為時間序列建模提供了一種新的思路。ＴＣＮ 由具有相同輸入和輸出長度的膨脹因果卷積層組成，具有占用內(nèi)存小、梯度穩(wěn)定、并行性好和感受野靈活的優(yōu)點，較之ＬＳＴＭ 等循環(huán)神經(jīng)網(wǎng)絡(luò)，概念更加簡潔明了，記憶能力更加長久［７］ ，已經(jīng)在降水量預測［８］ 、天氣預測［９］ 和用電量預測［１０］ 等方面得到了較多應用，并開始用于大壩變形預測［１１］ 。

ＬＳＴＭ 和ＴＣＮ 等深度學習模型雖然都取得了優(yōu)良的預測效果，但是其訓練需要足夠長的連續(xù)監(jiān)測序列數(shù)據(jù)。實際工程中，有的大壩變形測點因儀器故障、誤操作等而造成前期監(jiān)測數(shù)據(jù)大量丟失，有的新建測點因監(jiān)測周期短而使得監(jiān)測數(shù)據(jù)偏少。對于這些監(jiān)測數(shù)據(jù)不足的情況，深度學習模型容易出現(xiàn)過擬合，模型的泛化性能變差、預測精度下降。因此，有必要研究在缺少監(jiān)測數(shù)據(jù)條件下的深度學習預測模型的有效訓練問題。遷移學習是一種將源域中學習到的知識遷移到目標域的學習過程。采用遷移學習，可以將具有足量數(shù)據(jù)的同類或者不同類測點的信息遷移到數(shù)據(jù)量不足的測點，從而在一定程度上解決訓練樣本不足的問題，分為基于模型、基于實例、基于特征和基于關(guān)系的遷移學習４ 類。目前，在時間序列預測領(lǐng)域，基于模型的遷移學習研究較多，其次是基于實例的遷移學習，而基于特征和關(guān)系的遷移學習相對較少。王學智等［１２］ 提出了一種土壤濕度時空預測模型，采用三維卷積層和長短期記憶網(wǎng)絡(luò)提取源域中的空間和時間特征，利用目標數(shù)據(jù)集對網(wǎng)絡(luò)參數(shù)進行微調(diào)。史凱鈺等［１３］ 以數(shù)據(jù)充足的光伏系統(tǒng)為源域，以數(shù)據(jù)有限的光伏系統(tǒng)為目標域，建立了一種基于ＬＳＴＭ 的光伏發(fā)電功率預測模型。Ｍａ 等［１４］ 提出了一種基于遷移學習的雙向ＬＳＴＭ 空氣質(zhì)量預測模型，以小時間分辨率數(shù)據(jù)為源數(shù)據(jù)，以大分辨率數(shù)據(jù)為目標數(shù)據(jù)，采用源數(shù)據(jù)對模型進行預訓練，采用目標數(shù)據(jù)對剩余網(wǎng)絡(luò)層進行調(diào)整。Ｈｕ 等［１５］ 采用具有豐富數(shù)據(jù)的已建風電場的數(shù)據(jù)對深度神經(jīng)網(wǎng)絡(luò)進行訓練，利用新建風電場的數(shù)據(jù)對網(wǎng)絡(luò)參數(shù)進行微調(diào)，實現(xiàn)不同風電場信息的相互遷移。Ｃｈｅｎ 等［１６］ 采用ＴｒＡｄａＢｏｏｓｔ 算法建立了一種基于實例遷移的ＬＳＴＭ 模型，從相關(guān)測點完整監(jiān)測數(shù)據(jù)中獲取有用的信息，實現(xiàn)大段連續(xù)缺失數(shù)據(jù)的填補。

本文提出一種基于ＴＣＮ 和遷移學習的混凝土壩變形預測方法，用于在缺乏足夠監(jiān)測數(shù)據(jù)條件下建立有效的變形預測模型。首先以具有足夠監(jiān)測數(shù)據(jù)的測點為源域，以缺乏數(shù)據(jù)的測點為目標域，采用ＴＣＮ 建立源域和目標域的預測模型，然后根據(jù)動態(tài)時間規(guī)整（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ，簡稱ＤＴＷ）距離選取與目標域數(shù)據(jù)相似度最高的源域數(shù)據(jù)對源域模型進行訓練，目標模型的低層網(wǎng)絡(luò)權(quán)重直接從源域模型中獲取，高層網(wǎng)絡(luò)權(quán)重在源域模型權(quán)重的基礎(chǔ)上利用目標域數(shù)據(jù)進行調(diào)整，從而實現(xiàn)源域知識向目標域的遷移，提高監(jiān)測數(shù)據(jù)量不足情況下的變形預測精度。

１ 基于ＴＣＮ 和遷移學習的預測模型

１．１ 時域卷積網(wǎng)絡(luò)

ＴＣＮ 是一種用于時間序列建模的卷積神經(jīng)網(wǎng)絡(luò)，核心組件是因果膨脹網(wǎng)絡(luò)，其主要特點是：網(wǎng)絡(luò)的輸入與輸出具有因果關(guān)系，感受野的大小可以通過改變超參數(shù)進行調(diào)整。假設(shè)輸入序列為｛ｘ０，ｘ１，…，ｘＴ ｝，預測輸出序列為｛ｙ０，ｙ１，…，ｙＴ ｝，時刻ｔ 的預測值ｙｔ 由輸入序列值的卷積運算得到，并且滿足因果關(guān)系，即ｙｔ只依賴于ｔ 時刻及之前的輸入ｘ０、ｘ１、…、ｘｔ ，而與未來的ｘｔ ＋１、ｘｔ ＋２、…、ｘＴ無關(guān)，這種卷積被稱為因果卷積。對于時間序列預測，網(wǎng)絡(luò)通常需要記憶長期的信息，也就是需要ＴＣＮ 具有足夠大的感受野。原始的因果卷積的感受野與網(wǎng)絡(luò)深度成線性關(guān)系，為擴大模型的感受野，需要堆疊較多的卷積層，從而增加了網(wǎng)絡(luò)訓練的計算量和難度。ＴＣＮ 中使用了膨脹卷積，在卷積核的相鄰節(jié)點間設(shè)置特定數(shù)量的空隙，從而使得感受野大小與網(wǎng)絡(luò)深度成指數(shù)關(guān)系，在不改變卷積核大小的情況下可以獲取更大范圍的信息。因果膨脹卷積輸出序列的第ｓ 個元素的卷積運算函數(shù)Ｆ（ｓ）定義為

式中：ｆｉ為卷積核，ｋ 為卷積核尺寸，ｄ 為膨脹因子。

在膨脹卷積中通常按網(wǎng)絡(luò)深度的指數(shù)方式增大膨脹因子，這樣可以保證卷積操作覆蓋到有效范圍內(nèi)的所有輸入元素。深層網(wǎng)絡(luò)在訓練過程中容易出現(xiàn)梯度消失和梯度爆炸的問題，殘差鏈接被證明是訓練深層網(wǎng)絡(luò)的有效方法，它使得網(wǎng)絡(luò)能夠跨層傳遞信息。本文用于混凝土壩變形預測的ＴＣＮ 模型結(jié)構(gòu)如圖１ 所示，包括輸入層、若干膨脹卷積殘差塊和輸出層。

每個膨脹卷積殘差塊由膨脹因果卷積層、ＲｅＬＵ激活層和隨機失活層（Ｄｒｏｐｏｕｔ）組成。輸入序列｛ｘ０，ｘ１，…，ｘＴ ｝依次經(jīng)過若干個膨脹卷積殘差塊，在每個殘差塊中，輸入元素經(jīng)過一系列變換后得到的元素與原始輸入元素相加，并通過ＲｅＬＵ 激活層、隨機失活層運算得到輸出元素。

ＴＣＮ 預測模型由殘差塊完成對輸入序列時間特征的提取，輸出層為全連接層，負責將殘差塊的多維輸出元素組合后作為下一時刻的預測值。

１．２ 遷移學習

遷移學習涉及源域Ｄｓ 、源任務Ｔｓ 和目標域Ｄｔ 、目標任務Ｔｔ 。遷移學習的目標就是在Ｄｓ ≠Ｄｔ 或者Ｔｓ ≠Ｔｔ的情況下，用Ｄｓ 和Ｔｓ 的知識，來提升目標任務Ｔｔ 的完成效果。本文采用的是基于模型的遷移學習方法，源域為具有足夠長變形監(jiān)測數(shù)據(jù)序列的測點，源任務為源域測值的預測，目標域為變形監(jiān)測數(shù)據(jù)量不足的測點，目標任務是目標域測值預測，通過遷移學習將源域上訓練好的模型結(jié)構(gòu)和參數(shù)選擇性遷移到目標域模型中，為目標域提供有價值的信息，提升目標域的測值預測能力。

遷移學習流程如圖２ 所示，在遷移過程中，預訓練網(wǎng)絡(luò)的若干低層殘差塊為凍結(jié)層，高層殘差塊和輸出層為可調(diào)層，也就是說在利用目標域數(shù)據(jù)進行訓練時，只對高層殘差塊和輸出層的參數(shù)進行調(diào)整，其余各層的參數(shù)保持不變，從而大大減少了訓練參數(shù)，降低了對訓練數(shù)據(jù)量的要求。遷移學習具體步驟如下。

１）預訓練。建立源域變形預測ＴＣＮ 模型，利用源域數(shù)據(jù)對源域模型進行訓練，保存模型的結(jié)構(gòu)和參數(shù)。

２）網(wǎng)絡(luò)調(diào)整。讀取源域模型結(jié)構(gòu)和參數(shù)，建立目標域變形預測模型，利用目標域數(shù)據(jù)對目標域模型進行訓練，訓練過程中固定凍結(jié)層參數(shù)，僅對可調(diào)層參數(shù)進行調(diào)整。

３）網(wǎng)絡(luò)驗證。將目標域測試集數(shù)據(jù)輸入目標域模型得到預測值，與實測值對比，分析遷移后的模型性能。

１．３ 基于動態(tài)時間歸整的時間序列相似度匹配

遷移學習并不總是有效的，當源域和目標域數(shù)據(jù)分布差異較大時會出現(xiàn)負遷移現(xiàn)象，即源域知識反而會導致目標域?qū)W習性能下降。本文采用ＤＴＷ 方法衡量源域和目標域數(shù)據(jù)序列的相似度，選取相似度最高的源域數(shù)據(jù)對目標域預測任務進行增強。ＤＴＷ 是一種比較兩個長度不同的時間序列的方法，其基本原理是通過對兩個時間序列進行局部拉伸和壓縮，使其相互之間盡量相似，然后通過累加對齊點之間的距離得到時間序列之間的距離，用于衡量時間序列之間的相似度［１７］ 。目前，ＤＴＷ 方法已經(jīng)在語音識別［１８］ 、手勢識別［１９］ 和故障診斷［２０］ 等領(lǐng)域得到了廣泛應用。

給定兩個長度分別為ｎ 和ｍ 的時間序列Ｑ ＝｛ｑ１，ｑ２，…，ｑｎ ｝和Ｃ ＝｛ｃ１，ｃ２，…，ｃｍ ｝，構(gòu)造一個ｎ×ｍ 的矩陣Ｄ，矩陣中元素ｑｉ和ｃｊ 的距離為ｄ（ｑｉ ，ｃｊ ），一般為歐氏距離。規(guī)整路徑Ｗ 為一條通過矩陣Ｄ 中若干格點（ｉ，ｊ）的路徑，路徑通過的格點即兩個序列進行計算的對齊點。Ｗ 的第ｋ 個元素定義為ｗｋ ＝ （ｉ，ｊ）ｋ ，從而得到規(guī)整路徑：

Ｗ ＝｛ｗ１，ｗ２，…，ｗＫ ｝ ［ｍａｘ（ｍ，ｎ）≤Ｋ≤ｍ＋ｎ＋１］（２）

這條路徑需要滿足連續(xù)性和單調(diào)性約束，因此如果路徑已經(jīng)通過了格點（ｉ，ｊ），那么下一個通過的格點只可能是（ｉ＋１，ｊ）、（ｉ，ｊ＋１）或（ｉ＋１，ｊ＋１）。滿足這些約束條件的路徑很多，動態(tài)時間規(guī)整的目的就是在這些路徑中找到一條累計距離最小的最優(yōu)路徑。為了求解最優(yōu)路徑，構(gòu)建累計距離矩陣γ，其中的元素γ（ｉ，ｊ）為當前格點距離ｄ（ｑｉ ，ｃｊ ）與可以到達該點的鄰近元素的最小累計距離之和：

γ（ｉ，ｊ）＝ ｄ（ｑｉ ，ｃｊ ）＋ｍｉｎ［γ（ｉ－１，ｊ－１），γ（ｉ－１，ｊ），γ（ｉ，ｊ－１）］（３）

采用動態(tài)規(guī)劃算法求解式（３），從（０，０）點開始匹配時間序列Ｑ 和Ｃ，到達終點（ｎ，ｍ）后，得到的累計距離就是最后的ＤＴＷ 距離，距離越小表示這兩個時間序列越相似。

２ 實例驗證與分析

２．１ 工程實例

某混凝土重力壩，壩頂高程１１７．５ ｍ，最大壩高８５．８３ ｍ，壩頂總長７１９．７ ｍ，共分為３４ 個壩段，如圖３所示。大壩和船閘的水平位移采用垂線及引張線進行觀測，垂直位移主要采用靜力水準觀測，引張線和靜力水準測點均接入自動化監(jiān)測系統(tǒng)，每天自動觀測１ 次。本文所使用的變形測點布置如圖３ 所示，包括：壩頂引張線測點ＥＸ２－７、ＥＸ２－８、ＥＸ２－１３、ＥＸ２－１４ 和ＥＸ２－２１，廊道引張線測點ＥＸ１－８，以及船閘閘墻引張線測點ＳＳ４１；壩頂靜力水準測點Ｊ９、Ｊ１０、Ｊ１５、Ｊ２１、Ｊ２６ 和壩基靜力水準測點ＪＪ１５－１。引張線測點監(jiān)測時段為２００５－０１－０１—２０２１－０２－２７，壩頂靜力水準測點監(jiān)測時段為２００４－０４－１５—２０２１－０３－２３，壩基靜力水準測點的監(jiān)測時段為２００６－０６－１０—２０２１－０３－１４。大壩變形主要受溫度影響，呈現(xiàn)較強的年周期變化規(guī)律，船閘閘墻主要受溫度和閘室水位影響。

為了對ＴＣＮ 進行訓練，需要采用滑動窗口的方法把原始監(jiān)測序列數(shù)據(jù)轉(zhuǎn)化為一系列子序列，形成如式（４）所示的數(shù)據(jù)對：

｛ＳＴ － Ｗ ，ＳＴ －（ Ｗ －１） ，…，ＳＴ －２，ＳＴ －１｝→｛ＳＴ ｝ （４）

式中：｛ＳＴ － Ｗ ，ＳＴ －（ Ｗ －１） ，…，ＳＴ －２，ＳＴ －１｝為輸入序列；｛ＳＴ ｝為預測值；Ｗ 為滑動窗口的寬度，也是輸入序列的長度。

滑動窗口每次向前移動１ 步，從而對于長度為Ｎ的監(jiān)測序列數(shù)據(jù)，可以形成Ｎ －Ｗ ＋１ 個數(shù)據(jù)對，作為ＴＣＮ 的訓練和測試樣本。

２．２ 網(wǎng)絡(luò)超參數(shù)

神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)和超參數(shù)對其性能具有很大的影響，本文利用ＥＸ２－１４ 測點的實測數(shù)據(jù)和網(wǎng)格搜索法對神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)進行搜索尋優(yōu)，模型的評價指標采用５ 折交叉驗證均方根誤差。ＴＣＮ 網(wǎng)絡(luò)的搜索超參數(shù)包括：殘差塊中膨脹卷積的卷積核尺寸和卷積核個數(shù)，搜索格點分別為２、４、８ 和１６、３２、４８，共計９種超參數(shù)組合。搜索得到的最優(yōu)超參數(shù)組合為：卷積核尺寸２，卷積核個數(shù)３２。殘差塊的個數(shù)根據(jù)輸入序列長度與感受野覆蓋關(guān)系確定，分別測試了輸入序列長度為１５、３０、６０ 三種情況，當輸入序列長度取值３０時，預測效果最好，因此本文輸入序列長度統(tǒng)一取３０。根據(jù)ＴＣＮ 網(wǎng)絡(luò)感受野要能覆蓋輸入序列長度的要求，本文ＴＣＮ 包括５ 個膨脹卷積殘差塊，每個殘差塊中的膨脹因子分別為１、２、４、８ 和１６。

ＬＳＴＭ 網(wǎng)絡(luò)參與比較。分別對包含１ 層、２ 層和３層ＬＳＴＭ 的網(wǎng)絡(luò)結(jié)構(gòu)的不同超參數(shù)組合進行了比選，搜索超參數(shù)為每一層ＬＳＴＭ 的輸出維度，搜索格點為１６、３２、４８。一層ＬＳＴＭ 結(jié)構(gòu)共計３ 種超參數(shù)組合，二層結(jié)構(gòu)共計９ 種超參數(shù)組合，三層結(jié)構(gòu)共計２７ 種超參數(shù)組合，綜合考慮精度和效率后選用二層網(wǎng)絡(luò)結(jié)構(gòu)，每層輸出維度均為３２。

２．３ ＴＣＮ 預測結(jié)果與分析

為了檢驗ＴＣＮ 在混凝土壩變形預測中的效果，本文采用圖３ 所示測點的監(jiān)測數(shù)據(jù)對ＴＣＮ 進行訓練和測試，并與ＬＳＴＭ 網(wǎng)絡(luò)進行了比較，訓練集、驗證集和測試集的劃分比例取６ ∶ ２ ∶ ２。各測點在測試集上的均方根誤差（ 簡稱ＲＭＳＥ） 和平均絕對誤差（ 簡稱ＭＡＥ）見表１。可知：ＴＣＮ 和ＬＳＴＭ 在總體上具有較高的預測精度，ＴＣＮ 在多數(shù)測點上的精度略高于ＬＳＴＭ，對于如圖４ 和圖５ 所示規(guī)律性較差的ＪＪ１５－１ 測點以及測試集存在突變段的ＥＸ２－２１ 測點，ＴＣＮ 的預測精度明顯高于ＬＳＴＭ，說明ＴＣＮ 具有更強的時間特征挖掘能力和預測能力。

２．４ 遷移學習結(jié)果分析

為了說明訓練數(shù)據(jù)量對模型精度的影響， 以ＥＸ２－１４測點為例，分別截取原始訓練數(shù)據(jù)序列長度的１００％、７５％、５０％、２５％、１０％和５％作為訓練數(shù)據(jù)集，即訓練數(shù)據(jù)序列長度分別為５ ２６９、３ ９５２、２ ６３５、１ ３１７、５２７ 和２６３。測試集統(tǒng)一取最后一年的監(jiān)測數(shù)據(jù)，其有效監(jiān)測期數(shù)為３５９，避免測試集樣本及其數(shù)量的不同造成預測誤差計算的基準不同，使得誤差不具有可比性。圖６ 為ＴＣＮ 模型在ＥＸ２－１４ 測點不同長度訓練數(shù)據(jù)集上１０ 次計算的預測結(jié)果的箱線圖。數(shù)據(jù)足量時誤差均值最小，ＲＭＳＥ 和ＭＡＥ 分別為０．３９２ ３ ｍｍ 和０．２０６ ５ ｍｍ，隨著訓練數(shù)據(jù)量的下降，預測誤差的均值逐漸增大，預測誤差分散程度也逐步增大，當訓練數(shù)據(jù)量較大時誤差增大幅度較小，且運算結(jié)果穩(wěn)定，當數(shù)據(jù)量降為原有數(shù)據(jù)量的１０％以下后，誤差大幅增大，預測結(jié)果更加分散，當數(shù)據(jù)量降至原有數(shù)據(jù)量的５％時誤差均值最大，ＲＭＳＥ 和ＭＡＥ 分別為０．７５０ ５ ｍｍ 和０．５２４ ８ ｍｍ，說明訓練數(shù)據(jù)量對于模型的精度和穩(wěn)定性都具有重要影響。

為了驗證本文提出的遷移學習策略的效果，選取具有５％訓練數(shù)據(jù)長度的引張線測點ＥＸ２－１４ 作為數(shù)據(jù)量不足的目標域，以表２ 中的其他測點作為源域，這些源域數(shù)據(jù)集的選取分別考慮了壩段類型、測點類型和距離等因素。同時，為了選取最佳遷移方案，分別對３ 種不同的遷移方案進行了測試：方案１，圖２ 中僅輸出層可調(diào)整；方案２，卷積殘差模塊５ 和輸出層可調(diào)整；方案３，卷積殘差模塊４、５ 和輸出層可調(diào)整。表２給出了不同源域和不同遷移方案的遷移學習效果。可知：與圖６ 中同等訓練數(shù)據(jù)量的預測結(jié)果相比，經(jīng)過遷移學習后的目標域模型的預測精度較遷移學習前得到了大幅提高，不同源域的遷移效果各不相同，遷移方案２和３ 整體上優(yōu)于方案１，方案３ 較之方案２ 沒有明顯效果提升，說明過度增加可調(diào)整層不能進一步提高遷移效果。因此，本文選取遷移方案２ 作為最終的遷移方案。

考慮到監(jiān)測數(shù)據(jù)缺失周期內(nèi)大壩不同測點對不同工作狀態(tài)的反應可能存在不一致的情況，從而造成這些測點的監(jiān)測數(shù)據(jù)之間存在較大差異。為了選取最佳源域測點，獲取最佳的遷移學習效果，采用ＤＴＷ 方法衡量源域監(jiān)測序列與目標域監(jiān)測序列的相似度，選擇相似度最高即ＤＴＷ 距離最小的監(jiān)測序列作為源域數(shù)據(jù)。ＤＴＷ 距離越小，通常遷移學習效果越好（見表２），從圖７ 也可以看出，ＤＴＷ 距離與遷移學習后的預測誤差基本為正線性相關(guān)，隨著ＤＴＷ 距離的減小，預測誤差相應減小。因此，ＤＴＷ 距離可以作為源域選取的依據(jù)，即選取ＤＴＷ 距離最小的測點作為源域。

數(shù)據(jù)量不足的ＥＸ２－１４ 測點經(jīng)過最佳源域測點ＥＸ２－１３ 遷移學習后，目標域ＴＣＮ 模型在測試集上ＲＭＳＥ 和ＭＡＥ 分別為０．３９９ １ ｍｍ 和０．２２３ ２ ｍｍ，與利用足量數(shù)據(jù)訓練的模型預測誤差相比，其差異僅分別為１．７３％和８．０９％。經(jīng)過最佳源域測點ＥＸ２－１３ 遷移學習后目標域ＴＣＮ 模型在測試集上的預測曲線及其與遷移前的比較見圖８。可以看出：遷移學習后目標域模型的預測精度得到了很大提高，預測曲線與實測曲線更加吻合。說明選擇合適的源域，經(jīng)過遷移學習，可以大幅提高缺少數(shù)據(jù)的目標域ＴＣＮ 模型的預測精度。

３ 結(jié)論

首先建立了混凝土壩變形預測的ＴＣＮ 模型，然后針對缺少數(shù)據(jù)的測點，采用遷移學習策略，將數(shù)據(jù)量充足的源域中學習到的知識遷移到缺少數(shù)據(jù)的目標域，提升小數(shù)據(jù)序列情況下ＴＣＮ 模型的預測能力。主要結(jié)論如下：

１）混凝土壩變形預測的ＴＣＮ 模型具有較高的預測精度，特別是對于比較復雜的變形監(jiān)測序列，較之ＬＳＴＭ 模型能夠取得更高的預測精度；

２）通過模型遷移，可以將數(shù)據(jù)量充足的源域預測模型的知識遷移至數(shù)據(jù)量不足的目標域模型，從而提升目標域模型的泛化能力和預測精度；

３）通過ＤＴＷ 可以選擇與目標域數(shù)據(jù)相似度高的監(jiān)測數(shù)據(jù)作為源域數(shù)據(jù)，進一步提升遷移學習效果。

本文所述遷移學習是在同一工程的不同測點之間的知識遷移，未來還將研究不同工程之間的遷移學習問題。

參考文獻：

［１］ 周仁練，蘇懷智，韓彰，等．混凝土壩變形的長期預測模型與應用［Ｊ］．水力發(fā)電學報，２０２１，４０（９）：１２２－１３１．

［２］ 吳中如，陳波．大壩變形監(jiān)控模型發(fā)展回眸［Ｊ］．現(xiàn)代測繪，２０１６，３９（５）：１－３，８．

［３］ 胡安玉，包騰飛，楊晨蕾，等．基于ＬＳＴＭ－Ａｒｉｍａ 的大壩變形組合預測模型及其應用［Ｊ］．長江科學院院報，２０２０，３７（１０）：６４－６８，７５．

［４］ 周蘭庭，柳志坤，徐長華．基于ＷＡ－ＬＳＴＭ－ＡＲＩＭＡ 的混凝土壩變形組合預測模型［Ｊ］．人民黃河，２０２２，４４（１）：１２４－１２８．

［５］ ＹＡＮＧ Ｄａｓｈａｎ，ＧＵ Ｃｈｏｎｇｓｈｉ，ＺＨＵ Ｙａｎｔａｏ，ｅｔ ａｌ．Ａ ＣｏｎｃｒｅｔｅＤａｍ Ｄｅｆｏｒｍａｔｉｏｎ Ｐｒｅｄｉｃｔｉｏｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ ＬＳＴＭ ｗｉｔｈ Ａｔ?ｔｅｎｔｉｏｎ Ｍｅｃｈａｎｉｓｍ［Ｊ］．ＩＥＥＥ ＡＣＣＥＳＳ，２０２０，８：１８５１７７－１８５１８６．

［６］ 左乘旭，胡文俊．基于Ａｔｔｅｎｔｉｏｎ－ＴＣＮ 的液化氣日訂單量預測模型［Ｊ］．計算機應用，２０２２，４２（增刊１）：８７－９３．

［７］ 王軍，高梓勛，單春意．基于ＴＣＮ－Ａｔｔｅｎｔｉｏｎ 模型的多變量黃河徑流量預測［Ｊ］．人民黃河，２０２２，４４（１１）：２０－２５．

［８］ 徐冬梅，王亞琴，王文川．基于ＶＭＤ－ＴＣＮ 的月降水量預測模型［Ｊ］．水文，２０２２，４２（２）：１３－１８．

［９］ 孔震，張華魯，岳圣凱，等．基于時域卷積網(wǎng)絡(luò)的多尺度雙線性天氣預測模型［Ｊ］．圖學學報，２０２０，４１（５）：７６４－７７０．

［１０］ 李揚帆，張凌浩，雷勇，等．基于時間卷積網(wǎng)絡(luò)和門控循環(huán)單元的短期用電量預測方法［Ｊ］． 水電能源科學，２０２１，３９（８）：１９８－２０１，１７３．

［１１］ 曾欣，馬力，戴子卿．基于動態(tài)ＭＩＣ 優(yōu)化ＴＣＮ 的混凝土壩變形預測模型研究［Ｊ］．水力發(fā)電，２０２２，４８（１０）：５８－６３．

［１２］ 王學智，李清亮，李文輝．融合遷移學習的土壤濕度預測時空模型［Ｊ］．吉林大學學報（工學版），２０２２，５２（３）：６７５－６８３．

［１３］ 史凱鈺，張東霞，韓肖清，等．基于ＬＳＴＭ 與遷移學習的光伏發(fā)電功率預測數(shù)字孿生模型［Ｊ］．電網(wǎng)技術(shù)，２０２２，４６（４）：１３６３－１３７２．

［１４］ ＭＡ Ｊ，ＣＨＥＮＧ Ｊ Ｃ Ｐ，ＬＩＮ Ｃ，ｅｔ ａｌ．Ｉｍｐｒｏｖｉｎｇ Ａｉｒ ＱｕａｌｉｔｙＰｒｅｄｉｃｔｉｏｎ Ａｃｃｕｒａｃｙ ａｔ Ｌａｒｇｅｒ Ｔｅｍｐｏｒａｌ Ｒｅｓｏｌｕｔｉｏｎｓ ＵｓｉｎｇＤｅｅｐ Ｌｅａｒｎｉｎｇ ａｎｄ Ｔｒａｎｓｆｅｒ Ｌｅａｒｎｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ［Ｊ］．Ａｔ?ｍｏｓｐｈｅｒｉｃ Ｅｎｖｉｒｏｎｍｅｎｔ，２０１９，２１４（Ｃ）：１１６８８５．

［１５］ ＨＵ Ｑｉｎｇｈｕａ，ＺＨＡＮＧ Ｒｕｊｉａ，ＺＨＯＵ Ｙｕｃａｎ．Ｔｒａｎｓｆｅｒ Ｌｅａｒｎｉｎｇｆｏｒ Ｓｈｏｒｔ?Ｔｅｒｍ Ｗｉｎｄ Ｓｐｅｅｄ Ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔ?ｗｏｒｋｓ［Ｊ］．Ｒｅｎｅｗａｂｌｅ Ｅｎｅｒｇｙ，２０１６，８５：８３－９５．

［１６］ ＣＨＥＮ Ｚｅｎｇ，ＸＵ Ｈｕａｎ，ＪＩＡＮＧ Ｐｅｎｇ，ｅｔ ａｌ． Ａ ＴｒａｎｓｆｅｒＬｅａｒｎｉｎｇ?Ｂａｓｅｄ ＬＳＴＭ Ｓｔｒａｔｅｇｙ ｆｏｒ Ｉｍｐｕｔｉｎｇ Ｌａｒｇｅ?ＳｃａｌｅＣｏｎｓｅｃｕｔｉｖｅ Ｍｉｓｓｉｎｇ Ｄａｔａ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｉｎ ａ ＷａｔｅｒＱｕａｌｉｔｙ Ｐｒｅｄｉｃｔｉｏｎ Ｓｙｓｔｅｍ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｈｙｄｒｏｌｏｇｙ，２０２１，６０２：１２６５７３．

［１７］ ＧＩＯＲＧＩＮＯ Ｔ．Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｖｉｓｕａｌｉｚｉｎｇ Ｄｙｎａｍｉｃ ＴｉｍｅＷａｒｐｉｎｇ Ａｌｉｇｎｍｅｎｔｓ ｉｎ Ｒ： Ｔｈｅ ＤＴＷ Ｐａｃｋａｇｅ［Ｊ］．Ｊｏｕｒｎａｌｏｆ Ｓｔａｔｉｓｔｉｃａｌ Ｓｏｆｔｗａｒｅ，２００９，３１（７）：１－２４．

［１８］ 祝禛天，焦繼業(yè)，劉澤琛．語音識別中動態(tài)時間規(guī)整算法的硬件加速實現(xiàn)［Ｊ］．電子設(shè)計工程，２０２２，３０（７）：２１－２５．

［１９］ 楊尊儉，張淑軍．基于ＤＴＷ 和ＣＮＮ 的仿真駕駛手勢識別及交互［Ｊ］．重慶理工大學學報（自然科學），２０２１，３５（２）：１４４－１５１．

［２０］ 萬書亭，馬曉棣，陳磊，等．基于振動信號短時能熵比與ＤＴＷ 的高壓斷路器狀態(tài)評估及故障診斷［Ｊ］．高電壓技術(shù)，２０２０，４６（１２）：４２４９－４２５７．

【責任編輯 張華巖】

基金項目：國家自然科學基金資助項目（１２０７２１０５）