基于北斗監(jiān)測(cè)數(shù)據(jù)的高陡邊坡變形Transformer-CNN預(yù)測(cè)模型

Resources Development Company Limited， Chongqing 40ooo0，P.R.China; 3.Collge of Design，Sichuan Fine Arts Institute， Chongqing 401331，P.R. China）

Abstract： High and steep slopes are common during theconstruction oflarge-scale projects，and their deformation often leads togeological hazards，posing significant threats tolifeand property.Efficiently collecting displacement data and developinganaccuratepredictive model are therefore essential. This study proposes a Transformer-CNN hybrid model that integrates convolutional layers and residual structures into the Transformer architecture.The optimized model is applied to displacement data obtained from the Beidou satelite system in a large water conservancy project in Chongqing.Experimental results indicate that the Transformer-CNN model achieves lower MAE，MSE，and RMSE values compared to single-model approaches，demonstrating superior prediction accuracy.These findings suggest that the proposed model offers a practical solution for predicting and analyzing slope deformation in similar engineering projects.

Keywords： Transformer-CNN; Beidou dataset; time series; displacement prediction; slope deformation

在大型水利工程建設(shè)過(guò)程中，高陡邊坡由于受力特點(diǎn)極其復(fù)雜，在外部施工等環(huán)境因素的影響下，易發(fā)生坍塌、滑坡等嚴(yán)重地質(zhì)災(zāi)害，給現(xiàn)場(chǎng)施工帶來(lái)不利影響，直接威脅人員的生命和財(cái)產(chǎn)安全。邊坡位移預(yù)測(cè)也由于其重要的經(jīng)濟(jì)價(jià)值和社會(huì)意義，成為國(guó)內(nèi)外眾多學(xué)者的熱點(diǎn)課題[-3]。

傳統(tǒng)進(jìn)行高陡邊坡變形監(jiān)測(cè)的方法很多，國(guó)內(nèi)有：宏觀地質(zhì)監(jiān)測(cè)法、大地精密測(cè)量法、近景攝影測(cè)量法4工程地質(zhì)分析法、極限平衡分析法、數(shù)值分析法等5;國(guó)外主要有：時(shí)域反射法、三維激光掃描技術(shù)等。上述方法只能進(jìn)行單一點(diǎn)的監(jiān)測(cè)，無(wú)法得到其他部分的位移，難以反映形體變形的全貌，對(duì)時(shí)間域和空間域的分辨能力較差[8]。在進(jìn)行數(shù)據(jù)獲取時(shí)，傳統(tǒng)的人工測(cè)量方法是利用全站儀等儀器進(jìn)行直接測(cè)量，具有測(cè)量精度高、數(shù)據(jù)可靠等優(yōu)點(diǎn)，但人工采集需要專業(yè)的儀器和技術(shù)人員，耗時(shí)費(fèi)力、成本較高，常常受到降雨、惡劣天氣等環(huán)境因素的影響，采樣頻率較低且存在較大安全風(fēng)險(xiǎn)。隨著北斗全球組網(wǎng)的完成，GPS測(cè)量系統(tǒng)被廣泛應(yīng)用到包括數(shù)據(jù)獲取在內(nèi)的各個(gè)領(lǐng)域[]，能在復(fù)雜環(huán)境中保證定位和導(dǎo)航的精度，實(shí)現(xiàn) 24h 無(wú)間斷測(cè)量，不受自然條件影響，快速、客觀、準(zhǔn)確地獲取高陡邊坡各個(gè)測(cè)量點(diǎn)的位移數(shù)據(jù)，有效解決傳統(tǒng)的人工測(cè)量法存在成本消耗大、安全性差的問(wèn)題。

隨著人工智能和深度學(xué)習(xí)算法的不斷發(fā)展，越來(lái)越多用于時(shí)序處理的智能預(yù)測(cè)算法在邊坡位移預(yù)測(cè)中得到應(yīng)用，例如支持向量機(jī)回歸算法、隨機(jī)森林算法、梯度提升機(jī)算法、循環(huán)神經(jīng)網(wǎng)絡(luò)算法等]。其中Transformer算法因其并行計(jì)算能力強(qiáng)、能夠捕捉長(zhǎng)距離依賴關(guān)系、可擴(kuò)展性強(qiáng)、泛化能力強(qiáng)等特點(diǎn)，在時(shí)序預(yù)測(cè)領(lǐng)域受到廣大研究者歡迎[12]。然而，該算法的參數(shù)量度大、計(jì)算復(fù)雜度高、缺乏局部感知能力等缺點(diǎn)導(dǎo)致其對(duì)數(shù)據(jù)的需求相對(duì)較高，存在優(yōu)化過(guò)程困難問(wèn)題[3]。而卷積神經(jīng)網(wǎng)絡(luò)CNN（convolutional neural networks）具有層次化結(jié)構(gòu)，通過(guò)在不同位置共享參數(shù)，提高了計(jì)算效率，泛化能力較強(qiáng)，可以較好捕捉局部特征[4]。但受到局部感受野的限制和多層疊加的局限，存在難以捕捉長(zhǎng)距離依賴關(guān)系、缺乏全局理解能力、可擴(kuò)展性有限的缺點(diǎn)[15]。由于邊坡位移的時(shí)間序列曲線存在復(fù)雜的非線性特征，上述傳統(tǒng)預(yù)測(cè)模型精度不滿足現(xiàn)行預(yù)測(cè)要求[16]。為進(jìn)一步提升不同模型的預(yù)測(cè)性能和精度、彌補(bǔ)它們?cè)诟叨高吰伦冃晤A(yù)測(cè)中存在的缺陷，研究將Transformer和CNN模型進(jìn)行有機(jī)結(jié)合，在Transformer模型中加人CNN卷積層建立Transformer-CNN模型，基于中國(guó)西部某大型水利工程進(jìn)行驗(yàn)證。結(jié)果表明，Transformer-CNN混合模型和單一的CNN、Transformer模型相比，MAE（mean absolute error）、MSE（mean square error）、RMSE（root mean square error）的值均有所降低。說(shuō)明在Transformer模型中加人卷積層后可有效提高數(shù)據(jù)預(yù)測(cè)的準(zhǔn)確度，預(yù)測(cè)性能較好。該模型有望進(jìn)一步應(yīng)用到其他工程中，為高陡邊坡位移的精確預(yù)測(cè)提供可行性方案。

1基于北斗監(jiān)測(cè)數(shù)據(jù)的Transformer-CNN預(yù)測(cè)模型架構(gòu)設(shè)計(jì)

研究采用Transformer-CNN算法構(gòu)建基于北斗數(shù)據(jù)集的高陡邊坡位移預(yù)測(cè)模型。該模型以Transformer架構(gòu)為基礎(chǔ)，在解碼器的每一個(gè)自注意力層中加人預(yù)先構(gòu)建的CNN卷積層和residual殘差結(jié)構(gòu)。其中，CNN卷積層由基本的因果卷積層、后續(xù)的歸一化層和ReLU（rectified linearunit）激活層構(gòu)成的（如圖1所示）。研究通過(guò)對(duì)數(shù)據(jù)進(jìn)行端到端的多次迭代訓(xùn)練優(yōu)化模型參數(shù)，尋找最佳配置。筆者基于北斗數(shù)據(jù)集進(jìn)行模型驗(yàn)證并輸出高陡邊坡的位移預(yù)測(cè)結(jié)果和MAE、MSE、RMSE等量化指標(biāo)的值。為進(jìn)一步驗(yàn)證Transformer-CNN模型的準(zhǔn)確性和可行性，依次去掉Transformer的注意力層和CNN的卷積層，將Transformer-CNN模型的預(yù)測(cè)結(jié)果和單一CNN及Transformer模型的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比分析。研究思路如下：

圖1基于北斗監(jiān)測(cè)數(shù)據(jù)的Transformer-CNN結(jié)構(gòu)圖

Fig.1 Structurediagramof Transformer-CNNbasedonBeidoumonitoringdata

1）收集金剛沱北斗解算數(shù)據(jù)，數(shù)據(jù)集中包括了北斗衛(wèi)星采集的700多組數(shù)據(jù)和過(guò)去3～4年人工采集的數(shù)據(jù)。

2）鑒于北斗測(cè)得的數(shù)據(jù)存在一些跳變和異常值，不準(zhǔn)確性和波動(dòng)性較大，首先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，剔除異常值并進(jìn)行數(shù)據(jù)歸一化。

3）將Transformer的自注意力層，解碼器層、編碼器層和CNN的卷積層、residual殘差結(jié)構(gòu)進(jìn)行融合，構(gòu)建Transformer-CNN模型。

4）選用MAE、MSE、RMSE3個(gè)參數(shù)作為量化指標(biāo)進(jìn)行消融實(shí)驗(yàn)，將Transformer-CNN模型預(yù)測(cè)高陡邊坡變形的結(jié)果與其他單一模型進(jìn)行對(duì)比。

5）對(duì)比分析各誤差評(píng)價(jià)指標(biāo)的差異，評(píng)估不同模型預(yù)測(cè)的有效性和準(zhǔn)確性。

2基于Transformer架構(gòu)的高陡邊坡變形預(yù)測(cè)模型

由于使用北斗衛(wèi)星系統(tǒng)采集的數(shù)據(jù)存在精度不高、數(shù)據(jù)波動(dòng)大的缺點(diǎn)，存在較多的跳變和異常值，且采樣點(diǎn)的位移受到風(fēng)速、溫度、濕度等其他因素影響，數(shù)據(jù)的誤差較大。為了在識(shí)別異常點(diǎn)的同時(shí)進(jìn)一步提高預(yù)測(cè)準(zhǔn)確性，采用Transformer模型對(duì)高陡邊坡各個(gè)位移點(diǎn)建立預(yù)測(cè)模型，快速捕捉數(shù)據(jù)的全局特征，完成高陡邊坡的位移預(yù)測(cè)任務(wù)。

由Transformer進(jìn)行高陡邊坡位移預(yù)測(cè)的原理可知，該模型不依賴于遞歸結(jié)構(gòu)，通過(guò)注自注意力機(jī)制捕捉數(shù)據(jù)的全局特征，由編碼器、解碼器和輸出層組成，具體結(jié)構(gòu)如圖2所示。

2.1 編碼器

如圖3所示，北斗衛(wèi)星系統(tǒng)采集的數(shù)據(jù)經(jīng)由嵌入層后，維度變?yōu)榉蟃ransformer-CNN編碼器輸入的維度。輸出數(shù)據(jù)經(jīng)過(guò)多頭注意力層，該層將多組自注意力層的輸出結(jié)果進(jìn)行合并，得到計(jì)算后的輸出結(jié)果。自注意力層和多頭注意力層的結(jié)構(gòu)如圖4所示。

輸入矩陣 X=[X₁，X₂，X₃] ，在北斗數(shù)據(jù)集中， X₁=dE，X₂=dN，X₃=dU， 其中： dE 表示 E 方向的位移差值；dN表示 N 方向的位移差值； dU 表示 U 方向的位移差值。 X 與可學(xué)習(xí)的權(quán)重矩陣 相乘產(chǎn)生查詢、鍵、值矩陣，通過(guò)線性變換得到 Q，K，V3 個(gè)向量的初始表示

K=W_κX，

圖2基于北斗監(jiān)測(cè)數(shù)據(jù)的Transformer結(jié)構(gòu)圖

V=W_νX

通過(guò)縮放因子 進(jìn)行縮放，其中， d_k 是鍵向量的維度，在上述模型中 d_k 的值為3，應(yīng)用softmax函數(shù)來(lái)獲取注意力權(quán)重。具體計(jì)算公式為

多頭注意力機(jī)制將上述過(guò)程應(yīng)用于 h 個(gè)不同的頭，對(duì)于每個(gè)頭 h ，使用不同的權(quán)重矩陣 、 W_h^k / W_h^V， 分別與查詢、鍵和值的點(diǎn)積，具體公式為

通過(guò)前饋層矩陣把計(jì)算得到的多個(gè)矩陣拼接在一起，與附加的權(quán)重矩陣 W⁰ 相乘得到最終的輸出結(jié)果歸一化層（Addamp;normalize）是由殘差連接Add和歸一化Normalize2部分組成。

MultiHead（Q，K，V）=Concat（head₁，head₂，…，head_h）W^°°iW，

圖3編碼器結(jié)構(gòu)Fig.3 Encoder structure

圖4注意力機(jī)制

Fig.4Attentionmechanism

1）殘差連接Add是指在多頭注意力輸出數(shù)據(jù)的基礎(chǔ)上加殘差塊 X ，防止在深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中發(fā)生退化，用于解決多層網(wǎng)絡(luò)訓(xùn)練問(wèn)題，讓網(wǎng)絡(luò)只關(guān)注當(dāng)前差異的部分。

歸一化層應(yīng)用在殘差連接之后，其計(jì)算公式如下

自注意力層：

前饋層：

式中： X 表示Multi-HeadAttention或者FeedForward的輸人，MultiHeadAttention （X） 和FeedForward （X） 表示輸出。

前饋層（FeedForward）是一個(gè)2層的神經(jīng)網(wǎng)絡(luò)，先線性變換，再經(jīng)過(guò)ReLU非線性，再次進(jìn)行線性變換，具體的計(jì)算公式為

FFN（X）=ReLU（0，XW₁+b₁）W₂+b₂₀

2.2 解碼器

解碼器與編碼器的結(jié)構(gòu)類似，如圖5所示，是由多個(gè)解碼器層堆疊而成，每一個(gè)解碼器層均包含了注意力層，通過(guò)內(nèi)部的FulIAttention類計(jì)算輸入序列中各元素之間的注意力權(quán)重，得到輸入序列中不同元素對(duì)當(dāng)前元素的重要性，加權(quán)求和后得到最后的結(jié)果。

圖5解碼器結(jié)構(gòu)Fig.5 Decoder structure

與編碼器最大的區(qū)別在于解碼器還包含一個(gè)掩碼多頭注意力層，該層可對(duì)某些值進(jìn)行掩蓋，使其在參數(shù)更新時(shí)不產(chǎn)生效果。

2.3 輸出層

解碼器輸出的數(shù)據(jù)經(jīng)過(guò)激活函數(shù)層（softmax）和線性層（linear）得到最終的預(yù)測(cè)結(jié)果，經(jīng)解碼器輸出的數(shù)據(jù)首先經(jīng)過(guò)一次線性變換，該線性變換層是一個(gè)簡(jiǎn)單的全連接神經(jīng)網(wǎng)絡(luò)，可以把解碼組件產(chǎn)生的向量投射到比它大得多的向量里，然后激活函數(shù)（softmax）層把該向量變?yōu)楦怕剩罱K輸出預(yù)測(cè)結(jié)果，如圖6所示。

圖6輸出層結(jié)構(gòu)

Fig.6 Outputlayer structure

3基于Transformer-CNN的高陡邊坡變形預(yù)測(cè)模型

北斗數(shù)據(jù)集經(jīng)過(guò)預(yù)處理去掉無(wú)關(guān)列和較差的數(shù)據(jù)后，成為包括 E，N，U，dE，dN，dU? 5列以及采樣時(shí)間構(gòu)成的時(shí)間序列，為了克服Transformer對(duì)數(shù)據(jù)局部特征的提取能力有限、對(duì)數(shù)據(jù)集依賴過(guò)大的缺點(diǎn)，筆者提出用CNN優(yōu)化Transformer，最終構(gòu)建Transformer-CNN模型。

傳統(tǒng)用于圖像處理的CNN網(wǎng)絡(luò)的卷積核大多是2維或3維的，且需要進(jìn)行多通道信息處理。故對(duì)CNN模型進(jìn)行改進(jìn)，通過(guò)卷積核在時(shí)間軸上滑動(dòng)，提取時(shí)間序列的局部模式，選用 1×3 的卷積核（3表示時(shí)間窗口

的長(zhǎng)度）。而Transformer模型在小數(shù)據(jù)集上可能出現(xiàn)過(guò)擬合，故在Transformer的每一個(gè)自注意力層中加入預(yù)先構(gòu)建的CNN卷積層和residual殘差結(jié)構(gòu)用于捕捉局部特征。通過(guò)這一預(yù)測(cè)網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)從端到端的訓(xùn)練，對(duì)高陡邊坡的位移坐標(biāo)進(jìn)行時(shí)間序列預(yù)測(cè)。

3.1可用于一維時(shí)序數(shù)據(jù)處理的CNN卷積層

3.1.1 時(shí)序預(yù)測(cè)原理

為了訓(xùn)練CNN網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，訓(xùn)練集由給定時(shí)間序列的等大小序列對(duì)（輸人序列、目標(biāo)序列）組成。目標(biāo)序列是相對(duì)于各自的輸入序列向前移動(dòng)一定數(shù)量輸出長(zhǎng)度（outputlength）的序列，這意味著輸入長(zhǎng)度（inputlength）的目標(biāo)序列包含各自輸入序列尾部輸入長(zhǎng)度-輸出長(zhǎng)度（inputlength-outputlength）元素作為第1個(gè)元素，位于輸入序列最后一個(gè)條目之后的輸出長(zhǎng)度（outputlength）元素作為它的最后一個(gè)元素，使用滑動(dòng)窗口的方法，重疊的輸入目標(biāo)序列可以創(chuàng)建出一個(gè)時(shí)間序列，選用處理后數(shù)據(jù)集中的 dE，dN，dU 作為特征列，選用dS列作為自標(biāo)列，如圖7所示。

圖7時(shí)序預(yù)測(cè)原理圖

3.1.2 對(duì)CNN模型進(jìn)行處理

處理后的CNN模型由4個(gè)residualblock殘差塊組成（如圖8所示）。該殘差塊把模型由簡(jiǎn)單的一維因果卷積層改為由相同膨脹因子和殘差的2層結(jié)構(gòu)。圖中 k 表示卷積核大小（kernel_size），d表示膨脹基數(shù)（dilation_base） （k?d） 。

圖8用于時(shí)序預(yù)測(cè)的CNN模型

Fig.8 CNNmodelsfortime seriesprediction

基本的因果卷積層（basiclayer ?（k，d） ）原理示意圖如圖9所示。選用北斗數(shù)據(jù)集中的 dU，dN，dE 作為特征列，選用dS列作為目標(biāo)列。要計(jì)算輸出的一個(gè)元素，需要查看輸人的一系列長(zhǎng)度為卷積核大小（kerelsize）的連續(xù)元素，模型選用了一個(gè)大小為3的卷積核，故單個(gè)卷積接收一個(gè)三維張量作為輸shape（batchsize、inputlength、inputsize），也輸出一個(gè)三維張量shape（batchsize、inputlength、outputsize），通過(guò) 1×3 的卷積核在時(shí)間序列上移動(dòng)，獲取一系列長(zhǎng)度為卷積核大小（kermel_size）的連續(xù)元素，取該子序列與核向量點(diǎn)積，得到輸出的下一個(gè)元素。

圖9基本因果卷積層的原理圖

由于單一的卷積層的輸出僅依賴于卷積核大小（kernel_size）數(shù)目的輸人，為了擴(kuò)大其依賴范圍，通過(guò)將多個(gè)層疊加在一起對(duì)模型進(jìn)行擴(kuò)張，共使用4個(gè)basic層，此時(shí)，CNN卷積網(wǎng)絡(luò)的接受野大小為7，其原理圖如圖10所示。

圖10對(duì)模型進(jìn)行擴(kuò)張F(tuán)ig.10 Model expanding

為進(jìn)一步提升模型性能，在每一個(gè)卷積層中添加一個(gè) d=2，k=3 的歸一化層（weight norm），將CNN的單一層轉(zhuǎn)換為殘差塊。數(shù)據(jù)經(jīng)基本卷積層輸出后進(jìn)人歸一化層（weight norm），通過(guò)重新參數(shù)化網(wǎng)絡(luò)權(quán)重來(lái)提高訓(xùn)練的穩(wěn)定性和速度，有助于避免梯度消失和梯度爆炸問(wèn)題。權(quán)重歸一化的具體步驟為

1）分解權(quán)重：將每個(gè)層的權(quán)重矩陣 W 分解為2個(gè)部分：一個(gè)縮放因子 g 和一個(gè)規(guī)范化的權(quán)重向量v。這里的v是單位向量，模為1。

2）參數(shù)化，其具體公式為

W=g?ν

式中：g是權(quán)重矩陣中每個(gè)向量的縮放因子； u 是對(duì)應(yīng)的單位向量。

3）訓(xùn)練：在訓(xùn)練過(guò)程中，只更新縮放因子 g 和向量 u ，不直接更新原始的權(quán)重矩陣 W 。

為了使構(gòu)建的CNN不僅僅是一個(gè)過(guò)于復(fù)雜的線性回歸模型，在殘差塊中加人ReLU激活函數(shù)引入非線性，數(shù)據(jù)經(jīng)歸一化層（Weight norm）輸出后再輸入到激活函數(shù)層（ReLU）中，使網(wǎng)絡(luò)能夠?qū)W習(xí)更復(fù)雜的模式，激活函數(shù)ReLU被添加到2個(gè)卷積層之后的殘差塊中。為了防止過(guò)擬合，在每個(gè)剩余塊中通過(guò)dropout引入正則化，dropout在模型訓(xùn)練期間，通過(guò)隨機(jī)忽略一部分神經(jīng)元，增強(qiáng)模型的非線性能力和魯棒性，提升計(jì)算能力和速度，原理如圖11所示。

圖11dropout原理示意圖

最后，在卷積神經(jīng)網(wǎng)絡(luò)的末端加入全連接層，用于CNN提取特征，并進(jìn)行回歸分析，最終實(shí)現(xiàn)對(duì)高陡邊坡位移的時(shí)間序列預(yù)測(cè)。

3.2 融合CNN網(wǎng)絡(luò)結(jié)構(gòu)的Transformer架構(gòu)

將構(gòu)建好的CNN卷積層和residual殘差結(jié)構(gòu)融人Transformer的編碼器結(jié)構(gòu)中。北斗衛(wèi)星系統(tǒng)測(cè)得的位置點(diǎn)坐標(biāo)經(jīng)過(guò)預(yù)處理后首先進(jìn)人CNN網(wǎng)絡(luò)進(jìn)行卷積操作，實(shí)現(xiàn)局部特征提取。輸出數(shù)據(jù)再進(jìn)人Transformer的多頭注意力層和歸一化層，經(jīng)前饋層連接后進(jìn)行歸一化。輸出的數(shù)據(jù)進(jìn)一步進(jìn)入解碼器中進(jìn)行解碼，經(jīng)線性層和 softmax激活函數(shù)后，得到最終的輸出值，實(shí)現(xiàn)數(shù)據(jù)端到端的訓(xùn)練，從而對(duì)高陡邊坡的位移進(jìn)行預(yù)測(cè)。如圖12所示。

圖12構(gòu)建Transformer-CNN網(wǎng)絡(luò)結(jié)構(gòu)

Fig.12 Constructthe Transformer-CNNnetworkstructure

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)來(lái)源與數(shù)據(jù)處理

4.1.1 實(shí)驗(yàn)數(shù)據(jù)來(lái)源

本實(shí)驗(yàn)使用的數(shù)據(jù)集來(lái)自中國(guó)西部某大型水利工程，其中包括了北斗衛(wèi)星采集的700多組數(shù)據(jù)和人工采集的過(guò)去3～4年的數(shù)據(jù)。在過(guò)去，人們獲取數(shù)據(jù)主要是通過(guò)全站儀進(jìn)行人工采集，但由于受到人力成本和天氣因素的影響，一般每1～2周采集一個(gè)數(shù)據(jù)，采樣頻率較低。采集了現(xiàn)場(chǎng)所有點(diǎn)位（總數(shù)超過(guò)20）的 E，N， U 3個(gè)方向的坐標(biāo)值及 E 方向位移 Ω，N 方向位移、 U 方向位移。

隨著科技的不斷發(fā)展進(jìn)步，北斗衛(wèi)星導(dǎo)航系統(tǒng)實(shí)現(xiàn)全球組網(wǎng)，中國(guó)大批的工程項(xiàng)目開(kāi)始使用北斗衛(wèi)星導(dǎo)航系統(tǒng)進(jìn)行數(shù)據(jù)采集，由于其可以進(jìn)行 24h 不間斷采樣，故其采樣頻率為一天4次。以 E，N，U 3個(gè)坐標(biāo)值確定一個(gè)點(diǎn)的位移，采集了現(xiàn)場(chǎng)共16個(gè)點(diǎn)的位置坐標(biāo)（分為3個(gè)基準(zhǔn)點(diǎn)和13個(gè)檢測(cè)點(diǎn)）及其 E 方向位移 Ω，N 方向位移、 U 方向位移，用于進(jìn)一步預(yù)測(cè)每個(gè)點(diǎn)的變形量和變化趨勢(shì)。但其數(shù)據(jù)的波動(dòng)較大，存在一些跳變和異常值，數(shù)據(jù)的誤差較大，部分?jǐn)?shù)據(jù)如表1所示。

表1北斗結(jié)算部分?jǐn)?shù)據(jù)（處理前）Table1 Beidou solver data（before processing）

4.1.2 實(shí)驗(yàn)數(shù)據(jù)預(yù)處理

1）缺失值、異常值處理：由于所得數(shù)據(jù)中存在解算狀態(tài)失敗的樣本以及數(shù)據(jù)質(zhì)量較差、可信度較低的樣本，故將此類數(shù)據(jù)刪除，同時(shí)，將數(shù)據(jù)中含有NaN的行進(jìn)行刪除。

2）刪除無(wú)關(guān)量：原始數(shù)據(jù)集包括采樣時(shí)間、解算狀態(tài) ，E，N，U，E 位移 （dE），N 位移 （dN），U 位移 （dU） 、歷元數(shù)量、數(shù)據(jù)質(zhì)量、可信度和衛(wèi)星系統(tǒng)共11列數(shù)據(jù)，但進(jìn)行數(shù)據(jù)預(yù)測(cè)時(shí)只需要用到采樣時(shí)間，以及把 E 均值 Ω，N 均值 ?，U 均值 ，dE，dN，dU 的數(shù)據(jù)作為目標(biāo)變量，故對(duì)其他列進(jìn)行刪除。

3）計(jì)算2個(gè)點(diǎn)之間的位移差值，得到 dE，dN，dU 列的數(shù)據(jù)值，通過(guò) dE，dN 的值計(jì)算得到dS列的數(shù)據(jù)值，其計(jì)算公式為

4）處理時(shí)間戳列：把采樣的時(shí)間列進(jìn)行分割，提取年、月、日、星期和小時(shí)等和時(shí)間相關(guān)的特征。

5）數(shù)據(jù)正則化處理：為了防止過(guò)擬合和提高模型的泛化性能，使用dropout正則化，隨機(jī)將網(wǎng)絡(luò)中的部分神經(jīng)元輸出置0，以減少神經(jīng)元之間的依賴性。

6）在CNN網(wǎng)絡(luò)預(yù)測(cè)時(shí)，使用MaxMinScaler函數(shù)對(duì)數(shù)據(jù)進(jìn)行歸一化處理，把數(shù)據(jù)映射到[0，1]區(qū)間內(nèi)，具體的公式如下

X_{scaled=Xsctd?（max-min）?min}

7）劃分訓(xùn)練集和測(cè)試集，取 80% 的數(shù)據(jù)作為訓(xùn)練集，剩下 20% 的數(shù)據(jù)作為測(cè)試集。

處理流程圖如圖13所示，處理后的部分?jǐn)?shù)據(jù)集如表2所示。

圖13數(shù)據(jù)預(yù)處理流程圖

Fig.13 Flowchart of data preprocessing

表2處理后的部分?jǐn)?shù)據(jù)集

Table2 Partoftheprocesseddataset

4.2 實(shí)驗(yàn)與分析

4.2.1 實(shí)驗(yàn)參數(shù)設(shè)置

使用上述北斗數(shù)據(jù)集對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使其學(xué)習(xí)到輸入與輸出之間的映射關(guān)系。相關(guān)參數(shù)的設(shè)置如表3所示。

表3相關(guān)參數(shù)設(shè)置

Table3Relevantparametersettings

4.2.2 評(píng)價(jià)指標(biāo)

為了公平比較不同模型的表現(xiàn)，同時(shí)保證評(píng)價(jià)的全面性和準(zhǔn)確性，綜合多種評(píng)價(jià)指標(biāo)的評(píng)價(jià)預(yù)測(cè)性能采用了如下多種評(píng)價(jià)指標(biāo)：

1）平均絕對(duì)誤差（mean absolute error，MAE）1l：表示預(yù)測(cè)值和實(shí)際值之間的平均絕對(duì)誤差，計(jì)算公式為

2）均方誤差（mean square error，MSE）[18]：量化了誤差平方的平均值，即預(yù)測(cè)值和實(shí)際值之間的差值，可確保較大的誤差對(duì)整體誤差指標(biāo)產(chǎn)生不成比例的高影響，用于評(píng)估模型對(duì)異常值的敏感程度，計(jì)算公式為

3）平均絕對(duì)百分比誤差（root mean square error，RMSE）[19]：預(yù)測(cè)值與實(shí)際值的誤差平方根的均值，提供與尺度無(wú)關(guān)的誤差度量，計(jì)算公式為

4.3 實(shí)驗(yàn)結(jié)果

為進(jìn)一步定量分析混合模型對(duì)預(yù)測(cè)準(zhǔn)確性的提升效果，分析不同結(jié)構(gòu)在混合模型中所起作用，去掉Transformer模型中的CNN卷積層，變?yōu)閭鹘y(tǒng)的單一的Transformer模型，再去掉Transformer的自注意力機(jī)制，只用改進(jìn)后可進(jìn)行時(shí)間序列預(yù)測(cè)的CNN模型進(jìn)行時(shí)序預(yù)測(cè)。使用在Transformer基礎(chǔ)上進(jìn)行了改進(jìn)的變體模型（包括Reformer、Autoformer、Informer模型）進(jìn)行時(shí)間序列預(yù)測(cè)，其中，Reformer使用局部敏感哈希代替點(diǎn)積注意力，采用可逆殘差層減少存儲(chǔ)需求[20]。Autoformer則是在Transformer架構(gòu)的基礎(chǔ)上引人自相關(guān)機(jī)制和分解架構(gòu)來(lái)處理長(zhǎng)期序列預(yù)測(cè)問(wèn)題[2]。Informer更加關(guān)注減少計(jì)算復(fù)雜度和提高模型對(duì)長(zhǎng)序列的學(xué)習(xí)能力[2]。分別多次使用不同模型對(duì)北斗數(shù)據(jù)集進(jìn)行時(shí)序預(yù)測(cè)，得到模型達(dá)到穩(wěn)定時(shí)的量化指標(biāo)如表4所示。不同算法的指標(biāo)對(duì)比如圖14所示，不同算法的預(yù)測(cè)曲線如圖15所示。

表4不同模型在訓(xùn)練達(dá)到穩(wěn)定時(shí)的量化指標(biāo)值

Table4 Quantized indexvaluesofdifferentmodels

圖14不同模型的參數(shù)對(duì)比圖

Fig.14Comparision of parameters of different models

從圖14中可以看出，Transformer-CNN模型在迭代20、30、40、50輪次時(shí)候MAE的值較單一的Transformer模型相比分別降低了 12.88%、14.23%、13.88%、13.19% 。MSE的值在迭代20、30、40、50輪次時(shí)分別降低了 24.15%.26.73%.26.23%.25.24% 。RMSE的值在 20，30，40，50 輪次時(shí)分別降低了 12.96%，14.25% 、14.03%.13.58% 。由表4可以看出，Transformer-CNN模型在訓(xùn)練達(dá)到穩(wěn)定時(shí)MAE的值比CNN低 68.8% 、比Transformer低 10.58% ;MSE的值比CNN低 85.69% 、比Transformer低 10.84% ;RMSE的值比CNN低 57.64% 、比Transformer低 5.63% 。由圖15不同模型的預(yù)測(cè)曲線對(duì)比可以看出，Transformer-CNN模型的預(yù)測(cè)結(jié)果和真實(shí)曲線擬合程度優(yōu)于其他單一模型，說(shuō)明Transformer-CNN模型有效提高了預(yù)測(cè)的準(zhǔn)確性。

圖15不同模型的預(yù)測(cè)曲線

Fig.15 Predictioncurvesfordifferentmodels

同時(shí)，在訓(xùn)練過(guò)程中發(fā)現(xiàn)，加入CNN卷積網(wǎng)絡(luò)后的Transformer-CNN模型在30輪后即可達(dá)到收斂狀態(tài)，而單一的CNN模型需要進(jìn)行上百輪訓(xùn)練方可達(dá)到收斂狀態(tài)，說(shuō)明加入卷積層在提高預(yù)測(cè)精度準(zhǔn)確性的同時(shí)可節(jié)省訓(xùn)練時(shí)間和計(jì)算資源。

5結(jié)語(yǔ)

研究通過(guò)在Transformer模型中加人CNN卷積層構(gòu)建了Transformer-CNN模型用于高陡邊坡變形的時(shí)間序列預(yù)測(cè)，并基于中國(guó)西部某大型水利工程的北斗監(jiān)測(cè)數(shù)據(jù)集進(jìn)行模型訓(xùn)練和定量分析，通過(guò)將Transformer-CNN模型的MAE、MSE、RMSE等參數(shù)量和 Transformer、CNN、Informer、Autoformer、Reformer等單一模型進(jìn)行對(duì)比，發(fā)現(xiàn)Transformer-CNN模型的MAE、MSE、RMSE的值最優(yōu)。說(shuō)明在Transformer模型中加入卷積層構(gòu)建的Transformer-CNN模型可以在利用Transformer時(shí)序特征提取優(yōu)勢(shì)的同時(shí)兼具CNN卷積網(wǎng)絡(luò)提取局部特征的能力，充分利用了2個(gè)單一模型的優(yōu)點(diǎn)，有效提高數(shù)據(jù)預(yù)測(cè)的準(zhǔn)確度，預(yù)測(cè)性能較好。進(jìn)一步可以為高陡邊坡變形的預(yù)測(cè)預(yù)報(bào)、坍塌預(yù)警等后續(xù)工作提供可靠的科學(xué)依據(jù)，為其他工程實(shí)施過(guò)程中對(duì)高陡邊坡變形的預(yù)測(cè)分析提供可行性方案，為水資源配置工程領(lǐng)域的安全性和可持續(xù)性做出積極貢獻(xiàn)。

參考文獻(xiàn)

[1］柴章鵬，黃德昌，楊麒民，等.高陡邊坡錨桿格構(gòu)梁雙排腳手架施工技術(shù)探究[J].價(jià)值工程，2024，43（27）：144-147. Chai ZP，Huang DC，YangQM，etal.Research on construction technologyofdouble-row scafolding in high steepslope anchorrod grillage beams[J].Value Engineering，2024，43（27）：144-147.（inChinese）

[2］李薈，韓曉飛，朱萬(wàn)成，等.基于多源信息融合的礦山邊坡滑坡災(zāi)害研究現(xiàn)狀與展望[J].工礦自動(dòng)化，2024，50（6）：6-15. LiH，HanXF，ZhuWC，etal.Currentstatusandprospectsofresearchonlandslidedisasters inmineslopesbasedonmulti source information fusion[J]. Journal of Mine Automation，2024，50（6）： 6-15.（in Chinese）

[3］劉禮福，黃今，雷國(guó)榮，等.爆破振動(dòng)作用下某露天礦高陡邊坡穩(wěn)定性分析[J].有色金屬（礦山部分），2021，73（4）：27-32. LiuLF，Huang J，LeiGR，etal.Stabilityanalysisofhighandstepslopeofanopenpitmineunderblasting vibration[J].NonferrousMetals （Mining Section），2021，73（4）：27-32.（inChinese）

[4]楊一豪，李學(xué)鋒，黃緒興，等.某露天礦邊坡穩(wěn)定性及優(yōu)化研究[J].價(jià)值工程，2024，43（16）：97-100. YangYH，LiXF，Huang XX，etal.Researchonslope stabilityofacertainopen-pit mineandoptimizationmeasures[J].Value Engineering，2024，43（16）： 97-100.（in Chinese）

[5」房智恒，王李管，彭南良，等.高陡邊坡整體與局部失穩(wěn)的強(qiáng)度折減及安全度判別分析[J].重慶大學(xué)學(xué)報(bào)，2015，38（6）：8-14. Fang ZH，WangLG，PengNL，etal.Strengthreductionanddiscriminantanalysisofhighstepslopes’overallandlocal instability[J].Journal of Chongqing University，2015，38（6）： 8-14. （in Chinese）

[6]LiSY，LiH，JiWB，etal.Optical fibersensingstructureforslope monitoring basedonbrilouinopticaltimedomain reflectometer[J].Acta Photonica Sinica，2021，50（9）：107-115.

[7］陳云敏，陳贊，陳仁朋，等.滑坡監(jiān)測(cè)TDR技術(shù)的試驗(yàn)研究[J].巖石力學(xué)與工程學(xué)報(bào)，2004，23（16）：2748-2755. ChenYM，CY，ChenRP，etal.Testing studyonapplicationoftime domainreflectometrytoslope monitoring[J].Chinese Journal ofRock Mechanics and Engineering，2004，23（16）：2748-2755.（in Chinese）

[8］張占旭，蘇俊輝，呂光祖，等.數(shù)字鉆孔圖像巖體結(jié)構(gòu)面自動(dòng)化識(shí)別方法[J].重慶大學(xué)學(xué)報(bào)，2024，47（2）：40-50. Zhang ZX，SuJH，LvGZ，etal.Automaticidentificationofrock structure surface basedondigital borehole images[J]. Journal of Chongqing University，2024，47（2）： 40-50.（in Chinese）

[9］邱煥翔，翟虎，王冀鵬，等.基于無(wú)人機(jī)航攝的地質(zhì)踏勘及風(fēng)險(xiǎn)評(píng)估[J].科學(xué)技術(shù)與工程，2024，24（18）：7905-7912. Qiu H X，Zhai H，WangJP，etal.Geological surveyand risk assessment basedon UAV photogrammetry[J].Science， Technology and Engineering，2024，24（18）：7905-7912. （in Chinese）

[10]李燁.淺析北斗衛(wèi)星導(dǎo)航系統(tǒng)在測(cè)繪行業(yè)中的應(yīng)用[J].經(jīng)緯天地，2024（3）：19-22. LiY.A preliminary analysis forthe aplication of the Beidou Satelite Navigation System in thesurveyingand mappng industry[J]. Survey World，2024（3）：19-22.（in Chinese）

[11］劉暉，朱德康，許凌杰，等.基于改進(jìn)灰狼算法優(yōu)化支持向量機(jī)的邊坡位移預(yù)測(cè)[J].自動(dòng)化技術(shù)與應(yīng)用，2024，43（9）：30-33. Liu H，Zhu D K，XuLJ，et al.Slope displacement predictionbasedon improved grey wolf algorithmand supportvector machine[J].Techniques of Automation and Applications，2024，43（9）： 30-33. （in Chinese）

[12]LiuCM，ShenY，XiaoQG，etal.Cformer：pair-wisecro-scalesub-prototypesinngwithCNN-transfomersforeakly supervised semantic segmentation[J]. Neurocomputing，2024，593： 127834.

[13]Meng WJ，LiuSJ， Wang HJ.AFC-Unet：atention-fusedfullscale CNN-transformerunet formedical imagesegmentation[J]. Biomedical Signal Processing and Control，2025，99： 106839.

[14]肖海平，楊旺生，肖嵐，等.基于組合預(yù)測(cè)模型的露天礦高陡邊坡滑坡變形研究[J].金屬礦山，2014，43（4）：169-171. Xiao HP，Yang WS，Xiao L，et al.Research onlandslide deformationof high and steep slope inopen-pit minebased on combination pediction model[J].Metal Mine，2014，43（4）：169-171.（in Chinese）

[15]RazavianSA，AzzpourH，SullivanJ，etal.CNNfeaturesof-te-shelf：anastoudingbaselineforrecognition[C/4IEE Conference on Computer Vision and Pattern Recognition Workshops. Columbus，OH， USA： CVPRW，2014： 512-519.

[16]孫曉云，段綽，王明明，等.基于VMD模型和BSA-KELM模型的高陡邊坡位移預(yù)測(cè)模型研究[J].中國(guó)礦業(yè)，2022，31（2）： 78-85. Sun X Y，Duan C， Wang M M，et al. Studyon high and steep slope displacement prediction model based onVMD and BSAKELM[J]. China Mining Magazine，2022，31（2）：78-85.（in Chinese）

[17]Willmot CJ，Matsuura K.Advantagesof he meanabsolute eror（MAE）over theroot meansquareerror（RMSE）iassessing average model performance[J]. Climate Research，2005，30（1）： 79-82.

[18]KoksoyO.Multiresponse robust design： meansquare eror （MSE）criterion[J].Applied Mathematicsand Computation，2006， 175（2）： 1716-1729.

[19]Hodson TO.Rot meansquare eror （RMSE）or mean absoluteeror（MAE）：when touse them ornot[J]. Geoscientific Model Development Discussions，2022，15（14）： 5481-5487.

[20]Saibabu BB，Kiran T.Anovel methodfor predicting wind speedusingdata decomposition-based reformer model[J].Earth Science Informatics，2024，17（1）：227-249.

[21]Niu MC，LiY，ZhuJY.Opticalcable lifespan prediction methodbasedonautoformer[J].AppiedSciences，2024，4（14）： 6286.

[22]Zhang X，YangKY，ZhengLM.Transformerfaultdiagnosis methodbasedontimesnetandinformer[J].Actuators，2024， 13（2）： 74.

（編輯侯湘）