基于注意力機制的全海深聲速剖面預測方法

王 同 蘇 林 任群言 王文博 賈雨晴 馬 力

①(中國科學院聲學研究所中國科學院水聲環境特性重點實驗室 北京 100190)

②(中國科學院大學 北京 100049)

1 引言

海水中的聲速是一個基本的海洋學變量，它決定了海洋中的聲傳播特性[1]。然而海水的聲速剖面受到很多海水環境參數的影響，其中有一些相對穩定的參數，如海底的結構、海洋的深度等；還有一些動態變化的參數，如海水的生物群、海流、溫度、鹽度等，其中溫度變化對聲速的影響最為顯著[2]。在復雜的淺海環境下，海水溫度會隨著時間的變化而產生無規律起伏，使得淺海聲速剖面在時空上具有明顯的非線性變化。

海水溫度可以通過經驗公式轉換為聲速數據。海水溫度的預報目前主要有經驗預報方法、統計預報方法和數值預報方法[3]。其中海水溫度經驗預報公式僅能夠預報旬尺度平均海水溫度；數值預報計算時間長，資源需求量大，面對復雜海洋環境和海洋動力學過程，如何構建初始場和參數化物理過程是一個難題；統計預報方法中，卡爾曼濾波方法是以統計理論為基礎的代表性同化方法，現在已逐漸應用到海洋數值預報中[4]，但卡爾曼濾波方法在狀態空間建模時仍需要較為準確的狀態方程描述海洋變化過程。聲速剖面也可以通過海洋聲學的方法反演得到。聲層析方法[5]利用觀測信號的某些特征作為觀測量，通過聲場傳播模型計算相同特征得到拷貝量，反演出聲波傳播路徑的等效聲速剖面，具體方法有匹配場層析方法[6-10]等。聲層析反演的本質是代價函數的尋優問題，遺傳算法[11,12]和序貫反演算法[13-19]的引入提升了反演結果的精度，但仍需要進行大量的聲場模型計算以得到拷貝量，計算量大。

機器學習在數據中學習得到模型，這使得它在分析預測領域取得了優異的成績，越來越多的學者將機器學習方法應用到海洋預報問題中。Lins等人[20]將支持向量機與粒子群優化算法相結合，對巴西東北部海岸海面溫度進行預測；Tangang等人[21]利用神經網絡模型，對熱帶太平洋的海溫異常進行了季節性預報； Nowruzi等人[22]利用人工神經網絡(ANN)，探究溫度與磁場對水中聲速預測的影響；Jain等人[23]利用人工神經網絡(ANN)，利用海表面參數以及垂直方向上的海水鹽度、溫度等數據，預測了27深度處的聲速； Sun等人[24]使用字典學習，對有內波擾動的聲速剖面進行重構；Zhang等人[25]利用長短期記憶網絡對海表溫度進行時間上的預測，將其描述為一個時間序列回歸問題；Sarkar等人[26,27]將深度學習神經網絡與數值估計器相結合，對印度洋特定位置的海表溫度進行預測。

在復雜的海洋動力學過程的作用下，海水聲速剖面具有顯著的時間演化特性，并表現出高度的非線性，聲速剖面的預測可以描述為一個非線性的時間序列預測問題。在時序數據的處理上，解決了梯度消失問題的長短期記憶網絡(Long Short-Term Memory, LSTM)有著得天獨厚的優勢。基于LSTM單元的編碼-解碼網絡在序列長度增加時性能快速下降，添加注意力機制能夠幫助LSTM對時間模式更好的建模，基于注意力機制的循環神經網絡[28,29]在時間序列預測上展現了良好的性能。本文將利用深度學習中的循環神經網絡，添加注意力機制構建多維時間序列預測網絡，來學習歷史聲速剖面數據，對淺海環境下的全海深時變聲速剖面進行預測，并比較多個模型的預測精確度。

2 DA-LSTM模型的原理及構建

2.1 注意力機制

Mnih等人[30]于2014年提出了注意力機制(Attention Mechanism)，通過賦予不斷更新的權重，使網絡集中注意力于編碼輸出的某些部分上，而不單依賴內容向量，這使得序列對序列任務的學習效果得到了明顯的提升。

如圖1所示，注意力機制通過以下3個步驟實現。首先根據查詢(query) 和鍵(key)計算兩者的相似性或相關性，得到注意力分值Similarityi(queryi,keyi)，通常使用的函數和計算機制有加性模型、點積模型或余弦相似度等；

其次，引入類似softmax的方式對第1步的結果進行數值轉換，通過式(1)對原始注意力分值進行歸一化處理，得到權重系數ai

其中，輸入信息表示為鍵值對(key-value pair)，鍵(key)與值(value)相對應，在第1步中與查詢(query)計算相似度，作為注意力選取的依據；查詢(query)是一次執行注意力時的查詢；值(value)是被注意并選取的數據，往往是上一層的輸出，一般保持不變。

2.2 DA-LSTM模型構建

添加雙層注意力機制的編碼-解碼模型(圖2)由Qin等人[28]在2017年提出，這一模型在股票價格預測問題中取得了較為優秀的結果。該模型是在編碼-解碼模型的基礎上，在編碼階段引入注意力機制，對輸入進行選擇，構建輸入注意力層；并在解碼階段引入注意力機制，來捕獲輸入當中的相關特征以及相關的歷史時刻，構建時間注意力層。在這一構建思想上，針對全海深時變聲速剖面預測問題，構建DA-LSTM模型。

3 基于DA-LSTM網絡的聲速剖面預測

3.1 試驗數據

聲速剖面數據來源于某次海洋調查試驗。溫度鏈潛標布放站位處的海深約為87 m，共采集到約為168 h長達7 d的溫度數據，如圖3所示；25°C等溫線分布如圖4，試驗中采用CTD測量得到了全海深的鹽度和溫度數據，如圖5所示；利用經驗公式[2]式(12)將溫度鹽度數據轉換為聲速數據，式中c為聲速(m/s)，T為溫度(°C)，S為鹽度(‰)，D為深度( m)。轉換結果如圖6所示。

圖2 添加雙層注意力機制的編碼-解碼模型

圖3 溫度鏈在該站位采集到的溫度數據

圖4 該站位處25℃等溫線分布

如圖3所示，在整個試驗周期內可以觀測到豐富的內波活動，受到多源內波的影響，溫度數據出現無規律起伏。

圖5 CTD在該站位測量得到的溫度、鹽度剖面

圖6 由經驗公式得到的聲速剖面數據

在等溫線波動較緩和劇烈處分別選取數據，共選取4段9 h的聲速剖面數據，分為數據集1、數據集2、數據集3和數據集4，如圖7所示；每個數據集的前8 h數據作為訓練集數據，后1 h數據作為待預測的測試集數據，其中白色分割線劃分出了訓練集以及待預測的測試集。從圖8可以看到，數據集1的25°C等溫線主要在40～50 m內波動，訓練集和測試集在深度方向上波動較緩；數據集2的25°C等溫線主要在40～60 m內波動，訓練集在深度方向上前期波動較大，測試集在深度方向上波動較緩；數據集3的25°C等溫線主要在40～70 m內波動，其測試集在深度方向上波動跨度較大；數據集4的25°C等溫線主要在40～60 m內波動，其訓練集在深度方向上前期波動較緩，后期波動跨度較大，且測試集在深度方向上波動跨度較大。在淺海環境下聲速剖面預測問題中，這4個數據集具有一定的代表性，能夠展現模型在該實際問題中的應用性能。

3.2 參數設置和評估指標

圖7 所選取的數據集1、數據集2、數據集3和數據集4

圖8 數據集的25°C等溫線

3.3 結果及分析

為了表明DA-LSTM網絡模型的有效性，共構建了3種神經網絡模型進行對比，分別為未添加注意力機制的編碼-解碼模型(Encoder-Decoder)，在編碼階段添加注意力機制的編碼-解碼模型(Encoder-Attn-LSTM)，在解碼階段添加注意力機制的編碼-解碼模型(Decoder-Attn-LSTM)；以編碼-解碼模型作為基準線方法，對4種網絡模型進行預測性能比較；每種網絡模型根據隱藏層個數的不同分為4類。每一個模型在4個訓練集下分別進行訓練，對于一個訓練集模型共訓練10次，獲得平均的預測性能E和最佳的預測性能Ebest，以此對比不同模型的預測性能。表1展示了在4個數據集下，不同模型對全海深聲速剖面的預測性能。圖9為DA-LSTM(256)獲得Ebest時的RMSE。

在表1可以觀察到，在隱藏層個數相同的情況下，DA-LSTM網絡模型的預測性能要優于其他3種方法，添加了單層注意力機制的兩個網絡模型的預測性能優于不添加注意力機制的Encoder-Decoder網絡模型，這表明了注意力機制在聲速剖面預測問題中的促進作用；在同一種模型下，增加隱藏層個數能夠提升模型的預測性能。具體而言，在隱藏元個數為256個的情況下，對于最佳預測性能，DA-LSTM網絡模型在4個數據集上相較于其他3個網絡模型分別有著不同程度的預測效果提升：對于數據集1，DA-LSTM網絡模型相較于Encoder-Attn-LSTM網絡模型、Decoder-Attn-LSTM網絡模型、Encoder-Decoder網絡模型分別有66.5%, 71.9%, 80.5%的預測效果提升；對于數據集2，DA-LSTM網絡模型相較上述3個網絡模型分別有59.9%, 50.1%, 51.7%的預測效果提升；對于數據集3，在相同情況下，DA-LSTM網絡模型相較上述3個網絡模型分別有39%, 42%, 63%的預測效果提升；對于數據集4，在相同情況下，DALSTM網絡模型相較上述3個網絡模型分別有23%,33%, 53%的預測效果提升。對于DA-LSTM網絡模型，對于最佳預測性能，256元網絡在4個數據集上相較于128元、64元、32元網絡分別有著不同程度的預測效果提升：在數據集1下，256元的網絡相較于128元、64元、32元網絡分別有27.1%, 31.5%,39.4%的預測效果提升；在數據集2下，256元的網絡相較于128元、64元、32元網絡分別有7.6%,14.5%, 19.3%的預測效果提升；在數據集3下，256元的網絡相較于128元、64元、32元網絡分別有25%, 33%, 52%的預測效果提升；在數據集4下，256元的網絡相較于128元、64元、32元網絡分別有41%, 22%, 59%的預測效果提升。

表1 不同模型對全海深聲速剖面的預測性能

圖9 DA-LSTM (256)獲得Ebest時的RMSE

對于引入單層注意力機制的兩個網絡模型，對聲速剖面在深度方向上的空間特征和在時間步上的時間演化特征分別進行了建模。而DA-LSTM網絡在編碼階段引入輸入注意力機制，捕獲不同深度上的空間特征；在解碼階段引入時間注意力機制，捕獲不同時間步上的時間演化特征。圖10可視化了DA-LSTM(256)網絡在空間和時間上的注意力權重分布。圖10(a)、圖10(b)為數據集1下DA-LSTM(256)網絡的注意力可視化圖，圖10(c)、圖10(d)為數據集2下DA-LSTM(256)網絡的注意力可視化，圖10(e)、圖10(f)為數據集3下DA-LSTM(256)網絡的注意力可視化，圖10(g)、圖10(h)為數據集4下DA-LSTM(256)網絡的注意力可視化；圖10(a)、圖10(c) 、圖10(e) 、圖10(g)為空間上的注意力權重分布，圖10(b)、圖10(d)、圖10(f) 、圖10(h)為時間上的注意力權重分布。

從圖10可以看到，在數據集1上，30～40 m深度的注意力權重較高；在數據集2上，40～60 m深度的注意力權重較高；在數據集3上，40～70 m深度的注意力權重較高；在數據集4上，40～60 m深度的注意力權重較高。而從圖8可以看到，4個數據集中聲速剖面起伏較大的深度，大致在這兩個深度范圍內，表明在編碼階段引入輸入注意力機制，成功捕獲了不同深度上的空間相關性。而DALSTM(256)網絡在時間上的注意力權重分布較為均勻，表明各時間步的重要性較為一致。

圖10 注意力可視化圖

4 結論

淺海海洋環境復雜多變，面對具有非線性時間演化特性的聲速剖面預測問題，現有的海溫預報方法和聲層析方法，有著物理模型復雜難以建模、運算量大等難題。本文利用深度學習中的循環神經網絡，添加注意力機制構建多維時間序列預測網絡，來學習歷史聲速剖面數據，對淺海環境下的全海深時變聲速剖面進行預測。本文共構建了4種神經網絡模型：Encoder-Decoder網絡模型，添加單層注意力機制的Encoder-Attn-LSTM網絡模型和Decoder-Attn-LSTM網絡模型網絡，以及DALSTM網絡模型。在兩個不同的數據集下設置不同參數進行訓練，獲得不同神經網絡模型的預測結果。預測結果表明，DA-LSTM網絡模型在4個不同類型數據集上都達到了與其他3個網絡模型相比的最佳預測性能，在不同數據集上有著不同程度的預測效果提升。此外，本文將注意力權值可視化進行了分析，該結果表明注意力機制成功捕捉到聲速剖面在時空上的演化特征，注意力權重的分布能夠與實際物理現象相關聯，為水聲學中物理模型與機器學習的結合提供了新的思路。

由于本文的目標是預測單一站點未來一個時間步的聲速剖面，接下來的工作將進行單一站點多時間步的聲速剖面預測問題，并考慮如何將這一方法擴展，進行2維海域以及3維海域的時變聲速剖面預測。