基于改進U-Net 網絡的海洋中尺度渦自動檢測模型

董子意 ，杜震洪 *，吳森森，李亞東，張豐，劉仁義

(1.浙江大學 地球科學學院，浙江 杭州 310027；2.浙江省資源與環境信息系統重點實驗室，浙江 杭州 310028；3.浙江大學 地理與空間信息研究所，浙江 杭州 310027)

1 引言

海洋中尺度渦是一種重要的海洋現象，在海洋中呈現非規則螺旋狀結構，空間尺度可達10～100 km，垂直方向影響深度高達1 km[1]。海洋中尺度渦攜帶著巨大的能量，能夠顯著改變營養物質和溫躍層的垂直分布，對浮游生物的分布、能量和鹽分的輸送具有非常重要的影響[2-3]。海洋中尺度渦的自動檢測是監測、分析中尺度渦時空變化特征的重要方法[4]。

近年來，在海洋中尺度渦檢測方面，國內外部分學者已開展了一些研究。傳統檢測方法主要包括基于物理特征的方法、基于流場幾何特征的方法以及上述兩種方法的結合。基于物理特征的方法，如Okubo-Weiss（OW）算法，在人工設計中尺度渦的渦度、振幅、速度等物理特征的過程中，由于引入大量的人為主觀因素，導致中尺度渦檢測精度較低[5]；基于流場幾何特征的方法，如Winding-Angle（WA）算法，選擇閉合的流線并將它們聚類而達到探測渦旋的目的，但該方法計算過程復雜、計算量大，并且缺乏泛化能力[6]。因此，傳統算法存在的不足限制了中尺度渦檢測研究的進展。事實上，中尺度渦自動精準檢測的關鍵在于提取其高層本質特征，然而，中尺度渦的復雜特性加劇了其特征提取的難度。近年來，深度學習在人工智能和機器學習領域中不斷崛起，在各學科研究領域均有所應用，在圖像處理領域中尤為顯著[7]。深度學習促使了“特征提取”向“特征學習”的轉變。國內外少數專家學者嘗試利用深度學習提取海洋中尺度渦。例如，Lguensat 等[8]將U-Net 網絡結構應用于海洋中尺度渦的特征提取，初步研究了基于深度學習的圖像分割在海洋遙感問題上的解決方案。Franz 等[9]基于合成孔徑雷達（Synthetic Aperture Radar,SAR）圖像檢測和跟蹤海洋渦旋，他們采用了編碼-解碼器和傳統算法相結合的方法，將多尺度特征融合技術應用到了海洋渦旋檢測中。Xu 等[10]以小尺度海洋渦旋的檢測為研究重點，采用了PSPNet 算法實現不同層多尺度特征的融合，但是，由于網絡主干網中跨步操作的池化和卷積，丟失了詳細的渦旋邊界信息。蘆旭熠等[11]將深度學習中的YOLOv3 目標檢測網絡與海洋物理中提取中尺度渦特征的方法相結合檢測了中尺度渦，提高了檢測速度。

U-Net 網絡憑借其簡單、高效的優勢在遙感影像分類提取方面應用較多，但在海洋中尺度渦提取時仍存在一些缺陷，即在較深層特征提取能力不強，網絡提取精度不高[4]。因此，本文改進了U-Net 網絡使其成為更適合于提取海洋中尺度渦的網絡模型，在UNet 網絡特征提取階段嵌入了卷積注意力模塊，使得模型關注于最具有類別區分度的區域；同時，模型引入了殘差學習模塊以解決網絡過深導致模型難以訓練的問題。改進后的U-Net 網絡模型通過特征學習的方式實現了海洋中尺度渦高層本質特征的逐級抽象提取與表達，整合語義信息和多尺度特征，精確化的提取圖像特征，提高了海洋中尺度渦的檢測精度，為海洋遙感影像自動識別研究提供了新方法。

2 研究方法

2.1 適用于海洋中尺度渦檢測的U-Net 網絡

海洋衛星反演的海表面高度圖像具有較高的空間分辨率，非常適合用于檢測海洋中尺度渦。本文結合深度學習的相關知識，改進了U-Net 網絡，使其成為更適合于提取海洋中尺度渦的網絡模型。利用深度特征融合方法提取特征時，許多冗余特征的存在會導致網絡出現過擬合的現象，增加網絡的計算量，甚至還會影響網絡的預測結果，針對上述問題，本文在網絡模型中引入了卷積注意力模塊[12]這種深度特征選擇方法以便提升目標檢測網絡的檢測性能。另外，為了解決網絡過深產生退化問題，防止網絡梯度消失，本文在網絡中引入了殘差學習模塊[13]。改進的UNet 網絡結構如圖1 所示。

圖1 改進的U-Net 模型結構示意圖Fig.1 Improved U-Net model structure diagram

與U-Net 網絡類似，本文設計的網絡模型是1 個U 型對稱網絡，左半部分編碼器對應的是圖像下采樣過程，用于提取圖像特征信息、降低空間維度；右半部分解碼器對應的是圖像上采樣過程，用于逐步恢復圖像的細節信息和空間維度。并且，相應編碼器和解碼器之間存在的跳躍連接可以使解碼器更好地恢復目標的細節信息，還原圖像精度。另外，殘差模塊的主要作用是解決因為網絡過深而導致學習停滯的問題。

網絡中編碼器由4 組相同的編碼塊組成，每組編碼塊都包括2組3×3卷積和ReLU激活函數、1 個3×3的卷積并與前一個卷積層計算殘差，然后利用步長為2 最大池化操作進行下采樣。其中，卷積層用來提取圖像特征，下采樣層用來過濾一些不重要的高頻信息，減少通道數，增大感受野。重復的卷積和池化操作可以充分提取圖像的高層特征，每經過一個編碼塊，特征圖尺寸縮小一半而通道數加倍。

網絡中解碼器由4 組相同的解碼塊組成，每組解碼塊包含1 個 2×2的轉置卷積運算，用于上采樣時將特征通道的數量減半，然后與編碼器對應的特征圖連接，之后進行2 組 3×3卷積和ReLU 激活函數、1 次3×3卷積并與前一個卷積層計算殘差。另外，本文在編碼器和解碼器之間增加了卷積注意力模塊。每組解碼塊都將特征圖的尺寸擴大1 倍而通道數減半；同時，每組解碼塊的輸入將與對應層編碼塊的輸出進行拼接作為下一個轉置卷積層的輸入，用淺層網絡保存較好的細節位置信息來輔助分割，以降低下采樣時因降低分辨率帶來的空間信息損失。最后，利用 1×1卷積核對特征圖進行卷積，還原圖像的尺寸[14]。

2.2 卷積注意力模塊

注意力機制可以幫助網絡選擇海表面高度圖中重要的特征，抑制不重要的特征。本文在改進后的U-Net 網絡模型的特征提取階段嵌入了卷積注意力模塊這種深度特征選擇方法，使得模型關注于最具有類別區分度的區域，提升了網絡對于海洋中尺度渦的目標檢測性能。卷積注意力模塊（Convolutional Block Attention Module,CBAM）[12]是一個輕量通用的注意力模塊，可以簡單有效地集成到大部分的卷積神經網絡模型中，在提高網絡特征提取能力的同時也不會顯著增加網絡的參數量和計算復雜度。CBAM 由通道注意力模塊和空間注意力模塊這兩個子模塊共同構成。

CBAM 中的通道注意力模塊用于探索特征的通道間關系，其中每個通道上的特征圖都可看作一個特征探測器[15]。通道注意力關注的是輸入特征圖中有意義的內容信息，其操作過程如圖2 所示。首先對輸入特征圖F分別使用最大池化和平均池化生成兩個不同空間內容的特征圖和。其中，最大池化操作用于聚合不同目標獨有的特征；平均池化操作用于聚合空間信息，反饋全局信息，兩者互為補充。同時，并行連接的方式，可以減少信息丟失。另外，共享多層感知機模型可以減少參數量，降低網絡模型的計算負擔[16]。

圖2 通道注意力模塊的操作過程Fig.2 Process of channel attention module

CBAM 中的空間注意力模塊用于探索特征在空間上的關系。不同于通道注意力模塊關注輸入特征圖的關鍵內容信息，空間注意力模塊主要關注目標的位置信息，兩者互為補充，使得網絡能夠自適應地選擇輸入特征圖中表征目標內容信息及其位置信息的特征[16]。空間注意力模塊的操作過程如圖3 所示。首先在特征圖FC∈RC×H×W的通道維度上分別使用最大池化和平均池化操作聚合通道維度的信息，生成兩個特征圖；然后將這兩個特征圖拼接起來，以便突出目標區域；最后，利用卷積操作將拼接后的特征圖轉變為空間注意力圖AS∈R1×H×W，進而突出或抑制相關區域。

綜上所述，CBAM 的操作過程如圖4 所示。輸入特征圖F∈RC×H×W，通道數為C，每個通道特征圖的寬度和高度分別為W和H。CBAM 首先將輸入特征圖F通過通道注意力模塊計算得到一維的通道注意力圖AC∈RC×1×1，再將F與AC經過像素級相乘后 得到 通道 向特征圖FC∈R1×H×W，計算過程如式（1）所示；然后FC通過空間注意力模塊計算得到空間注意力圖AS∈RC×1×1。最后FC與AS經過像素級相乘后輸出最終的輸出特征圖FR∈RC×H×W，計算過程如式（2）所示：

式中，?代表像素級相乘的操作；FC代表通道向的特征圖；AC代 表通道注意力模塊；F代表輸入特征圖；FR代表輸出特征圖；AS代表空間注意力模塊。

2.3 殘差學習模塊

深度學習領域中，增加卷積神經網絡的深度往往可以提高網絡的特征提取能力。但是，逐漸加深的網絡會越來越難以訓練，甚至導致網絡性能出現退化的現象。改進后的U-Net 網絡模型也存在網絡過深導致模型難以訓練的問題。為了解決這一問題，He 等[13]創新性地提出了殘差學習的思想，在ResNet 中引入殘差學習模塊后，深層網絡能夠提取到復雜特征的同時也防止了梯度消失，提升了整體性能[17]。因此，本文在改進后的U-Net 網絡中也引入了殘差學習模塊，解決了網絡過深產生退化的問題，防止網絡梯度消失。

殘差學習模塊由殘差路徑和恒等連接路徑共同組成，是構成ResNet 的基本單元之一，如圖5 所示。其中，殘差路徑包括兩組卷積層和ReLU 激活函數。殘差學習模塊的輸出結果由殘差路徑和恒等連接路徑的輸出結果相加后共同得到。當殘差F(x)為0 時，殘差學習模塊的輸出為x，此時可以保證模型不會退化；事實上，殘差F(x)在大多數情況下不會為0，也就是說，在不損失原有特性的前提下，殘差學習模塊也能學習到新的特征。殘差學習模塊中的跳躍連接結構不僅沒有增加參數量和計算復雜度，還使得深層梯度在反向傳播時可以直接通過跳躍連接結構傳遞到淺層，防止網絡梯度消失，優化網絡的訓練過程[18]。

圖5 殘差學習模塊Fig.5 Residual learning block

3 實驗與分析

3.1 研究區域與數據

本文采用了一個公開的中尺度渦檢測數據集EddyNet-Data[8]（https://github.com/redouanelg/EddyNet/tree/master/Data）。它是南大西洋的一個子區域，范圍為10°～58°N，0°～64°W，如圖6 所示。

圖6 數據集采樣海域Fig.6 Sampled sea area of dataset

EddyNet-Data 數據集包含了以天為單位共計4 383 張海表面高度圖像，覆蓋了從2000 年1 月1 日至2011 年12 月31 日共12 年的數據，空間分辨率為0.25°。該數據集采用經典的PET（py-eddy-tracker）方法[19]生成了訓練所需的中尺度渦圖像數據。數據集將前11 年的數據（即4 018 張海表面高度圖像）作為訓練集，將2011 年的365 張海表面高度圖像作為驗證集[20]。

3.2 實驗環境

本文按照目前主流的深度學習環境配置搭建了實驗環境，基礎系統平臺配置如表1 所示。另外，本文的重要軟件配置如表2 所示。

表1 基礎系統平臺配置Table 1 Basic system platform configuration

表2 重要軟件配置Table 2 Important software configuration

3.3 參數設置

通過隨機搜索策略，綜合考慮模型計算效率、結果精度以及硬件3 個方面，本實驗將訓練網絡的權重初始化策略設置為隨機初始化，選擇交叉熵函數作為損失函數，采用Adam 優化器對損失函數進行優化，初始的學習率設置為10-3。神經網絡訓練時的批量大小設置為16，迭代次數設置為500。其中，卷積注意力模塊中的通道注意力模塊的通道數為32，卷積核大小為3×3；空間注意力模塊中的卷積核大小為7×7。經過迭代訓練，網絡最終收斂。

3.4 評價標準

本文的海洋中尺度渦圖像分割本質上是對于像素點的多分類任務，即判斷圖中的像素點是氣旋渦、反氣旋渦或非中尺度渦，實驗的結果要與PET 分割標準進行逐像素點對比。本文主要采用4 種通用的評價指標對模型的中尺度渦檢測性能進行評估，包括準確率、查準率、查全率和F1-Score。

3.5 結果分析

為了驗證模型的有效性，我們在EddyNet-Data 數據集上多次測試了本文模型、PET 方法[19]、EddyNet方法[8]以及SegNet 方法[21]的中尺度渦檢測能力，通過準確率、查準率、查全率、F1-Score 等評價指標對各模型提取海洋中尺度渦的性能進行對比分析。從表3可知，本文算法在準確率、查準率、查全率和F1-Score上均比EddyNet 和SegNet 算法取得了更好的結果。另外，在與經典U-Net+殘差模塊、經典U-Net+CBAM注意力模塊分別對比可知，本文所加的這兩個模塊均不同程度地提高了模型的識別性能。經過迭代訓練，本文模型在訓練集上取得了94.76%的分類精度，在驗證集中取得了93.28%的分類精度。改進的UNet 模型由于引入了CBAM 注意力機制和殘差學習模塊，促使網絡能夠提取更加復雜的高層本質特征，同時也避免了模型的退化，防止梯度消失，提高了檢測精度。

表3 6 種算法在EddyNet-Data 數據集上的分割性能對比Table 3 Comparison of segmentation performance of six algorithms on EddyNet-Data dataset

觀察圖7a 和圖7b 兩組實驗結果中紅色方框框出的區域，本文的方法提取出了比PET 方法更多的渦旋，通過與該區域的海表面高度等值線圖對比，發現本文方法多提取的結果可能也是潛在的渦旋。觀察圖7a 和圖7b 兩組實驗結果中藍色方框框出的區域，與該區域的海表面高度等值線圖相比，本文的方法得到了與海表面高度等值線圖較為一致的渦旋提取結果，而EddyNet 方法檢測到了許多虛假的渦旋，這是由于EddyNet 方法網絡結構過于簡單造成的。本文方法可以識別出PET 方法未能識別出的潛在的中尺度渦，盡可能過濾掉可能識別出的錯誤渦旋，正是因為本文的方法可以更加謹慎地利用更多的上下文信息來捕獲渦旋細節。因此，本文方法有不錯的中尺度渦檢測效果，在檢測中尺度渦時更有潛力。

圖7 不同方法在EddyNet-Data 數據集上的分割結果Fig.7 Segmentation results on EddyNet-Data dataset of different methods

3.6 南大西洋中尺度渦時空分布特征分析

本文以海表高度數據為基礎，利用改進后的UNet 模型對2011 年全年所有周南大西洋海域中尺度渦信息進行了提取，得到南大西洋海域中尺度渦的空間分布（圖8）。同時對南大西洋海域全年所有周中尺度渦總個數（圖9a）、氣旋渦個數和反氣旋渦個數（圖9b）、中尺度渦總面積（圖9c）、氣旋渦總面積和反氣旋渦總面積（圖9d）的變化進行統計，并分析其時間變化規律，其中，渦旋面積用渦旋內部包含的像元個數表示[22]。

圖8 2011 年南大西洋海域中尺度渦空間分布Fig.8 Distribution of mesoscale eddies in the South Atlantic Ocean in 2011

圖9 2011 年南大西洋海域中尺度渦個數、面積的周變化Fig.9 Weekly variation of mesoscale eddies number and area in the South Atlantic Ocean in 2011

中尺度渦空間分布（圖8）表明，南大西洋海域四季都有中尺度渦分布且分布廣泛。其中面積較大的中尺度渦主要分布在東南海域。

中尺度渦時間變化統計（圖9）表明，南大西洋海域中尺度渦個數及面積均呈現明顯的周變化，且變化的波動性明顯。南大西洋海域中尺度渦在個數上冬、春兩季少，夏、秋兩季多，其中個數最高值出現在第49 周（夏季），為231 個，最低值出現在第39 周（春季），為147 個。在渦旋總面積上的時間變化也呈現出相似的規律，即冬、春兩季中尺度渦總面積較小，夏、秋兩季中尺度渦總面積較大，其中中尺度渦總面積的最大值出現在第49 周（夏季），為4 821 個像元，最小值出現在第40 周（春季），為2 723 個像元。說明南大西洋海域中尺度渦存在一定的季節性變化，更多的中尺度渦在夏季和秋季生成，并且面積較大的中尺度渦也主要出現在夏季和秋季。南大西洋海域氣旋渦、反氣旋渦個數全年基本相近，氣旋渦、反氣旋渦個數最高值均出現在夏季，其中氣旋渦最高值出現在第1 周，為119 個，反氣旋渦個數最高值在第49 周，為119 個。說明夏季是南大西洋海域氣旋渦、反氣旋渦發育的高峰期。在面積上，反氣旋渦總面積往往大于氣旋渦總面積，尤其在春末夏初和秋末冬初時，氣旋渦、反氣旋渦總面積差別更為明顯。此外，與氣旋渦相比，反氣旋渦總面積的季節性變化更明顯，反氣旋渦在秋季中期到冬季初期，以及夏季初期的總面積明顯高于其他季節。

4 結論

本文提出了一種基于改進的U-Net 網絡的海洋中尺度渦自動檢測模型，該模型在特征提取階段嵌入了卷積注意力模塊，使得模型關注于最具有類別區分度的區域；同時模型引入了殘差學習模塊解決了網絡過深產生退化的問題。實驗結果表明，與現有的方法相比，本文模型能夠更準確地提取渦旋的特征信息，提高了中尺度渦提取結果的準確性與合理性。該方法可為海洋學家通過海表面高度探測高程渦流提供可靠技術方法。下一步將把本方法應用到全球范圍內，并評估本方法對其他區域中尺度渦檢測的普適能力。