基于條形卷積和上下文感知的近海水產養殖提取方法

吳婷, 陳紅梅, 羅冬蓮, 陳蕓芝

(1. 福州大學數字中國研究院(福建), 福建 福州 350108; 2. 衛星空間信息技術綜合應用國家地方聯合工程研究中心, 福建 福州 350108; 3. 福建省水產研究所, 福建 廈門 361006)

0 引言

隨著近海水產養殖業的快速發展和養殖面積的不斷擴大, 大規模養殖區的散亂分布嚴重影響了海上交通, 人工飼養的殘留物導致水體富營養化嚴重、 水體溶氧壓力增大等一系列水質問題[1-2]. 從遙感圖像中提取近海水產養殖區域能夠促進水產養殖業的健康可持續發展, 減少其無序發展帶來的負面影響, 對于水產養殖監測、 規劃和管理非常重要.

近海水產養殖方式以筏式和網箱養殖為主, 養殖面積廣闊且大部分位于海面, 依靠傳統監測方法耗時長、 成本高且更新頻率低. 衛星傳感器因具有探測范圍廣、 時效性強, 經濟效益大, 以及獲取資料準確且豐富等優點[3], 使得遙感技術在海洋生態領域中的應用越來越廣泛, 特別是在海水養殖區的長期大范圍監測方面. 高空間分辨率影像數據能在一定程度上減少混合像元對信息提取的影響, 使提取結果更接近實際養殖水面面積, 但由于其高成本和圖像寬幅小的缺點, 多用于單一海灣的小區域[4]. 而Landsat系列和Sentinel-2等中分辨率遙感數據因圖幅優勢, 適用于更大范圍的近海水產養殖提取任務. 部分學者基于像元的光譜、 紋理等特征進行監督或非監督分類, 以及面向對象分割等方法開展近海水產養殖信息提取. 武易天等[5]、 李纓等[6]和薛梅等[7]結合遙感影像的光譜、 形狀和紋理等特征, 得到精確的近海水產養殖區信息. 上述方法都是基于水產養殖的低層特征構建得到, 這些特征的提取方法簡單, 復雜度低, 然而其穩定性不足, 不適合應用于大規模數據集上.

相較于傳統方法, 深度學習無需對影像進行復雜的光譜特征分析而是通過卷積層自動從影像中學到豐富的光譜與空間特征, 能夠實現大范圍精準分類, 以及提高提取任務的自動化程度, 且具有魯棒性、 穩定性及不變性等優勢, 在道路、 建筑物和水產養殖區等地物提取中均取得良好的效果[8-10]. 采用深度學習方法提取近海養殖區域, 不僅能避免水陸分離等預處理操作, 同時, 對于近海復雜光譜信息和水產養殖密集分布的區域能表現出更好的提取能力. Shi等[11]基于全卷積網絡模型設計了雙尺度同質卷積神經網絡實現海陸邊界的識別及筏式養殖提取, 但密集養殖區的水體易誤判為筏式養殖. Lu等[12]在U-Net模型基礎上引入注意力和流對齊模塊, 挖掘水產養殖區豐富的語義和位置信息, 提高模型提取精度, 但在養殖密集區仍存在粘連現象. 由于養殖水體對養殖區邊緣的干擾, 劉岳明等[13]通過建立豐富卷積特征模型提取的筏式養殖存在邊界未封閉問題. 由此, Cui等[14]在U-Net基礎上通過增加金字塔上采樣壓縮激勵模塊以解決養殖邊緣模糊問題, 并實現大范圍的筏式養殖提取. 柯麗娜等[15]為更準確地提取近海網箱養殖的邊緣和形狀特征, 則結合 Canny 算子雙邊濾波算法和U-Net模型實現網箱養殖提取. 卷積神經網絡主要是通過卷積層學習目標的不同特征, 但隨著網絡層數的加深U-Net模型易出現梯度消失和網絡退化等問題[16], 在U-Net基礎上結合殘差學習[17]提出一種新的用于地物提取的ResUnet(residual U-Net)網絡結構[18], 并在道路提取任務中表現較好. 但是該模型結構較簡單, 應用于不同的場景時, 模型特征提取能力存在差異, 部分學者通過增加注意力和金字塔池化等模塊以提高ResUnet網絡的特征提取能力[19-20].

近年來, 基于深度學習方法的近海水產養殖提取集中在單一海灣的高空間分辨率遙感圖像, 然而在大規模的近海水產養殖區域提取任務較難實現. 中分辨率遙感圖像無疑是更好的選擇, 但受沿海陸地和海水的影響, 光譜信息更復雜, 導致養殖區提取存在一定困難. 因此, 本研究以ResUnet模型為基礎, 提出一種帶有條形卷積模塊和上下文感知單元的水產養殖提取方法, 增強模型的特征提取能力, 實現高精度的大范圍中等分辨率影像近海水產養殖信息提取, 同時能夠滿足基于高分辨率影像的重點水產養殖提取需求.

1 研究方法

1.1 MSUResUnet網絡模型

ResUnet[18]融合了殘差網絡和U-Net結構的優點, 在遙感影像提取任務中被廣泛應用并展現出良好的性能. 本研究在ResUnet模型的基礎上, 改進得到MSUResUnet(multi-directional strip convolutional and context-aware unit residual U-Net)模型(圖1). 該模型增加了下采樣的次數, 加深了模型的結構, 使得模型具有更強的特征提取能力; 同時, 在模型的編解碼器中引入多方向條形卷積模塊[21], 同級編解碼之間通過條形池化模塊[22]連接, 在模型中間引入上下文感知模塊.

圖1 MSUResUnet網絡模型圖Fig.1 MSUResUnet network model

1.2 條形池化

ResUnet網絡結構通過簡單的跳躍連接來加強淺層與深層特征間的聯系, 無法有效突出水產養殖區的特征信息, 導致提取效果不理想. 條形池化模塊(strip pooling, SP)[22]可以有效建立長距離依賴關系, 并用帶狀核對區域進行編碼, 不同于依賴于方形核的傳統空間合并, 其具有較好的捕獲長距離相關性和提高通道間相關性的能力. 為增強編碼層與解碼層信息之間的特征交互能力編解碼器之間由SP模塊連接.

1.3 多方向條形卷積模塊

在卷積神經網絡中, 大部分卷積層采用方形卷積核來學習特征, 且適用于大多數地物. 然而, 水產養殖在遙感影像上大多呈現長條形狀、 狹窄且并排密集分布. 利用方形卷積核無法較好地捕捉養殖區的線性特征, 因此, 為增強模型對水產養殖線狀特征的捕捉能力, 在模型的編解碼部分引入多方向條形卷積模塊(multi-directional strip convolutional, MSC)[21], 以捕獲水產養殖的長距離關系和局部線性上下文信息. 該卷積的基本結構如圖2所示. 多方向條形卷積層由4個不同方向的非對稱卷積組成來捕獲不同方向的遠程上下文信息, 分別是水平、 垂直、 左對角線和右對角線, 為捕捉養殖區更顯著的線性特征, 經對比實驗本文最終將卷積層的卷積核分別設置為1×11和11×1. 特征圖輸入多方向條形卷積層后, 并行經過4個方向的條形卷積層提取水產養殖區的線狀特征, 然后將提取的特征拼接并輸入到下一層的方形卷積核中, 充分融合條形卷積層的線狀特征.

圖2 多方向條形卷積結構Fig.2 Multi-directional strip convolutional structure

1.4 上下文感知單元

光譜和紋理特征都屬于淺層特征, 較容易通過圖像獲得, 而語義分割和目標檢測任務中重要的上下文特征是一種較抽象的深層特征信息, 有助于區分目標對象和背景信息[23]. 為獲取水產養殖區更豐富的上下文信息, 本模型在編解碼中間增加了一個上下文感知單元(context-aware unit, CU), 該模塊基于殘差單元(如圖3(a))設計得到, 將殘差單元中的方形卷積核替換為條形卷積(strip conv)和膨脹卷積(dilate convolution)[24], 并結合循環卷積思想[25]將不同尺度進行特征整合, 其結構如圖3(b)所示. 圖3中1×1卷積用于壓縮特征, 以降低模型的計算量. 經實驗本研究最終確定壓縮率為r=8, 時間步長t=1, 膨脹率d根據特征圖尺寸大小分別設置為8和16.

圖3 上下文感知單元結構Fig.3 Context-aware unit structure

2 實驗與評價指標

2.1 Sentinel-2 MSI水產養殖遙感數據集

水產養殖遙感數據集基于福建省寧德市三沙灣海域預處理后的Sentinel-2 RGB遙感影像制作得到, 數據從歐空局網站(https://scihub.copernicus.eu/)免費下載, 空間分辨率為10 m. 數據集使用4景不同時相、 云量少且覆蓋整個三沙灣海域的影像制作而成, 標簽制作過程在ArcGIS軟件中實現. 數據處理過程中, 以32 px的重疊率和128 px×128 px的圖片大小對影像進行裁剪. 對標簽進行篩選后共獲得3 260張水產養殖影像及其對應的標簽, 按7∶2∶1比例將數據集劃分得到2 282張訓練集、 652張測試集和326張驗證集. 同時, 在模型訓練過程中對數據進行翻轉、 旋轉、 偏移和縮放等數據增強操作.

2.2 實驗環境

基于Windows10系統和PyTorch1.2框架, 利用搭載NVIDIA RTX 2080(8 GB)顯卡的GPU進行網絡的訓練. 網絡訓練過程中, 實驗基于自適應梯度下降Adam算法作為模型訓練的優化器; Batchsize設置為8; Epoch(迭代次數)設置為150; 初始學習率設為0.001, 且訓練過程中經過4次0.1倍速的遞減; 損失函數則采用骰子系數(dice coefficient)和交叉熵損失(cross entropy loss)的組合.

2.3 評價指標

使用總體精度(overall accuracy, OA)、 Kappa系數(K)、 平均交并比(mena intersection over union, MIoU)和F1分數(F1)評價模型的性能. 總體精度是正確分類的像素與總像素總數之比; Kappa系數旨在衡量分類的效果; 交并比表示預測圖和真實標簽之間交集和并集的比值, 平均交并比表示所有類的平均交互;F1分數是召回率(R)和精確率(P)的和平均值, 能夠綜合召回率和精準率兩個指標的性能.

3 實驗結果與分析

3.1 不同網絡結構損失(Loss)曲線對比

為驗證模型的性能并分析各模塊對水產養殖提取的影響, 本研究在Sentinel-2 MSI水產養殖數據集上對多個模型進行測試, 包括U-Net[16]、 Improved U-Net[12]、 ResUnet[18]、 MSResUnet(multi-directional strip convolutional ResUnet, 在ResUnet中增加了條形池化SP和條形卷積模塊MSC)及MSUResUnet(在ResUnet中同時增加了SP、 MSC和上下文感知單元CU). 圖4展示各模型在Sentinel-2 MSI水產數據集上的訓練損失曲線變化, 可知上述模型的訓練損失變化趨勢基本保持一致. 即在前40個迭代次數中, 各模型的損失下降較快, 而在后40個迭代次數各模型的損失逐漸穩定并收斂. 進一步比較模型的收斂階段可知, MSResUnet和MSUResUnet模型整體的損失較低, 表明二者的擬合效果較好, 尤其是MSUResUnet模型在擬合效果方面表現最佳.

圖4 Sentinel-2 MSI數據集上的訓練損失曲線 Fig.4 Training loss curves on Sentinel-2 MSI datasets

3.2 不同網絡結構實驗對比

研究基于控制單一變量原則和Sentinel-2 MSI數據集, 在相同的訓練條件下對不同模型進行訓練和測試, 各模型的部分預測結果如圖5所示.

圖5 不同算法在Sentinel-2 MSI數據集預測結果Fig.5 Prediction results of different algorithms in Sentinel-2 MSI datasets

由圖5可知, 區域A中由于養殖密度較大且部分養殖區受到海水環境影響導致在影像上的信號較弱, U-Net和ResUnet模型提取結果中筏式養殖存在嚴重的粘連現象, 增加條形池化SP和條形卷積模塊MSC有助于模型捕獲長距離的依賴關系和線性特征, 明顯改善了粘連現象. 從區域B的提取結果可知, 該區域內筏式和網箱養殖交錯緊湊分布, U-Net、 ResUnet和MSResUnet模型的提取結果中網箱養殖出現粘連現象, 而MSUResUnet模型粘連現象得到改善, 提取效果最優. 圖5中的區域A、 B顯示U-Net+Canny邊緣和Improved U-Net提取的養殖區邊界的粘連現象得到一定改善, 但是在密集養殖區其邊界效果不如MSUResUnet方法. 圖5中的區域C、 D提取結果可知, U-Net、 Improved U-Net、 U-Net+Canny邊緣、 ResUnet和MSResUnet提取結果均存在明顯的漏提現象; 該區域內養殖區光譜信號較弱且與背景相近導致部分漏提, 增加上下文感知單元CU模塊提高了MSUResUnet模型獲得多尺度上下文的能力, 更關注于水產養殖區的位置信息和語義信息, 模型提取結果與標簽影像更接近, 改善了漏提現象. 綜上, 本研究提出的MSUResUnet模型具有更好的特征提取能力, 能夠準確識別筏式養殖區和網箱養殖區, 且可以減少養殖粘連和漏提現象.

為了直觀比較各模型在Sentinel-2 MSI數據集上的性能, 使用節2.3中的評價指標對各模型進行評估, 并將結果整理, 見表1. 由表1可知, MSResUnet和MSUResUnet模型在Sentinel-2 MSI水產養殖數據集上表現出較好的提取效果, 兩者的K、 MIoU、 OA和F1在數值上明顯高于U-Net和ResUnet模型. 其中, MSUResUnet模型的整體精度最好, 與U-Net模型相比, 各評價指標分別增加了1.22%、 1.74%、 0.39%和1.12%; 較ResUnet模型分別增加了0.99%、 1.51%、 0.32%和0.98%; 與Improved U-Net對比, MSUResUnet模型的評價指標均更高. 進一步分析可知, 加入邊緣特征在一定程度上提高了模型的提取精度, 其MIoU、 OA和F1均優于U-Net和ResUnet模型, 但較MSUResUnet模型,K和MIoU分別相差1.04%、 1.44%. Unet增加殘差網絡后精度得到小幅度的提升, ResUnet模型增加SP和MSC模塊后, MSResUnet模型的精度有較大的提高, 其K、 MIoU、 OA和F1分別提升了0.82%、 1.22%、 0.28%和0.79%, 表明SP和MSC模塊在提高模型捕捉線性特征的能力方面具有較好效果, 是模型性能提升的主要因素, 而將SP、 MSC和CU模塊聯合起來能夠進一步提升模型的性能, 從而取得更好的養殖區提取結果.

表1 各模型在Sentinel-2MSI測試數據集上的精度對比

3.3 福建省海域提取結果與分析

1) 基于Sentinel-2影像近海養殖區提取. 為驗證本文模型在福建全省近海養殖區提取任務的適用性, 本研究將基于Sentinel-2 RGB影像訓練的MSUResUnet網絡模型擴展應用至整個近海水產養殖區, 從歐空局官網上獲取2019年3月30日福建省近海Sentinel-2 MSI遙感影像數據, 提取結果如圖6.

圖6 MSUResUnet模型在福建省海域Sentinel-2 MSI影像預測結果Fig.6 Prediction results of MSUResUnet model on Sentinel-2 MSI images in sea area of Fujian Province

由圖6(a)得到2019年福建省近海水產養殖空間分布信息, 可知福建省近海養殖主要分布于三沙灣、 興化灣及東山灣海域, 養殖分布是以中部興化灣海域為中點, 分為上下近似對稱養殖相關. 統計得到2019年近海水產養殖總水面面積為336.24 km2, 其中, 網箱養殖面積為37.76 km2, 筏式養殖面積為298.48 km2. 同時, 為更加準確地評估本模型MSUResUnet在福建近海海域水產養殖區提取效果, 選擇三沙灣和羅源灣和興化灣附近海域, 利用評價指標對模型預測結果與對應海域的矢量化真實標簽進行精度評估, 結果如表2.

表2 不同海域養殖提取精度

結合原始影像數據, MSUResUnet模型在興化灣、 三沙灣和羅源灣附近海域的提取結果與真實的近海水產養殖面積分布一致, 區分了筏式和網箱養殖區. 興化灣、 三沙灣和羅源灣附近水域的提取精度K和MIoU分別達到了89.06%、 90.26%和83.48%、 86.98%, 結果表明本研究改進的MSUResUnet模型能夠滿足大規模筏式和網箱養殖的快速提取需求. 然而, 面對干擾因素較多的復雜場景時, 例如, 受近海水體中的葉綠素a、 黃色物質CDOM等噪聲影響, 遙感圖像上養殖區相對模糊的區域仍存在較少的遺漏和粘連提取效果仍需提升.

2) 基于GF-2 PMS影像近海養殖區提取. 考慮到模型MSUResUnet在不同分辨率影像上的適用性, 由于2019年3月30日高分二號影像數據可用性較低, 無法獲取到覆蓋整個三沙灣海域的影像, 故只在有限的數據中選取與Sentinel-2影像獲取的典型研究區一致的兩景GF-2 PMS影像, 實現不同數據源GF-2影像中近海水產養殖區自動提取, 提取結果如圖7. GF-2影像較Sentinel-2分辨率高, 因此水產養殖區域的邊緣部分提取結果更為清晰準確, 并且在密集養殖區域誤提現象較少, 取得了較高的提取精度. 然而, 由于近海高分數據的可用性較低且寬幅小, 基于高分數據的同一時相大規模近海水產養殖提取任務較難實現, 更適合用于對重點單一海灣養殖區的遙感監測.

圖7 MSUResUnet模型在三沙灣海域GF-2PMS影像預測結果Fig.7 Prediction results of MSUResUnet model on GF-2 PMS images in Sansha Bay

4 結語

針對中等分辨率影像中水產養殖邊界模糊、 存在類間干擾的問題, 設計一種帶有條形卷積模塊和上下文感知單元的MSUResUnet模型, 并分別在福建省近海海域的Sentinel-2 MSI和GF-2 PMS數據驗證模型的性能. 實驗結果表明: 以ResUnet模型為基礎, 增加條形池化SP和條形卷積模塊MSC能捕捉到更加豐富的線性特征, 改善了養殖提取任務中的粘連現象; 增加上下文感知單元CU使模型具有更好的多尺度上下文信息獲取能力, 關注于近海水產養殖區相關的語義信息, 有效減少了模型的漏提現象. 該網絡模型在Sentinel-2 MSI水產養殖數據集取得了較高精度, 其K、 MIoU、 OA和F1分別達到了89.17%、 84.33%、 96.38%、 91.19%, 與Unet+Canny邊緣和Improved U-Net對比, MSUResUnet模型在中分辨率遙感影像上的近海水產養殖區提取任務中具有更好的特征提取和抗干擾能力. 本文模型在福建全省近海水產養殖區提取任務中取得較高的提取精度, 能夠滿足大規模筏式和網箱養殖的快速提取需求, 具有較強的適用性; 同時, 在GF-2 PMS影像上也具有較好的提取能力, 表明網絡模型不受限于傳感器差異造成影響, 對高分辨率影像的水產養殖區提取同樣適用.