基于改進U-Net網絡模型的高分影像養殖池塘提取

陳 行，夏麗華，顏 軍，蔣曉旭，黃騰杰，鄧劍文

（1.廣州大學地理科學與遙感學院/廣東省農村水環境面源污染綜合治理工程技術研究中心，廣州 510006；2.珠海歐比特宇航科技股份有限公司，廣東 珠海 519000）

隨著中國人民生活質量的提高，人民群眾對魚類、蝦類等水產品需求逐年增加。池塘養殖作為一種重要的水產養殖方式，其分布調查是漁業資源研究的重要部分。傳統的調查方式耗時費力，得到的一般為統計數字和文本數據，直觀性差，不適合大范圍的水產養殖資源調查，遙感技術具有獲取數據面積廣、重訪周期短、時效性強、成本相對低等特點，利用遙感技術對漁業養殖信息進行提取，已經成為漁業資源與環境研究的一個重要發展方向［1-3］。

各類型遙感衛星升空運行，使遙感技術在各領域應用加速，但在漁業應用方面相對滯后［4］。在漁業養殖領域，遙感技術多數應用于大面積養殖水體提取和養殖水體污染反演估算［1-5］。在大面積水產養殖提取方面，主要有基于目視解譯的方法、基于光譜信息的方法和面向對象方法［6，7］。面向對象方法依據影像目標的光譜、形狀、紋理等特征信息進行分類，能夠提高分類精度、減少椒鹽噪聲，被廣泛應用于漁業遙感信息提取［8］。例如，關學彬等［9］基于SPOT遙感衛星影像，使用eCognition面向對象遙感商業化的處理軟件對海南文昌水產養殖區進行提取。王曉軒［10］基于SPOT-5衛星影像，使用面向對象方法，采取兩層分割尺度技術對近岸海水和養殖水體實現了有效分離。還有一些學者嘗試基于中高分辨率遙感影像，使用面向對象和其他方法相結合對養殖池塘進行提取。裴亮等［11］使用歸一化差異池塘指數結合面向對象方法提取海岸養殖池塘，取得比傳統指數法閾值分割更優的效果。王芳等［1］結合面向對象方法和關聯規則方法，對4種海水養殖模式進行精細提取，拓寬了傳統邏輯推理分類方法中獲取信息的途徑，且分類精度得到了提高。

上述方法人工參與程度仍然較高，提取結果不夠精細。近年來，深度學習在影像語義分割精度和自動化方面的優勢為遙感信息提取提供了新的途徑［12］。劉岳明等［13］使用RCF模型提取高分二號影像中的養殖浮筏，取得了良好效果。鄭智騰等［6］提出一種改進型雙支網絡結構，用于提取高分二號影像中海面的養殖網箱，分類精度高于傳統方法。但是，養殖浮筏和養殖網箱邊緣清晰、海面背景簡單，而陸地上的養殖池塘不僅大小、形態不一，而且背景地物復雜多樣，因此精細提取養殖池塘的難度要遠大于提取海上的養殖浮筏和養殖網箱。本研究數據源為0.5 m分辨率遙感影像，使用改進的U-Net網絡模型對養殖池塘進行精細提取，并與使用面向對象方法和D-LinkNet模型方法提取結果進行對比，以期為這方面研究提供參考。

1 研究方法

1.1 卷積神經網絡模型（CNN）

深度學習最早由Hinton等［14］在2006年提出，此后，深度學習開始備受學者關注。深度學習是用多層神經網絡模擬人類大腦學習過程的一個機制。不同于傳統機器學習算法，深度學習更強調從海量數據中通過多層神經元自動學習特征［14-16］。卷積神經網絡（CNN，Convolutional neural networks）是深度神經網絡的一種，主要由輸入層、卷積層、池化層、全連接層及輸出層組成。卷積層用于特征抽取，池化層又稱下采樣，目的是將特征降維并壓縮數據量，全連接層作用是特征整合與分類。卷積神經網絡基本結構如圖1所示。

圖1 卷積神經網絡（CNN）基本結構

1.2 全卷積網絡模型（FCN）

全卷積神經網絡（FCN，Fully convolutional networks）是在卷積神經網絡基礎上改進而來。全卷積神經網絡把卷積神經網絡中的全連接層替換為卷積層，整個網絡由卷積層連接，這樣使得原來由卷積神經網絡輸出的一維概率值變為輸出二維分類結果圖像，即形成端到端的網絡模型。改進后的全卷積神經網絡能夠有效保留輸入圖像的空間信息，可以實現對每個像素都產生一個預測結果，同時因為省去了卷積神經網絡中復雜的逐個窗口計算過程帶來的大量冗余，圖像處理效率也得到大幅提升［15-17］。FCN結構如圖2所示［18］。

圖2 全卷積神經網絡（FCN）結構

1.3 U-Net網絡模型

U-Net網絡模型由FCN改進而來，于2015年首次提出并應用于生物醫學圖像語義分割。因為該模型擁有1個壓縮網絡結構以及1個擴展網絡結構，2個結構對稱形狀似字母“U”，所以稱之為U-Net［19］。U-Net結構如圖3所示。U-Net使用深度學習模型廣泛應用的編碼-解碼思想，其左邊壓縮部分是編碼器，編碼器部分進行圖像的下采樣，圖像不斷縮小，右邊擴展部分是解碼器，進行圖像的上采樣，圖像不斷擴大。U-Net采用4次跳躍連接方式來連接壓縮結構與擴展結構大小對應的特征圖，使兩部分特征圖進行融合。U-Net模型的“U”型結構使得不同尺度間的特征融合更加直觀，低級特征和高級特征融合能夠保留更多細節信息，同時其“U”型結構具有很強的改造性［12，20，21］。

圖3 U-Net網絡模型結構

1.4 融合DenseNet的改進U-Net網絡模型

U-Net最初是為生物醫學影像分割提出的網絡模型，由于地物的復雜性，如果將原始較淺的U-Net網絡模型直接應用于遙感影像中，會導致地物特征提取不充分，分類精度降低。DenseNet是一種具有密集連接結構的網絡模型，如圖4所示，它有多個密集連接塊（Dense block，DB）并由轉換層（Transition layer）串聯起來，這樣使得網絡更窄，參數更少。而在每一個密集連接塊DB內，每一層不僅與相鄰層連接，而且與其后所有層都直接連接，即網絡中任意一層的輸入都是前面所有層的輸出總和。因此，相對于VGG等早期卷積網絡，DenseNet網絡有以下特點［22，23］：①一定程度上減輕了梯度彌散；②加強特征傳播，特征被充分利用；③具有正則化效應，減少過擬合；④網絡更窄，參數減少。

圖4 DenseNet網絡結構

因此，將DenseNet網絡引入U-Net網絡模型的壓縮部分，即使用DenseNet作為U-Net的編碼器，這樣能夠充分發揮DenseNet特點，更有效地利用和傳遞特征信息，達到良好的分類效果，改進后的U-Net模型如圖5所示。

圖5 改進的U-Net網絡結構

2 養殖池塘提取試驗

2.1 數據預處理

研究區為廣東省珠海市，珠海市位于廣東省珠江口西岸，研究區內養殖池塘、河流、耕地、建設用地、山地等各類型用地均有分布，地物類型復雜多樣。試驗采用的遙感數據為2019年9月Pleiades遙感衛星數據，Pleiades遙感衛星搭載有0.5 m全色相機和2.0 m多光譜相機。首先，對全色影像和多光譜影像進行輻射校正和幾何校正，將0.5 m全色影像和2.0 m多光譜中RGB波段使用Pansharp算法進行融合，拼接生成0.5 m分辨率珠海全區的RGB影像。其次，使用ArcMap 10.3軟件對珠海典型區域養殖池塘進行手工標注。以5 056×5 056像元大小選取100塊典型區域，按照4∶1制作為訓練數據集和驗證數據集。最后，將數據集影像按512×512像元大小裁剪為141 932張影像，其中，512×512即為模型訓練中影像的輸入像元大小。

2.2 網絡模型訓練

本研究改進的U-Net網絡模型基于深度學習框架TensorFlow搭建，在使用Ubuntu 16.04版本操作系統的服務器上運行，服務器CPU型號為Intel Xeon Silver 4114（2.2 GHz），GPU型號為TITAN Xp（12 GB）。試驗使用GPU訓練，綜合考慮訓練樣本數量和GPU內存大小，確定模型的初始學習率（Learn rate）為0.000 1，批大小（Batch size）為4，迭代次數（Epoch）最大為100次，并設置早停法（Early stopping）策略可提前終止訓練。訓練過程最終在迭代54次后終止，訓練過程中的損失值變化如圖6所示。

圖6 訓練損失值變化

2.3 精度評價及結果分析

為了評估改進U-Net網絡模型提取效果，從驗證集中選取珠海不同地區3塊典型區域影像，使用面向對象方法和CVPR 2018 DeepGlobe比賽奪冠網絡模型D-LinkNet［24］與本研究方法對比。面向對象方法，首先將圖像分割成超像素對象，然后再對這些對象進行分類。試驗設置經過多次嘗試，設置分割尺度為60，顏色權重為0.5，形狀權重為0.5，緊致度為0.2，平滑度為0.8。D-LinkNet網絡模型在同等硬件環境下進行試驗。然后對3種方法提取效果進行定量和定性2個方面的對比評價和分析。

定量評價方面，以目視解譯手工矢量化為參考，選取基于混淆矩陣的3個評價指標——交并比（IoU，Intersection over union）、精確率（P，Precision）、召回率（R，Recall）來定量評價改進U-Net網絡模型與面向對象養殖池塘提取效果。

如表1所示，TP表示提取結果和真實情況完全一致都是正例，稱之為真正例，FN表示提取結果是反例而真實情況為正例的情況，FP與FN表示的情況完全相反，TN則表示提取結果和真實情況都是反例的情況。

表1 混淆矩陣

交并比是指提取結果與實際情況的交集和并集之比，它是最常用的評價指標之一。用混淆矩陣表示，公式如下。

精確率是針對提取結果而言的，它表示的是提取為正例的結果中有多少是真實情況的正例，公式如下。

召回率是針對真實情況而言的，它表示的是真實情況的正例有多少被正確提取，公式如下。

從表2中可以看出，改進U-Net模型方法提取結果精度在3個評價指標方面均高于面向對象方法。改進U-Net模型方法在精確率和IoU 2個指標高于D-LinkNet模型方法，并且改進U-Net模型方法兼顧精確率和召回率2個相互關聯的指標，僅在召回率單個指標低于D-LinkNet模型方法。

表2 3種方法的提取結果精度對比（單位：%）

為了進一步評價改進U-Net網絡模型對養殖池塘的提取效果，對提取結果定性對比，如圖7所示，有以下發現，和面向對象提取結果相比，改進U-Net網絡模型方法漏提少。面向對象方法結果中，影像A的區域1及影像B的區域4養殖池塘有較為明顯的遺漏提取，主要原因是面向對象方法對無水的養殖池塘不能很好地提取；改進U-Net網絡模型方法誤提較少。影像B的區域2中，面向對象方法和DLinkNet模型方法均出現將耕地田塊誤提為養殖池塘的問題，而本研究的方法幾乎沒有這種情況；改進U-Net網絡模型對養殖池塘與耕地及景觀池塘區分能力比以上2種方法好；影像B的區域3中，其他2種方法將景觀池塘誤提為養殖池塘，而改進U-Net模型方法沒有出現這種誤提現象；影像C的區域5近海灘涂和養殖池塘的顏色、紋理相近，特別是圍起的灘涂，形成類似養殖池塘的矩形，因此，3種方法提取均有誤提的情況。總體來看，本研究方法比面向對象方法更少漏提和誤提，比D-LinkNet模型方法更少誤提，總體上，改進U-Net網絡模型養殖池塘提取效果最好。

圖7 改進U-Net網絡模型對養殖池塘的提取效果

3 小結

針對目前養殖池塘精細提取研究較少的情況，本研究基于高分辨率遙感衛星影像，使用DenseNet結構作為編碼器改進U-Net網絡模型對養殖池塘進行提取，并使用面向對象方法和D-LinkNet模型方法進行對比。結果顯示，改進U-Net網絡模型方法養殖池塘提取效果最佳，精確率、召回率、交并比分別達到92.77%、92.21%、85.60%。相比面向對象方法，使用本研究改進U-Net模型方法人工參與度低、參數少、學習能力強、智能化程度高。同時，和DLinkNet模型方法相比，本研究方法誤提更少。因此，改進U-Net網絡模型方法提取高分辨遙感影像中養殖池塘具有明顯優勢，對漁業養殖確權、精細化管理等更具有實際意義，能夠為漁業資源統計調查提供新方法參考。后續還將使用改進U-Net網絡模型對不同時相的高分辨率遙感影像進行養殖池塘精細提取試驗，以驗證改進U-Net網絡模型方法對不同地區養殖池塘的提取能力。