深度邊緣光譜U-Net 海水網箱養殖信息提取

柯麗娜，翟宇寧, ，范劍超*

(1.遼寧師范大學 地理科學學院，遼寧 大連 116029；2.國家海洋環境監測中心 海洋遙感技術室，遼寧 大連 116023)

1 引言

海水養殖是沿海城市的重要經濟來源之一，為城市發展帶來了巨大的經濟效益[1-2]。隨著海水養殖業繁榮發展，高密度海水養殖、侵占生態保護區等違規養殖情況也逐年增加。同時，由于部分養殖戶、養殖企業使用開放式養殖模式，再加上養殖技術不規范，長此以往將對養殖區域周圍環境造成較大壓力[3-5]。高效率、高精度的海水養殖監測對促進海水養殖業持續穩定發展與營造健康平衡的海水生態環境具有十分重要的意義。

海水養殖目標分布廣泛且分散，傳統實地調查方法、監測方法受自然天氣、經濟成本等因素影響越發無法滿足實際監測需求。遙感技術手段憑借其覆蓋范圍廣、影像更新快等優勢為海水養殖監測提供了新的途徑[6-8]。楊英寶等[9]以航拍影像與TM 影像為數據源，通過目視解譯法對東太湖湖泊與網圍養殖面積進行提取。Seto 和Fragkias[10]利用目視解譯結合QuickBird 遙感影像提取魚類養殖區信息。該方法可有效提取相對面積較大的遙感對象，但提取精度較低，易受主觀因素影響且人工成本較高。為進一步提高養殖提取精度與效率，專家學者們引入Canny 算子[11]、自動閾值分割（Otsu）算法[12]、主成分分析K均值聚類（PCA_Kmeans）算法[13]等傳統提取算法概念。傳統提取算法在一定范圍內的海水養殖目標識別中表現出色。但隨著養殖提取區域擴大，環境背景愈加復雜，傳統算法的準確率無法滿足實際需求，需要結合遙感光譜特征通過目標敏感波段比值計算提取光譜特征進行更深層次的提取研究。盧業偉等[14]以福建省三都澳海域為研究區通過光譜特征指數與Otsu 算法實現了近海養殖區的快速有效提取。Kang 等[15]通過波段比值歸一化計算Landsat 數據以提取2000-2018 年遼寧省海水養殖目標。Wang 等[16]基于顯著性歸一化植被指數（OBVS-NDVI）對福州羅源灣筏式養殖進行識別提取。程博等[17]首先計算顯著光譜和灰度共生矩陣紋理特征，再利用閾值法提取筏式養殖與魚排網箱養殖兩種近海養殖類型。指數分析法有利于養殖目標光譜特征提取但存在“同譜異物”問題，同時缺少對光譜差異誤差的噪聲處理。

近年，深度學習網絡，特別是全卷積網絡（Fully Convolutional Network,FCN）因其泛化性與魯棒性優勢被應用于養殖提取研究中[18-19]。SegNet[20]與U-Net[21]繼承FCN 卷積層代替全連接層思想繼續對其網絡模型結構進行優化，形成深度學習網絡經典模型。鄭智騰等[22]基于密集網絡模型構架，設計了一種改進型雙支網絡結構對海水網箱養殖目標進行提取。劉岳明等[23]基于GF-2 衛星影像，建立豐富卷積特征（Richer Convolutional Features,RCF）深度學習模型實現福建省三都澳筏式養殖區的分類提取，實現大范圍養殖區的高精度提取。Cui 等[24]通過增加金字塔上采樣壓縮激勵模塊（Pyramid Upsampling and Squeeze-Excitation module,PSE）改進U-Net 網絡結構，解決遙感影像養殖邊緣模糊問題，實現連云港地區筏式養殖提取。Liu 等[25]基于DeepLabv3 網絡結構融合多源光譜特征實現長海縣筏式養殖目標提取。深度學習網絡工作原理是由卷積層學習不同的特征，由池化層將空域形狀匯聚到高維特征空間，多層交替的卷積、池化以獲取目標深度特征，但此過程中會出現目標細節丟失問題。

本文使用Canny 算子雙邊濾波算法對波段運算后的光譜信息進行降噪，降低近岸養殖區復雜遙感背景及新型深海網箱內部養殖水體對網箱邊緣光譜特征的干擾，提出深度邊緣光譜U-Net（Deep Edge Spectral-Unet,DES-Unet）模型。該模型在U-Net 跳躍連接結構中加入邊緣光譜特征與全卷積U-Net 模型提取的深度特征融合，經softmax 逐像素分類實現網箱養殖目標提取[26]。

2 研究區及數據

2.1 研究區

研究區海南島位置如圖1 所示，地處18°10′～20°10′N，108°37′～111°03′E。海南島地處熱帶，屬熱帶季風氣候，是我國最具有熱帶海洋季風氣候特征的地方，全年暖熱，雨量充沛，年平均氣溫為23～29℃。干濕季節明顯，常風較大。所轄海域面積為200×104km2，水系豐富，岸線資源充沛，沿岸海域水質優良，平均潮差小于1.7 m，海水平均流速為0.5 m/s，平均鹽度為33.5，海水平均pH 為8.0，環境條件適合進行海水養殖，養殖作物以魚蝦為主。研究區萬寧市與陵水縣養殖類型以傳統近岸網箱養殖類型為主，如圖1a、圖1b 所示。新型深海網箱養殖主要集中在北部臨高縣，如圖1c 所示，臨高縣擁有我國目前最大的深海網箱養殖基地，共有深海網箱逾3 000口，年產量約2.4×104t，是深海網箱養殖目標的典型研究區域。

圖1 研究區及網箱養殖目標示意圖Fig.1 Study area and cage culture images

傳統近岸網箱主要由框架系統、箱體系統和錨泊系統組成，其中框架系統大多由板材、浮筒等部件裝配而成。由于近岸網箱抗風浪能力差，一般設置于風浪流小、避風條件好的內灣、隘灣或港灣等海區。受研究區氣候影響，傳統近岸網箱養殖的網箱分布密集且靠近岸邊，如圖2a 所示，近岸網箱養殖區地物情況復雜，顏色與水體具有一定相似性，光譜特征受近岸陸地、島嶼、網箱內部水體、植被等因素影響難以使用單一光譜波段直接進行養殖目標提取。

圖2 傳統近岸網箱（a）與新型深海網箱養殖（b）Fig.2 Traditional offshore cages (a) and new deep-sea cages culture (b)

新型深水網箱主要由框架系統、網囊、固定系統和配套設施組成，利用固定平臺的相互作用及箱體的自身特點把箱體降到水下限定的深度。因其具有更好的抗風浪性，因此常見于我國海南、福建等熱帶海洋季風型氣候省份。研究區與傳統近岸網箱養殖目標不同，新型深海網箱養殖區離岸距離較遠，如圖2b所示，遙感影像背景較為單一。但深海網箱目標監測部分為水面網箱框體，受材質與框體自身顏色特征影響，與背景水體存在相似性，提取存在一定難度。

2.2 數據源

研究使用高分二號數據（表1），3 景高分數據分別覆蓋萬寧市、陵水縣、臨高縣3 個海水養殖區域。海南島近岸年均水溫為26℃，水溫穩定，全年存在海水網箱養殖目標。5-6 月是海南臺風與夏季風暴的多發季節，強風天氣后云量降低有利于遙感影像拍攝。因此遙感影像采集時間在5-6 月，且云量控制在5%以內，有利于網箱養殖提取。

表1 數據介紹Table 1 Data introduction

3 研究方法

本研究區養殖目標提取實現流程如圖3 所示：首先對原始可見光1A 級數據進行大氣校正、輻射定標、幾何校正、最鄰近值擴散銳化融合算法，選擇對網箱養殖目標更為敏感的紅、綠、近紅外波段進行波段的比值計算并使用Canny 算子提取養殖目標邊緣光譜特征。同時對原始遙感數據進行鏡像對稱操作，輸入固定尺寸通過U-Net 網絡卷積層進行網箱養殖深度特征提取，再通過池化層進行特征降維壓縮冗余信息，最后通過上采樣反卷積操作還原圖像尺寸。利用DES-Unet 模型跳躍連接結構實現兩側的深度特征圖與Canny 算子提取到的邊緣光譜特征進行特征融合，在softmax 分類器中進行逐像素點分類，實現多種類網箱養殖目標提取。

圖3 整體流程圖Fig.3 The overall flow chart

3.1 波段比值計算與邊緣信息提取

使用單一波段很難對海水養殖區進行有效提取，因此需要通過海水養殖目標最強反射波段與最弱反射波段間的比值運算突出養殖區域，抑制海水背景信息，進而達到海水養殖光譜特征提取的目的。根據海水養殖與海水水體在各個波段中表現出的差異性，選擇R 波段、G 波段及NIR 波段進行波段比值運算。進行如下計算：

式中，R為紅光波段反射率；G為綠光波段反射率；NIR為近紅外波段反射率；R1、R2為比值指數；R3、R4、R5為歸一化比值指數。波段計算效果如圖4 所示。

海水養殖區在不同波段表現出的色調有所差異，例如圖4a 中所示養殖區域與海水背景區域的亮度差更加明顯，利用閾值分割法分離出背景區域，對于抑制海水及陸地區域的干擾有很大價值。

圖4 不同波段計算效果Fig.4 Calculation effect of different bands

使用Canny 算子雙邊濾波算法去除波段運算后的冗余光譜信息。Canny 算子與傳統微分算子相比具有信噪比大、檢測圖邊緣精度高等優點。在遙感圖像中，離邊緣較遠的像素對于邊緣上面的像素影響不是特別大，從而可以較好地保存圖像邊緣附近的像素值。雙邊濾波方法屬于非線性濾波方法，同時考慮到了灰度和空域信息的相似性，既保留了圖像邊緣又去除了邊緣噪聲。雙邊濾波方法輸出圖像的邊緣像素值取決于附近像素值加權值之間的組合，定義為

式中，i和j表示當前像素坐標點；k和l表示鄰域像素坐標點；o(i,j)表示輸出的像素值；f(k,l)表示輸入的像素值；w(i,j,k,l)表示加權系數。

3.2 深度邊緣光譜U-Net 模型

深度邊緣光譜U-Net 模型網絡框架結構如圖5 所示，深度卷積網絡通過下采樣的過程來捕捉到所需的語義信息，與之對應的上采樣過程則可以用來進行精確地定位。利用U-Net 跳躍連接結構將降噪后的光譜特征與深度卷積網絡特征相融合，經softmax 分類器實現網箱養殖信息提取。

圖5 DES-Unet 結構圖Fig.5 Schematic diagram of DES-Unet structure

在輸入圖像前首先給輸入圖像增加一個固定尺寸的鏡像對稱的邊緣，這個固定尺寸由3×3 卷積得到的特征圖時的感受野來確定，由于3×3 卷積會對圖像的尺寸進行縮小，為保證有效的3×3 卷積不降低對于原始圖像的感受野，為輸入圖像的每條邊界增加感受野的一半作為鏡像對稱的邊緣大小。輸入圖像大小設置為512×512，經過計算鏡像邊緣的大小為60，即輸入的原始高分辨率遙感圖像的尺寸為572×572，鏡像對稱操作如下圖6 所示。

圖6 鏡像對稱操作Fig.6 Mirror symmetry operation

網絡輸入為經過邊緣鏡像操作的尺寸為572×572的原始遙感圖像，首先經過兩層通道數為64 的3×3 卷積層與其后相接的2×2 最大池化操作下采樣圖像尺寸為原始圖像尺寸的1/2 量級，即284×284。再經過兩層通道數為128 的3×3 卷積層與其后相接的2×2 最大池化操作下采樣圖像尺寸為原始圖像尺寸的1/4 量級，即140×140。然后經過兩層通道數為256 的3×3 卷積層與其后相接的2×2 最大池化操作下采樣圖像尺寸為原始圖像尺寸的1/8 量級，即68×68。之后經過兩層通道數為512 的3×3 卷積層與其后相接的2×2 最大池化操作下采樣圖像尺寸為原始圖像尺寸的1/16 量級，即32×32，從而得到最大壓縮程度的深度特征圖。其中，3×3 的卷積過程中不進行補0 操作，每次卷積圖像的尺寸會縮小2 行2 列，經過5 組正向卷積，將特征圖的尺寸壓縮為原始圖像的1/16，最終得到圖像尺寸為32×32 的深度特征圖（圖7）。

圖7 深度特征提取效果Fig.7 The effect of depth feature extraction

在還原圖像尺寸的過程中，即上采樣操作，通過2×2 的卷積來實現。將32×32 的深度特征圖送入兩層通道數為1 024 的3×3 卷積層與其后相接的2×2 卷積上采樣圖像尺寸為深度特征圖尺寸的2 倍量級，即56×56，同時拼接由正向卷積過程中68×68 的特征圖經過卷積得到的64×64 的特征圖的中心大小為56×56的區域。再經過兩層通道數為512 的3×3 卷積層與其后相接的2×2 卷積上采樣圖像尺寸為深度特征圖尺寸的4 倍量級，即104×104，同時拼接由正向卷積過程中140×140 的特征圖經過卷積得到的136×136 的特征圖的中心大小為104×104 的區域。然后經過兩層通道數為256 的3×3 卷積層與其后相接的2×2 卷積上采樣圖像尺寸為深度特征圖尺寸的8 倍量級，即200×200，同時拼接由正向卷積過程中284×284 的特征圖經過卷積得到的280×280 的特征圖的中心大小為200×200 的區域。之后經過兩層通道數為128 的3×3 卷積層與其后相接的2×2 卷積上采樣圖像尺寸為深度特征圖尺寸的16 倍量級，即392×392，同時拼接由正向卷積過程中572×572 的原始圖像經過卷積得到的568×568 的特征圖的中心大小為392×392 的區域。最后經過兩層通道數為64 的3×3 卷積層最終提取并還原出圖像尺寸為388×388 的深度特征圖，經過全連接層進行降維處理得到可以用于特征融合的深度特征。

在整個正向卷積與反向卷積的過程中，U-Net 模型通過跳躍連接實現兩側的深度特征圖與邊緣光譜特征的拼接合并，該方法可以有效地恢復所要提取養殖區域目標的語義信息，從而增強了網絡模型的學習能力和所提取深度特征的代表養殖區域目標信息的能力。

模型通過特征融合后可實現端到端的訓練，養殖目標信息的提取可看作二分類問題，逐像素分類判斷屬于背景區域還是目標區域，假設x為輸入圖像，整個模型采用帶邊界權值的二元交叉熵損失函數，可定義為

式中，x表示輸入點像素值；l(x):Ω →{1,···,K}為逐像素的真值；Pl(x)(x)表示像素點與真值做差；w(x):Ω ∈R為逐像素的權值，作用為增加臨近圖像邊緣處的點的權重。

式中，w(x)表示輸入點像素權值；wc(x):Ω ∈R為平衡類別比例所加的權值；d1(x):Ω ∈R為像素點到其最近距離的目標邊界的距離；d2(x):Ω ∈R為像素點到其距離第二近的目標邊界的距離；w0和 σ均為常數值，此處設置為w0=10 和 σ≈5 像素。

經預處理的高分系列遙感影像中裁剪出尺寸為2 048×2 048 的養殖區域影像并提取其前3 個通道，即R、G、B 波段，同時分離出地理信息，進行歸一化處理，轉化為柵格格式8 位三通道的彩色圖像。其中假設待處理養殖區域遙感圖像的像素最大值與最小值為max(x)、min(x)，則歸一化處理的結果norm為

式中，xi表示待處理養殖區域遙感圖像的像素值。

為擴充數據訓練分類器，本文采用了圖像切塊以及旋轉、拉伸等方法擴充數據。首先通過64×64 大小的滑動窗口，以不重疊最小步長橫向獲取養殖區域高分辨率遙感圖像，再對裁剪后的圖像執行隨機拉伸、旋轉等操作進行數據擴充，同時對圖8 中真值圖執行相同操作來達到擴充數據集的目的，同時也增強了算法的學習代表能力與魯棒性。

圖8 養殖區域遙感影像（a）與真值（b）Fig.8 Remote sensing images (a) and true value (b) of the breeding area

3.3 精度計算方法

通過養殖區域的提取結果與真值圖作比較，準確率指標（Acc）顯示所提取區域的信息中分類結果為正確的區域的比例，召回率指標（R）顯示所有真實養殖區域中被正確提取所占比例，精確率（P）顯示正確預測的占全部預測為正的比例，公式分別為

式中，TP為正確提取的養殖區域的像元數量；TN為正確提取的背景區域的像元數量；FP為錯誤提取的養殖區域的像元數量；FN為未提取出的養殖區域的像元數量。

Kappa 系數是一種比例，代表著分類與完全隨機的分類產生錯誤減少的比例，其計算公式為

式中，pt為正確分類的比例；pe為隨機情況下期望的正確分類比例。

4 實驗結果與分析

4.1 硬件條件與參數設置

硬件條件為CPU 采用Intel Core i7 4.0-GHz，GPU采用NVIDIA GeForce RTX 2080Ti，32 GB 內存。

對比實驗Canny 算子提取算法、Otsu 算法、PCA_Kmeans 算法參數設置如表2 所示。數據經過圖像裁剪得到包含養殖區域的切片185 幅，按照訓練集∶驗證集∶測試集為7∶2∶1 的比例劃分數據集。采用RMSprop 算法優化訓練，初始學習率設置為0.001，權重衰減設置為10 至8，動量設置為0.9，共訓練200 個時期，在180 時期處取得最好結果。對比實驗使用與DES-Unet 訓練策略相同。

表2 算法參數表Table 2 Parameters of algorithm

4.2 近岸網箱養殖提取結果分析

近岸網箱養殖目標原圖像、真值圖、Canny 算子提取結果、Otsu 算法提取結果、PCA_Kmeans 算法提取結果、Segnet 提取結果、U-Net 提取結果、DES-Unet 提取結果如圖9 所示。

圖9 近岸網箱提取效果Fig.9 Extraction effect of offshore cages

借助高分辨率高分影像數據并結合現場調查，通過對研究區影像進行目視解譯后得到研究區網箱養殖真值圖，基于真值圖對提取結果進行準確率、召回率與Kappa 系數的計算，驗證結果如表3 所示。

表3 近岸網箱精度驗證結果Table 3 Accuracy verification results of offsore cages

根據實驗結果，對比幾種算法在相同實驗設置下的結果，單一光譜特征與Canny 算子、Otsu 算法以及PCA_Kmeans 算法的提取對于形變復雜、大小不一的近岸網箱難以提取出準確的邊界，模糊的邊緣進一步造成了對于養殖區域信息提取的障礙，最終導致所提取出區域中漏檢與誤檢較多，準確率與召回率急劇下降。同時，對比深度神經網絡模型Segnet 與U-Net，由于受到訓練數據等的限制，在一些網箱養殖的細節區域尤其是邊緣無法正確的分類提取。本文所提出融合了深度特征的養殖區域提取算法，原始遙感影像經過深度網絡的迭代，能夠更準確地提取出近岸網箱的邊緣、形狀、顏色等特征，將其與通過波段計算得到的光譜特征融合進行養殖區域的提取得到如圖9所示的提取結果，相較于其他幾種算法提升明顯。其中準確率97.35%，召回率 97.38%，精確率89.37%和Kappa 系數0.88 都有所提升。

利用DES-Unet 對萬寧市與陵水縣近岸網箱養殖區域進行信息提取，結果如圖10、圖11 所示。近岸網箱抗風浪能力較差，受氣候因素影響，兩地近岸網箱主要分布于風浪較小的海灣內。萬寧市近岸網箱養殖區域面積為0.68 km2。萬寧市當地養殖作物以經濟類魚蝦為主，分布主要集中于坡頭港興隆華僑農場養殖場與東澳鎮淡水養殖場，少部分位于南部洲仔島附近。陵水縣近岸網箱養殖區域面積為0.76 km2，養殖作物以經濟魚類為主。養殖區域主要集中于黎安港、新村鎮新村港內。

圖10 萬寧市養殖提取結果Fig.10 The results of aquaculture extraction in Wanning City

圖11 陵水縣養殖提取結果Fig.11 The results of aquaculture extraction in Lingshui Country

4.3 深海網箱提取結果分析

深海網箱養殖目標原圖像、真值圖、Canny 算子提取結果、Otsu 算法提取結果、PCA_Kmeans 算法提取結果、Segnet 提取結果、U-Net、DES-Unet 提取結果如圖12 所示。

圖12 深海網箱提取效果Fig.12 Extraction effect of deep-sea cages

普通網箱養殖提取同樣借助高分辨率高分影像數據及目視解譯獲得研究區深海網箱養殖真值圖，基于真值圖對提取結果進行準確率、召回率及Kappa系數計算，驗證結果如表4 所示。

表4 深海網箱提取精度驗證Table 4 Verification of the extraction accuracy of deep-sea cages

分析對比實驗結果，單一光譜特征條件下使用Canny 算子、Otsu 算法及PCA_Kmeans 算法進行養殖提取對于與海水顏色相近、目標面積較小的深海網箱存在邊界模糊、無法準確分離海水背景等問題，模糊的邊緣對于養殖區域信息的提取造成了負面影響，導致所提取的區域邊界完整性存在問題，甚至無法形成完整連通區域，準確率和召回率受到很大限制。深度神經網絡模型Segnet 與U-Net 雖然在一些海水背景簡單的區域表現不錯，但在海面情況復雜，尤其是有海浪等干擾時提取效果不理想。本文提出了融合深度特征的養殖區域提取算法，即原始遙感影像經過深度神經網絡的迭代，同時融合光譜特征能夠更準確地提取出近岸網箱的邊緣、形狀、顏色等特征，最終可以得到如圖13 所示的提取結果，相較于傳統特征提升明顯，準確率（98.99%）、召回率（98.81%）、精確率（95.14%）和Kappa 系數（0.91）都有顯著提升。

圖13 臨高縣養殖提取結果Fig.13 Breeding extraction results in Lingao

利用DES-Unet 對臨高縣深海網箱養殖區域進行養殖信息提取，結果如圖13 所示。新型深水網箱抗風浪能力強，養殖容量遠大于傳統近岸網箱，要求水深40 m 以深遠離近岸污染區，因此距岸較遠。臨高縣共提取深海網箱面積0.98 km2，經實地考察，該縣主要養殖品種為南美對蝦（Litopenaeus vannamei）、龍蝦（Palinuridae）等經濟品種。養殖區域主要集中于西部調樓港、黃龍港、新盈港、頭咀港及東部金牌港等地。

5 結論

將邊緣光譜特征與深度卷積網絡特征有機結合，構建深度光譜邊緣U-Net 網絡模型進行傳統近岸和新型深海網箱養殖提取，利用雙邊濾波方法去除邊緣光譜特征冗余信息，通過DES-Unet 模型跳躍連接結構融合深度特征與邊緣光譜特征，可有效解決傳統算法模型在近岸環境中受水體泥沙、植被等因素影響，光譜特征噪聲干擾嚴重導致誤分現象，也可以解決新型深海網箱由于水面框體面積較小容易與養殖水體出現“異物同譜”現象的難題，有效提升了兩類網箱養殖目標提取的準確率、召回率、精確率和Kappa 系數，具有較強的普適性，可有助于實現海南省海水養殖精確動態監測。