利用深層卷積神經網絡實現地形輔助的多波束海底底質分類

陽凡林，朱正任，李家彪，馮成凱，邢 喆，吳自銀

1. 山東科技大學測繪科學與工程學院，山東 青島 266590； 2. 自然資源部海洋測繪重點實驗室，山東 青島 266590； 3. 自然資源部第二海洋研究所，浙江 杭州 310012； 4. 國家海洋信息中心，天津 300171

海底底質是海洋環境的重要指標，底質類型的分類和識別在海洋資源的開發利用、海洋工程、環境科學和海洋漁業等諸多領域具有重要意義。傳統的海底底質探測主要通過拖曳式采樣器、表層采樣器、柱狀采樣器、重力活塞采樣器、海底照相等，這些方法存在機械笨重、費時費力及深水區域采樣困難等缺點，因此，利用聲學遙感進行海底底質分類得到了廣泛關注[1-3]。多波束測深系統(multibeam echo sounder,MBES)可同時采集測深和反向散射強度數據(backscatter strength,BS)，具有覆蓋面積廣、分辨率高等優點，可以快速、準確地獲取調查區域內底質的分布情況[4-5]。

國內外學者對多波束海底底質分類進行了廣泛研究。文獻[6]提取反向散射圖像分形維數、光譜長度等特征作為K-means聚類參數進行分類；文獻[7]通過反向散射圖像的紋理和振幅特征，使用貝葉斯分類器進行分類；文獻[8]通過提取反向散射圖像的均值、標準差等特征，構建單元特征向量，利用遺傳小波神經網絡進行海底底質分類。由于多波束反向散射圖像具有強噪聲特點，很難將圖像處理到比較理想的水平，特別是影響顯著的入射角效應。為了避開此影響，文獻[9]利用角度響應(angle response,AR)曲線進行無監督聚類，實現了海底底質的劃分；文獻[10]通過提取角度響應曲線特征，結合反向散射圖像紋理使用隨機森林算法進行分類；文獻[11]通過提取角度響應曲線的一階導數、二階導數和曲率等特征進行分類；文獻[12]利用角度響應曲線構建其三維概率密度進行分類。上述方法主要利用多波束反向散射強度形成的圖像及其提取的角度響應曲線進行分類，分類數據類型單一，反向散射強度數據質量直接決定了分類的精度。除反向散射強度外，多波束測深數據具有較高的精度，研究表明，海底地形變化與海底底質的空間分布存在密切關系[13-14]。因此，本文在反向散射強度的基礎上加入了地形數據輔助進行分類，改善了分類數據類型單一的問題，提高了分類精度。

決定多波束底質分類精度和效果有兩方面因素，除需要有效特征外，還取決于優秀的分類器。文獻[15—18]提出深度學習的概念，闡述了深層神經網絡特征學習的優越性并提出了“逐層預訓練”的方法，從此掀起了深度學習的熱潮。卷積神經網絡(convolutional neural networks,CNN)是深層神經網絡的一種，因其具有權值共享，適用性強等優點，廣泛應用于手寫數字識別、地震波波形檢測與分類、影像匹配和高光譜遙感圖像分類等領域[19-22]。目前，關于人工神經網絡應用于海底底質分類已有相關研究[14,23]，但利用CNN進行多波束底質分類的研究較少，文獻[24—25]將反向散射圖像分割后利用CNN進行分類，取得了較高的分類精度，但分類結果圖的空間分辨率降低。為此，本文將以像元為單元，將一維特征向量轉換為二維波形圖作為CNN的輸入層，在保證全特征、高空間分辨率的同時，實現對海底底質的快速、高精度識別。

1 多類型特征提取

特征提取是進行訓練和分類的重要前提，海底底質分類特征按其數據類型劃分主要包括：反向散射強度特征和海底地形特征。

1.1 反向散射強度特征

反向散射強度是海底底質分類的主要數據類型，本文提取反向散射圖像(灰度、角二階矩、能量、對比度及相關性)5個及AR曲線(均值、斜率、峰度、偏度)4個，共9個特征用于底質分類。

1.1.1 反向散射圖像特征

反向散射圖像除灰度這個基本統計特征外，還蘊含豐富的紋理信息。紋理信息反映了圖像表面信息及其與周圍環境的關系，更好地兼顧了圖像的宏觀結構和微觀結構[26-27]。灰度共生矩陣(gray level co-occurrence matrix,GLCM)是描述和分析圖像紋理的一種有效手段，本文利用灰度共生矩陣法，選取了最具有代表性的4個紋理特征參數：角二階矩(angular second moment,ASM)、能量(energy,E)、對比度(contrast,CON)、相關性(correlation,COR)。具體計算方法參見文獻[28—29]。

1.1.2 角度響應曲線特征

角度響應(AR)曲線是反向散射強度隨入射角變化的曲線，與底質的屬性有關，提取AR特征能實現海底底質分類。

如圖1所示，在常見底質下，入射角θ在0°～15°時，換能器受鏡面反射的影響，接收的反向散射強度較大，稱為D1區，即中央異常區；入射角θ在15°～65°時，換能器主要接收散射模式中的后向散射部分，成為D2區，即漫反射區；入射角θ超過65°時，稱為D3區，即高入射區[30-31]。基于上述AR曲線的分段理論，提取數據質量較好的D2區，將其斜率絕對值|K2|及均值Mean2作為AR曲線的特征參數，其中取絕對值的目的是為了左舷和右舷斜率符號統一。

圖1 AR曲線分區Fig.1 Schematic depiction of AR curve division

在同一底質類型下，多波束每ping(一個發射接收周期)數據對應的AR曲線(圖2)，其整體變化趨勢也可應用于海底底質分類。峰度(kurtosis)和偏度(skewness)是統計學中常用的統計量，可以描述和分析數據的分布形態，選取峰度和偏度作為AR曲線的特征參數，具體計算方法見文獻[32—33]。

圖2 1 ping測量數據對應的AR曲線Fig.2 Schematic depiction of AR curve of one ping data

AR曲線特征提取具體步驟如下。

(1) 以ping為單位，分別提取AR曲線左舷和右舷D2區的數據，計算均值Mean2和斜率絕對值|K2|，將其作為左舷和右舷所有采樣點的AR特征值。

(2) 重復步驟(1)，直至測區所有條帶的采樣點都獲取其對應的AR特征值。

(3) 在地理坐標約束下，將測區內所有采樣點的AR特征值進行重采樣(格網化)，得到AR曲線均值和斜率絕對值特征圖。

(4) 以ping為單位，計算整體AR曲線的峰度和偏度，將其作為該ping內所有采樣點的AR特征值。

(5) 重復步驟(4)，直至測區所有條帶的采樣點都獲取其對應的AR特征值。

(6) 在地理坐標約束下，將測區內所有采樣點的AR特征值進行重采樣(格網化)，得到AR曲線峰度和偏度特征圖。

1.2 海底地形特征

多波束系統以測深為主，能獲取高質量的海底地形，而海底地形信息往往與底質的空間分布息息相關。本文利用測深數據，提取了水深均值(mean)、坡度(slope)、地表曲率(curvature)和粗糙度(roughness)4個地形特征應用于海底底質分類。具體計算方法參見文獻[34]。

2 卷積神經網絡底質分類模型

卷積神經網絡(CNN)多波束海底底質分類流程如圖3所示。首先，將原始數據進行數據解析及各項預處理；然后，進行特征提取構建特征向量，將特征向量轉換為波形圖；最后，建立CNN模型進行迭代訓練，直至滿足期望誤差，輸出分類結果，完成精度評價。其中，特征向量到波形圖的轉換是利用CNN模型進行高空間分辨率海底底質分類的關鍵。

圖3 CNN底質分類流程Fig.3 Process for seafloor classification using CNN

2.1 卷積神經網絡構成

隨著大數據時代的到來，深度學習得到快速發展，CNN是一種基于深度學習的神經網絡，因其具有局部連接、權值共享及池化操作等特性，可以有效降低網絡復雜度，減少訓練參數，且易于優化和訓練，已成為當前圖像分類與識別領域的研究熱點[35-36]。

CNN結構一般由輸入輸出層、卷積層(S)、池化層(C)和全連接層(F)等組成。卷積層包含若干組可以學習的卷積核，這些參數是CNN訓練的核心。當前層的卷積核對上一層的特征圖做卷積運算，然后通過一個激活函數(activation function)得到新的特征圖

(1)

(2)

池化層常與卷積層交替出現，池化層的主要作用是降采樣，減少數據量。常見的池化模式包含“最大池化(max poling)”和“平均池化(mean poling)”兩種。經過卷積層和池化層交替操作后，全連接層將得到的二維特征圖拼接成一維特征，對其進行訓練和分類。

CNN對參數的學習訓練是通過梯度反向傳播算法實現的，其主要優化參數包括卷積核k,全連接層網絡權重w和各層偏置b。網絡訓練過程中，輸入樣本標記和實際輸出樣本標記會有一定誤差，誤差在梯度下降算法中逐層傳播，逐層更新網絡參數。為保證代價函數盡可能小，需要不斷反向誤差傳播，更新每一層的參數。CNN基本算法原理參見文獻[18,20]。

2.2 特征向量到特征曲線圖的轉換

以像元為單位構成的特征向量是海底底質分類的基本單元。如圖4所示，將提取的特征按層結構存儲，本文共有13層，包含反向散射強度特征9層、海底地形特征4層。逐層進行歸一化，提取每層相同位置的特征數據，構成特征向量。其中，歸一化的目的是防止特征向量中元素值差別過大，導致特征向量向特征曲線圖轉換過程中信息被忽略。

圖4 特征向量Fig.4 Schematic depiction of feature vector

針對CNN網絡輸入層的特點，本文將數據分類與圖像分類相結合，以特征序號為橫坐標，特征值大小為縱坐標，繪制特征向量的波形圖，將其輸入CNN模型中進行訓練和分類(圖5)。該方法將單個樣本點所包含的全部特征信息(特征向量)及其空間信息(各特征變量之間的相對位置關系)通過波形變化的形式展現出來，即每張波形圖代表某像元的特征信息+空間信息，通過CNN模型對波形圖的深度學習來實現海底底質分類。

2.3 模型分類精度評價

海底底質分類模型的精度評價是在分類結束后，根據海底底質的真實類別標記，統計分類結果，以評估所采用分類算法的準確性。本文將CNN模型分類結果與海底底質的真實類別標記進行對比得到分類混淆矩陣(confusion matrix,CM)，據此計算得到總分類精度(overall accuracy,OA)、使用者精度(user accuracy,UA)、生產者精度(producer accuracy,PA)和Kappa系數(Kappa coefficient)4個指標，對其進行精度評價，具體計算方法見文獻[37]。

圖5 特征向量到波形圖的轉換Fig.5 Schematic depiction of conversion from feature vector to waveform

3 試驗與分析

3.1 試驗數據

本文數據來源于2012年的淺水調查會議資料，該測量數據滿足國際海道測量規范(IHO SP-44 Ed 5)特級精度要求。試驗數據采集于2011年3月8日，在新西蘭首都惠靈頓附近海域使用Kongsberg-EM2040多波束測深系統測得的部分數據作為研究對象(圖6(a))。該次試驗多波束測深系統(已檢校)的工作頻率為300 kHz，波束寬度為1°×1°，測區水深14～25 m，測線布設為西北和東北方向共16條測線。首先，將原始數據進行解析、預處理(處理軟件：CARIS HIPS&SIPS10.0)，由于測區條帶重疊區域較多，測量點密度達到70～90 points/m2，在地理坐標下進行重采樣(分辨率為0.5 m)，最后，進行灰度量化，形成多波束反向散射圖像(圖6(b))。

調查區域在惠靈頓港口附近，根據現有資料[38]，碼頭及其周圍海域海底底質類型主要為基巖和砂，港口外的南部海岸主要為砂和裸露的珊瑚礁。結合本次試驗區域26個現場底質取樣資料及水下攝像機提供的高清影像資料，研究區域底質分為3類，即基巖、砂及泥。另外，調查區域還有一艘軍艦殘骸，該艦為HMNZS Wellington，所處位置為(41°21′10.8″S,174°46′48″E)。為驗證算法的有效性、適用性，及后續海底目標自動檢測與識別工作的進行，本次試驗將沉艦也納為分類對象。試驗提取采樣點及其附近相對應的1150組數據，其中沉艦240組、基巖270組、砂340組、泥300組。(隨機選取800組數據作為訓練樣本，剩余350組數據為測試樣本)。

3.2 特征提取

為便于說明，選取調查區域的一部分作為試驗區域(圖6(b)中虛線方框)進行本文算法介紹。利用測區內的反向散射強度和測深數據進行特征提取，包含反向散射圖像紋理特征(角二階矩、能量、對比度和相關性)、角度響應曲線特征(均值、斜率、峰度和偏度)及海底地形特征(水深均值、坡度、地表曲率和粗糙度)。為便于后續特征向量的提取，格網大小均為0.5 m×0.5 m，提取結果如圖7、圖8和圖9所示。

圖6 惠靈頓調查區域多波束反向散射圖像及底質采樣Fig.6 Schematic depiction of multibeam backscatter image and seafloor sampling in Wellington survey area

圖7 多波束反向散射圖像紋理特征Fig.7 Texture features of multibeam backscatter image

圖8 角度響應曲線特征Fig.8 Features of angular response curve

3.3 分類與討論

將3.2節中得到的特征進行逐層歸一化，提取特征向量轉換為波形圖，如圖10所示，分別展示了沉艦、基巖、砂和泥的4種波形圖(特征組合：反向散射圖像特征+AR特征+海底地形特征)，本次試驗波形圖大小為28×28像素。與傳統的CNN輸入層相比，本文的波形圖包含了不同特征之間的空間信息(相對位置關系)，更加直觀、清晰地展示了不同類別之間的差異，更易于模型的分類與識別；波形圖以像元為單位，在分類結果圖的空間分辨率上更占優勢。

建立深層CNN模型，輸入訓練樣本800組，輸出目標向量為T，表示3種自然底質類型和1種人工目標(沉艦)，C1卷積層包含6個卷積核，卷積核大小為3×3；S1池化層選取最大池化模式，池化窗口為2×2；C2卷積層包含12個卷積核，卷積核大小為3×3；S2池化層選取最大池化模式，池化窗口為2×2；全連接層數為1，學習率為0.01；每次批處理特征圖5張，所有特征圖循環迭代5次，共800次(具體CNN參數的選擇和性能對比可參考文獻[18])。反向散射圖像的紋理特征是在原始反向散射圖像(灰度)上提取的，海底坡度、曲率、粗糙度等特征是在水深均值(海底DEM)基礎上提取的，上述非原始特征受提取精度和方法的影響，與原始特征(原始反向散射圖像+水深均值+AR特征)的分類效果可能不同，需要定量評估。另外，也需要分析CNN模型本身對原始信息的特征提取能力以及加入海底地形特征對分類結果的影響，因此，試驗選取了5種不同的特征組合進行分類，分別是：①反向散射圖像特征；②AR特征；③反向散射圖像特征+AR特征；④原始反向散射圖像+水深均值+AR特征；⑤反向散射圖像特征+AR特征+海底地形特征。通過上述5種不同的組合模式可以驗證本文所提取的不同特征以及加入非原始特征輔助分類的有效性，分類結果如圖11所示，分類精度見表1。

圖9 多波束海底地形特征Fig.9 Seabed terrain features from multibeam bathymetric data

圖10 沉艦及各自然底質波形Fig.10 The waveform map of wreck and seafloor types

圖11 不同特征組合的海底底質分類結果Fig.11 Result maps of seafloor classification by different feature combination models

結合圖11和表1，可以看出，只利用反向散射圖像特征進行分類，不同底質邊緣輪廓清晰，但整體連續性較差，總分類精度和Kappa系數分別只有66.86%和0.54；只利用AR特征進行分類，底質連續性較好，但存在“條紋”現象，總分類精度和Kappa系數分別為82.29%和0.76；利用反向散射圖像和AR組合特征進行分類有效結合了兩者的優勢，在保證底質連續的情況下，消除了“條紋”現象，取得較好的分類結果(總分類精度88.86%，Kappa系數為0.82)；在此基礎上加入海底地形特征后，使得與地形變化相關的類別，如沉艦錯分為其他底質的情況減少，分類精度由88.57%提升到93.75%，總分類精度和Kappa系數也分別由88.86%、0.82提升到94.86%、0.93，驗證了加入地形特征輔助分類的有效性。為了分析非原始特征對分類結果的影響，利用原始反向散射圖像、水深均值及AR特征組合進行分類，如圖11(d)所示，取得了較好的分類結果(總分類精度90.00%，Kappa系數為0.86)，但整體低于本文模型算法的分類效果(總分類精度94.86%，Kappa系數為0.93)。

表1 不同特征組合模型分類精度

為驗證本文CNN模型的優越性，利用BP網絡、支持向量機(support vector machine,SVM)、K近鄰(K-nearest neighbor，KNN)、隨機森林(random forest,RF)4種經典分類器基于同樣的特征組合(反向散射圖像特征+AR特征+海底地形特征)對同樣的數據進行分類。BP神經網絡分類時，輸入層設置為13，隱含層設置為15，輸出層設置為4，學習率設置為0.1；SVM分類時，核函數為徑向基函數(radial basis function,RBF)，網格搜索法尋找最優參數(懲罰因子c:0.7；核函數參數g:4)；KNN分類時，k設置為5；RF分類時，樹最大深度取100，分類結果見圖12和表2。BP神經網絡作為傳統的神經網絡分類器，其網形結構復雜，訓練參數較多，但總體分類精度不高(總體分類精度為85.14%，Kappa系數為0.80)；SVM作為常用的監督分類方法，算法簡單、穩健性較好，但其泛化能力較弱，不適合大樣本的數據訓練，易出現過擬合現象，總體分類精度為88.85%，Kappa系數為0.85；KNN作為一種懶惰學習算法，模型簡單，易于理解，但其依賴于訓練樣本質量及參數k的選取，總體分類精度只有84.57%，Kappa系數為0.79；RF作為一種決策樹的集成算法，泛化能力較強，分類精度較高(總體分類精度為90.00%，Kappa系數為0.87)，但整體仍低于本文CNN模型得到的結果(總體分類精度94.86%，Kappa系數為0.93)，體現了深度學習算法在海底底質分類中的優勢。

表2 不同分類器分類精度

續表2

圖13為CNN與BP網絡訓練集迭代次數與誤差精度的關系(試驗采用的處理器：Intel Core i5 4210H，內存：4 GB)。可以看出，CNN在收斂速度和性能上均優于BP網絡，當CNN訓練迭代到603步時，收斂到期望誤差0.1；而BP網絡計算至1593步時才達到期望誤差，耗時2 min 28 s，這是由于傳統人工神經網絡(如BP網絡)輸入層的每個神經元都要連接到隱含層，對全局進行感知，計算和收斂速度較慢且容易陷入局部極值。除此之外，SVM作為二分類器，算法簡單，運行效率高，但當執行多分類任務時，需要訓練多個分類器，增加計算量，試驗耗時1 min 46 s；KNN結構簡單，運算較快，試驗耗時58 s，但其整體分類精度較低；RF作為集成學習算法，可以并行訓練，提高運行效率，試驗耗時1 min 12 s；本文CNN模型算法可以實現局部感知、權值共享，試驗耗時1 min 25 s，分類效率高于BP網絡和SVM，略低于KNN和RF，但整體精度大于上述4種分類器。

利用反向散射與海底地形特征組合采用CNN模型對整個調查區域進行分類，結果如圖14所示。

可以看出，不同底質之間界限清晰，過渡自然，結合測區已有海底底質資料[38](圖6(b))，分類結果符合真實的海底底質變化情況，驗證了本文模型算法對多波束海底底質分類的適用性。

圖13 CNN與BP網絡訓練集迭代次數與訓練誤差的關系Fig.13 The relationship between iteration times and training error of CNN and BP network training sets

圖14 整個測區海底底質分類結果Fig.14 Result maps of seafloor classification in the whole survey area

4 結 論

多波束海底底質分類是近幾十年來一直延續的研究熱點。針對常規分類手段中數據類型單一，分類器的分類精度和效率較低等問題，本文在傳統多波束分類數據類型(反向散射強度數據)的基礎上加入了測深數據進行輔助分類，并通過將特征向量轉換成波形圖的方式，利用CNN網絡進行訓練和分類，最終以94.86%的整體分類精度區分出基巖、砂和泥等不同自然底質，且準確劃分出沉艦目標的輪廓和位置。試驗結果表明，根據測深數據所提取的海底地形特征與底質的空間分布具有很強的相關性，在反向散射強度信息的基礎上，組合測深信息進行分類，可有效提高分類精度。基于深度學習的CNN網絡，能夠對不同底質和目標的波形圖(特征信息+空間信息)進行局部感知，充分發揮其權值共享的優勢，兼顧分類精度的同時，提高了分類效率。利用深層卷積神經網絡，組合多波束測深和反向散射特征進行海底底質分類，具有特征提取和分類模型的優勢，提高了分類精度和效率，對多波束海底底質分類具有參考意義。