聯(lián)合遷移學(xué)習(xí)和深度學(xué)習(xí)的側(cè)掃聲吶沉船識(shí)別方法

武鑠 王曉 張丹陽(yáng) 周海波 陳家儒

摘 要：針對(duì)當(dāng)前沉船側(cè)掃聲吶數(shù)據(jù)樣本少、無(wú)法大量獲取有標(biāo)記的數(shù)據(jù)、小樣本數(shù)據(jù)用于卷積神經(jīng)網(wǎng)絡(luò)模型正確識(shí)別率較低的問(wèn)題，提出一種聯(lián)合遷移學(xué)習(xí)和深度學(xué)習(xí)的沉船側(cè)掃聲吶圖像識(shí)別方法。在不采用遷移學(xué)習(xí)的情況下，用沉船聲吶樣本數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，將結(jié)果保存作為對(duì)照組。應(yīng)用弱相關(guān)數(shù)據(jù)集，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后將網(wǎng)絡(luò)參數(shù)遷移到新網(wǎng)絡(luò)中，再使用沉船聲吶樣本數(shù)據(jù)集訓(xùn)練;應(yīng)用強(qiáng)相關(guān)數(shù)據(jù)集重復(fù)上述步驟。在AlexNet網(wǎng)絡(luò)結(jié)構(gòu)上進(jìn)行試驗(yàn)，試驗(yàn)結(jié)果表明：在未遷移的情況下，正確率為70.58%;應(yīng)用弱相關(guān)數(shù)據(jù)集訓(xùn)練，正確率為74.51%;應(yīng)用強(qiáng)相關(guān)數(shù)據(jù)集訓(xùn)練，正確率為80.39%。試驗(yàn)證明，遷移學(xué)習(xí)算法有利于提高小樣本情況下卷積神經(jīng)網(wǎng)絡(luò)的正確率、泛化性。

關(guān)鍵詞：側(cè)掃聲吶;深度學(xué)習(xí);遷移學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：S126 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A ? ? 文章編號(hào)：1003-5168（2021）36-0036-05

Side Scan Sonar Combined With Transfer Learning and Deep Learning Shipwreck Identification Method

WU Shuo ? ?WANG Xiao ? ?ZHANG Danyang ? ?ZHOU Haibo ? ?CHEN Jiaru

（Jiangsu Ocean University，School of Marine Technology and Geomatics，Lianyungang ?Jiangsu ?222005）

Abstract： Aiming at the problem that the current sunken side scan sonar data samples are few and it is impossible to obtain a large amount of labeled data，the small sample data is used for the problem of low correct recognition rate of the convolutional neural network model，and a joint migration learning and deep learning sunken side scan sonar is proposed. In the case of not using migration learning，use the shipwreck sonar sample data set to train the network and save the result as a control group; use the weakly correlated data set to train the network，and then transfer the network parameters to the new network，and then use the shipwreck sonar Sample data set training; apply the strong correlation data set to repeat the above steps. Experiments on the AlexNet network structure show that the accuracy rate is 70.58% without migration; the accuracy rate is 74.51% for training with weakly correlated data sets; and 80.39% for training with strong correlated data sets. Experiments show that the transfer learning algorithm is beneficial to improve the accuracy and generalization of the convolutional neural network in the case of small samples.

Keyword： side scan sonar; deep learning; transfer learning; convolutional neural network

海洋測(cè)繪是一切水下活動(dòng)的基礎(chǔ)，是海底調(diào)查、海底礦物勘探、海洋經(jīng)濟(jì)發(fā)展的前提[1]。其中，側(cè)掃聲吶技術(shù)（Side Scan Sonar，SSS）作為一種高分辨率、多用途、低成本的海洋調(diào)查設(shè)備，廣泛應(yīng)用于海洋、港口、河流、湖泊等水域，主要應(yīng)用于海道測(cè)量，水下工程選址，飛機(jī)殘骸、沉船、魚雷、水雷、集裝箱、化學(xué)品桶、錨鏈、沉石、浮標(biāo)等水下目標(biāo)的探測(cè)，以及海底底質(zhì)分類、海洋調(diào)查和海洋科學(xué)研究等。而目前市場(chǎng)上使用的數(shù)據(jù)處理軟件中，水下目標(biāo)探測(cè)和識(shí)別均依靠人工判讀，效率低下且精度難以保證。傳統(tǒng)的側(cè)掃聲吶圖像目標(biāo)識(shí)別探測(cè)方法主要通過(guò)建模來(lái)識(shí)別沉船，這類方法的一般流程為：特征提取、模型構(gòu)建和模型應(yīng)用。受制于復(fù)雜海洋環(huán)境及側(cè)掃聲吶圖像存在大量噪聲的影響，在一個(gè)海區(qū)構(gòu)建的模型可能在另一個(gè)海區(qū)并不適用;且由于特征難以獲取、典型特征不易區(qū)分，導(dǎo)致識(shí)別效率低，無(wú)法快速推廣。

卷積神經(jīng)網(wǎng)絡(luò)[2-4]（Convolutional Neural Network，CNN）作為人工智能的一種算法，由于其無(wú)須人工選定特征、特征提取能力優(yōu)秀等優(yōu)點(diǎn)，被廣泛用于圖像分類、圖像識(shí)別、圖像分割等領(lǐng)域[5-8]。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)有很多，但是只有在大量符合要求的數(shù)據(jù)訓(xùn)練下，才能得到一個(gè)優(yōu)秀的卷積神經(jīng)網(wǎng)絡(luò)。然而在復(fù)雜海洋環(huán)境中，獲取諸如沉船側(cè)掃聲吶影像的大量樣本非常困難。

因此，為了解決上述問(wèn)題，提出一種聯(lián)合遷移學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的方法。通過(guò)設(shè)計(jì)試驗(yàn)，將沉船聲吶圖像數(shù)據(jù)集分別遷移到以不同源、不同特征的公共數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)上，以及不同源、同特征的船舶數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)上，以期提高水下目標(biāo)識(shí)別效率，解決聲吶圖像樣本少、特征難以有效提取、訓(xùn)練困難等問(wèn)題。

1 數(shù)據(jù)介紹

1.1 Ships-3

武漢大學(xué)邵振峰[9]提供了一個(gè)船舶數(shù)據(jù)集SeaShips。在河道及入海口放置固定攝像機(jī)進(jìn)行錄像，對(duì)視頻截圖，獲得大量樣本。該數(shù)據(jù)集被用于水上船舶目標(biāo)識(shí)別算法研究，共31 455張圖片，6個(gè)分類。由于該數(shù)據(jù)集中每類樣本數(shù)量不一致，從SeaShips中隨機(jī)選取三個(gè)類，每個(gè)類800張圖片，如圖1所示。并將篩選后的數(shù)據(jù)集命名為Ships-3，用于試驗(yàn)。

1.2 CIFAR-3

CIFAR-10是常用公開(kāi)數(shù)據(jù)集，該數(shù)據(jù)集由10個(gè)類，60 000張尺寸為32*32的彩色圖片組成。每個(gè)類包含了6 000張圖像，其中5 000張為訓(xùn)練集，1 000張為測(cè)試集。從CIFAR-10中隨機(jī)抽選三個(gè)類，每個(gè)類再隨機(jī)選取1 000張圖像，作為試驗(yàn)的數(shù)據(jù)集，如圖2所示，命名為CIFAR-3。

1.3 Shipwreck

Shipwreck數(shù)據(jù)集由個(gè)人收集并制作，如圖3所示。所有樣本均為側(cè)掃聲吶圖像，樣本數(shù)量較少。由水下沉船、純海底背景、海洋魚群三個(gè)類組成，每個(gè)類包含55張樣本圖片。

上述三個(gè)數(shù)據(jù)集都按照7∶3的比例劃分為訓(xùn)練集和測(cè)試集兩個(gè)子集。其中，70%用于卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，30%用于測(cè)試訓(xùn)練后的網(wǎng)絡(luò)。

1.4 數(shù)據(jù)集相關(guān)性

數(shù)據(jù)集相關(guān)性是指樣本之間的相似關(guān)系。一般情況下，只要是同源、同類型的數(shù)據(jù)，都認(rèn)為是相關(guān)的。例如，貓科動(dòng)物中的貓、豹、獅子等，當(dāng)其同時(shí)出現(xiàn)在數(shù)據(jù)集中時(shí)，被認(rèn)為是強(qiáng)相關(guān)數(shù)據(jù);自行車、電動(dòng)車、摩托車等也被認(rèn)為是強(qiáng)相關(guān)數(shù)據(jù)。因?yàn)樗鼈兌季哂泄餐奶卣鳌Ｏ喾吹兀嚒⒐贰⑻O果等則被認(rèn)為是弱相關(guān)或不相關(guān)數(shù)據(jù)。

2 模型和試驗(yàn)方法介紹

2.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)的應(yīng)用主要包括計(jì)算機(jī)視覺(jué)、文本分類、行為識(shí)別、自然語(yǔ)言處理、室內(nèi)定位、視頻監(jiān)控、輿情分析、人機(jī)交互等多個(gè)場(chǎng)景[10]。其原理是把任務(wù)A開(kāi)發(fā)的模型作為初始點(diǎn)，重新在任務(wù)B開(kāi)發(fā)模型的過(guò)程中使用。一個(gè)完整的學(xué)習(xí)任務(wù)是由域和任務(wù)組成的。給出域（Domain）和任務(wù)（Task）的定義如下，定義χ為特征空間，[Px]為分布概率，這樣就組成了一個(gè)特征域（Domain），即Domain [D=x，px]。定義標(biāo)簽空間[y]和模型預(yù)測(cè)函數(shù)[f?]，這樣就組成了任務(wù)（Task），即Task [T=y，f?]。遷移學(xué)習(xí)的定義為：給定源域[Ds]和學(xué)習(xí)任務(wù)[Ts]，一個(gè)目標(biāo)域[DT]和學(xué)習(xí)任務(wù)[TT]，遷移學(xué)習(xí)致力于用[Ds]和[Ts]的知識(shí)，幫助提高[TT]中的目標(biāo)預(yù)測(cè)函數(shù)[f?]的學(xué)習(xí)。[Ds]和[DT]可以相等或不相等，[Ts]和[TT]也可以相等或不相等。

2.2 卷積神經(jīng)網(wǎng)絡(luò)和網(wǎng)絡(luò)結(jié)構(gòu)

2.2.1 原理。卷積神經(jīng)網(wǎng)絡(luò)包含輸入層、隱藏層和全連接層。輸入層的主要任務(wù)是負(fù)責(zé)數(shù)據(jù)的輸入。一般來(lái)說(shuō)，一維網(wǎng)絡(luò)的輸入層可以處理一維或二維的數(shù)據(jù)，二維網(wǎng)絡(luò)的輸入層可以處理二維或三維的數(shù)據(jù)。并且，輸入層的大小是固定不變的，輸入數(shù)據(jù)的大小要與網(wǎng)絡(luò)結(jié)構(gòu)一致。在卷積神經(jīng)網(wǎng)絡(luò)的隱藏層由多個(gè)部分構(gòu)成，是網(wǎng)絡(luò)結(jié)構(gòu)的主要計(jì)算部分。全連接層是網(wǎng)絡(luò)的輸出層，在卷積神經(jīng)網(wǎng)絡(luò)的隱藏層中，通過(guò)卷積層和池化層的計(jì)算，累積了大量的參數(shù)，全連接層將提取到的大量特征，進(jìn)行非線性組合，最后將結(jié)果輸出。

卷積神經(jīng)網(wǎng)絡(luò)的隱藏層由多個(gè)部分構(gòu)成，是網(wǎng)絡(luò)結(jié)構(gòu)的主要計(jì)算部分，其主要結(jié)構(gòu)又可分為以下幾種。

①卷積層。卷積層由卷積核和激勵(lì)函數(shù)構(gòu)成，卷積核主要用于提取特征，卷積核沒(méi)有大小限制，多為規(guī)則矩形。一個(gè)卷積層內(nèi)包含著多個(gè)卷積核，每個(gè)卷積核都提供一組參數(shù)，用于傳遞到下一層。而激勵(lì)函數(shù)的作用主要是輔助卷積核表達(dá)復(fù)雜的特征，常用的激勵(lì)函數(shù)有RELU、sigmoid、dropout等，已有的大量試驗(yàn)表明，激勵(lì)函數(shù)的存在能提高分類正確率。

②池化層。池化層的作用是對(duì)數(shù)據(jù)進(jìn)行降維，并除去冗余信息，同時(shí)可以擴(kuò)大感受野并實(shí)現(xiàn)不變性，包括平移不變性、旋轉(zhuǎn)不變性和尺度不變性。除此之外，池化還具有簡(jiǎn)化網(wǎng)絡(luò)復(fù)雜程度，減少計(jì)算量，減少內(nèi)存消耗等作用。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)以上各層的計(jì)算，最終實(shí)現(xiàn)了對(duì)圖像的分類。

2.2.2 結(jié)構(gòu)。AlexNet[11]由Alex Krizhevsky等人于2012年提出，奪得2012年ILSVRC比賽的冠軍，前五名預(yù)測(cè)的錯(cuò)誤率為16.4%，遠(yuǎn)超第一名。AlexNet采用8層神經(jīng)網(wǎng)絡(luò)，包括5個(gè)卷積層和3個(gè)全連接層，包含6.3億個(gè)鏈接、6 000萬(wàn)個(gè)參數(shù)和65萬(wàn)個(gè)神經(jīng)元。AlexNet的結(jié)構(gòu)如圖4所示。

2.3 試驗(yàn)方法

聯(lián)合遷移學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)是將數(shù)據(jù)集用于訓(xùn)練，希望訓(xùn)練一個(gè)泛化性強(qiáng)、正確率高、能夠用于陌生聲吶條帶數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)，解決小樣本情況下聲吶圖像難以訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的難題。技術(shù)路線如下：首先，將Shipwreck數(shù)據(jù)集用于網(wǎng)絡(luò)訓(xùn)練，并將結(jié)果保存，作為后續(xù)試驗(yàn)的對(duì)照組;其次，用弱相關(guān)數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，并將網(wǎng)絡(luò)參數(shù)提取保存，放到新的網(wǎng)絡(luò)上;再次，用Shipwreck數(shù)據(jù)集訓(xùn)練;最后，用強(qiáng)相關(guān)數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，并將網(wǎng)絡(luò)參數(shù)保存，放到新的網(wǎng)絡(luò)上，再用Shipwreck數(shù)據(jù)集訓(xùn)練。

普通情況下卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程如圖5所示，試驗(yàn)采用的聯(lián)合遷移學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程如圖6所示。

2.4 試驗(yàn)設(shè)計(jì)

試驗(yàn)均由矩池云提供云計(jì)算服務(wù)，GPU為NVIDIA GTX 3060;軟件配置Pytorch1.4.2、python3.7.6。在AlexNet網(wǎng)絡(luò)模型上進(jìn)行如下3組試驗(yàn)。

用Shipwreck訓(xùn)練網(wǎng)絡(luò)，即未遷移;用弱相關(guān)數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，然后將參數(shù)提取放入新的網(wǎng)絡(luò)，再用Shipwreck訓(xùn)練網(wǎng)絡(luò)，即弱相關(guān)數(shù)據(jù)集遷移;用強(qiáng)相關(guān)數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，然后將參數(shù)提取放入新的網(wǎng)絡(luò)，再用Shipwreck訓(xùn)練網(wǎng)絡(luò)，即強(qiáng)相關(guān)數(shù)據(jù)集遷移。

所有試驗(yàn)共3組，網(wǎng)絡(luò)模型用訓(xùn)練集進(jìn)行訓(xùn)練，訓(xùn)練完畢后，用測(cè)試集測(cè)試，網(wǎng)絡(luò)在測(cè)試集上的正確率作為最終評(píng)價(jià)指標(biāo)。

2.5 精度評(píng)價(jià)

混淆矩陣是對(duì)模型進(jìn)行評(píng)估的重要手段，混淆矩陣也稱誤差矩陣，是表示精度評(píng)價(jià)的一種標(biāo)準(zhǔn)格式，用N行N列的矩陣形式來(lái)表示。其中，被正確地劃分為正例的個(gè)數(shù)，即實(shí)際為正例且被分類器劃分為正例的實(shí)例數(shù)為TP（True Positives）;被錯(cuò)誤地劃分為正例的個(gè)數(shù)，即實(shí)際為負(fù)例但被分類器劃分為正例的實(shí)例數(shù)為FP（False Positives）;被錯(cuò)誤地劃分為負(fù)例的個(gè)數(shù)，即實(shí)際為正例但被分類器劃分為負(fù)例的實(shí)例數(shù)為FN（False Negatives）;被正確地劃分為負(fù)例的個(gè)數(shù)，即實(shí)際為負(fù)例且被分類器劃分為負(fù)例的實(shí)例數(shù)為TN（True Negatives）。正確率是常用的評(píng)價(jià)指標(biāo)，一般來(lái)說(shuō)，正確率越高，模型效果越好，計(jì)算公式如式（1）。

正確率（accuracy）=[TP+TNTP+FN+FP+TN] ?（1）

3 試驗(yàn)結(jié)果

在AlexNet上進(jìn)行3組試驗(yàn)，并將訓(xùn)練集訓(xùn)練后的網(wǎng)絡(luò)結(jié)構(gòu)用于測(cè)試集測(cè)試。訓(xùn)練及測(cè)試結(jié)果如下：未遷移情況下的結(jié)果如圖7（a）所示，弱相關(guān)數(shù)據(jù)集遷移后的結(jié)果如圖7（b）所示，強(qiáng)相關(guān)數(shù)據(jù)集遷移后的結(jié)果如圖7（c）所示。從圖中可以看出：未遷移情況下正確率為70.58%;弱相關(guān)數(shù)據(jù)集遷移情況下正確率為74.51%;強(qiáng)相關(guān)數(shù)據(jù)集遷移情況下正確率為80.39%。將3組試驗(yàn)在測(cè)試集上的表現(xiàn)匯總，如圖7（d）所示，從圖中可以看出在正確率方面，強(qiáng)相關(guān)數(shù)據(jù)集遷移高于弱相關(guān)數(shù)據(jù)集遷移，高于未遷移。

4 討論和結(jié)論

沉船側(cè)掃聲吶圖像獲取與標(biāo)注十分困難，小樣本數(shù)據(jù)集用于卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練局限性較大。針對(duì)沉船聲吶圖像分類存在的問(wèn)題，提出在小樣本下，聯(lián)合遷移學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的解決方案。對(duì)比試驗(yàn)結(jié)果，可得出以下結(jié)論。

①相比于未遷移學(xué)習(xí)的情況，強(qiáng)相關(guān)數(shù)據(jù)集遷移和弱相關(guān)數(shù)據(jù)集遷移都能有效提高小樣本數(shù)據(jù)集訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的正確率。

②強(qiáng)相關(guān)數(shù)據(jù)集遷移正確率都高于弱相關(guān)數(shù)據(jù)集遷移。

利用聯(lián)合遷移學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的方法不但解決了沉船聲吶圖像訓(xùn)練困難的問(wèn)題，同時(shí)也為其他小樣本分類問(wèn)題提供了一條有效的解決思路。后續(xù)可將聯(lián)合遷移學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的方法用于側(cè)掃聲吶圖像成圖及圖像識(shí)別流程中，實(shí)現(xiàn)實(shí)時(shí)識(shí)別陌生條帶沉船的功能。

參考文獻(xiàn)：

[1] 王曉，王愛(ài)學(xué)，蔣廷臣，等.側(cè)掃聲吶圖像應(yīng)用領(lǐng)域綜述[J].測(cè)繪通報(bào)，2019（1）：1-4.

[2] 劉建偉，劉媛，羅雄麟.深度學(xué)習(xí)研究進(jìn)展[J].計(jì)算機(jī)應(yīng)用研究，2014（7）：1921-1930，1942.

[3] 高明旭，李靖，朱緒平，等.深度學(xué)習(xí)方法研究綜述[J].中國(guó)科技信息，2019（10）：56-57.

[4] 鄭遠(yuǎn)攀，李廣陽(yáng)，李曄.深度學(xué)習(xí)在圖像識(shí)別中的應(yīng)用研究綜述[J].計(jì)算機(jī)工程與應(yīng)用，2019（12）：20-36.

[5] PENG S，JIANG W，PI H，et al.Deep Snake for Real-Time Instance Segmentation [C]//proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），2020.

[6] DING M，HUO Y，YI H，et al.Learning Depth-Guided Convolutions for Monocular 3D Object Detection[C]//proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），2020.

[7] SHELHAMER E，LONG J，DARRELL T. Fully Convolutional Networks for Semantic Segmentation[J].IEEE Trans Pattern Anal Mach Intell，2017（4）：640-651.

[8] TAIGMAN Y，YANG M，RANZATO M，et al.DeepFace：Closing the Gap to Human-Level Performance in Face Verification[C]//proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition，2014.

[9] SHAO Z，WU W，WANG Z，et al.SeaShips：A Large-Scale Precisely Annotated Dataset for Ship Detection[J].IEEE Transactions on Multimedia，2018（10）：2593-2604.

[10] 張椰，朱衛(wèi)綱.基于遷移學(xué)習(xí)的SAR圖像目標(biāo)檢測(cè)[J].雷達(dá)科學(xué)與技術(shù)，2018（5）：533，546.

[11] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet Classification with Deep Convolutional Neural Networks[J].Commun ACM，2017（6）：84-90.