基于ResNet-LSTM 網絡的船型識別方法*

朱治學 楊風暴

（中北大學信息與通信工程學院 太原 030051）

1 引言

近年來，隨著我國的水運能力和國際貿易能力不斷增強，海上運輸承擔的任務日漸繁重，交通環境也日益復雜。船舶行業也進入了高速發展時代，逐漸從傳統向智能化交通方向發展。隨著位置傳感技術和位置感知設備的發展，其所收集到的時空軌跡信息作為移動對象的位置和時間的記錄序列，是交通運輸工程，交通地理學領域的重要研究內容［1］。基于航跡數據的船舶類型識別研究具有重要的實際意義，這種研究能夠對船舶的軌跡進行分析，從中提取出船舶運動特征規律，進而將軌跡劃分出不同的、具有相似運動規律的類別。它是分析和預測運動對象行為、正確規范船舶行為、及時發現并處理船舶軌跡異常的前提條件，可為下一步實現智能船舶交通管理系統（Vessel Traffic Service，VTS）監控船舶行為打下堅實的基礎［2］。

對航跡數據的處理方式有多種多樣，傳統的聚類算法［3～5］和機器學習算法［6］存在應用場景理想化、不利于長時間航跡數據處理、所選統計量具有主觀性等缺點，不利于該任務的完成。隨著神經網絡技術［7～8］的發展，深度學習技術也開始被廣泛使用在船舶軌跡研究領域，實現更準確且更有效的識別。現有工作中，Endo等［9］研究人員將原始軌跡數據結構轉換為圖像數據結構，但其所提卷積神經網絡提取特征能力有限，訓練周期較長，對數據分析不到位，最終的分類效果有所欠缺。Jiang X 等［10］使用速度及其統計量作為特征，將其嵌入到特征空間中后再送入GRU 對軌跡進行分類，但其手動選擇的統計量具有人為主觀因素，所采用的統計特征具有一定的片面性。趙佳歡等［11］利用循環神經網絡處理時序數據上的優勢，對空中目標類型識別，將雷達信噪比和目標航跡特征相結合，以提高目標識別準確度，但沒有考慮到循環神經網絡RNN 的梯度消失和長時間依賴問題。Wang L 等［12］通過遷移學習的方式對互聯網打車軌跡的進行了識別，但是在其汽車數據集中，許多車輛運動規律單一，并沒有研究對復雜情況下的軌跡特征提取方法，所研究方法仍存在一定局限性。

綜上，本文經過對已有研究內容的分析以及不足的思考，提出了一種ResNet-LSTM融合網絡的船型識別模型。通過ResNet 卷積網絡則可以有效地提取航跡數據的局部空間特征，構造LSTM 網絡去提取航跡數據中的長時間時序特征，同時由于ResNet網絡的殘差跳躍結構，也可以避免傳統網絡的梯度消失和梯度爆炸問題，從而提高模型在海上復雜船跡類型識別任務中的準確度。

2 相關理論知識

2.1 殘差網絡（ResNet）

殘差神經網絡［13］是由MSRA 的學者提出的一種卷積神經網絡。在神經網絡中，網絡深度的增加往往意味著網絡對數據的擬合能力越好，但它也會帶來過擬合以及梯度消失或者梯度爆炸的問題，這會導致網絡準確度的降低甚至喪失對測試集的檢測能力。殘差神經網絡通過其跳躍連接的機制可以解決此問題。其具體原理如圖1 所示，假設神經網絡某一層的神經網絡所代表的函數為F(x)，x為輸入到該層神經元的特征信息，在傳統的深度神經網絡中，神經元的輸出即為F(x)，但在殘差神經網絡中，其內部的殘差塊使用了跳躍連接，將原始的特征信息與F(x)的信息相加作為下一個神經元的輸入。

圖1 殘差結構圖解

在ResNet 模型中這一結構用數學公式可以表示為

ResNet 系列網絡包括ResNet18、ResNet34、ResNet50、ResNet101、ResNet152 等，網絡模型數字越大，代表模型越大，所需要的計算量越大。ResNet18 具有精度高、模型小、易于實現等優點。本文所利用的ResNet 網絡是ResNet18 輕量級網絡模型。

2.2 長短時記憶網絡（LSTM）

LSTM長短時記憶網絡［14］是一種特殊的遞歸神經網絡，通過門限機制，完成網絡前饋過程，以克服傳統的RNN 網絡在處理長序列輸入數據中表現的不足，對數據長距離時序特性的提取能力較強，其基本結構如圖2所示。

圖2 長短時記憶網絡基本結構

LSTM長短時記憶網絡的前饋過程可表示為

其中，sigm 為Sigmoid 激活函數，取值范圍為［0，1］。tanh 為雙曲正切激活函數。LSTM 網絡的訓練過程通過權重參數W、U和偏置參數b來控制。

3 基于ResNet-LSTM 的融合網絡結構設計

本文設計了一種殘差神經網絡（ResNet）與長短時記憶網絡（LSTM）進行結果融合的網絡模型，所采取的融合方式為令ResNet 模型的最終輸出結果為F1(x)，LSTM 模型的最終輸出結果為F2(x)，定義一個權重參數a，令模型融合的結果為F3(x)，可以得到公式如下：

總模型結構如圖3所示。

圖3 總模型結構圖

如圖3 所示，本文使用的ResNet 網絡在ImageNet［15］數據集上事先預訓練好權重，通過遷移學習的方法［16］，使該網絡參數能夠更快速地收斂，該權重對應的分類個數為1000，本模型在ResNet 預訓練模型之后增加一層全連接層，以修改分類個數，激活函數為Softmax，其輸出的特征向量表示模型對輸入所預測的5 種船舶類型的概率。所使用的LSTM 模型中，模型層數為2，輸入維度為480，輸出維度為256。模型的最后同樣是全連接層，輸出5類的預測概率。

最終根據所構建的融合公式，將兩個模型的輸出進行融合，在神經網絡的訓練過程中，在反向傳播過程中，交叉熵損失函數所產生的梯度也會根據該融合權重數值分別更新兩個模型的參數。

4 實驗流程

4.1 數據預處理

本文使用原始數據集為船舶AIS航跡數據集［17］。采集2017 年美國海岸包括漁船、客船、油船、集裝箱船和散貨船等船舶類型在內的真實船舶軌跡數據。該數據集存在的問題如下：

1）因為該數據集數據量比較大，所以會存在數據重復、錯誤以及時間混亂的數據。

2）由于船舶數據通過硬件上傳信息，可能由于設備，網絡傳輸等問題造成數據缺失。

所以在針對上述數據集中存在的問題使用的方法如下：

1）對于重復的數據進行去重操作，根據時間戳進行排序，按照時間排序繪制軌跡路線。

2）在缺少數據的部分，采用線性插值處理，彌補數據缺失部分。

本文數據預處理的流程圖如圖4所示。

圖4 數據預處理流程圖

4.2 動態特征的選取

本文將船舶數據根據速度的大小關系按航跡點跡映射為不同顏色，映射關系如圖5所示。

圖5 船速可視化色彩映射關系圖

當船只的速度高時，其顏色其可視化偏向于藍色，當船只的速度低時，其可視化偏向于紅色。根據船只航跡的不同顏色，可以大致判斷出，該船只的運動狀態。

考慮到數據集內不同船只之間的航行速度以及航行軌跡，可能有所差異。可視化部分不同類型船舶的軌跡路線示例如圖6所示。

圖6 部分各類船只軌跡示意圖

通過數據可視化分析，本文選取航跡數據中的六個動態特征，即經度、緯度、對地速度、對地航偏、航首向以及轉彎率作為神經網絡的輸入。經數據預處理，每類選取5000 個數據樣本，每個數據樣本大小為80 行、6 列。數據被劃分為訓練集、驗證集和測試集，三者的比例分別為7∶3∶1。研究通過航跡數據對漁船、客船、油船、集裝箱船和散貨船五類船舶進行類型識別。

4.3 實驗環境與參數設置

本實驗仿真環境和配置如下：操作系統為Windows10-64 位，開發語言為Python3.8，開發環境為anaconda虛擬環境。

實驗中模型的具體參數設置如表1所示。

表1 具體參數設置

4.4 實驗結果

4.4.1 基線模型訓練

圖7 為在ResNet18 模型上進行遷移學習得到的訓練結果，可以從圖中看到，在訓練過程中，ResNet 卷積神經網絡在驗證集以及測試集上具有一定的震蕩，而且在訓練后期，網絡出現過擬合現象，準確率反而下降。

圖7 ResNet18模型訓練過程指標變化

圖8 是經LSTM 模型的訓練結果。相比于ResNet模型雖然略有差距，但沒有出現過擬合的現象，說明該LSTM模型的Dropout弱化了過擬合所帶來的影響，LSTM 模型所提取的特征與ResNet 模型也存在一定差異。

圖8 LSTM模型訓練過程指標變化

4.4.2 確定最佳網絡融合參數

為了得到最優的網絡融合系數，本文對比4 組不同融合參數的模型準確度，即融合參數a 分別取0.2，0.4，0.6，0.8。訓練過程的損失與準確度指標如圖9所示。

圖9 不同融合參數下網絡模型訓練過程對比

在圖9 中，對比不同融合參數，可以發現當融合參數a 越大，ResNet網絡提取的局部空間特征占的權重越大，網絡損失率下降越快，但網絡在訓練過程中的抖動情況越嚴重。融合參數a 越小，LSTM 模型提取的長距離時序特征占的權重越大。網絡的抖動情況也有所改善。當融合參數a 取0.4左右，網絡運行效果最佳，說明在該參數值下，融合模型既避免了ResNet 模型單獨作用下網絡過擬合以及網絡抖動的影響，又能利用LSTM 模型提取到有效的時序特征。網絡的準確度和學習效率有更高的提升。

另外，在利用神經網絡處理類型識別問題時，所涉及到的主要評估指標還包括精確度、召回率、F1值等。表2表示不同融合參數下，網絡運行結果指標報告。隨機抽取總數為4992 的實驗數據進行測試，其中類別0，1，2，3，4 分別表示漁船、客船、油船、集裝箱船和散貨船五種船舶類型。

表2 不同融合參數下的網絡在測試集上的評價指標統計

通過對表2 的結果分析，當融合參數a 為0.2時，網絡模型對油船的識別的精確度不高，當融合參數a 為0.6 時，網絡模型對散貨船識別的精確度不高，當融合參數a 為0.8 時，網絡模型在客船和散貨船精確度上表現不佳，當融合參數為0.4時，各項指標在數值上高于融合參數a 取其他值時的各項取值，ResNet-LSTM 網絡融合效果最好，此結果與圖9中所展示結果表現一致。

4.4.3 網絡模型對比實驗

本節為證明所提網絡模型在本文任務中的效果，實現了四種不同的網絡模型架構（即特殊的CNN 網絡模型架構［18］、1DCNN-LSTM 網絡模型架構［19］、Transformer-LSTM 網絡模型架構以及簡單的RNN 網絡模型架構；將上述網絡架構與本文所提的ResNet-LSTM（a=0.4）網絡架構進行對比分析。各個模型訓練過程中損失率與準確度如圖10 和表3所示。

表3 不同網絡模型結果對比

圖10 不同模型結果圖

對圖10 和表3 進行分析可知：特殊的CNN 網絡［18］模型，通過100 個訓練周期，達到收斂后在測試集上的準確度可達到0.90。1DCNN-LSTM 網絡模型［19］訓練50 個訓練周期達到收斂，在測試集上的準確度達到了0.95。Transformer-LSTM 網絡模型以及RNN網絡模型分別通過50次迭代過程的訓練達到收斂，二者網絡在測試集上的準確度分別可達到0.96 和0.86。均沒有超過本文所提ResNet-LSTM（a=0.4）網絡模型的0.98的準確度。

5 結語

本文把深度學習領域中的神經網絡模型應用于船舶類型識別任務中，構造ResNet 模型預訓練模型和LSTM 模型，分別提取航跡數據中的局部空間特征和長距離時序特征，克服了傳統網絡的梯度消失、特征提取能力不足等缺點，構造了兩種網絡的融合公式，利用反向傳播更新網絡參數，有效地將二者網絡進行融合，提出了一種基于ResNet-LSTM的融合網絡模型。并與現有的網絡模型架構進行對比，結果表明，本文所提出的ResNet-LSTM模型能夠有效地對航跡數據特征進行提取，具有很好的識別性能。

下一步將對AIS 數據之外更多的航跡數據進行研究，嘗試不同模型融合方式、融合效果，從而能夠識別出更多的目標類型。