基于RNN-LSTM 的船舶位置預測分析?

張玉人 龔志猛

（1.中國科學院福建物質(zhì)結構研究所 福州 350608）（2.華信咨詢設計研究院有限公司 杭州 310052）

1 引言

船舶在開闊的航道區(qū)間內(nèi)航行時，很難用一個確定的線性關系去描述船舶的運動情況。通常，研究人員采用馬爾科夫過程來建立船舶航行軌跡預測非線性系統(tǒng)模型，但該模型結合軌跡數(shù)據(jù)建立多特征模型的復雜度較高，也無法記憶較長歷史時間跨度的信息［1］。而神經(jīng)網(wǎng)絡通過模擬人腦的神經(jīng)網(wǎng)絡基本結構進行自主學習與訓練，能夠較好地完成非線性數(shù)據(jù)的處理工作，具有優(yōu)異的非線性擬合能力。船舶航行過程中，由于GPS設備采集到的數(shù)據(jù)具有時序性，而且地理位置之間存在著上下文關聯(lián)，使得循環(huán)神經(jīng)網(wǎng)絡（RNN）應用成為可能。利用RNN 學習當前環(huán)境和既有時刻基礎上的船舶運動規(guī)律，然后進行航跡預測。這既避免了傳統(tǒng)算法中繁雜的建模過程，又保證了所建立的模型符合實際邏輯。一個完善的RNN 模型可以預測任意復雜、期望的序列，但標準的循環(huán)神經(jīng)網(wǎng)絡模型不能存儲過多的歷史信息［2～3］。在一定的歷史時間跨度下，歷史記憶的長短關乎模型預測的準確度。基于上述考慮，為了能夠記憶更長歷史時間跨度的信息，并能在一定誤差范圍內(nèi)運行穩(wěn)定，本文采用了基于長短型記憶循環(huán)神經(jīng)網(wǎng)絡（RNN-LSTM）模型來預測船舶下一位置。并不是每個歷史軌跡點位都是重要的，只有在一段時間內(nèi)有諸多點位數(shù)據(jù)聚集在某個區(qū)域才有意義，這個區(qū)域也稱為目標位置。為降低系統(tǒng)的復雜度，本文采用了DBSCAN聚類算法來提取歷史軌跡中的目標位置序列作為預測模型的輸入，并利用Embedding 與LSTM 雙層預測模型訓練出船舶位置預測模型。

2 船舶位置預測技術概述

2.1 RNN-LSTM模型

循環(huán)神經(jīng)網(wǎng)絡在進行訓練時，往往為降低模型的復雜度，只會選取若干個隱藏層，而非整個隱藏層作為記憶單元，這樣會導致在長時段歷史數(shù)據(jù)上下文語義信息挖掘應用方面存在缺陷，無法做長時序數(shù)據(jù)挖掘。基于上述原因，Hochreiter 和Schmidhu?ber等提出了長短型循環(huán)神經(jīng)網(wǎng)絡（RNN-LSTM）［4～5］。RNN-LSTM相較于傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡，它從設計上就避免了時序數(shù)據(jù)預測過程中長短時依賴問題，而設計的關鍵就是隱藏層中獨特的記憶單元結構。如圖1 所示，為RNN-LSTM 隱藏層記憶單元結構，該結構包含了三種門，分別是輸入門（Input Gate）、遺忘門（Forget Gate）、輸出門（Output Gate）。

圖1 RNN-LSTM隱藏層記憶單元結構

將RNN-LSTM 隱藏層記憶單元結構比作一個記憶細胞（memory cell），該細胞控制著記憶單元中信息的傳播途徑。其中A區(qū)域表示遺忘區(qū)，其中遺忘門（Forget Gate）接收來自上一時刻隱藏層的輸出（ht-1）和當前時刻輸入（xt）并決定丟棄當前狀態(tài)下部分信息；B 區(qū)域表示更新區(qū)，它決定了當前狀態(tài)需要存儲哪些新的信息，并完成記憶細胞的信息更新；C區(qū)域表示輸出區(qū)，其中輸出門（Output Gate）決定了當前狀態(tài)下細胞輸出的內(nèi)容。

根據(jù)以上分析，在t時刻，為了計算傳給下一個記憶細胞的Ct,ht，現(xiàn)列出記憶單元中輸入狀態(tài)和三個門狀態(tài)：

Input Gate：

Forget Gate：

Output Gate：

狀態(tài)輸入：

進而求出輸出狀態(tài)Ct和隱藏層輸出ht

綜上，RNN-LSTM 通過門的控制，解決了時序數(shù)據(jù)預測過程中長短時依賴問題，這對于長時段歷史數(shù)據(jù)預測研究有很好的幫助。

2.2 DBSCAN聚類算法

1996 年Ester M 等［6］提 出 了DBSCAN 聚 類 算法，該算法是一種基于點的周圍密度形成集群的聚類方法。在每個聚類的中，可以利用聚類的密度特點，找出任意形態(tài)的簇，它們滿足簇內(nèi)的點密度明顯高于簇外點的密度這一條件。即DBSCAN 聚類算法可表述為：在一個集合中，定義一個半徑為Eps的圓，如果這個圓內(nèi)落入的點的數(shù)目多于所給定最小點數(shù)MinPts，則可通過Eps 和MinPts 這兩個參數(shù)來定義聚類的密度。

關于DBSCAN聚類算法相關的概念定義［7～8］。

定義1給定一個點a，以點a 為圓心，Eps 為半徑得到的圓所在的區(qū)域叫做Eps鄰域。

定義2核心對象（Core objects），如果點a的Eps鄰域內(nèi)樣本點數(shù)b 大于所給定最小點數(shù)Minpts，則稱a 為核心對象，b 稱為核心點。若樣本點落在在Eps鄰域的邊界上，則稱b為邊界點。

定義3直接密度可達（Directly density reach?able），給定一個樣本集合D={d1,d2,…,dn}，如果點di的Eps 鄰域內(nèi)樣本點數(shù)為b，且d1為核心對象，那么Eps鄰域內(nèi)樣本點到di直接密度可達。

定義4密度可達（Density reachable），對于一個樣本集合D={d1,d2,…,dn} ，給定數(shù)據(jù)樣本集{p1,p2,…,pn}其中p=p1,q=pn，又假設樣本點pi至pi-1直接密度可達，則對象q至對象p密度可達。

定義5密度相連（Density connected），對于一個樣本集合D={d1,d2,…,dn}，假設在數(shù)據(jù)樣本集P={p1,p2,…,pn}樣本點pi至pj在樣本集合P 中的一點d 密度可達，那么樣本點pi和pj密度相連。假設樣本集合D 中存在一個對象a，使得樣本對象p 至q 從對象a 密度可達，則對象q 和p 密度相連。由此可知，密度相連是對稱關系，密度可達是直接密度可達的傳遞閉包。

以上基本介紹了DBSCAN相關定義、聚類原則等。DBSCAN 具有良好的去噪聲能力，能夠根據(jù)點位的疏密程度去除掉其中的噪聲區(qū)域。此外，DB?SCAN 初始值對聚類結果影響不大。基于上述優(yōu)點，本文選用DBSCAN作為船舶位置停留點聚類提取方法。

3 船舶位置預測分析

3.1 船舶位置預測框架

RNN-LSTM相較于傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡，它從設計上就避免了時序數(shù)據(jù)預測過程中長短時依賴問題，而設計的關鍵就是隱藏層中獨特的記憶單元結構。該結構在增長了記憶范圍的同時，能適當?shù)膾仐壟f信息。圖2 為本文基于RNN-LSTM 神經(jīng)網(wǎng)絡構建的船舶軌跡預測框架。

圖2 基于RNN-LSTM的船舶軌跡預測框架

由圖2可知，基于RNN-LSTM 神經(jīng)網(wǎng)絡構建的船舶軌跡預測框架主要由Embedding層［9］、LSTM模塊構成，下面詳細介紹這兩個模塊。

1）Embedding層

正如圖2 所示，本文通過DBSCAB 聚類算法提取目標位置，得到了船舶航行目標位置序列。這些目標位置被賦予唯一的標識1,2,3,…,k 。因此可以將目標位置序列轉化成索引時序序列，例如1表示港口A，2表示航道B，3表示臨時拋錨點C，4表示目的地港口D。假設一條船舶m 從港口A 出發(fā)，途徑航道B，行駛到C 點進行拋錨作業(yè)。但是也可能有另一條船舶n 從港口A 出發(fā)，途徑航道B，行駛到目的地港口D。由此可知，船舶m 的航行軌跡向量可表示為[1,2,3]，船舶n 的軌跡向量表示為[1,2,4]。通過歐式距離公式計算出的相似度顯然非常接近統(tǒng)一軌跡，若已知臨時拋錨點C 和目的地港口D方向相反，這樣得出的預測結果與實際情況大相徑庭。這樣可以說明一個事實，那就是如果單純用索引時序序列來標識目標位置，將不可能得到一個好的預測結果。而本文，為解決上述問題，采用了自然語言中的word2vec模型內(nèi)的Skip-gram 算法［10～11］，用多維的方式將每一個目標位置對應一個特征向量，這樣為區(qū)別目標位置提供了更詳細的區(qū)分度與可能性。

根據(jù)Skip-gram算法，相關參數(shù)定義如下［12～13］。

由歷史軌跡數(shù)據(jù)提取出來的目標位置集合Q；

目標位置L：其為列向量，長度為k；

目標位置窗口C：以選取目標位置序列中一個元素為中心，上下文寬度為j（向前和向后j 個目標位置）組成的部分軌跡；

條件概率P(C|Li)：表示目標位置Li出現(xiàn)的時候，目標窗口部分軌跡c 出現(xiàn)的概率，其中C(Li)表示所有目標窗口中包含了目標位置Li的集合。

給定模型參數(shù)θ，尋求模型參數(shù)最大化條件概率乘積如下：

再利用softmax［43］函數(shù)對θ 進行處理，將條件概率公式轉換成下列公式：

式中，vc、vLi分別表示維度為k的列向量。

通過上述模型表達式可知，模型訓練時，其將每一個目標位置用多維特征向量表示，并使得其在目標窗口內(nèi)條件概率P(C|Li)最大化。由此就可以得出結論，只有特定的目標位置L 才能匹配到特定的目標窗口C。

2）LSTM模塊

現(xiàn)結合船舶預測模型，詳細介紹LSTM 模塊的工作流程如下。

細胞遺忘過程：很多時候，在基于許多已有的歷史軌跡屬性都已經(jīng)存入在隱藏層記憶單元結構—記憶細胞內(nèi)，當預測船舶下一目標位置時，可以立馬找到相應的細胞狀態(tài)。但是當有新的輸入時，這就需要去清除較舊的上下文軌跡信息，這就需要通過遺忘門來實現(xiàn)。

細胞狀態(tài)更新：這一過程是決定當前狀態(tài)需要存儲哪些新的信息，并完成記憶細胞的信息更新。其主要分為兩步，一步是輸入門輸入新的值，它決定需要更新什么值；另一步是Tanh 層建立了一個候選值向量［14］。通過狀態(tài)更新，使得新增加的目標位置添加到細胞狀態(tài)中去，以便代替需要被遺忘的信息。

細胞輸出：也就是輸出門，它決定了當前狀態(tài)下細胞輸出的信息［15］。首先通過Sigmod 層來確定細胞內(nèi)哪些信息會被輸出，然后將這些信息做Tanh 處理，將得到的結果與Sigmod 門的輸出相乘，進而最終得到要輸出的信息，也就是本文要求得的船舶目標位置概率向量。

結合上文對Embedding 層和LSTM 模塊的詳細分析可知，本文將離散的目標位置序列作為輸入，送入Embedding 層進行計算，從而將目標位置轉換成一個固定長度的特征向量。再將Embedding 層全部輸出結果送入LSTM 模塊內(nèi)進行遍歷，不斷調(diào)整模型參數(shù)，最終使得模型預測下一目標位置成為可能。預測算法實現(xiàn)流程的偽代碼如下。

算法名：基于RNN-LSTM的船舶位置預測算法

Input：A set of trajectory

Process：

1：X=generateSeqSample（trajectory）；

2：Y=generateNextPlace（trajectory）；

3：model=sequential（）；

4：model.add（Embedding（））；

5：model.add（LSTM（））；

6：model.add（Dropout）；

7：model.add（Dense）；

8：model.add（Activation）；

9：model.compile（loss=，optimizer=）；

10：model.fit（X，Y）；

11：model.evelate（）；

Output：an index of future target location

前期通過DBSCAB 聚類算法提取目標位置，得到了船舶航行目標位置序列。為了訓練預測模型，第1、2 行代碼分別表示了目標位置序列樣本輸入和目標位置對應的下一位置。由于本文所提預測模型是一個線性模型，所以創(chuàng)建了一個Sequential模型（第3 行）。接下來是創(chuàng)建Embedding 層和LSTM 模塊，以用來構建目標位置特征向量和模型訓練（第4、5 行）。與此同時，要選好模型使用的激活函數(shù)以及做好措施防止過擬合問題（第6、7、8行）。最后是模型預測效果驗證，將訓練好的模型代入待測試的數(shù)據(jù)，來預測下一步船舶可能出現(xiàn)的位置（第9、10 行）。需要強調(diào)的是，此模型的輸出并非是一個確定的地點，而是一個概率分布，所以需要根據(jù)概率借助索引找到最有可能的目標位置（第11行）。

3.2 船舶下一位置預測

前一小節(jié)詳細介紹了船舶位置預測框架流程，但未將LSTM 模塊中如何預測加以詳述。本節(jié)將詳細推導從部分歷史目標位置序列來預測船舶下一位置這一過程。如圖3 所示，為簡化后的循環(huán)神經(jīng)網(wǎng)絡預測結構模型，只展示出了隱藏層結構。

圖3 循環(huán)神經(jīng)網(wǎng)絡預測結構模型

目標位置序列經(jīng)由Embedding 層計算之后，使得目標位置轉換成相應的多維特征向量X=[x1,x2,…,xT]，接著將這些多維特征向量送入擁有N 層隱藏層線性結構的RNN 中去，通過迭代計算得到n層隱藏層線性輸出為，最終經(jīng)由輸出層得到目標序列Y=[y1,y2,…,yT]。目標序列中，每一個元素yi都是一個M維向量，其中每一維對應下一目標位置的概率。而本文則是利用得到的目標序列中每一個結果向量yt與下一個目標位置特征向量xt+1得出預測分布Pr(xt+1|yt)。

由于本文所設計的模型框架只有一層LSTM隱藏層，所以從t=1 至t=T 時刻（一般目標位置序列中第一個元素為空值），隱藏層內(nèi)激活函數(shù)迭代計算公式如下：

式中，H 為激活函數(shù)，w 為輸入層與隱藏層之間的權值，b 為偏移值。

在得到隱藏層輸出后，需要在輸出層計算船舶位置預測概率，公式如下：

式中，φ(?)是一種將輸出結果yt參數(shù)化預測分布Pr(xt+1|yt)的輸出函數(shù)。通常在實際數(shù)據(jù)中難以尋找到一個合適的預測概率分布，而本文可得到一個目標位置序列Traj 的概率公式如下：

訓練模型的損失函數(shù)如下：

4 實驗結果與分析

4.1 實驗數(shù)據(jù)集

研究過程中實驗數(shù)據(jù)是由自主設計的GPS 采集設備獲得。實驗采集設備一共有5 個GPS 信標，選取了其中3 個測量精度較好的信標。實驗數(shù)據(jù)統(tǒng)計見表1所示。

表1 實驗數(shù)據(jù)集

為保證實驗的真實性，本實驗場地選在無錫市長廣溪國家濕地公園，實驗數(shù)據(jù)源一共包含了3 個實驗GPS 節(jié)點（模擬3 條船只），共計150 條軌跡軌跡信息，且平均每條軌跡包含了180 個GPS 軌跡點。由于GPS 采集設備精度以及冷啟動等因素的存在，該系統(tǒng)所采集到的位置數(shù)據(jù)中可能存在異常值。為避免這些異常值對后續(xù)各算法流程的影響，在軟件設計時，就采用了偏移處理算法濾除了這些異常值。同時為抑制采集系統(tǒng)中的高斯噪聲，所有采集到的軌跡數(shù)據(jù)均利用擴展卡爾曼濾波算法的船舶位置數(shù)據(jù)預處理模型來做船舶GPS 數(shù)據(jù)預處理。

4.2 評價指標

本小節(jié)所介紹的評價指標是用于權衡基于循環(huán)神經(jīng)網(wǎng)絡的船舶軌跡預測的實驗結果。主要評價指標包括準確率（precision）、召回率（recall rate）和F值（F-measure）。

假設實驗中預測結果集為Q，其中準確的結果集為T，則相應的實驗評價指標公式如下：

式（13）是準確率，表示預測結果集Q 中正確結果所占比例。

式（14）是召回率，表示準確的結果集T 中正確結果所占比例。

式（15）是綜合評價指標，指準確率和召回率的調(diào)和平均值。

4.3 船舶位置提取與預測結果

DBSCAN 聚類算法調(diào)節(jié)過程中包含了Eps 和MinPts 兩個主要參數(shù)。其中Eps 指鄰域半徑（聚類時每一個點），MinPts指以Eps為半徑的鄰域內(nèi)擁有軌跡點的最少個數(shù)。聚類分析過程中MinPts 設定為3，若MinPts ≥3 時，則被視為一個簇。表2 是調(diào)節(jié)Eps和MinPts兩參數(shù)后DBSCAN聚類效果統(tǒng)計。

表2 DBSCAN參數(shù)調(diào)節(jié)效果

由表2 可以看出，當MinPts 一定時，提取到的目標位置數(shù)量隨著Eps 的增大而減小。根據(jù)表中數(shù)據(jù)結合實驗經(jīng)驗，現(xiàn)將Eps=20,MinPts=3 作為聚類條件。由此，聚類分析之后，150 條軌跡數(shù)據(jù)提取出了291個目標位置，同時將整理成50條時序目標位置序列。

通過聚類分析提取的目標位置序列，將作為循環(huán)神經(jīng)網(wǎng)絡訓練模型的數(shù)據(jù)集，用來進行預測模型的訓練。實驗將取出20%的數(shù)據(jù)集作為測試數(shù)據(jù)，其余將用于預測模型訓練。

在使用LSTM 進行位置預測時，會有多種因素影響著系統(tǒng)的預測效果。下面將分不同參數(shù)條件來討論模型預測的準確率。

表3 DBSCAN聚類參數(shù)Eps對預測模型的影響

表3 展示了DBSCAN 聚類算法在取不同鄰域半徑Eps 時對LSTM 模型預測結果的影響。當MinPts為固定值時，隨著Eps的增大，鄰域半徑內(nèi)滿足MinPts條件的軌跡點會越來越多，更多的停留點被聚合在了一起，這樣相似的軌跡數(shù)量會越來越多，但也會出現(xiàn)聚類算法能夠提取到的目標位置變少的狀況。進一步分析可知，當Eps 的增大時，正是由于相似的軌跡數(shù)量越來越多，增強了模型的記憶訓練，從而使得預測準確率從51.61%升至68.13%。但Eps 也不是取越大越好，若是越大，會導致能夠提取到的目標位置越來越少，使得送入模型的目標位置序列長度無法反映真實的運行軌跡，不利于模型預測。

表4 LSTM模型參數(shù)對預測結果的影響

表4 展示了在進行循環(huán)神經(jīng)網(wǎng)絡數(shù)據(jù)訓練時，模型參數(shù)調(diào)節(jié)對預測結果的影響。由上表可知，其他參數(shù)一定時，隨著模型的迭代次數(shù)、梯度更新塊大小、Embedding 層個數(shù)的增加，系統(tǒng)的預測準確率也會提升；其中梯度更新塊增多，會提升模型的訓練速度，也會使預測結果趨于平穩(wěn)。經(jīng)過試驗調(diào)整，可以看到當?shù)螖?shù)設定為50、梯度更新塊設定為64、Embedding 層數(shù)設定為64 時，本文提出的基于RNN-LSTM 的位置預測模型擁有較好的預測結果，預測準確率為72.67%。

4.4 實驗結果對比

上一小節(jié)已經(jīng)驗證了基于RNN-LSTM 的船舶位置預測模型的可用性。為了進一步驗證模型的準確性與研究的必要性，本文將選取傳統(tǒng)歷史軌跡位置預測模型如概率模型或馬爾科夫模型進行對比分析。

為保證本文提出的預測模型處于最佳狀態(tài)，因此設定LSTM 模型各參數(shù)依次為：迭代次數(shù)設定為50、梯度更新塊設定為64、Embedding 層數(shù)設定為64。此外，DBSCAN 聚類分析時，設定鄰域半徑Eps設定為20、鄰域半徑內(nèi)最少軌跡點數(shù)MinPts 設定為3。

如圖4、圖5、圖6 分別是各模型準確率、召回率、F-measure 值對比分析圖。其中1-MM 是一階馬爾科夫模型、2-MM 是二階馬爾科夫模型、1-VOMM 是一階變階馬爾科夫模型、2-VOMM 是二階變階馬爾科夫模型。由對比圖可以看出，在準確度上，LSTM 模型達到72.67%，高出二階變階馬爾科夫模型13.3%；在召回率上，LSTM 模型達到81.3%，高出一階變階馬爾科夫模型9.4%；在F-measure 值上LSTM 模型達到76.47%，高出二階變階馬爾科夫模型12.24%。

圖4 各模型準確率對比

圖5 各模型召回率對比

圖6 各模型F-measure值對比

綜上，基于循環(huán)神經(jīng)網(wǎng)絡的船舶位置預測模型相較于傳統(tǒng)基于馬爾科夫預測模型具有較高的預測精度，具有一定的研究價值。

5 結語

為解決在長時序跨度條件下，針對傳統(tǒng)馬爾科夫模型預測船舶的下一位置精度較低且系統(tǒng)復雜度較高的問題，本文提出了基于長短型記憶循環(huán)神經(jīng)網(wǎng)絡的船舶位置預測模型。該模型依據(jù)船舶軌跡數(shù)據(jù)龐雜而有序的特點，為降低系統(tǒng)復雜度，采用了新穎的DBSCAN 聚類算法來提取船舶軌跡數(shù)據(jù)中的目標位置序列，同時為了獲得更好的目標位置區(qū)分度，引入了Embedding 層，利用自然語言中的word2vec 模型內(nèi)的Skip-gram 算法，將每一個目標位置用多維特征向量表示，最終將已構建好的目標位置特征向量送入LSTM 模塊中進行模型訓練，進而利用模型預測出下一目標位置。實驗結果表明，所提模型相較于傳統(tǒng)模型具有較高的預測準確性。在后續(xù)的研究中，要綜合考慮不同影響因素對所建船舶位置預測模型造成的影響，并結合實際應用場景，讓船舶位置預測模型較好地進行商業(yè)化探索。