基于大數據處理的船舶數據質量評價方法研究

郭 昊，李海濱，馮 姣，鄒 瀟

(1.南京信息工程大學電子與信息工程學院，江蘇 南京 210044；2.浙江海洋大學船舶與電機學院，浙江 舟山 316022；3.安藍信息科技有限公司數據與算法部，廣東 深圳，518000)

1 引言

水路運輸具有土地利用少、基礎投資少、運量大、能耗低的特點，在國內外綜合運輸體系中占據重要地位。據統計，全球約90%的貨運量由船完成[1]。國際海事組織(International Maritime Organization，IMO)為了獲取足夠的船舶信息，以減少自然或人為因素對船舶造成危害，采取了多種措施對船舶的活動進行監督和控制，其中船舶自動識別系統(Automatic Identification System，AIS)是最有效的方法[2]。隨著船舶行業的發展以及造船技術的提升，各類船舶也逐漸實現大型化和高速化，再加上全球海洋環境復雜多變，使得AIS數據在船舶監控與管理行業的利用率越來越高。

AIS是一種實時監測船舶運動狀態，為船舶航行提供綜合動態信息和靜態信息的數字系統，可以不間斷地發送本船的相關信息，通過AIS接收機即可接收到該數據。

關于AIS數據的已有研究主要集中在以下六個方面：1)AIS 配合衛星監測技術增強AIS數據的實時性、2)基于AIS數據的船舶間的避碰研究、3)AIS系統與其它設備或系統的關聯研究、4)使用AIS數據模擬船舶在虛擬終端系統(VTS)中的探測與追蹤、5)基于AIS數據的港口交通流規律分析、6)基于AIS數據的船舶軌跡預測及異常軌跡檢測研究[3]。

在以上研究領域中，均會使用大量的AIS數據作為研究對象。隨著大數據技術、互聯網等科技的發展，數據資源已經成為了一項極具價值的資產。一個組織的日常運作與決策、一項研究的開始與發展都離不開龐大數據資源，所以必須高度重視數據質量問題[4]。現如今，如何有效的提高數據質量、科學的評價數據質量，已經成為了提高信息化建設水平的重要課題[5]。但是由于AIS系統的差異性以及各數據提供商接收信號的硬件設施、存儲設備以及處理方式的不同，導致各個數據源提供的AIS數據質量參差不齊。并且對于AIS數據并沒有一項數據質量評判標準，導致很多AIS數據無法評估其數據質量并進行有針對性的數據處理與改正，不利于AIS數據質量的提升。

本文主要貢獻在于提出AIS數據質量評價算法并驗證該算法的準確性。具體內容如下：

1)本文首次提出基于AIS數據的完整性、連續性、時效性的AIS數據質量評價方法。

2)本文通過對比衛星AIS數據和岸基AIS數據數據質量的區別以及可視化熱力圖分析，得出本文所提出的AIS數據質量評價方法能較為精確的反應數據質量的優劣。

2 AIS數據質量評價方法

數據質量評價指標體系的設計必須緊緊圍繞數據質量問題的定義與分類展開。目前，國內外對數據質量研究成果很多，但對于數據質量問題還沒有一個統一的分類，從不同角度也有不同分類方法，一般來講可分為有效性、準確性、一致性、完整性和時效性等不同問題[6]。由于AIS系統的局限性，船舶易超出岸基接收范圍或受到干擾時該船舶的AIS信號會出現中斷的情況，且本文總結出AIS應用的幾個主要方面包括：船舶間避碰、軌跡預測、航線規劃、危險預警，這幾個主要方面的研究都需要AIS數據具有良好的完整性、連續性、時效性，而目前針對AIS數據質量的評價并沒有類似的指標，故本文首次將AIS數據的數據質量評價總結為完整性、連續性、時效性三個重點評價指標。

圖1 AIS數據質量評價方法流程圖

2.1 數據預處理

AIS數據具有數據量龐大、時間密度不均勻等特點；且收到AIS信號的影響，船舶在停泊與航向狀態下的數據密度差異較大。需要對AIS數據進行預處理和清洗，這樣才能獲得更準確的數據質量評分。除此之外，AIS數據還存在明顯錯誤的數據，比如：明顯的數據缺失、時間亂碼、船舶經緯度超過合理值等。所以本研究不僅需要清洗錯誤數據，還需要進行數據抽稀，故數據預處理的過程如圖2所示。

圖2 數據預處理流程圖

2.2 完整性指標

完整性研究了AIS數據在時間上的覆蓋程度，從數據分辨率的角度討論了已有AIS數據的時間分布在整體時間分布上的占比，對AIS數據在時間維度上的豐富程度做出評價。若已有AIS數據的時間分布完全覆蓋整體時間段，則該AIS數據的完整性指標的值為1，1是該指標的評價上限；若已有AIS數據沒有有效的數據，則該AIS數據的完整性指標為0，0是該指標的評價下限。計算方法可定義為

(1)

其中b1表示任意一艘船已有AIS數據的時間分布，是以gw為時間間隔總結一次AIS數據后得到的總結結果數量。假設某船舶的第n條軌跡點的上傳時間為tn，該船第n+1條軌跡點的上傳時間為tn+1，若tn+1-tn的值符合規則式(4)，則該船舶無法以gw為時間間隔總結AIS數據。規則式(4)如下

(tn+1-tn)>gw

(2)

假設無法以gw為時間間隔總結AIS數據數量為nw，選定的測試時間總長度為α，則任意一艘船的已有AIS數據的時間分布b1可定義為

(3)

對于b2表示任意一艘船的AIS數據的理想時間分布，假設該船的AIS數據覆蓋了選定測試時間段的每一天且數據足夠均勻的情況下，b2可定義為

(4)

2.3 連續性指標

連續性研究了AIS數據的整體連續程度，從數據可靠性的角度討論了每兩條AIS數據的時間間隔的長短情況，對AIS數據在時間維度上的連續程度做出評價。若已有AIS數據的不存在時間過長的間隔，則該AIS數據的連續性指標為0，0為該指標的評價上限；若已有AIS數據所有的時間間隔均超過設置的閾值，則該AIS數據的連續性指標為1，1為該指標的評價下限。計算方法可定義為

(5)

其中g1表示任意一艘船的AIS數據的所有時間過長的時間間隔的數量，g2表示任意一艘船的AIS數據所包含的所有時間間隔的數量。定義過長的時間間隔的閾值為gc，若tn+1-tn的值符合規則式(4)，則稱該時間間隔為過長的時間間隔。規則式(4)如下

(tn+1-tn)>gc

(6)

2.4 時效性指標

時效性研究了AIS數據的最新更新時間，對AIS數據在時間維度上的數據利用價值做出評價。若已有AIS數據的最新上傳數據未超出數據更新需求，則該AIS數據的時效性指標為1，1為該指標的評價上限；若已有AIS數據的最新上傳時間超出數據更新需求的時間與預設權重的乘積大于1，則該AIS數據的時效性指標為0，0為該指標的評價下限。計算方法可定義為

t=1-sk

(7)

其中s表示任意一艘船的AIS數據的最后一次更新時間超出數據更新需求范圍的時間，k表示預設的權重值，其中時間均以UTC時間戳為準。

假設任意一艘船的最后一次更新時間為tl，當前時間為tu，滿足數據更新需求的閾值為gs，則表示任意一艘船的AIS數據的最后一次更新時間超出數據更新需求范圍的時間s可定義為

s=tu-tl-gs

(8)

2.5 綜合質量評分

根據上述的三個重點評價指標的計算方法，本文提出了數據綜合質量評分算法f

f=t(b×(1-l)×100)

(9)

其中b為完整性指標，l為連續性指標，t為時效性指標。

本文提出的數據質量評價算法，通過三個重點評價指標的比較，定義了數據質量好壞的評價標準；使用該數據質量評價算法能夠較為精確的反應數據質量的優劣，在下文實例分析有詳細介紹。但是，本文提出的數據質量評價算法還存在局限性，該算法需要大量的樣本才能夠獲得較為準確的評價結果且對于隨機采集的數據不能獲得很好的評價結果。

3 實驗結果與分析

3.1 數據及實驗環境

本文收集了兩個平臺的AIS數據源，其中數據源一包含4934艘船兩年的全量軌跡數據，時間跨度為2017年7月31日到2019年8月1日，用于主要的實驗結果分析；數據源二包含200艘船一年的全量軌跡數據，數據跨度為2019年3月1日到2020年3月1日，用于佐證實驗結果分析的準確性。

為了檢測本文所提出的數據質量評價算法，本文使用Python語言搭建算法模型并對其結果進行展示與分析。本實驗所使用的軟件環境為Python 3.6.5，編譯平臺為Pycharm 2018.2.3。

3.2 實驗結果展示

根據上文算法搭建的模型進行運算，得出三個重點評價指標的結果分布圖。數據源一的數據質量評價的完整性指標結果如圖3所示，橫坐標為完整性指標，縱坐標為該指標的概率分布，由圖可見完整性指標整體數值分布偏高，其平均值為0.59，且超過平均值的比例為55.3%，可以看出數據源一的AIS數據具有較好的完整性。

圖3 數據源一完整性指標概率分布圖

數據源一的數據質量評價的連續性指標結果如圖4所示，橫坐標為連續性指標，縱坐標為該指標的概率分布，連續性指標為時間過長的間隔在所有間隔中的占比，該指標數值越高連續性越差，由圖可見連續性指標整體分布均勻，其平均值為0.49，且超過平均值的比例為49.1%，可以看出數據源一的連續性一般。

圖4 數據源一連續性指標概率分布圖

數據源一的數據質量評價的時效性指標結果如圖5所示，橫坐標為每艘船的最新上傳時間至當前時間的時間間隔，縱坐標為該時間間隔的概率分布，由圖可見時效性指標整體數值分布偏低但存在個別數值極高的存在，其平均值為72845秒(約0.84天)，且低于平均值的比例為87.2%，可以看出數據源一的AIS數據具有較好的時效性。

圖5 數據源一時效性指標概率分布圖

綜合以上三個重點評價指標的結果得出數據源一的綜合質量評分，如圖6(a)所示，橫坐標為綜合質量評分，若已有AIS數據的完整性指標、連續性指標、時效性指標均為評價上限，則該AIS數據的綜合質量評分為100分；若已有AIS數據的完整性指標、連續性指標、時效性指標存在一項指標達到評價下限，則該AIS數據的綜合質量評分為0分；縱坐標為該評分的概率分布。由圖可見數據源一的綜合質量評分整體數值分布偏低，其平均分為34.15分，且超過平均分的比例為44.5%，該數據源的綜合質量評分較差。同時本文還計算了數據源二的綜合質量評分，如圖6(b)所示，橫坐標為綜合質量評分，縱坐標為該評分的概率分布，由圖可見數據源二的綜合質量評分整體數值分布較高，其平均分為63.41分，且超過平均分的比例為58.0%，對比數據源一的綜合質量評分的分布狀況可得這部分數據源二的數據質量優于數據源一。

圖6 數據源一、二綜合質量評分概率分布對比圖

3.3 實驗結果分析

3.3.1 衛星AIS數據與岸基AIS數據質量的對比分析

衛星AIS系統是一種船舶定位技術，通過低軌道的衛星接收船舶發送的AIS報文信息，衛星將接收和解碼AIS報文信息轉發給相應的地球站，從而讓陸地管理機構掌握船舶的相關動態信息，實現對遠海海域航行船舶的監控。衛星AIS報文發送間隔為幾秒鐘或者幾小時不等，取決于衛星AIS系統網絡的性能以及所支持的衛星軌道位置的設置[7]。

岸基AIS系統是由岸基(基站)設施和船載設備共同組成的船舶定位技術。作為一種海/陸基系統，其覆蓋范圍有限，難以滿足大范圍、遠距離對船舶的跟蹤與監視。當使用岸基AIS系統的船舶駛出信號接收站范圍，其AIS信號會不穩定甚至中斷，對AIS數據的完整性、連續性、時效性都會產生很大的影響[8]。

綜上所述，衛星AIS數據在完整性、連續性、時效性這三個重要評價指標上都要優于岸基AIS數據。故本文通過對比分析衛星AIS數據與岸基AIS數據的綜合質量評分的概率分布，來驗證本文所提算法的準確性。

數據源一內4934艘船舶的衛星AIS數據與岸基AIS數據的綜合質量評分的概率分布對比結果如圖7所示，橫坐標為綜合質量評分，縱坐標為該評分的概率分布。由圖7(a)可見衛星AIS數據的綜合質量評分整體數值分布較高，其平均分為56.10分。因為整體平均分反映了數據源一4934艘船的綜合質量評分的平均水平，故本文以整體平均分34.15分為閾值，超過整體平均分的占比為77.5%；由圖7(b)可見岸基AIS數據的綜合質量評分整體數值分布偏低，其平均分為30.96分，以整體平均分34.15分為閾值，超過整體平均分的占比僅39.7%。故數據源一的結果對比顯示衛星AIS數據的綜合質量評分明顯優于岸基AIS數據的綜合質量評分，算法所得結果與上文論述的衛星AIS數據的數據質量要優于岸基AIS數據的數據質量的已知結果吻合。

圖7 數據源一衛星AIS數據/岸基AIS數據綜合質量評分概率分布圖對比

數據源二內200艘船舶的衛星AIS數據與岸基AIS數據的綜合質量評分的概率分布對比結果如圖8所示，橫坐標為綜合質量評分，縱坐標為該評分的概率分布。由圖8(a)可見衛星AIS數據的綜合質量評分整體數值分布較高，其平均分為55.49分。因為整體平均分反映了數據源二200艘船的綜合質量評分的平均水平，以整體平均分63.41分為閾值，超過整體平均分的占比為47.5%；由圖8(b)可見岸基AIS數據的綜合質量評分整體數值分布整體偏低，其平均值為41.56分，以整體平均分63.41分為閾值，超過整體平均分的占比僅21.3%。數據源二的結果對比顯示衛星AIS數據的綜合質量評分也明顯優于岸基AIS數據的綜合質量評分，算法所得結果與上文論述的衛星AIS數據的數據質量要優于岸基AIS數據的數據質量的已知結果吻合。

圖8 數據源二衛星AIS數據/岸基AIS數據綜合質量評分概率分布圖對比

綜上所述，通過兩個數據源的衛星AIS數據和岸基AIS數據的實驗結果的對比分析，得出本文首次提出的數據質量評價算法所得出的結果均與上文論述的衛星AIS數據的數據質量要優于岸基AIS數據的數據質量的已知結果吻合，該數據質量評價算法能夠較為精確的反應數據質量的優劣。

3.3.2 數據可視化對比分析

本文除了通過對比衛星AIS數據與岸基AIS數據的綜合質量評分來驗證本文所提出的數據質量評價算法的準確性外，還使用數據可視化對比分析來驗證本文所提出的數據質量評價算法的準確性。

在可視化對比分析中，本文使用python里的地圖繪制包folium將收集的AIS數據用熱力圖的形式呈現的地圖上，AIS信號好的船舶熱力圖的連續性更好且呈現的顏色更深，通過觀察圖片可以直觀的看出AIS數據在完整性指標和連續性指標的優劣。

本文對4934艘船的AIS數據都做了可視化對比分析并選取部分圖片展示，如上圖所示，圖9(a)、圖9(c)其水上移動通信業務標識碼(Maritime Mobile Service Identify，MMSI)為352521000、353801000，均為衛星AIS數據，通過數據可視化分析得出的熱力圖軌跡普遍顏色較深且軌跡連續不斷，說明該AIS數據的完整性和連續性較好；圖9(b)、圖9(d)其水上移動通信業務標識碼(MMSI)為355495000、370720000，均為岸基AIS數據，可視化分析得出的熱力圖軌跡普遍顏色較淺且軌跡不連續，如圖所示熱力圖集中在岸邊而遠離海岸的地區熱力圖顏色非常的淺；再遠一點的地方甚至沒有AIS信號，出現了AIS即時數據中斷的情況，說明該AIS數據的完整性和連續性較差，與衛星AIS數據形成鮮明對比。

圖9 衛星AIS數據與岸基AIS數據可視化分析效果對比圖

以上文提及的四艘船舶為例，圖9(a)、圖9(c)所對應的船舶的綜合質量評分為80.21分和94.52分；圖9(b)、圖9(d)所對應的船舶的綜合質量評分為16.81分和18.54分。由此可見，本文提出的數據質量評價算法的結果與數據可視化對比分析所展示的結果吻合，證明了本文提出的數據質量評價算法的準確性。

4 結論

本文首次提出的AIS數據質量評價算法，通過完整性、連續性、時效性三個重要評價指標做出評價，得出綜合質量評分。經過實驗驗證該數據質量評價算法能夠較為精確的反應數據質量的優劣。該算法的提出能夠分析出AIS數據在完整性、連續性、時效性這三個方面的質量問題，有助于對AIS數據進行針對性數據處理與改正，促進AIS數據質量的提升。同時，也可在選擇AIS數據源時起到輔助決策的作用。