基于大數據分析云計算技術的航運電商平臺

王 翔

（上海穎川佳固信息工程股份有限公司，上海 201104）

1 引言

互聯網時代的到來，對各行各業產生了重大的沖擊，給全球貿易帶來的巨大變革導致了商品流動更加碎片化，這也給本就市場低迷的航運業帶來了前所未有的挑戰。在“互聯網+”的新概念中，共享經濟模式和平臺化是其真正的核心價值，是由平臺中心化、大數據、長尾理論、資源的優化配置等夠成的集合體。所以打造航運業的“互聯網+”，不僅是實現線上訂艙，或把線下的客戶轉移到線上，航運電商的最終目的是通過“互聯網+”的手段來實現航運業自身模式的徹底改變。

2 技術分析

大數據（BigData）是繼云計算、物聯網之后口產業又一次顛覆性技術變革，具有數據體量巨大、數據類型繁多、價值密度低與商業價值高、處理速度快等特點。在航運領域，海量的數據主要包括各類船只運行監控、服務和應用數據，如碼頭、航道、場站和港口等視頻監控數據，船東和貨主的各類貨物信息和報表數據等等，這些航運數據類型繁多，而且體積巨大。

通過市場調研分析，目前國內外針對航運管理問題己產生一些電商產品，但仍存在系統功能單一、缺乏整合、技術落后等不足。主要體現在應用系統建設分散、海量數據缺乏高效整合、航運流通數據利用率低、數據價值無法得到充分發揮。航運管理部門迫切需要一種更加先進智能的數據分析手段對電商行業的海量數據進行高技、實時的分析，為船東和貨主提供實時準確的航運信息服務。

3 平臺架構

智能航運電商大數據分析云平臺由基礎設施層、平臺服務層和終端應用層組成。

3.1 基礎服務層

基礎服務層是數據分析層和終端分布層的基礎，真主要目的是利用云計算技術，將不同系統的數掘進行整合，對異構數據進行分析和存儲，要具備安全性和穩定性。該層為數據分析層和終端分布層提供數據和性能保證。由于集合了多個航運應用系統，數據更新頻率非常快，包括插入、刪除、修改、添加以及重排序等等，在動態、更新的情配下保證系統的安全性、穩定性以及數據的準確性至關重要。

3.2 平臺服務層

數據分析層結合基礎服務層為數據和航運管理提供實際需求，利用大數據和數據挖掘技術，產生有助子航運主體進行決策和判斷的信息，需具備數據的準確性、分析的時實性和功能的多樣性等三方面特性。數據的準確性要求數據挖掘模型要經過充分和嚴格地驗證，并定期對模型進行準確性評估：分析的時實性要求平臺能夠給用戶提供最新的分析結論，根據最新結論做出奇效決策，這要求大數據技術支持快速的存儲、處理和運算。

3.3 最終應用層

最終應用層是將數據分析層產生的分析結果存儲到云端，根據不同的終端請求，提供相展示不同的分析結果，要具奇易用性。此層直接面向應用對象，提供的服務必須讓用戶容易理解和使用，界面友好，易于操作，能夠準確找到與需求對應的功能入口。

4 技術實現

平臺具體的技術實現思路是，采用大數據技術處理和存儲航運數據，結合大數據與云計算技術，利用專家數學模型對海量航運數掘進行多維度的分析和挖掘，并通過云發布服務，將分析結果傳這至各類終端，使航運參與者能快速、全面、準確的完成航運評估和決策，實現航運電商智能化管理。

4.1 基礎服務層的技術實現該層主要利用云計算來實現

云計算是指基于互聯網的超級計算模式，即把存儲子個人計算機、移動電話和其他設備上的大量信息相處理器資源集中在一起，協同工作。采用OpenStack建立云計算平臺，將各類航運IT基礎設施轉化為設備資源服務；采用Hbase.實現數據的快速存取。

4.1.1 航運數據源整合

利用云計算技術實現對分散系統和異構數據的整合，將存在于不同系統的航運電商基礎設施信息、航運對象信息和航運工具信息進行有效組織，再利用大數據處理技術，解決整合后海量數據的存儲和讀取。

4.1.2 云平臺基礎設施服務

云平臺基礎設施服務采用OpenStack建立云計算平臺，將交通各類IT基礎設施轉化為設備資源服務。

4.2 數據分析層的技術實現采用數據挖掘技術

根據航運管理中水網檢測監控、船只出行服務、數據綜合分析等需求，結合專家數學模型，對采集的水路狀態、航運線路的海量數掘進行實肘處理和高效分析等一系列智能航運行為。

4.2.1 Hadoop技術

Hadoop是一個能夠對大量數掘進行分布式處理的軟件框架。在可靠性方面，在維護多個工作數據副本，能夠確保針對失敗的節點重新分布處理：在計算速度方面，以并行的方式工作，通過并行處理，加快處理速度，能夠處理.PB級數據。Hadoop的這些優點使平臺對航運數據的處理更準確、更快速。

4.2.2 航運電商中NoSQL的應用

NoSQL即非關系型數據庫。航運數據中包含海量的圖片、視頻、音頻等數據，傳統的關系型數據庫已不能對其進行奇效的存儲和雷理。NoSQL與關系數據庫中的表都是存儲格式化的數據，其結構所不同的是，非關系型數據庫是以關鍵值對存儲，系統的結構不固定，每一個元組可以有不一樣的字段，每個無組可以根據需要增加一些自己的鍵值對，這樣就不會局限于傳統電商系統數據庫的固定結構，可以減少一些時間和空間的開銷。

5 結束語

本文利用云計算、大數據、數據挖掘等先進技術，構建了航運電商大數據分析云平臺，闡述了電商平臺的三層架構體系，明確了各架構層應該具備的特性，同時介紹了各層的技術實現方式。該平臺能解決海量數據存儲、分析和多終端分布的問題，為航運電商管理部門和公眾提供隨時隨地的物流信息服務，是將先進信息技術運用至航運行業的商業嘗試。