港口企業(yè)大數(shù)據(jù)中心建設需求及方案分析

孫浩

摘? 要：隨著信息化水平的不斷提升，很多先進的港口企業(yè)嘗試將目前新興的大數(shù)據(jù)技術、物聯(lián)網(wǎng)技術及云計算技術等運用到港口生產(chǎn)中，初步建立大數(shù)據(jù)中心，用數(shù)據(jù)來指導航運。隨著港口企業(yè)對大數(shù)據(jù)概念認知的加深，航運數(shù)據(jù)的收集和深度挖掘應用對航運的精細管理起到了越來越重要的作用。港口企業(yè)的大數(shù)據(jù)中心建設需求的核心在于數(shù)據(jù)資源及數(shù)字技術，大數(shù)據(jù)中心建設應把握好數(shù)據(jù)標準、數(shù)據(jù)共享、數(shù)據(jù)挖掘和數(shù)據(jù)安全等環(huán)節(jié)。

關鍵詞：港口企業(yè);大數(shù)據(jù)中心;整體方案

中圖分類號：TP39? ? ?文獻標志碼：A

0 引言

大數(shù)據(jù)指涉及的資料規(guī)模過于龐大，無法通過目前小型的處理軟件進行自動處理，但是能夠通過專業(yè)性數(shù)據(jù)處理，在合理的時間內(nèi)進行有效信息的選取、加工、整理，并為企業(yè)經(jīng)營、管理或決策所用的數(shù)據(jù)信息。在當前市場環(huán)境下，合理的使用大數(shù)據(jù)技術能夠有效幫助企業(yè)做出正確的決策部署，為企業(yè)創(chuàng)造更多的價值和效益[1]。港口是物流鏈條中至關重要的一環(huán)，其運輸和管理數(shù)據(jù)通過整理、分析后，能夠成為航運模塊中豐富的數(shù)據(jù)資源，反過來能夠?qū)Ω劭跇I(yè)務起到精準指導的作用，港口作業(yè)、供需關系、業(yè)務聯(lián)系等均可在大數(shù)據(jù)中心提供的信息中受益[2]。港口企業(yè)大數(shù)據(jù)中心通過對港口航運信息進行挖掘，以此來深入分析數(shù)據(jù)之間的關系，為航運提供科學合理的運營方案，還能夠幫助企業(yè)明確經(jīng)營方向，協(xié)助決策層制定相關的發(fā)展戰(zhàn)略，對于港口企業(yè)的航運布局和發(fā)展規(guī)劃的調(diào)整也具有重要的指導意義。

1 港口企業(yè)大數(shù)據(jù)中心建設的技術需求

1.1 數(shù)據(jù)采集

在港口企業(yè)的運營過程中，每個環(huán)節(jié)都會產(chǎn)生復雜龐大的數(shù)據(jù)，而大數(shù)據(jù)數(shù)據(jù)處理的第一步就是收集信息，即獲取數(shù)據(jù)源。因此，通過各種有效的方法來獲取數(shù)據(jù)信息就變得尤為重要。目前，已采用大數(shù)據(jù)技術的港口企業(yè)經(jīng)常通過數(shù)據(jù)傳感器、RFID射頻識別技術、AIS船舶自動識別技術等來獲取貨品數(shù)量、參數(shù)信息及航運信息等數(shù)據(jù)，隨著大數(shù)據(jù)技術的發(fā)展和企業(yè)應用需求的增加，一些能夠初步接收和粗略處理信息的移動軟件被開發(fā)出來，企業(yè)管理者能夠在手機或平板電腦上初步瀏覽各項數(shù)據(jù)。

1.2 數(shù)據(jù)存儲

港口企業(yè)在應用大數(shù)據(jù)技術時，更注重對于數(shù)據(jù)的即時處理和應用。因此，大數(shù)據(jù)技術對數(shù)據(jù)存儲和處理的時效性提出了很高要求，傳統(tǒng)的數(shù)據(jù)存儲技術已經(jīng)不能滿足當前需求。借鑒當前先進港口企業(yè)的成功案例，以Hadoop和Spark為代表的分布式儲存和計算框架，在存儲、運算速率及經(jīng)濟上最為適用。目前，港口船舶產(chǎn)生的AIS數(shù)據(jù)十分龐大，衛(wèi)星AIS數(shù)據(jù)和岸站AIS數(shù)據(jù)融合信息就達到20 000條/min～30 000條/min，船舶的年航運軌跡信息量更是超過百億條。為實現(xiàn)信息的有效存儲和利用并保證存儲空間的可擴性，目前可采用基于主機池概念的云存儲和計算技術，這種存儲技術能夠根據(jù)信息的狀態(tài)動態(tài)分配存儲資源。此外，還可以考慮關系型數(shù)據(jù)庫存儲技術，基于這種技術建立的存儲系統(tǒng)智能程度更高，并能制定具體的存儲表，但存儲成本較高，維護較為復雜。

1.3 數(shù)據(jù)加工

航運環(huán)節(jié)所產(chǎn)生的的海量數(shù)據(jù)顯然存在重復、偏離、錯誤和缺失等問題，通過數(shù)據(jù)加工來進行覆蓋、糾正、校正、推導等處理是必要環(huán)節(jié)。其中重復的數(shù)據(jù)可以通過排序、聚類、分組等方法進行覆蓋。錯誤的數(shù)據(jù)通過人工智能和統(tǒng)計分析的方法檢測其異常值，利用數(shù)據(jù)清洗規(guī)則進行剔除。偏離的數(shù)據(jù)通過聚類算法等進行校正。缺失的數(shù)據(jù)可以通過推導法、均值法或者函數(shù)關系進行計算，或者人工輸入可接受數(shù)值的方法進行處理。為了節(jié)省存儲空間，初步處理后的數(shù)據(jù)可采用普克算法進行數(shù)據(jù)的折線矢量壓縮，節(jié)約存儲空間。

1.4 數(shù)據(jù)提取和分析

在收集和初步處理的數(shù)據(jù)中提取所需類型的數(shù)據(jù)就需要對數(shù)據(jù)進行查詢和提取，進而進行對應指標的分析，目前數(shù)據(jù)的查詢和提取技術需要支持RESTful架構的數(shù)據(jù)庫技術和云計算技術，同時還要具備較高的容錯率等特性，目前較為適用的方法有Trie樹法、布隆過濾器法、散列法等。

數(shù)據(jù)的分析是大數(shù)據(jù)技術的核心內(nèi)容，傳統(tǒng)的數(shù)據(jù)處理技術已經(jīng)不能滿足大數(shù)據(jù)處理的需求，當前的大數(shù)據(jù)分析處理方法有并行計算法、粒度計算法和數(shù)據(jù)挖掘法等，大數(shù)據(jù)分析技術能夠基于專項數(shù)據(jù)對各個模塊信息進行全面綜合的分析，得出最佳的計算結果，為航運決策提供可靠數(shù)據(jù)。隨著大數(shù)據(jù)技術的深化，數(shù)據(jù)的分析結果可以通過可視化技術和人機交互技術實現(xiàn)，還可以利用高級數(shù)據(jù)語言建模技術實現(xiàn)港口大數(shù)據(jù)的可視化查看、多維數(shù)據(jù)立體化查看和人機交流互動等。

2 港口企業(yè)大數(shù)據(jù)中心建設方案

2.1 設計原則

港口企業(yè)在進行大數(shù)據(jù)中心建設前，應科學進行總體規(guī)劃和設計，數(shù)據(jù)中心的設計應該摒棄傳統(tǒng)的設計模式，規(guī)避數(shù)據(jù)中心的功能性弊端，以大數(shù)據(jù)中心的資源最優(yōu)化、流程標準化、管理模塊化、交互虛擬化和操作智能化作為設計的總體原則[3]。其中大數(shù)據(jù)中心需要以需求導向、整合共享和高效服務作為設計出發(fā)點和落腳點，以需求為導向是要求在進行設計時，要充分參考國家信息發(fā)展規(guī)劃布局，以此來指導大數(shù)據(jù)中心軟硬件的前瞻性設計和應用。整合共享則是為了充分采集和利用數(shù)據(jù)，變革以往傳統(tǒng)數(shù)據(jù)中數(shù)據(jù)分散、失真的弊病。高效服務則是保證各個環(huán)節(jié)的信息處理效率，保證最終輸出信息的即時性、準確性。

2.2 設計方案

港口企業(yè)大數(shù)據(jù)中心建設的總體思路是依托云計算、大數(shù)據(jù)技術、硬件構筑基礎數(shù)據(jù)平臺以及數(shù)據(jù)中心服務系統(tǒng)，將基礎設備、信息收集、核心技術、業(yè)務需求、安全保障等部分科學的聯(lián)系起來。基礎數(shù)據(jù)平臺利用大數(shù)據(jù)或云計算等技術對信息進行收集、存儲、整合、分析及輸出，充分挖掘數(shù)據(jù)價值，將最終結果傳輸?shù)教摂M終端供相關部門使用，具體方案描述如下。

首先，大數(shù)據(jù)中心的建設需要建立統(tǒng)一的數(shù)據(jù)收集中心，信息的收集包含了生產(chǎn)管理系統(tǒng)、裝運管理系統(tǒng)、經(jīng)濟管理系統(tǒng)、運維系統(tǒng)、物供系統(tǒng)、后勤管理系統(tǒng)、人資系統(tǒng)、工程管理系統(tǒng)、科技管理系統(tǒng)等方面的數(shù)據(jù)。其次，大數(shù)據(jù)中心的建設需要對數(shù)據(jù)進行接加工處理，將初步收集的分散、無規(guī)則數(shù)據(jù)進行集成、形成上述對應系統(tǒng)的數(shù)據(jù)庫。最后，通過數(shù)據(jù)挖掘和輸出形成對上述各個系統(tǒng)有價值和指導意義的數(shù)據(jù)，實現(xiàn)大數(shù)據(jù)輸出成果的應用[4]。港口企業(yè)大數(shù)據(jù)中心建設架構如圖1所示。

2.3 港口企業(yè)大數(shù)據(jù)中心建設過程中的要素管理

2.3.1 統(tǒng)一數(shù)據(jù)標準

港口企業(yè)無時不刻不在產(chǎn)生相應的數(shù)據(jù)，數(shù)據(jù)類型多種多樣，其中包含與貨物有關的數(shù)據(jù)，包含船舶數(shù)據(jù)、設備數(shù)據(jù)及能耗數(shù)據(jù)等，但是這些數(shù)據(jù)的類型和標準不統(tǒng)一，在實際的收集中，數(shù)據(jù)格式不統(tǒng)一的現(xiàn)象十分普遍，這給信息的處理和加工帶來了諸多不便，造成了信息傳遞的遲滯。因此，建立統(tǒng)一的數(shù)據(jù)標準是港口企業(yè)在進行大數(shù)據(jù)建設初期需要著力解決的問題之一。

2.3.2 保持數(shù)據(jù)共享

“信息孤島”已經(jīng)成為通病，這就導致大數(shù)據(jù)中心的數(shù)據(jù)價值不能完全發(fā)揮出來，港口企業(yè)內(nèi)部各個系統(tǒng)之間的信息被孤立，各自為政，造成互不相讓的困局。想要打通“信息孤島”，在大數(shù)據(jù)中心建設的過程中就要著手考慮建設信息共享機制和體系，對大數(shù)據(jù)信息的共享進行科學管理，從之前的信息孤立轉(zhuǎn)變?yōu)橛袃r值信息的共享。

2.3.3 港口企業(yè)大數(shù)據(jù)中心建設需求及方案分析數(shù)據(jù)挖掘

港口企業(yè)大數(shù)據(jù)中心的數(shù)據(jù)挖掘是深入綜合分析數(shù)據(jù)價值的過程，是著眼當前橫向數(shù)據(jù)變化得出縱向變化趨勢，從而提前做出決策部署的過程，也是大數(shù)據(jù)中心建設的核心意義所在。數(shù)據(jù)挖掘要點有3個。1）去除無價值的信息。2）保證信息的時效性。3）數(shù)據(jù)價值的衡量和對比。

2.3.4 保證數(shù)據(jù)安全

對于港口企業(yè)說，其主要目的是盈利，一些通過大數(shù)據(jù)中心獲取的商業(yè)結論和資料屬于商業(yè)機密，如果該部分的數(shù)據(jù)受到惡意攻擊，將會給企業(yè)帶來無法彌補的損失。同時，由于存儲和復制等環(huán)節(jié)造成數(shù)據(jù)損失等的風險也較大，需要通過一定的手段進行動態(tài)維護，避免不必要的損失。

3 結語

港口企業(yè)進行大數(shù)據(jù)中心的建設符合時代發(fā)展的需求，同時大數(shù)據(jù)中心的建設也是龐大的工程，因此需要實現(xiàn)以數(shù)據(jù)技術為主體、以硬件和管理為兩翼的全面系統(tǒng)建設，大數(shù)據(jù)中心的建設要統(tǒng)一標準、保持數(shù)據(jù)共享、保證數(shù)據(jù)安全。

參考文獻

[1]曾小嬌，王維.大數(shù)據(jù)背景下提升港口物流運作效率的對策研究[J].中國商論，2020（7）：14-16.

[2]胡瑩瑩，趙千里.淺析云計算技術在無線電管理數(shù)據(jù)中心建設中的應用[J].數(shù)字通信世界，2020（3）：43，18.

[3]蔡春久.實施數(shù)據(jù)治理是數(shù)據(jù)中心建設關鍵[J].互聯(lián)網(wǎng)經(jīng)濟，2020（Z1）：100-103.

[4]李益波，肖炳林，何威譽，等.大數(shù)據(jù)驅(qū)動的港口機械狀態(tài)監(jiān)測平臺研究[J].港口裝卸，2020（1）：1-5，48.