一種面向船舶平臺設備的數據管理系統設計與實現?

馬 辰 李 瑋 薛 松 韓世杰 曹寧生

（1.中國艦船研究院 北京 100192）（2.北京計算機技術及應用研究所 北京 100854）

一種面向船舶平臺設備的數據管理系統設計與實現?

馬 辰1李 瑋1薛 松1韓世杰2曹寧生1

（1.中國艦船研究院 北京 100192）（2.北京計算機技術及應用研究所 北京 100854）

論文從數據處理、數據庫和數據類型等三個方面分析船舶平臺設備對數據管理系統的需求，在此基礎上設計并實施一種新型的船舶數據管理系統，并實現多源多類型數據的存儲與展示功能。

機電平臺；數據管理系統；大數據；數據庫

1 引言

全艦計算環境（total ship computing environment，TSCE）是新一代艦載集成技術，對艦艇平臺信 息 化 具 有 重 要 的 意 義 和 影 響［1～2］。 美 軍 在DDG-1000中，實現了TSCE，引起了國內眾多研究人員的關注［3～5］。與傳統的艦載信息系統相比，TSCE需要支撐通用顯示系統、傳感系統、武器系統、平臺系統、訓練系統、指揮系統和外部通信系統等諸多分系統［5～6］。

相關專家對未來我國船舶的信息技術也進行了規劃和展望。文獻［7］對我軍的全艦計算環境的任務作出規劃，提出在傳感器信息管理域、平臺控制域和武控通道管理域都要基于TSCE。因而，在數據管理中，需要考慮各領域對數據需求的不同帶來的差異。文獻［8］詳細的對比了艦載信息化裝備和通用信息系統的區別，指出艦載信息化裝備的主要目的是控制、驅動物理傳感器和武器，報文類型較少，格式確定，實時性要求高等特點，其中數據約大部分具備時效性，短時間有效。

未來的船舶信息系統，集成了各類信息系統，在其使用中，產生了大量的報文、圖像、音頻、視頻等多類數據，需要進行統一采集、存儲和管理。大數據時代的到來，為數據管理系統提出了新的要求。目前，數據只有部分是結構化的，適用于傳統數據庫；而許多數據如協議、文本和圖像等是半結構化和非結構化的，需要有合適的數據存儲機制來存儲和檢索［9］。并且大數據架構也提供了多種數據分析方法，使得對數據進行多維度的分析成為可能［10］。

本文對船舶數據管理系統進行描述，從數據處理、數據庫和數據類型等三個方面對船舶數據管理系統進行分析，并設計出一種基于分布式集群的數據管理系統（Data Management System，DMS），在此基礎上進行軟件開發，實現了軟件倉庫和機電監控大屏兩個應用。

2 數據需求概述

數據管理系統為用戶提供數據存儲、檢索和處理等功能的綜合管理系統。由于船舶所涉及專業對數據使用的目的、范圍、時延等要求不同，因而在DMS中需要根據不同的專業分析其數據處理特點，進行差異化數據管理。在本文中，根據數據管理的邏輯結構，由上至下，將其分為數據處理、數據庫和數據類型三層，如圖1所示。

圖1 數據管理系統架構圖

2.1 數據處理

數據處理可分為聯機事務處理過程（On-Line Transaction Processing，OLTP）和聯機分析處理過程（On-Line Analytical Processing，OLAP）。 其 中 ，OLTP也被稱為面向交易的處理系統，由前臺、應用和數據庫共同完成，基本特征是前臺接收應用的數據可以立即傳送到計算中心的數據庫中進行處理，并在短時間里給出計算結果。由于OLTP處理速度快，響應及時，因而也被稱為實時系統。OLAP主要適用于數據的分析和挖掘，使分析人員或管理人員能夠從多維度對數據進行快速、一致、交互地存取，從而獲得更多有效的數據分析信息。OLAP是數據倉庫中的主要應用，支持對數據復雜分析操作，并提供多樣化表示的查詢結果。由于OLAP具有靈活的分析功能、直觀的數據操作和分析結果可視化表示等突出優點，用戶對基于大量復雜數據的分析變得輕松而高效，能夠迅速做出正確判斷。

在船舶平臺中，各控制類專業應用以OLTP為主，例如導航、動力等專業，主要是實時的數據檢索與記錄，時延要求比較高；而在綜合決策的專業中，需要查閱大量歷史數據，并分析其規律，為指揮人員提供決策依據，例如路徑規劃、海況感知等，大多數此類應用屬于OLAP類業務。OLTP和OLAP的對比如表1所示。

表1 數據處理對比表

2.2 數據庫

數據庫有多種分類方法，數據模型角度上可以分為關系型和非關系型數據庫，計算機系統上分為嵌入式數據庫和通用數據庫，部署位置上又能分為單機數據庫和分布式數據庫。下面，本文主要從數據模型上對數據庫進行對比分析。

關系型數據庫（Relational Database）是建立在關系模型基礎上的數據庫，借助于集合代數等數學概念和方法來處理數據庫中的數據，其數據類型主要是關系型數據。嵌入式數據庫是一種特殊的關系型數據庫。在嵌入式系統中，對數據庫的操作具有定時限制的特性，這是把應用于嵌入式系統的數據庫稱為嵌入式數據庫或嵌入式實時數據庫系統（Embedded Real-Time Database System，ERTDBS）。可靠性要求是毋容置疑的，嵌入式系統必須能夠在沒有人工干預的情況下，長時間不間斷地運行。同時要求數據庫操作具備可預知性，而且系統的大小和性能也都必須是可預知的，這樣才能保證系統的性能。嵌入式系統中會不可避免地與底層硬件打交道，因此在數據管理時，也要有底層控制的能力，如什么時候會發生磁盤操作，磁盤操作的次數，如何控制等。底層控制的能力是決定數據庫管理操作的關鍵。嵌入式數據庫是嵌入式系統的重要組成部分，也成為定制化應用進行開發和管理的必要手段。隨著計算機技術的發展，嵌入式數據庫已不僅僅局限于嵌入式系統，由于其具有資源需求少、處理速度快等優點，在個人機和服務器的輕應用中也得到了廣泛的應用。

NoSQL（Not only SQL）泛指非關系型的數據庫。隨著互聯網web2.0網站的興起，傳統的關系數據庫在處理web2.0網站，特別是超大規模和高并發的SNS類型的web2.0純動態網站已經顯得力不從心，暴露了很多難以克服的問題，而非關系型的數據庫則由于其本身的特點得到了非常迅速的發展。NoSQL數據庫的產生就是為了解決大規模數據集合多重數據種類帶來的挑戰，尤其是大數據應用難題。非關系型數據庫一般分為鍵值（Key-value）存儲數據庫、列存儲數據庫、文檔型數據庫和圖形數據庫。非關系型數據庫并沒有一個明確的范圍和定義，但是它們都普遍存在著無需預定義模式、無共享架構、彈性可擴展、分區和異步復制等共同特征，適用于數據模型比較簡單、靈活性強、數據庫性能要求高、數據一致性低并且可以映射復雜值的環境。

從部署方式的角度上來講，分布式數據庫（Distributed Database，DDB）通常使用較小的計算機系統，每臺計算機可單獨放在一個地方，每臺計算機中都可能有DDB的一份或部分拷貝副本，并具有自己局部的數據庫，位于不同地點的許多計算機通過網絡相互連接，共同組成一個完整的、全局的邏輯上集中、物理上分布的大型數據庫。分布式數據庫是大規模并行處理系統（Massive Parallel Processing，MPP）的一個重要應用。在未來的船舶DMS發展中，有兩個方向需要注意，一是集中使用若干臺服務器用來存儲海量數據；二是協調不同的服務器和邊緣計算機之間的存儲空間，優化存儲方式。而這兩類情況，均需要考慮數據庫的分布式存儲和備份。

數據庫的對比如表2所示。

表2 數據庫對比表

2.3 數據類型

隨著船舶信息化和智能化程度的提高，數據管理系統需要處理的數據類型也越來越多樣化，總體來講可以分為結構化數據、半結構化數據和非結構化數據。

結構化數據能夠用數據或統一的結構加以表示，如數字、符號。傳統關系數據模型、行數據，存儲于數據庫，可用二維表結構表示，因而結構化數據的模型為二維表。在平臺設備中，大部分的二維數據表格都是結構化數據。

半結構化數據是介于完全結構化數據（如關系型數據庫、面向對象數據庫中的數據）和完全無結構的數據（如聲音、圖像文件等）之間的數據，XML、HTML文檔就屬于半結構化數據。它一般是自描述的，數據的結構和內容混在一起，沒有明顯的區分。半結構化數據的模型為樹和圖。在平臺中，導航路徑一種典型的半結構化數據。在導航路徑中，航路節點由若干只有經緯度的二維節點構成，是簡單的叉樹。

非結構化數據庫是指其字段長度可變，并且每個字段的記錄又可以由可重復或不可重復的子字段構成的數據庫，用它不僅可以處理結構化數據（如數字、符號等信息）而且更適合處理非結構化數據（全文文本、圖像、聲音、影視、超媒體等信息）。非結構化數據無數據模型。在平臺中，視頻傳回的圖像和文本數據均以非結構化數據存在。

3 數據管理系統設計

基于船舶平臺設備的數據需求，本文設計一種DMS，用來存儲和管理船舶中的數據。

3.1 數據關系設計

在DMS中，首先要考慮數據之間的關系與流向，利用DDS消息中間件為船舶平臺設備與各類數據庫和處理架構之間的提供統一的傳遞通道，為船舶平臺提供多種可以定制化的數據處理方式，其數據關系圖如圖2所示。

圖2 數據關系圖

船舶平臺中各類傳感器獲取的數據可以直接送入任何一類數據庫和分布式文件系統進行管理。嵌入式數據庫在任務機中提供少量數據的快速存取；通用關系型數據庫既為嵌入式數據庫做備份，也可為容許毫秒級延時的業務提供數據存取；非關系型數據庫依賴大數據分布式文件管理系統，存儲和備份平臺、嵌入式數據庫以及通用關系型數據庫的數據，并且為大數據的計算提供數據支撐；分布式文件管理系統，既可以為非關系型數據庫提供支撐，也可以直接存入大容量文件。

在數據管理系統的頂層，由大數據組件的MapReduce、Spark等提供海量數據計算，并且支持應用中的數據挖掘、機器學習等智能化算法。在整個數據處理過程中，可以分別由不同的數據庫提供圖形、表格、動態顯示等多種方式的數據展示。

3.2 軟件架構設計

圖3是船舶平臺DMS的架構圖。在本設計中，該系統分為數據庫、數據管理系統和應用示例等三層。

圖3 數據管理系統軟件架構

在底層是數據庫，包含了嵌入式數據庫、通用關系數據庫和非關系型數據庫。嵌入式數據庫應用于機電設備中，與設備的控制監測應用軟件一同編譯，能夠有效地提高設備的實時控制效率。通用數據庫在于各類控制臺中，通用DDS消息中間件，實現數據的快速存儲和檢索。非關系型數據庫存在于服務器中，能夠對嵌入式數據庫和通用關系型數據庫中的數據實現匯集和備份，并為各類應用提供接口。中間是數據管理系統，由數據存儲、數據管理、數據檢索、數據展示、接口管理、硬件管理、用戶管理和界面設計等八個模塊構成，各模塊功能如表3所示。最上層是應用實例層，可以分為實時應用、非實時應用、數據監控和決策分析等四種。實時應用中，部分應用與嵌入式數據庫通過專業接口直接實現數據的增刪改查，部分應用通過DDS消息中間件，實現與通用數據庫的連通；非實時應用，例如軟件倉庫，其對數據的實效性管理不強，但是需要存儲大容量的數據，此類應用可以分別與關系型數據庫和非關系型數據庫連接；數據監控，能夠監測到實時監控、非實時存儲以及實時計算等各類數據；決策分析主要指對數據庫中的數據進行計算和管理。

表3 數據管理系統各部分功能表

3.3 系統部署環境

船舶平臺的數據管理系統主要任務是實現多任務機（動力、電力、導航、推進等）之間數據傳輸、存儲、處理和展示等功能，實現數據的優化管理，其部署如圖4所示。

數據傳輸部分由若干臺接入交換機、匯聚交換機和有線傳輸線纜組成。接入交換機負責將船舶平臺設備中的任務機和傳感器接入到系統中；匯聚交換機負責平臺內部網絡的通連。

圖4 數據管理系統部署圖

數據存儲部分硬件由若干臺任務機和兩組服務器實現，軟件由嵌入式數據庫、關系型數據庫、非關系數據庫以及分布式文件管理系統實現，配置如表4所示，數據關系如圖4所示。在任務機中，由于其數據實時性比較高，需要對數據快速的存儲和查詢，因而使用嵌入式數據庫，其數據定時匯入平臺系統數據管理服務器和綜合大數據管理服務器中；由一臺服務器，使用關系型數據庫，組成船舶平臺設備數據管理服務器，主要作用是為船舶平臺系統提供數據存儲和查詢服務，其數據定時匯入綜合大數據管理服務器中；兩臺安裝大數據組件的服務器組成綜合大數據管理服務器，其作用主要是為船舶平臺系統提供數據資源的存儲和備份，并支撐上層應用的數據挖掘。

表4 數據管理系統設備配置表

4 數據管理系統應用

4.1 軟件倉庫

軟件倉庫是基于船舶DMS的一款非實時應用，該應用的目的是用戶能夠在客戶端實現軟件的增、刪、改、查以及自動部署。在軟件倉庫應用中，使用關系型數據庫和分布式文件系統。在軟件倉庫中，首先有一張信息表存儲軟件的名稱、版本等基本信息。軟件通過兩種方式存儲，小于4G的軟件以blob的格式存儲在關系型數據庫中；大于4G的軟件以文件的方式存儲于分布式文件系統中，并在信息表中存儲軟件在分布式文件系統中的索引信息。

圖5 軟件倉庫示例

客戶端和數據庫通過DDS消息中間件進行控制信息和軟件的數據傳輸。當用戶需要存入一個軟件時，可以在信息表中新建一條記錄，并且根據軟件的大小自動分配存儲位置；當用戶需要部署某一軟件時，用戶向數據庫發送請求，將不同位置的軟件發送至相關終端機的文件夾中。軟件倉庫的功能界面如圖5所示，通過此示例，可以有效的驗證數據管理系統對于非實時應用的支持。

4.2 監控大屏

在數據管理系統的基礎上，我們做了機電系統的監控大屏，如圖6所示。在該示例中，數據來源于不同方式的應用，其中左上圖中的電流、電壓數據來源于實時監控傳感器，功率數據來源于實時計算；右上的電壓監控圖像，來源于傳感器的實時監控；左下的負載數據，來源于通用數據庫；右下的用電量分析數據，來源于非關系型數據庫。屏中的數據均實現2s一次的刷新頻率。通過該示例，能夠有效地驗證數據管理系統在數據處理和數據流向上，支持不同的數據應用。

圖6 監控大屏示例

5 結語

本文首先分析船舶平臺的數據需求，設計一種數據管理模型，從數據關系、軟件架構和系統部署三個方面進行設計，并在此基礎上開發了軟件倉庫和機電監控兩個應用。這兩個應用能夠有效的驗證所提數據管理系統的功能，實現多源數據的存儲、管理與展示功能。

［1］張偉.美國海軍全艦計算環境發展及關鍵技術［J］.艦船科學技術，2016，38（4）：148-152.ZHANG Wei.Total Ship Computing Environment Development and Key Technologies［J］.Ship Science and Technology，2016，38（4）：148-152.

［2］董曉明.新一代水面艦艇作戰系統發展理念及途徑［J］.中國艦船研究，2015，10（1）：1-6.DONG Xiaoming.Development Concepts and Approaches of the Next Generation Combat System for Surface Combatant Ship［J］.Chinese Journal of Ship Research，2015，10（1）：1-6.

［3］董曉明，石朝明，黃坤，等.美海軍DDG-1000全艦計算環境體系結構探析［J］.中國艦船研究，2012，7（6）：7-15.DONG Xiaoming，SHI Chaoming，HUANG Kun，et al.Analysis on the Architecture of USN DDG-1000 Total Ship Computing Environment［J］.Chinese Journal of Ship Research，2012，7（6）：7-15.

［4］裴曉黎.美海軍TSCE設計剖析及對我軍信息系統集成模式的啟示［J］.計算機與數字工程，2015，43（9）：1607-1614.PEI Xiaoli.Analysis of USA Navy TSCE Design and Enlightenment in Information System Integration Model［J］.Computer& DigitalEngineering，2015，43 （9） ：1607-1614.

［5］姜艷，楊心武，吳明，等.美海軍DDG-1000艦任務系統關鍵信息技術分析［J］.艦船電子工程，2016，36（12）：14-22.JIANG Yan，YANG Xinwu，WU Ming，et al.Key Information Technologies of US Navy Ship DDG-1000 Mission System［J］.Ship Electronic Engineering，2016，36（12）：14-22.

［6］黃坤，石朝明，董曉明，等.面向服務的艦艇作戰系統集成框架研究與原理驗證［J］.中國艦船研究，2013，8（5）：1-5.HUANG Kun，SHI Chaoming，DONG Xiaoming，et al.A Service-Oriented Integration Architecture of Ship Combat Systems and Its Principle Verification［J］.Chinese Journal of Ship Research，2013，8（5）：1-5.

［7］徐勇.全艦計算環境及信息化總體概念方案研究［J］.艦船電子工程，2016，36（11）：12-20.XU Yong.Conceptual Scheme of Total Ship Computing Environment and Information System［J］.Ship Electronic Engineering，2016，36（11）：12-20.

［8］陸光宇，孔祥營，劉云飛，等.艦載信息化裝備安全可信計算環境構建技術［J］.指揮控制與仿真，2015，37（6）：94-99.LU Guangyu，KONG Xiangying，LIU Yunfei，et al.Construction Technology of Trusted Computing Environment for Warship Information Equipment［J］.Command Control&Simulation，2015，37（6）：94-99.

［9］維克托·邁爾—舍恩伯格，肯尼思·庫克耶.大數據時代——生活、工作與思維的大變革［M］.杭州：浙江人民出版社，2013.Viktor Mayer-Sch?nberger，Kenneth Cukier.Big Data a Revolution：That Will Transform How We Live，Work，and Think［M］.Hangzhou：Zhejiang People's Publishing House，2013.

［10］何健偉.基于Hadoop的數據挖掘算法研究與實現［D］.北京：北京郵電大學，2014.HE Jiangwei.The Research and Implement of Data Mining Algorithms based on Hadoop［D］.Beijing：Beijing University of Posts and Telecommunications，2014.11.

Design and Implementation of Data Management System for Devices of Ship Platform

MA Chen1LI Wei1XUE Song1HAN Shijie2CAO Ningsheng1
（1.China Ship Research and Development Academy，Beijing 100192）（2.Beijing Institute of Computer Technology and Application，Beijing 100854）

In this work，data management system（DMS）is analyzed by data processing，data base and data type of each field of the ship mechanical and electronic platform.And then，a new DMS for ship is designed and deployed with functions of multi-source and multi-type data restored and shown.

mechanical and electronic platform，data management system，big data，database

F926

10.3969/j.issn.1672-9722.2017.11.023

Class Number F926