信息系統(tǒng)數(shù)據(jù)共享與交換方法設(shè)計(jì)構(gòu)想

王艷+王志華

【摘要】 各信息系統(tǒng)在試驗(yàn)過程中產(chǎn)生大量數(shù)據(jù)，得不到統(tǒng)一管理，通過數(shù)據(jù)共享與數(shù)據(jù)交換系統(tǒng)來解決各信息系統(tǒng)之間的共享數(shù)據(jù)一致性、及時更新、信息交互與共享、數(shù)據(jù)安全等問題，可避免各系統(tǒng)之間重復(fù)采集數(shù)據(jù)、數(shù)據(jù)冗余、共享數(shù)據(jù)更新不同步、數(shù)據(jù)不準(zhǔn)確、信息溝通不暢、數(shù)據(jù)格式不統(tǒng)一等問題。

【關(guān)鍵詞】 數(shù)據(jù)共享 數(shù)據(jù)交換 主數(shù)據(jù)

一、引言

中心承擔(dān)的任務(wù)配套信息系統(tǒng)建設(shè)成果顯著，涵蓋了場景監(jiān)測、目標(biāo)識別與定位、信息傳輸、信息處理、信息顯示等領(lǐng)域，增強(qiáng)了信息獲取手段，豐富了信息獲取量和種類，同時也帶來了各類信息共享、交換和綜合利用的需求。已建的多個信息系統(tǒng)采用不同的硬件、軟件技術(shù)和體系結(jié)構(gòu)進(jìn)行構(gòu)建，各信息系統(tǒng)的數(shù)據(jù)采用獨(dú)立存儲方式，傳統(tǒng)的對數(shù)據(jù)直接進(jìn)行訪問和存儲的數(shù)據(jù)交互方式已經(jīng)不能滿足數(shù)據(jù)共享和交換的需求，為了更好地利用這些來之不易的數(shù)據(jù)，從中挖掘、分析隱性數(shù)據(jù)規(guī)律，本文提出了一種數(shù)據(jù)共享與交換系統(tǒng)的設(shè)計(jì)思路，以主數(shù)據(jù)管理為切入點(diǎn)、面向服務(wù)的體系結(jié)構(gòu)（SOA）思想為總綱，在不改變現(xiàn)有系統(tǒng)的基礎(chǔ)上實(shí)現(xiàn)跨平臺數(shù)據(jù)訪問，實(shí)現(xiàn)各類信息系統(tǒng)的數(shù)據(jù)統(tǒng)一和共享，為數(shù)據(jù)復(fù)盤、數(shù)據(jù)綜合利用提供方法借鑒。

二、概念分析及關(guān)鍵技術(shù)

1、主數(shù)據(jù)管理。主數(shù)據(jù)是用以表述試驗(yàn)核心內(nèi)容的信息，比如個體身份信息、裝備身份信息、個體位置信息、軌跡信息、監(jiān)測信息等，是具有高數(shù)據(jù)價值、存在于多個異構(gòu)的信息系統(tǒng)中并且可以在數(shù)據(jù)處理系統(tǒng)內(nèi)部跨越各個不同的模塊被重復(fù)利用的數(shù)據(jù)。主數(shù)據(jù)管理通過對現(xiàn)有的系統(tǒng)進(jìn)行升級改造或新建系統(tǒng)來同步各信息系統(tǒng)的最新數(shù)據(jù)。主數(shù)據(jù)管理僅從字面理解它的重點(diǎn)在于管理，并不創(chuàng)建新的數(shù)據(jù)，而是通過描述一組技術(shù)、協(xié)議和解決方案，保證所有信息系統(tǒng)創(chuàng)建并維護(hù)數(shù)據(jù)的相關(guān)性、一致性、精確性及完整性，保證能夠有效地在各個系統(tǒng)中管理存儲的數(shù)據(jù)。

2、SOA技術(shù)。SOA，面向服務(wù)的體系結(jié)構(gòu)，是一種開發(fā)的方法論，在本質(zhì)上是一種策略、是一種通過整合服務(wù)來解決系統(tǒng)集成的思想，是傳統(tǒng)的面相對象的模型的替代。它將應(yīng)用程序的不同功能單元通過單元之間定義良好的接口和契約聯(lián)系起來，其中接口是采用中立的方式進(jìn)行定義的，獨(dú)立于實(shí)現(xiàn)功能單元的硬件平臺、操作系統(tǒng)和編程語言，使得構(gòu)建在各種這樣的系統(tǒng)中的功能單元可以以一種統(tǒng)一和通用的方式進(jìn)行交互。

三、系統(tǒng)設(shè)計(jì)

3.1系統(tǒng)概述

主數(shù)據(jù)被各信息系統(tǒng)所使用，需保持為內(nèi)部惟一的、共用的核心數(shù)據(jù)版本。建設(shè)數(shù)據(jù)共享與數(shù)據(jù)交換系統(tǒng)，實(shí)現(xiàn)各個信息系統(tǒng)的主數(shù)據(jù)管理、主數(shù)據(jù)共享與交換，提供標(biāo)準(zhǔn)的數(shù)據(jù)處理及存儲服務(wù)，是解決共享與交換問題的關(guān)鍵，是推動和實(shí)現(xiàn)資源整合和應(yīng)用的必要基礎(chǔ)設(shè)施。系統(tǒng)關(guān)系如圖1所示，系統(tǒng)邏輯結(jié)構(gòu)如圖2所示。

3.2系統(tǒng)架構(gòu)

3.2.1系統(tǒng)總體架構(gòu)

根據(jù)軟件工程的總體需求，系統(tǒng)建設(shè)時應(yīng)按照統(tǒng)一的技術(shù)標(biāo)準(zhǔn)搭建一個通用的信息化基礎(chǔ)架構(gòu)，令現(xiàn)有信息模型及數(shù)據(jù)流程具備良好的集成、共享和協(xié)作能力，以靈活快速的方式適應(yīng)將來日益復(fù)雜的需求，因此，需建立一套統(tǒng)一的應(yīng)用數(shù)據(jù)規(guī)范與系統(tǒng)集成規(guī)范。

3.2.2系統(tǒng)應(yīng)用架構(gòu)

（1）系統(tǒng)主要職責(zé)。實(shí)現(xiàn)各個應(yīng)用子系統(tǒng)的主數(shù)據(jù)管理，實(shí)現(xiàn)主數(shù)據(jù)的提取、共享與交換，提供靈活的數(shù)據(jù)接口，提供統(tǒng)一的標(biāo)準(zhǔn)化的數(shù)據(jù)處理及存儲服務(wù)。

（2）系統(tǒng)功能需求。數(shù)據(jù)共享與數(shù)據(jù)交換系統(tǒng)的功能如圖3所示。

（3）系統(tǒng)性能需求。對于簡單的實(shí)時數(shù)據(jù)交換，數(shù)據(jù)交換系統(tǒng)的業(yè)務(wù)從接受請求到處理完成需控制在1秒內(nèi)完成。數(shù)據(jù)交換系統(tǒng)穩(wěn)定性相對較高，連續(xù)請求處理無故障應(yīng)達(dá)到10萬次以上。支持至少10個對實(shí)時或批量的主數(shù)據(jù)交換業(yè)務(wù)請求予以響應(yīng)，擁有大并發(fā)量處理機(jī)制，具備實(shí)時與批量數(shù)據(jù)的均衡調(diào)度。對大數(shù)據(jù)包的處理，記錄量在1萬條左右，完成交換從接受請求到處理完成的時間控制在3分鐘以內(nèi)。

3.2.3系統(tǒng)技術(shù)架構(gòu)

采用面向服務(wù)的體系結(jié)構(gòu)即SOA，通過Web Service技術(shù)，搭建數(shù)據(jù)交換技術(shù)平臺，實(shí)現(xiàn)面向服務(wù)架構(gòu)的綜合數(shù)據(jù)交換業(yè)務(wù)，從而為跨平臺和跨系統(tǒng)的數(shù)據(jù)資源整合、數(shù)據(jù)共享、數(shù)據(jù)交換提供接入、轉(zhuǎn)換和流程監(jiān)控等基礎(chǔ)服務(wù)。實(shí)現(xiàn)高效數(shù)據(jù)庫實(shí)時復(fù)制。

3.3系統(tǒng)主要功能設(shè)計(jì)3.3.1主數(shù)據(jù)管理功能

主數(shù)據(jù)管理（MDM，Master Data Management）主要關(guān)注于研究、分類和訪問平臺內(nèi)的重要數(shù)據(jù)，為數(shù)據(jù)共享與交換平臺提供統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)視圖和數(shù)據(jù)服務(wù)等，同時能夠?qū)崿F(xiàn)數(shù)據(jù)提取、數(shù)據(jù)管理、數(shù)據(jù)利用以及數(shù)據(jù)存儲等。

（1）數(shù)據(jù)源管理。主數(shù)據(jù)分布在多個不同的系統(tǒng)，以及單個數(shù)據(jù)表、文檔和桌面數(shù)據(jù)庫等，數(shù)據(jù)源管理通過對上述主數(shù)據(jù)數(shù)據(jù)源的管理來實(shí)現(xiàn)主數(shù)據(jù)的獲取，同時可獲取主數(shù)據(jù)所在的系統(tǒng)、數(shù)據(jù)存儲介質(zhì)（結(jié)構(gòu)化/非結(jié)構(gòu)化）等信息。（2）統(tǒng)一的數(shù)據(jù)編碼格式。系統(tǒng)提供統(tǒng)一的標(biāo)準(zhǔn)數(shù)據(jù)編碼格式供所有應(yīng)用子系統(tǒng)進(jìn)行參考，并在數(shù)據(jù)獲取時進(jìn)行數(shù)據(jù)編碼格式檢驗(yàn)以及標(biāo)準(zhǔn)數(shù)據(jù)編碼格式轉(zhuǎn)換。（3）數(shù)據(jù)質(zhì)量管理。持續(xù)性的數(shù)據(jù)質(zhì)量下降是對數(shù)據(jù)管理永久的威脅，數(shù)據(jù)質(zhì)量管理必須遵循完全性、符合性、一致性、準(zhǔn)確性、重復(fù)性、完整性的原則制定數(shù)據(jù)質(zhì)量改善計(jì)劃，通過標(biāo)準(zhǔn)化、驗(yàn)證、糾正和增強(qiáng)主數(shù)據(jù)，從而實(shí)現(xiàn)對數(shù)據(jù)的清洗和解析。（4）數(shù)據(jù)維護(hù)。用來實(shí)現(xiàn)對主數(shù)據(jù)的導(dǎo)入、導(dǎo)出及對主數(shù)據(jù)的維護(hù)和管理。（5）數(shù)據(jù)審核。通過采取定期或不定期的方式，完成對主數(shù)據(jù)質(zhì)量的評審，從而保證主數(shù)據(jù)的高質(zhì)量和準(zhǔn)確性，包括定期審核和不定期審核兩部分。（6）數(shù)據(jù)監(jiān)控。通過智能化的消息監(jiān)控和日志進(jìn)行分析，從而保證數(shù)據(jù)獲取與提供的過程平順與穩(wěn)健。監(jiān)控管理可以取代人工的監(jiān)控管理工作，能快捷準(zhǔn)確地發(fā)現(xiàn)問題并支持多種警示手段。包括數(shù)據(jù)量監(jiān)控、服務(wù)過程監(jiān)控、服務(wù)應(yīng)用監(jiān)控、數(shù)據(jù)存儲狀態(tài)監(jiān)控等。（7）數(shù)據(jù)共享交換。很多情形下存在同一數(shù)據(jù)由多個系統(tǒng)來產(chǎn)生和維護(hù)的情況，因而在主數(shù)據(jù)管理過程中，會形成共享數(shù)據(jù)。數(shù)據(jù)共享與數(shù)據(jù)交換通過分發(fā)整合后的主數(shù)據(jù)，以確保在相互集成的信息系統(tǒng)中主數(shù)據(jù)的質(zhì)量。（8）數(shù)據(jù)報(bào)表。數(shù)據(jù)報(bào)告是通過統(tǒng)計(jì)主數(shù)據(jù)，自動生成各種數(shù)據(jù)的統(tǒng)計(jì)報(bào)表。常見的報(bào)告內(nèi)容包括：1、主數(shù)據(jù)的使用頻度與提供效率統(tǒng)計(jì)，可分析出數(shù)據(jù)的重要性與數(shù)據(jù)提供的效率；2、主數(shù)據(jù)獲取的錯誤率統(tǒng)計(jì)，可專項(xiàng)分析出某主數(shù)據(jù)獲取時常見的問題，并進(jìn)行針對性調(diào)整；3、核心主數(shù)據(jù)增量統(tǒng)計(jì)，可專項(xiàng)分析出數(shù)據(jù)異動，并進(jìn)行確認(rèn)，從而監(jiān)控異常的數(shù)據(jù)變動。（9）業(yè)務(wù)流程整。主要通過工作流引擎來實(shí)現(xiàn)流程管理，工作流引擎作為應(yīng)用系統(tǒng)的一部分，為workflow提供對各應(yīng)用系統(tǒng)有決定作用的、并根據(jù)角色分工和條件的不同決定的信息傳送路由、內(nèi)容級別等。（10）主數(shù)據(jù)存儲。主數(shù)據(jù)存儲階段流程如圖5所示。

3.3.2數(shù)據(jù)交換功能

（1）管理控制臺。Web管理控制臺是基于RIA技術(shù)而開發(fā)的Web服務(wù)應(yīng)用。提供了完整的系統(tǒng)管理、開發(fā)和控制頁面。能夠部署在Tomcat、WebSphere、Weblogic等多種應(yīng)用服務(wù)器。

（2）系統(tǒng)服務(wù)。1、組件服務(wù)。組件服務(wù)是一個業(yè)務(wù)流程定義的數(shù)據(jù)交換，提供了基本的功能組件服務(wù)，包括ETL引擎、傳輸、錯誤處理、監(jiān)測、元數(shù)據(jù)提取和其他系統(tǒng)組件。ETL引擎負(fù)責(zé)ETL過程映射模板定義，實(shí)現(xiàn)數(shù)據(jù)提取、轉(zhuǎn)換、清洗、加載等功能的實(shí)現(xiàn)。在跨地域分布式環(huán)境數(shù)據(jù)交換過程，通過傳輸模塊將被提取的每個數(shù)據(jù)源的數(shù)據(jù)發(fā)送到指定的目的地。2、任務(wù)引擎服務(wù)。控制和監(jiān)測系統(tǒng)任務(wù)運(yùn)行，提供數(shù)據(jù)上傳，加載任何自定義的數(shù)據(jù)遷移、交換任務(wù)控制、監(jiān)控和管理功能。3、BPEL引擎服務(wù)。提供BPEL引擎的管理控制、任務(wù)中BPEL流程的執(zhí)行監(jiān)控等功能，并封裝BPEL產(chǎn)品引擎功能的服務(wù)。

3.3.3數(shù)據(jù)分析功能

數(shù)據(jù)分析平臺利用在數(shù)據(jù)交換平臺處理好的數(shù)據(jù)進(jìn)行數(shù)據(jù)的深度利用，利用數(shù)據(jù)倉庫技術(shù)實(shí)現(xiàn)數(shù)據(jù)資源的綜合利用。

結(jié)束語：本文通過對SOA基礎(chǔ)框架中核心技術(shù)的研究，提出了基于SOA思想的數(shù)據(jù)共享與數(shù)據(jù)交換系統(tǒng)構(gòu)想。系統(tǒng)是根據(jù)各分散的信息系統(tǒng)建設(shè)現(xiàn)狀為基礎(chǔ)，以向指揮中心和決策系統(tǒng)提供數(shù)據(jù)共享與交換平臺且以數(shù)據(jù)支持為目的的架構(gòu)，通過ESB，Web Service等技術(shù)實(shí)現(xiàn)應(yīng)用層面的決策數(shù)據(jù)在不同子系統(tǒng)間的互聯(lián)互通、信息共享。

參 考 文 獻(xiàn)

[1]喻堅(jiān)，韓燕波.面向服務(wù)的計(jì)算[M].北京：清華大學(xué)出版社，2011.

[2]胡德華，SOA之道：思想、技術(shù)、過程與實(shí)踐[M].上海交通大學(xué)出版社，2011.

[3]劉炳林，構(gòu)建最高可用Oracle數(shù)據(jù)庫系統(tǒng)：Oracle 11gR2 RAC管理、維護(hù)與性能優(yōu)化[M].上機(jī)械工業(yè)出版社，2012.