工業(yè)企業(yè)主數(shù)據(jù)管理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

馮賢鳳，陳威

(貴州黎陽航空動(dòng)力有限公司， 貴州 貴陽 550014)

0 引言

缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)則增加了數(shù)據(jù)對照和映射關(guān)系的復(fù)雜程度，降低了企業(yè)數(shù)據(jù)分析工作的實(shí)時(shí)性和準(zhǔn)確性，不利于數(shù)據(jù)資產(chǎn)價(jià)值的實(shí)現(xiàn)，難以為企業(yè)做出未來的經(jīng)營發(fā)展決策提供有效數(shù)據(jù)支撐。作為企業(yè)信息數(shù)據(jù)的重要構(gòu)成，統(tǒng)一管理主數(shù)據(jù)可使企業(yè)的效益得以顯著提升，企業(yè)缺少統(tǒng)一的主數(shù)據(jù)標(biāo)準(zhǔn)是制約企業(yè)發(fā)展的因素之一。建設(shè)并完善企業(yè)主數(shù)據(jù)管理平臺(tái)是目前的研究熱點(diǎn)之一。

1 需求分析

快速發(fā)展的網(wǎng)絡(luò)信息技術(shù)促使企業(yè)的信息化水平不斷提高，以信息化支撐業(yè)務(wù)工作成為企業(yè)提高經(jīng)營管理能力的重要手段，信息系統(tǒng)成為企業(yè)必備工具。而企業(yè)不同階段的信息化建設(shè)通常是為滿足不同的業(yè)務(wù)需求，不斷增加的信息系統(tǒng)數(shù)量易導(dǎo)致部分業(yè)務(wù)數(shù)據(jù)的重復(fù)輸入及管理，各業(yè)務(wù)系統(tǒng)通常獨(dú)立運(yùn)行，增加了數(shù)據(jù)抽取、 匯總分析過程的難度，需通過建立點(diǎn)對點(diǎn)的共享方式實(shí)現(xiàn)數(shù)據(jù)同步；企業(yè)整體層面的數(shù)據(jù)交互共享程序均為以實(shí)際需要為依據(jù)定制開發(fā)，增加了維護(hù)的難度； 缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)則降低了數(shù)據(jù)應(yīng)用的實(shí)時(shí)性和準(zhǔn)確性，不同系統(tǒng)中同一事務(wù)的定義通常不同，不利于企業(yè)數(shù)據(jù)的統(tǒng)一整合[1]。

2 企業(yè)主數(shù)據(jù)管理平臺(tái)的設(shè)計(jì)

隨著公司規(guī)模的不斷擴(kuò)大，為滿足不同業(yè)務(wù)需求需建立不同的應(yīng)用系統(tǒng)，企業(yè)通常面臨著不同信息應(yīng)用系統(tǒng)間的相互協(xié)調(diào)，數(shù)據(jù)在各系統(tǒng)中的存儲(chǔ)及維護(hù)方式通常不一致，導(dǎo)致各應(yīng)用系統(tǒng)間分塊信息孤島的出現(xiàn)，阻礙了數(shù)據(jù)在不同系統(tǒng)間的共享與使用。本文以信息化整合中存在的兩方面問題為主對企業(yè)主數(shù)據(jù)管理平臺(tái)進(jìn)行設(shè)計(jì)：(1) 利用主數(shù)據(jù)管理功能實(shí)現(xiàn)企業(yè)不同業(yè)務(wù)應(yīng)用系統(tǒng)間數(shù)據(jù)標(biāo)準(zhǔn)及來源的統(tǒng)一， 提升數(shù)據(jù)質(zhì)量以確保后續(xù)數(shù)據(jù)的有效共享和使用過程的實(shí)現(xiàn)。 (2) 各個(gè)系統(tǒng)均能通過數(shù)據(jù)管理平臺(tái)實(shí)現(xiàn)數(shù)據(jù)交互過程，采用星型數(shù)據(jù)交互模式代替?zhèn)鹘y(tǒng)的點(diǎn)對點(diǎn)數(shù)據(jù)交互方式，使數(shù)據(jù)交互效率得到顯著提高。尤其是對于企業(yè)的核心數(shù)據(jù)資產(chǎn)能夠來源可溯、 安全可控，提升數(shù)據(jù)安全水平，最終實(shí)現(xiàn)企業(yè)數(shù)據(jù)的標(biāo)準(zhǔn)化、規(guī)范化管控功能。

2.1 主數(shù)據(jù)應(yīng)用存在的問題

作為企業(yè)描述核心業(yè)務(wù)的數(shù)據(jù)，主數(shù)據(jù)涵蓋了整個(gè)企業(yè)范圍內(nèi)的數(shù)據(jù)，具體由操作及業(yè)務(wù)管理應(yīng)用系統(tǒng)在內(nèi)的所有系統(tǒng)間需共享及使用的數(shù)據(jù)構(gòu)成，造成主數(shù)據(jù)不統(tǒng)一的原因主要包括：(1) 企業(yè)在初始建設(shè)相關(guān)信息系統(tǒng)時(shí)對數(shù)據(jù)標(biāo)準(zhǔn)化的重視程度不足，導(dǎo)致數(shù)據(jù)管理制度及規(guī)范不健全；(2) 數(shù)據(jù)管控體系有待完善，涉及多項(xiàng)業(yè)務(wù)的企業(yè)通常根據(jù)業(yè)務(wù)條線對信息系統(tǒng)進(jìn)行建設(shè)， 各業(yè)務(wù)條線的數(shù)據(jù)由對應(yīng)的業(yè)務(wù)部門負(fù)責(zé)管理，管理架構(gòu)及體系不統(tǒng)一；(3) 受到變動(dòng)的組織機(jī)構(gòu)的影響統(tǒng)計(jì)維度變化大，工業(yè)企業(yè)的主數(shù)據(jù)范圍涵蓋較廣，包括生產(chǎn)原料、 生產(chǎn)輔助、原料采購、 設(shè)備、物資、班組、銷售、科技與工藝、 人力資源等領(lǐng)域，主數(shù)據(jù)管理平臺(tái)需實(shí)現(xiàn)包括主數(shù)據(jù)及參考實(shí)體、主數(shù)據(jù)接入同步質(zhì)量、審批、 訂閱分發(fā)、 日志查詢、應(yīng)用系統(tǒng)維護(hù)等方面的數(shù)據(jù)管理功能，同時(shí)需以本企業(yè)實(shí)際信息系統(tǒng)建設(shè)規(guī)范要求為依據(jù)， 遵從主數(shù)據(jù)標(biāo)準(zhǔn)建立和維護(hù)信息系統(tǒng)， 已上線運(yùn)行的應(yīng)用系統(tǒng)接收的數(shù)據(jù)為主數(shù)據(jù)編碼格式， 以便同其他系統(tǒng)相互交換數(shù)據(jù)，推送數(shù)據(jù)完成通主數(shù)據(jù)編碼格式相對應(yīng)后企業(yè)實(shí)時(shí)數(shù)據(jù)庫推送[1]。

2.2 主數(shù)據(jù)管理平臺(tái)功能架構(gòu)設(shè)計(jì)

本文所構(gòu)建的企業(yè)主數(shù)據(jù)管理平臺(tái)的功能架構(gòu)，如圖1所示。

圖1 主數(shù)據(jù)管理平臺(tái)功能架構(gòu)

主要功能模塊包括數(shù)據(jù)共享模塊、平臺(tái)管理模塊，元數(shù)據(jù)管理模塊及系統(tǒng)管理模塊。

2.2.1 數(shù)據(jù)共享

數(shù)據(jù)共享模塊的主要功能在于全面整合企業(yè)內(nèi)、外部數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)信息在各個(gè)業(yè)務(wù)系統(tǒng)間的交互，共享平臺(tái)采用星型交互模式代替點(diǎn)對點(diǎn)的數(shù)據(jù)共享及交互方式進(jìn)行數(shù)據(jù)采集與分發(fā)，具體可劃分為展示層、 平臺(tái)層、 數(shù)據(jù)層、 基礎(chǔ)層，其中，用戶通過提供統(tǒng)一展示界面的展示層即可完成多種查詢； 平臺(tái)層主要負(fù)責(zé)提供各種服務(wù)以確保數(shù)據(jù)交互及共享功能的實(shí)現(xiàn)，數(shù)據(jù)通過該層同共享平臺(tái)進(jìn)行交互；數(shù)據(jù)的存儲(chǔ)及管理由資源層負(fù)責(zé)完成， 將數(shù)據(jù)支持功能提供給上層；基礎(chǔ)層負(fù)責(zé)通過使用軟硬件支撐平臺(tái)的運(yùn)行。數(shù)據(jù)交互過程需遵循平臺(tái)提供的定制流程，作為主數(shù)據(jù)管理平臺(tái)的核心數(shù)據(jù)共享模塊提供了可視化界面，用戶通過對數(shù)據(jù)共享規(guī)則進(jìn)行配置(支持匹配字段)即可獲取已存儲(chǔ)于共享數(shù)據(jù)中心的業(yè)務(wù)數(shù)據(jù)，能夠完成數(shù)據(jù)合并/拆分/字段運(yùn)算、 條件過濾、 查重等功能， 實(shí)現(xiàn)同平臺(tái)數(shù)據(jù)中心間的數(shù)據(jù)交互過程。數(shù)據(jù)提供者需根據(jù)平臺(tái)的數(shù)據(jù)存儲(chǔ)及管理規(guī)范對業(yè)務(wù)數(shù)據(jù)進(jìn)行梳理，并同共享數(shù)據(jù)中心的管理員協(xié)商后， 再向數(shù)據(jù)共享中心發(fā)布數(shù)據(jù)[2]。

2.2.2 平臺(tái)管理

作為整個(gè)主數(shù)據(jù)管理平臺(tái)的監(jiān)控中心， 該模塊將各類包括數(shù)據(jù)接入、導(dǎo)出、審核、 規(guī)則設(shè)置、 共享等在內(nèi)的數(shù)據(jù)管理的交互需求提供給管理員(通過可視化界面)，同時(shí)負(fù)責(zé)對平臺(tái)運(yùn)行情況進(jìn)行監(jiān)控，對于出現(xiàn)的數(shù)據(jù)異常能夠及時(shí)發(fā)出報(bào)警信息。對新的應(yīng)用系統(tǒng)數(shù)據(jù)接入需通過數(shù)據(jù)審核后才能存入數(shù)據(jù)庫，在審核數(shù)據(jù)時(shí)將不符合標(biāo)準(zhǔn)及要求的數(shù)據(jù)過濾掉(包括不完整、錯(cuò)誤、無用類的數(shù)據(jù))，過濾數(shù)據(jù)依據(jù)具體的規(guī)則設(shè)置完成，從而在確保數(shù)據(jù)同主數(shù)據(jù)對應(yīng)性的同時(shí)保證入庫數(shù)據(jù)的準(zhǔn)確可用及完整。規(guī)則的執(zhí)行有兩種選擇即抽取加載數(shù)據(jù)時(shí)定期執(zhí)行或管理員審核時(shí)執(zhí)行。考慮到企業(yè)各業(yè)務(wù)系統(tǒng)的技術(shù)水平可能存在差異性，部分重要業(yè)務(wù)數(shù)據(jù)沒有全面覆蓋或業(yè)務(wù)數(shù)據(jù)的準(zhǔn)確性不足，因此在平臺(tái)上完成數(shù)據(jù)的補(bǔ)錄、修正或刪除，此過程中需對用戶權(quán)限進(jìn)行嚴(yán)格控制， 詳細(xì)記錄操作時(shí)間及操作者。 此外還需進(jìn)一步固化處理共享數(shù)據(jù)中心的數(shù)據(jù)以供后續(xù)挖掘和利用[3]。

2.2.3 元數(shù)據(jù)管理及系統(tǒng)管理

(1) 元數(shù)據(jù)管理，通過主數(shù)據(jù)管理平臺(tái)能夠?qū)υ獢?shù)據(jù)進(jìn)行相應(yīng)的操作(包括定義、查詢、 修改、 刪除等)，元數(shù)據(jù)主要負(fù)責(zé)對數(shù)據(jù)的屬性及特征進(jìn)行描述，對于企業(yè)復(fù)雜繁多的數(shù)據(jù)， 在主數(shù)據(jù)管理平臺(tái)中需基于元數(shù)據(jù)完成數(shù)據(jù)的管理功能， 平臺(tái)中的元數(shù)據(jù)具體負(fù)責(zé)對數(shù)據(jù)基本屬性及數(shù)據(jù)相關(guān)信息(包括抽取、轉(zhuǎn)換、裝載、展現(xiàn)等)進(jìn)行記錄，從而顯著提高數(shù)據(jù)的管理效率。(2) 系統(tǒng)管理，負(fù)責(zé)實(shí)現(xiàn)用戶、機(jī)構(gòu)、權(quán)限、角色管理功能，為滿足各個(gè)系統(tǒng)均的數(shù)據(jù)共享需求，通過統(tǒng)一用戶管理功能的提供實(shí)現(xiàn)統(tǒng)一的用戶授權(quán)及身份認(rèn)證過程，采用菜單級及按鈕級授權(quán)。為滿足主數(shù)據(jù)管理平臺(tái)對大量數(shù)據(jù)的存儲(chǔ)和管理需求，支持準(zhǔn)能一萬五千人的查詢量(可根據(jù)企業(yè)信息系統(tǒng)建設(shè)需求進(jìn)行擴(kuò)增)，普通查詢統(tǒng)計(jì)時(shí)間不超過 5 秒，統(tǒng)計(jì)報(bào)表查詢時(shí)間不超過 20 秒，對使用終端不做限制。

3 構(gòu)建企業(yè)主數(shù)據(jù)管理平臺(tái)的關(guān)鍵技術(shù)

3.1 基于 SOA的主數(shù)據(jù)管理平臺(tái)

不斷發(fā)展的開發(fā)工具及架構(gòu)催生出了基于開放的標(biāo)準(zhǔn)的SOA 架構(gòu)，SOA作為一種面向服務(wù)的體系結(jié)構(gòu)具備靈活性、 可重用性、 松耦合性等優(yōu)勢，可有效簡化企業(yè)主數(shù)據(jù)管理平臺(tái)的開發(fā)過程，服務(wù)提供者在創(chuàng)建服務(wù)時(shí)無需明確具體的請求方式，請求者同樣無需明確實(shí)現(xiàn)服務(wù)的技術(shù)細(xì)節(jié)，基于 SOA的主數(shù)據(jù)管理平臺(tái)示意圖，如圖2所示。

圖2 基于 SOA的企業(yè)主數(shù)據(jù)管理平臺(tái)

為確保平臺(tái)的工作效率采用ESB(企業(yè)服務(wù)總線)作為基礎(chǔ)的數(shù)據(jù)服務(wù)框架， 部分應(yīng)用程序架構(gòu)的任務(wù)功能通過ESB即可實(shí)現(xiàn)(包括路由尋址、數(shù)據(jù)交換、消息及管理服務(wù)、 事件管理、安全認(rèn)證等)，使用者無需掌握ESB的內(nèi)部工作原理及流程， 使用其所提供的功能即可在ESB 上發(fā)布業(yè)務(wù)服務(wù)以及相關(guān)服務(wù)的調(diào)用[4]。

3.2 數(shù)據(jù)接口規(guī)范

主數(shù)據(jù)管理平臺(tái)軟件需通過數(shù)據(jù)接口實(shí)現(xiàn)數(shù)據(jù)的相互交互，目前接口技術(shù)發(fā)展較為完善， 開發(fā)接口時(shí)采用消息隊(duì)列，WebService等技術(shù)完成，接口包含主動(dòng)推送和被動(dòng)接收兩種數(shù)據(jù)傳輸模式， 根據(jù)企業(yè)各子系統(tǒng)間的需要協(xié)商使用。設(shè)計(jì)主數(shù)據(jù)管理平臺(tái)時(shí)采用了兩種接口設(shè)計(jì)方式即松耦合和緊耦合可滿足不同系統(tǒng)的數(shù)據(jù)管理需求，業(yè)務(wù)系統(tǒng)定制化開發(fā)的接口采用緊耦合，主數(shù)據(jù)的訂閱及共享注意通過松耦合方式的使用完成，業(yè)務(wù)數(shù)據(jù)的共享通常較強(qiáng)較高的實(shí)時(shí)性， 使業(yè)務(wù)數(shù)據(jù)(如生產(chǎn)類、實(shí)時(shí)類數(shù)據(jù))能夠及時(shí)在其他相關(guān)系統(tǒng)中體現(xiàn)出來，需使用緊耦合的接口方式，能夠快速響應(yīng)避免了數(shù)據(jù)消息的滯后性。業(yè)務(wù)系統(tǒng)的通用接口采用松耦合， 使數(shù)據(jù)傳輸過程基本不受接收方系統(tǒng)的制約， 響應(yīng)速度不及緊耦合[5]。

4 企業(yè)主數(shù)據(jù)管理平臺(tái)的實(shí)現(xiàn)

本文所構(gòu)建的主數(shù)據(jù)管理平臺(tái)結(jié)合運(yùn)用了經(jīng)典MVC 架構(gòu)以及SOA 架構(gòu)，數(shù)據(jù)庫采用 Oracle ，設(shè)置了ETL 及接口服務(wù)器，軟件開發(fā)語言采用Java 語言， 提供多種方式的數(shù)據(jù)交互組件(包括數(shù)據(jù)庫層、 WebService等)，采用 Bootstrap完成平臺(tái)前端可視化界面的設(shè)置，提升了人機(jī)交互性能。 整體基于企業(yè)虛擬化平臺(tái)部署， 以便統(tǒng)一進(jìn)行運(yùn)維。

4.1 共享模塊的實(shí)現(xiàn)

(1) 基于數(shù)據(jù)庫間的數(shù)據(jù)交互，根據(jù)企業(yè)自主建設(shè)的應(yīng)用系統(tǒng)，平臺(tái)管理員具有讀、 寫各子應(yīng)用系統(tǒng)數(shù)據(jù)庫的權(quán)限，完成對指定權(quán)限數(shù)據(jù)庫表的讀寫操作。 ETL 工具選用了HiRIS10 產(chǎn)品，數(shù)據(jù)提供方在數(shù)據(jù)入庫前先在影子表內(nèi)寫入數(shù)據(jù)(具體采用觸發(fā)器方式完成)，ETL 工具則以預(yù)定規(guī)則為依據(jù)定期從中讀取數(shù)據(jù)并將其寫入到主數(shù)據(jù)管理平臺(tái)的數(shù)據(jù)共享中心。 應(yīng)用系統(tǒng)對數(shù)據(jù)進(jìn)行使用時(shí)，所需推送數(shù)據(jù)需先通過使用ETL 工具按照規(guī)則完成到數(shù)據(jù)影子表(由使用方提供)內(nèi)的寫入， 使用方自定義讀取相關(guān)數(shù)據(jù)的頻次以供后續(xù)使用。(2) 基于消息隊(duì)列的數(shù)據(jù)交互，適用于自建/統(tǒng)建信息系統(tǒng)間或同其他應(yīng)用系統(tǒng)間的數(shù)據(jù)交互，數(shù)據(jù)的傳輸過程為：由發(fā)送端啟動(dòng)本地 ETL流程并將所需發(fā)送信息以XML 流并切片的形式輸出，再通過傳輸媒介向主數(shù)據(jù)管理平臺(tái)傳送，然后由平臺(tái)向接收端發(fā)送消息，啟動(dòng)本地 ETL 流程的接收端處理并保存數(shù)據(jù)。發(fā)送端完成同所需發(fā)送的數(shù)據(jù)庫表或視圖對應(yīng)的具體字段的選擇后，依次經(jīng)過業(yè)務(wù)邏輯處理及XML 轉(zhuǎn)換器處理完成字段到XML 文檔最終到消息的轉(zhuǎn)換過程，然后發(fā)送給主數(shù)據(jù)管理平臺(tái)。同發(fā)送端處理流程相反的接收端則在業(yè)務(wù)表內(nèi)存儲(chǔ)相關(guān)數(shù)據(jù)。(3) 基于 Web Service 接口的數(shù)據(jù)交互，在共享平臺(tái)通過相應(yīng)服務(wù)及調(diào)用地址的配置即可實(shí)現(xiàn)跨編程語言的遠(yuǎn)程調(diào)用功能[5]。

4.2 平臺(tái)管理的實(shí)現(xiàn)

該模塊主要負(fù)責(zé)統(tǒng)計(jì)交換數(shù)據(jù)及監(jiān)控作業(yè)，對于作業(yè)監(jiān)控，不受數(shù)據(jù)交互方式的影響均需校對及驗(yàn)證相關(guān)數(shù)據(jù)，本文采用了存儲(chǔ)過程(基于統(tǒng)一的日志記錄功能)結(jié)合定時(shí) Job的方式，從而便于清洗規(guī)則定義并能夠根據(jù)實(shí)際需要補(bǔ)充識(shí)別過程。提供監(jiān)控告警查詢功能，記錄數(shù)據(jù)清洗執(zhí)行及異常處理情況，數(shù)據(jù)清洗發(fā)現(xiàn)的異常數(shù)據(jù)通過人工檢查進(jìn)一步確定，在存儲(chǔ)過程中針對適用于系統(tǒng)自動(dòng)處理的數(shù)據(jù)可通過具體規(guī)則的定義完成自動(dòng)處理過程，并在處理日志中記錄；系統(tǒng)對無法自動(dòng)處理的數(shù)據(jù)會(huì)進(jìn)行標(biāo)識(shí)、 記錄并發(fā)出報(bào)警信息，提醒運(yùn)維人員解決。對于統(tǒng)計(jì)交換歷史，用戶通過可視化查詢界面根據(jù)相關(guān)條件(包括時(shí)間段、數(shù)據(jù)流向、 數(shù)據(jù)提供方或使用方等)條件篩選出統(tǒng)計(jì)結(jié)果[6]。

4.3 元數(shù)據(jù)管理及系統(tǒng)管理的實(shí)現(xiàn)

(1) 元數(shù)據(jù)管理，元數(shù)據(jù)傾向業(yè)務(wù)交互數(shù)據(jù)，定義數(shù)據(jù)時(shí)(通常包括核心、共享元和參考3類元數(shù)據(jù))以元數(shù)據(jù)共享交互過程作為唯一依據(jù)，同時(shí)需對已建主數(shù)據(jù)進(jìn)行充分考慮，以便同主數(shù)據(jù)合理區(qū)分，元數(shù)據(jù)的屬性包括校驗(yàn)規(guī)則、標(biāo)題、字段類型及長度等。(2) 系統(tǒng)管理模塊，通過統(tǒng)一身份認(rèn)證平臺(tái)管理用戶，用戶成功登錄平臺(tái)后即可訪問相應(yīng) Web 應(yīng)用系統(tǒng)進(jìn)行數(shù)據(jù)處理，由平臺(tái)管理員配置系統(tǒng)訪問鏈接權(quán)限， 賦予用戶相應(yīng)權(quán)限； 平臺(tái)管理員根據(jù)業(yè)務(wù)性質(zhì)完成審批流程的定制， 控制數(shù)據(jù)的接入與接出[7]。

5 總結(jié)

企業(yè)的各項(xiàng)業(yè)務(wù)數(shù)據(jù)隨著信息化建設(shè)的不斷深入而不斷增加， 不同來源及結(jié)構(gòu)的數(shù)據(jù)導(dǎo)致數(shù)據(jù)相互隔離問題的出現(xiàn)， 使數(shù)據(jù)價(jià)值的發(fā)揮大打折扣，難以滿足大數(shù)據(jù)時(shí)代背景下的數(shù)據(jù)資產(chǎn)管控需求， 為提高對企業(yè)相關(guān)數(shù)據(jù)的利用率并為實(shí)現(xiàn)數(shù)據(jù)價(jià)值的深入挖掘提供支撐，本文完成了統(tǒng)一的企業(yè)主數(shù)據(jù)管理平臺(tái)的構(gòu)建，該平臺(tái)以主數(shù)據(jù)為基礎(chǔ)，能夠?qū)υ獢?shù)據(jù)進(jìn)行規(guī)范化管理，完成數(shù)據(jù)的集中統(tǒng)一管理和定制分發(fā)，實(shí)現(xiàn)對基礎(chǔ)數(shù)據(jù)的標(biāo)準(zhǔn)化及后續(xù)共享使用過程的管理。后續(xù)研究將通過大數(shù)據(jù)技術(shù)的使用實(shí)現(xiàn)管理平臺(tái)中數(shù)據(jù)價(jià)值的充分挖掘， 以便為管理層的相關(guān)決策提供數(shù)據(jù)支持。