基于數據抽取的決策支持系統研究與實現

楊明亮

(中國空空導彈研究院,河南洛陽 471009)

1 引言

信息化經過多年的發展,已經形成了由AEPCS、MES、OA、PDM等為核心的業務支撐系統,這些業務系統在企業管理、生產經營等方面發揮了重要的作用,為企業工作效率帶來了很大的提高,但同時也帶來以下問題:(1)業務系統彼此孤立;(2)大量業務數據信息,信息之間缺乏共享;(3)決策實施依賴經驗方法。

隨著信息化發展和要求的提高,技術復雜度和管理復雜度進一步提升,各部門、各業務的協同、共享信息的進一步加強,設計信息、生產信息、管理信息轉化和聯系的通道打通,科研、生產、管理業務全過程的集成實現,大量的結構化信息、非結構化信息存儲和交換,從而造成人員間協作、部門間協作的困難,也無法為管理層提供綜合、完整、精準的決策信息數據,從而對總體業務效率的提升,以及知識的共享、提煉、升華形成了不小的障礙。

在這種情況下,確定好數據倉庫模型后并對數據源進行分析后,按照分析結果,從應用系統中抽取出與主題相關的原始業務數據,轉換為數據倉庫一致的格式,并裝載到數據倉庫中的過程。數據中心主題數據庫建設和數據倉庫建設,結合ETL數據抽據轉換、數據裝載等技術,并充分考慮數據抽取范圍、數據抽取方式、數據獲取頻率、數據篩選、數據清洗、數據審計等ETL設計策略[1]。

基于此,通過業務決策支持項目實施,建立統一的企業級數據架構,規劃數據中心并建設主題數據庫和數據集市,同時,基于數據抽取實現實時業務分析和決策支持,提供研發、生產、管理等核心業務的信息直觀展示,實現決策方式從經驗驅動決策向以數據量化驅動決策轉型,增強了決策的科學性和可靠性[2]。

圖1 決策支持系統架構圖

圖2 數據中心總體架構

2 主要研究內容

2.1 總體框架

數據中心的相關主題數據庫建設和數據倉庫建設,并在此集成之上完成數據的獲取與整合,其中數據中心設計了兩級ETL抽取:ETL1(主題數據庫數據的抽取),ETL2(數據倉庫數據的抽取),之后完成了相關決策支持的BI展示。主要包括:主題數據庫設計基于信息資源規劃階段完成的數據模型進行設計, 數據倉庫的設計和實施建立在主題數據庫的基礎之上,是面向主題的、單一的、完整的和一致的數據存儲,是深加工的信息,完成數據的獲取與整合,決策支持建立在數據中心實施的數據倉庫的基礎上,實現決策支持的BI展示。決策支持系統架構設計如圖1所示。

在數據中心實施的基礎之上,通過兩級ETL數據抽取,由業務數據庫到主題數據庫的ETL1,由主題數據庫到數據倉庫的ETL2,完成數據的獲取和整合,統一門戶作為一個統一訪問入口,用來整合、展示現有的資源。

2.2 數據中心整體架構

數據中心建設是基于信息總體規劃的數據庫工程設計和應用軟件工程設計,進行數據中心平臺實施、主題數據庫建設和數據倉庫建設。數據中心總體架構如圖2所示。

在對某一個或幾個具體的主題進行數據倉庫構建的過程中,通過需求分析,邏輯分析,主題數據庫建模,數據倉庫建模,數據源分析,數據的獲取與整合,應用設計等幾個大的步驟不斷完善,反復迭代的構建過程。

2.3 主題數據庫

基于信息資源規劃階段的規劃成果,通過進一步優化并建立其數據庫邏輯模型和物理模型,結合各類應用數據的綜合管理需求,設計出良好的數據庫,其數據結構和存儲方式應完全獨立于各職能區域和業務過程使用數據的應用,整個組織中的數據都是集約化的和共享的。

2.4 數據倉庫

主題數據庫中的業務主題數據模型和數據倉庫中的業務主題數據模型是不同的,但由于存在數據重疊的可能性,所以主題數據庫中的主題數據可以作為數據倉庫數據來源,可以采用數據加載工具,也可以采用API編程進行數據加載,數據加載策略包括加載周期和數據追加策略,這里采用對ETL工具進行功能封裝,向上提供監控與調度接口的方式,數據加載周期綜合考慮經營分析需求和系統加載的代價,對不同業務系統的數據采用不同的加載周期,但必須保持同一時間業務數據的完整性和一致性。

2.5 數據的獲取和整合

確定好數據倉庫模型并對數據源進行分析后,按照分析結果,從應用系統中抽取出與主題相關的原始業務數據,轉換為與數據倉庫或與數據倉庫一致的格式,并裝載到數據倉庫或數據倉庫中的過程。

采取兩級ETL抽取過程,由業務數據庫到主題數據庫的ETL抽取流程如圖3所示。

由主題數據庫到數據倉庫的ETL抽取流程如圖4所示。

2.6 決策支持BI展示

基于fusioncharts工具進行展示,結合科研、生產、管理等相關業務提供柱狀圖、餅圖、環形圖、條形圖、帶狀圖等多種2D和3D圖形展示,使得通過ETL之后的相關數據以這種更直觀,更明確的方式進行展示。

圖3 抽取流程1

圖4 抽取流程2

3 實施效果

通過本項目,建立統一的企業級數據架構,包括主題數據庫、數據倉庫及數據間的集成與共享;實現了對科研、生產、經營管理等各業務領域的數據信息進行集中查詢和統計分析,并進行直觀化展示,支持管理與輔助決策,提升了管理和決策能力;為決策層提供科研、生產、經營管理等統計分析信息,在支撐企業業務工作中發揮著重要作用。

在數據中心實施的數據倉庫的基礎上,通過對科研、生產、經營管理等各業務領域的信息集成、信息查詢和統計分析,實現決策支持BI展示;為企業各級領導提供數據參考,實現了信息的集中展示,收集整理企業關鍵績效指標,形成了關鍵績效指標體系;系統使用單位和指標范圍等增加不影響現有系統功能和結構,能夠方便后續其他系統模塊的擴展;提供基于對比分析、多維分析、指標體系分析等多種數據分析方法和多維度的分析方法,使得決策支持BI展示更具參考價值。

隨著應用的深入,下一步將把研發、生產等更多業務系統更多的信息通過此系統進行分析展示,為企業的科學管理提供更全面、更直觀的參考信息。

4 結語

目前企業業務支持決策系統最為關心的問題是如何整合企業信息,建立企業信息倉庫,在模糊的、隨機的信息中通過數據抽取發現有用知識,給決策者提供支持,但國內多數企業各個部門基本上具備各自的數據信息和獨立信息處理系統,即使各個部門有業務交叉,信息不兼容也大量存在,國外企業在數據整合方面一直領先于國內大多數企業,收集整理關鍵績效指標,形成關鍵績效指標體系,為后續開發經營管控信息化系統提供引導模型,以此推進信息化建設和關鍵業務指標(KPI)的提升。

[1]王德勝,李弘,田佳燁.數據抽取及交換工具的設計與實現[J].軟件,2015,36(8):36-40.

[2]李崇東.基于大數據支持的軍事決策系統構建研究[J].軟件工程,2016,19(3):21-24.