廣東省水利數據中心數據架構研究

夏寧寧

（廣東省防汛搶險技術保障中心，廣東 廣州510000）

0 前言

隨著廣東水利信息化事業的快速發展，先后啟動了省三防指揮系統等骨干項目和實際應用，內涵涵蓋多個職能部門和專業領域，并形成了海量水利數據信息， 由于缺乏有效的整合利用手段和共享平臺，許多業務應用系統開發附帶的具有公共價值的數據資源處于獨立專用狀態，形成“信息孤島”。 廣東省水利數據中心是一項大型信息系統工程，通過建立完善的水利數據庫，有效匯聚全省水雨情信息，并按照一數一源的原則，優化數據庫表結構，解決數據資源整合及共享問題，更好的為廣東水利事業提供信息共享交換服務。

1 數據存儲設計

數據中心的數據架構圖如圖所示，主要由ODS 區、數據倉庫區、數據緩沖區（交換數據臨時存儲區）、非結構化數據存儲區、元數據及資源信息目錄等區域構成，并通過數據對上接口區與水利部進行數據交換，通過數據對下接口區實現與各地市及流域局的數據交換。

1.1 ODS 區

ODS 區即操作型數據存儲區（Operational Data Store，ODS），存放集成的、可更新的、近實時的業務數據，用于業務系統與數據倉庫之間的數據遷移，支持基于主題域的實時查詢，省數據中心的ODS 區主要存放25 類數據庫以及水利普查數據庫。

為最大程度地集成既有業務系統完整的數據信息源，降低對業務系統的影響，ODS 區還辟有業務數據暫存區， 主要存放既有業務系統數據庫的全量備份，并以此作為25 類數據庫的數據來源。

圖1 數據中心數據架構圖

1.2 數據倉庫區

數據倉庫(Data Warehouse，DW)存放面向主題的、集成的、相對穩定的、反映歷史變化的數據。數據倉庫統一存放與管理經整合后、具有分析價值的歷史數據與現狀數據，支持基于大量歷史數據的企業決策分析。 數據倉庫區分兩個層次，第一層次為Master 庫，該庫中的數據是面向主題存放的基礎明細數據， 可用于決策支持。 第二層次為Master 庫的子集，包含數據集市、數據挖掘庫和共享信息庫，數據集市面向特定的分析應用，數據挖掘庫提供深層次的數據挖掘服務，共享信息庫是根據特定需求從Master 庫抽取的可共享的數據庫。

1.3 元數據及資源信息目錄存儲區

本項目中，元數據用于存放ODS 和DW 中基礎庫、專題庫、Master庫中數據的機構信息，資源目錄用于存放數據資源信息，通過資源目錄體系建設，形成全省水利行業統一管理和服務的資源目錄體系。

2 數據庫設計

2.1 數據庫架構

廣東省水利數據中心數據架構ODS 存儲區中，ODS 存儲區如圖2 所示，主要包含基礎數據庫、專業數據庫、數據暫存區數據庫和水利普查數據庫，數據倉庫中主要包含Master 數據庫、主題數據庫、數據挖掘庫和共享信息庫，其中Master 數據庫對用戶屏蔽，數據倉庫通過主題數據庫對外提供服務。主題數據庫主要為基于數據中心的輔助決策類業務應用提供服務，由業務部門提出服務需求，數據中心根據需求信息生成業務模型，形成對應于業務需求的數據信息。 主題數據庫提供的服務基于OLAP 業務應用，以海量數據為基礎，能對數據進行匯總，建立多維度分析、 查詢和報表， 側重于決策支持。

2.2 數據整合設計

數據整合主要包括橫向數據整合和縱向數據整合兩個部分， 橫向數據整合主要針對省廳各業務處室的現有業務系統數據整合， 該部分業務系統通過全量復制數據在ODS 層落地， 與標準數據庫建立映射關系， 對數據進行標準化轉換后存入標準化數據庫中。 其中ODS 區的數據需要經過清洗、 轉換后按照相應規則抽取到Master 庫中， 再經過二次ETL得到面向應用主題的主題數據庫以提供輔助決策功能。 縱向數據整合主要指地市系統與省系統、 國家系統與省系統的數據交換， 地市水利數據通過數據交換服務將數據發送到數據倉庫的臨時存儲區， 然后再經過ETL 方式將數據載入數據中心ODS 層對應數據庫。 省級系統與國家系統的數據交換同樣通過數據交換平臺按照水利部提供的業務數據需求實現數據上報。

圖2 ODS 存儲區結構圖

3 元數據

元數據被稱為“關于數據的數據”目的是使數據能夠被正確理解和解釋。 廣東省水利數據中心覆蓋到端到端的元數據體系如圖3 所示。

圖3 數據中心元數據分布圖

元數據主要分布在以下幾個環節：

數據建模工具的元數據： 其數據項包含以下對象 （包括但不限于）：Model，ValidationRule，DefaultValue，Transform，Table，Column，Key(primaryKey,forei-gnKey，NonUniqueKey)，Relationship。

數據庫（ODS&DW）元數據：用來存儲數據倉庫的數據實體信息，該部分包含的元數據項至少有以下對象（包括但不限于）：Catalog，Schema，Table，View，Column，Procedure，SQLIndex，Trigger，CheckConstraint。

ETL 工具元數據：該工具的核心作用是對數據的處理，包括數據抽取、轉換、清洗、裝載的過程。 ETL 工具的元數據體現為一些數據流圖，其描述數據處理過程(Transformation)，分析數據的來源及輸出等。ETL 元數據包含以下對象（包括但不限于）：repository；task(包括的類型 有Workflow，Session，Command，Email，Worklet，Decision，Event ait，Event Raise，Timer，Assignment，Control)；Task (Mapping 里 的Sources，TargetTransformations) 等。OLAP 工具元數據：OLAP 展現在用戶面前是一幅幅多維視圖。 其元數據主要包括維的層次、 維的成員、度量的信息等。

BI 前端工具元數據：BI 工具屬于業務層面的工具，其主要包含的元數據是對統計分析指標的業務定義、 統計口徑定義等。

4 數據服務設計

數據中心ODS 區各類數據庫資源以及數據倉庫中Master 庫對用戶屏蔽，用戶通過共享信息庫和主題數據庫訪問數據中心的數據資源。

共享信息庫是指通過將實體數據根據業務需要抽象出來可供多個業務應用訪問的可共享信息倉庫，用戶并不能直接訪問Master 數據庫中的數據資源，在一定程度上保證了數據安全，又可以保證業務系統的基本穩定。

主題數據庫為基于數據中心的輔助決策類業務應用提供服務，由業務應用向數據中心提出申請，數據中心根據申請主題形成業務模型，生成對應于業務的事實表和應用與模型的維信息，主題數據庫的數據主要通過ETL 工具生成。

事實表（Fact Table），數據倉庫架構中的中央表，是存儲可度量的值的詳細數值或實際數值的關系數據庫中的表格，包含聯系事實與維表的數字度量值和鍵。

維表（Dimension Table），數據倉庫中的表，其條目描述事實數據表中的數據，維表包含創建維度所需的數據。

5 結語

廣東省水利數據中心是全國首個省級水利數據中心，通過對數據中心數據架構的分析和研究，總結數據架構設計和匯交方式，通過存儲分區結構，實現數據的快速查詢、數據挖掘和信息共享，通過數據整合設計實現數據的橫向整合和縱向整合， 為主題數據庫提供輔助決策，并實現地市和省級節點向國家節點的數據上報，通過數據庫及數據服務設計，定義數據庫結構和元數據體系，確定數據中心對外提供服務的方式。 目前對水利數據中心的研究還存在很多難點，下一步要解決的問題是如何利用數據中心中的大量數據為為預測洪澇災害提供決策支持，希望通過本次研究能對廣大同行有所幫助。

［1］劉曉茜.云計算數據中心結構及其調度機制研究[D].合肥：中國科技大學，2011.

［2］鄧維.云計算數據中心的新能源應用:研究現狀與趨勢[J].計算機學報，2013,(3).

［3］鄭華鋒.寧德市水電開發[M].北京：水利水電出版社，2008.

［4］劉志強，潘志德，蔡陽.等.水利信息化[M].長沙：中南大學出版社，2007.