企業級統一數據模型研究與設計

江櫻 王志強 戴波 劉鴻寧

【摘要】 本文從國網浙江省電力公司信息化建設現狀出發，分析了公司數據資源現狀，提出通過統一數據模型整合數據資源，實現跨業務數據有效貫通和共享融合，并對電力企業統一數據模型的設計思路、體系結構和設計方法進行了詳細闡述。

【關鍵字】 數據模型 數據共享 融合 集成

一、引言

經過SG-186、SG-ERP等信息化工程的建設，國網浙江省電力公司業務信息化日趨完善，形成了ERP、PMS、營銷、協同辦公等業務大集中的信息化管理系統，企業整體信息化水平獲得極大的提高。然而隨著企業信息化建設的深入，原有的信息化建設模式已逐漸顯現出一些不足之處。

由于缺乏企業級數據和應用功能的全局整體規劃和統籌，傳統“煙囪式”的信息化建設未能完全遵循數據模型標準，僅按照業務需求設計、創建較為獨立的數據存儲模型，導致同一業務主題數據標準不一致、數據重復存儲，數據共享度低。

如何通過企業級統一數據模型有效存儲、融合、共享海量的數據資源，是數據中心建設、運行順暢的關鍵要素之一，也是消除系統間信息壁壘，共享數據資源，促進公司管理水平提升的必備基礎。

二、模型設計原則

充分理解大型企業統一數據模型的需求和背景，為保證模型的穩定性和對業務支持的靈活性，在模型設計時主要遵循以下原則：

繼承性原則： 模型設計以國家電網公司SG-CIM 2014年基準版為參考，對IEC繼承、擴展和重新組織的方式而成，并依據浙江公司實際業務需求對模型作個性化擴展或調整；

完整性原則：模型設計遵循企業信息化建設成果，能跨應用、跨業務完整的表述公司全業務范圍數據視圖，并能全面支撐公司大數據分析與輔助決策；

一致性原則：模型設計來源于對業務的分析，需要指導數據持久化的實現，應保持業務需求、數據模型和物理實現的一致，減少數據的二義性；

前瞻性原則：為適應公司業務現狀及發展需要，模型適當超前，保證模型設計的前瞻性，能夠適用公司業務的發展變化；

適用性原則：為保證模型的適用性，將模型與規則分離，突出模型的業務描述，提出規則點，對規則本身不做詳盡限制。

三、模型體系結構

概念模型

概念模型是種高層次、高度抽象的數據模型，基于對企業業務的分析，抽象出主要業務領域及相互關系。為了使模型更易于設計、理解與查看，概念模型使用主題域來表達業務范圍及其關系，直接面向公司各業務領域，與職能部門的業務分工無關。各主題域可按照業務具體進一步劃分，形成二級主題域，每個二級主題域下包含多個業務對象類。在概念模型層面，對業務對象進行高度抽象，列出主要業務類清單。

邏輯模型

邏輯模型是對概念模型的進一步分解和細化，需要明確概念模型中業務對象類及屬性，需要準確清晰描述業務對象及屬性的業務含義，需要通過繼承、聚合、關聯等方式反映業務對象類之間的關系，并描述這些關系的業務含義。

物理模型

物理模型是在邏輯模型的基礎上，結合具體數據庫系統特性，考慮信息系統對數據存儲的基本要求，把邏輯模型轉化為物理模型，在系統層面落地形成可實際使用的數據模型。

四、模型設計方法

基于企業級統一數據模型的設計原則和體系結構，通過制定統一模型設計技術規范，明確數據建模工具，統一數據建模模板，摸索出一套行之有效的基于大數據平臺的企業級統一數據模型設計方法，包括概念模型、邏輯模型的以及物理模型的設計。

4.1概念模型設計方法

概念模型設計主要包括一級主題域、二級主題域、類的設計，從業務角度清晰闡述一級主題域、二級主題域、類的業務含義，從業務角度準確反映一級主題域間、二級主題域間的內在聯系。

一級主題域的設計：按照電網企業的業務組織形式，對國際標準IEC61968/IEC61970公共信息模型（CIM）的基本類進行重新組織，以類似“元素周期表”的形式進行表示，劃分為13個一級主題域，包括：客戶、產品、市場、設備、電網、安全、財務、資產、人員、物資、項目、綜合和金融。并根據一級主題域之間的業務關系形成一級主題域關系視圖。

二級主題域的設計：按照公司具體業務對一級主題域進一步劃分，形成二級主題域（元素）。如在項目主題域下設置項目組成、項目成本、項目進度、項目質量等二級主題域，在物資主題域下設置物料、供應商、采購、庫存、配送等二級主題域，最終形成SG-CIM基本元素的一個集合。并根據二級主題域之間的業務關系形成二級主題域關系視圖。

類的設計：對業務應用對象進行歸納、抽象，然后針對業務本質進行準確、全面的分析，最后在此基礎上進行正確、合理的抽象。類的設計應盡量簡單明了，避免引入過多的元素，對象能作屬性對待時，應盡量作為屬性處理，而不抽象成實體。結合業務需求，對“元素周期表”中各二級主題域（元素）所包含的基本類進行直接引用、繼承及弱相關擴展，如在供應商二級主題域下設置供應商主數據、供應商違約、供應商不良行為、供應商績效評價等類，最終形成符合電網企業業務需求的類清單。

4.2邏輯模型設計方法

邏輯模型設計主要包括對類卡片、類屬性及類關系的設計，從業務角度清晰定義類的業務含義、屬性及類間關系。

類卡片的設計：每個業務類設計一張類卡片，卡片內容包括類名稱、類代碼、類注釋，其中類注釋使用專業術語準確描述類的業務定義、業務用途、數據范圍。類設計時，表達同一業務管理對象的類，應進行抽象合并；統計、分析、匯總及報表業務對象，不在數模設計中體現；配置、對象狀態、數據加工過程及程序實現，所涉及的實體不在邏輯模型中設計體現。

類屬性的設計：類屬性表包括屬性名、屬性代碼、屬性的業務含義、數據類型、數據來源系統和責任部門。其中“數據類型”主要描述為：字符型、數值型、日期型；“數據來源系統”用來描述屬性數據是由那個信息系統生成的；“責任部門”用來描述屬性數據具體負責的部門。

類關系的設計：描述完整的業務含義，描述與其它業務類的引用關系。體現與其它業務類的數據消費關系，即B使用A的數據開展業務，則B類關系視圖中需要體現A的主要業務類。

4.3物理模型設計方法

物理模型設計是邏輯模型在系統應用層的具體實現，以系統程序設計的視角，結合底層數據技術架構，基于關系型數據庫，對邏輯模型實用化。物理模型在邏輯上被劃分為4層，包括ODS（緩沖區）、ODS（統一視圖區）、EDW（數據倉庫層）及DM（數據集市層），邏輯架構如下圖所示。

ODS（緩沖區），用于全量、持久存儲來自各業務系統的原始業務明細數據，該層的數據結構與業務系統的基本一致，同時考慮數據增量與數據版本；

ODS（統一視圖區），用于存儲經過編碼統一、數據同源、數據規范化后的企業級業務明細數據；

EDW（數據倉庫層），用于存儲支撐企業級分析應用的業務明細數據與輕量匯總數據，該層業務明細數據是由ODS（統一視圖區）的數據通過業務整合形成，輕量匯總數據是根據業務逐步提煉形成；

DM（數據集市層），用于存儲面向具體應用的加工及匯總數據，該層數據是根據具體業務邏輯進行復雜數據加工形成。

物理模型設計主要包括對ODS（緩沖區）、ODS（統一視圖區）、EDW（數據倉庫層）及DM（數據集市層）的數據庫表設計。

所有數據庫表設計時都要能夠反應數據變更的歷史記錄，包括變更時間、變更前后的內容等信息；同時，也要能支撐以增量方式抽取數據。

ODS（緩沖區）的數據庫表設計：基于源系統表，開展此層物理模型設計，該層的數據結構與業務系統的基本一致，同時考慮數據增量與數據版本，全量、持久存儲來自各業務系統的原始業務明細數據。

ODS（統一視圖區）的數據庫表設計：基于邏輯模型OOM及源系統表，梳理設計實體的物理表結構；設計物理表結構要考慮數據同源、編碼規范；要體現數據變更記錄，即在表中增加源系統數據更新時間、源系統數據是否刪除、模型數據更新時間字段；要體現邏輯模型中的關系，如果該關系在類中沒有體現，則考慮在物理模型中將該關系建表；設計邏輯模型與物理模型的對應關系表和編碼映射表；存儲經過編碼統一、數據同源、數據規范化后的企業級業務明細數據。

EDW（數據倉庫層）的數據庫表設計：基于邏輯模型OOM及統一視圖層物理模型，根據業務對象進行表的合并，通過縱向合并、橫向合并、業務合并，設計實體的物理表結構。縱向合并，同一個根節點引出的類可以進行合并，一般基類不考慮建表，子類建表，且將基類的屬性放至子類中；橫向合并，當同一個父類下多個子類的屬性重合度較高時，將多個子類進行合并建表；業務合并，從業務應用出發根據業務應用需求將多個表進行合并。存儲支撐企業級分析應用的業務明細數據與輕量匯總數據，該層業務明細數據是由ODS（統一視圖區） 的數據通過業務整合形成；輕量匯總數據是根據業務逐步提煉形成。

DM（數據集市層）的數據庫表設計：基于業務應用需求及數據倉庫層物理模型，根據具體業務邏輯進行復雜數據加工，設計面向具體應用的數據庫表，存儲面向具體應用的加工及匯總數據。

五、結束語

企業級統一數據模型對于整合數據資源、深化數據治理、提升數據價值具有非常重要的意義，是體現公司信息化建設集約化和標準化的典型實例。國網浙江省電力公司根據自身業務特點并結合國網SG-CIM設計成果，設計一套涵蓋公司各業務條線、唯一反應業務實體、含義清晰、體現業務流程、編碼唯一的企業級統一數據模型，打破各專業橫向共享壁壘和障礙，實現跨業務數據有效貫通、共享融合，有力支撐了公司大數據分析體系的建設，為公司的信息化建設積累了寶貴的經驗。