何家穎
(中國電信股份有限公司佛山分公司,廣東 佛山 528000)
近年來,隨著企業信息化進程的不斷深化發展,企業級服務集成、數據集成技術成為業界關注的重點,并逐漸在較多的大型企業中得到了具體應用及實踐驗證。本文以電信運營商為例提出了一種數據總線體系架構,該體系在電信企業數據集成及業務支撐方面得到了較好的實際應用。
在電信企業IT系統集約化運營的大趨勢下,其數據應用規劃、引用一般存在以下共性問題:
(1)各電信運營商目前已基本建立起集約化的BOSS系統,業務數據模型也逐步趨于統一,但數據集成的需求仍然處于運營支撐核心位置,體現在:
1)BOSS的數據模型一般是以業務支撐系統執行效率為依歸進行設計,雖然已采用OO技術及模塊化技術進行架構,但就數據粒度來說,離直接應用于快速的市場營銷分析、客戶關系分析、渠道支撐等的數據展現要求仍有一定距離,需要進一步進行集成、提煉。
2)電信BOSS系統一般就運營方式會細分為BSS(業務支撐系統)、OSS(運營支撐系統)等子系統,由于全業務運營的數據分析支撐有較多重要工作需要對各子系統數據進行綜合分析,并要求得到企業運營情況的一些更高層次的統一視圖,例如樓盤小區各產品占有率報表 (需BSS系統提供)、小區各類網絡資源覆蓋情況及業務能力情況報表 (需OSS系統提供)等,因此需要通過EAI(企業應用集成)及EDB(企業數據總線)等技術對跨系統的數據進行融合、提煉及加載。
(2)由于各電信運營商之間競爭激烈,市場前端人員對電信產品的關鍵營銷數據,如市場份額占有情況、產品營銷情況、終端銷售等指標數的提供有更高的時限要求,目前取數頻率從一個月、一個星期逐步變成了每天、甚至每小時。在企業數據支撐人力成本有限的情況下,傳統的技術人員手工數據支撐方式已經無法滿足前端營銷人員逐步提高的數據提取精度及時效要求。
企業數據總線體系(Enterprise Data Bus)為一邏輯數據服務線路提供體系,其設計的總體目標是:對內統一規范數據元素及數據傳輸、存儲方式,對外提供統一接口的數據服務及訪問規范,并對數據應用方式及安全性實施控制。
圖1為一應用于電信業的企業級數據總線規劃架構圖。為有效對數據進行定義,以及對數據傳輸方式、存儲方式以及數據服務提供接口進行規劃,該數據總線體系主要劃分為“源數據層”、“數據集成層”、“應用層”等三個邏輯層。

圖1 一種電信企業級數據總線的架構圖
3.1.1 源數據層
在本文的架構體系中,源數據層為數據總線體系與眾多的數據提供系統的接口層。由圖1可見,源數據層采用一種星型的、松耦合的結構方式連接電信企業各核心系統及一些自定義數據源。其中,業務支撐系統(BSS)主要提供與業務受理、客戶信息相關的企業運營分析源數據,以及用戶帳單、清單等的基礎清單信息;運營支撐系統(OSS)主要提供網元、網絡資源信息、資源覆蓋能力、線路及施工信息等的網絡運營支撐數據。值得一提的是,雖然目前各電信運營商已逐步構建起以省一級甚至以集團一級進行規劃的BOSS系統及數據模型,但由于各地運營商子機構存在本地差異化業務發展需求,本地個性化支撐系統仍大量存在,因此,數據總線仍需考慮對本地自建系統等自定義數據源的集成提供接口,以保證全業務運營數據視圖的完整性。
3.1.2 數據集成層
本文架構體系中的數據集成層可按需解決的問題細分為數據定義及轉換子層、數據存儲子層及數據總線三個主要部分。企業數據總線被部署于數據集成層中。
(1)數據定義及轉換子層通過EAI平臺工具實現了對企業數據元件(Metadata)的全局統一規劃及定義。企業數據元件的全局定義有利于為數據應用層提供統一的數據描述及數據格式,這也是企業數據總線的數據提供單元。由于源數據層提供的基礎數據材料大多以清單格式為主,是未經提煉的企業級原始數據信息,需要進行數據粒度的提煉與擴充,以最終成為符合數據總線使用的元數據。這里可使用EAI平臺提供的豐富的ETL函數及過程來實現數據格式標準化,以及一些基層的數據轉換和加工,以使輸出的數據符合EAI定義的企業級元數據規范。EAI平臺的處理結果為一些已基本符合企業元數據定義的“元數據表”,這些表的設計規則一般為:使之能完整描述一個企業級元數據,或完整描述一個或多個元數據之間的關系。元數據表一般以寬表的形式進行描述,表與表之間保存了一定的數據冗余及索引,以有效提高數據存取速度。
(2)數據存儲子層體現為一個本地數據倉庫的實現,該數據倉庫為EAI平臺
輸出的元數據表提供存儲介質及基礎的數據管理功能。
(3)數據總線為該體系結構的核心部件。
數據總線又稱為企業數據服務總線(EDSB),它提供不同系統間數據傳輸的高速通道,同時實現數據基于一定標準的轉換和存儲,并保持對外提供直接批量數據服務的能力。通過EDSB可實現不同的數據提供系統及數據消費系統之間數據關系的松耦合,以更加直接的方式實現企業的信息資源共享。
如圖1所示,本文的數據總線部件被部署于數據集成層與數據應用層的接口點處,其主要作用是實現能滿足各種企業數據視圖需求的數據加載邏輯的提供、快速數據訪問通道的提供,以及數據安全控制及鑒權功能的實現。
3.1.3應用層
應用層為數據總線體系架構中的數據消費層,是企業數據應用系統的集合。
在電信企業中,應用層部署的業務系統一般可分為兩大類,第一類是企業運營分析系統,該類系統為電信企業營銷支撐、分析決策、目標市場及目標客戶數據挖掘提供快速的數據分析平臺及報表支撐,并由此構成企業的“決策中心”;第二類是運營數據監控子系統,該類系統主要功能是實現電信網絡數據監控、預警、數據稽核、跨系統數據核對等功能。
在本文的系統架構中,應用層中各數據消費系統通過通用數據接口及專用數據接口等兩種方式從數據總線獲得數據的。
(1)通用數據接口指由數據總線提供的企業全局業務數據視圖。這些視圖是在數據總線規劃設計時根據企業業務運營需求、渠道支撐需求進行總體規劃設計得到的數據模版。例如電信經營分析月報、各電信產品發展日報,等等;
(2)專用數據接口指由數據總線為個別需重點支撐的外部系統提供的專用的、更高速的數據通路,該類通路一般采取點對點直連的方式,以此尊重應用系統客觀上的差異;另外,對于一些時效性要求較高的專題分析需求,可由數據總線按需要設計部署專用接口直接提供實時的分析數據。專用數據接口體現了數據總線的可擴展性。
數據總線規劃及設計中的一個難點是在數據集成層中企業元數據及企業視圖數據的精度問題,這是因為數據精度的高低將直接影響數據集成速度及數據使用方便性這兩個相互制約的因素:數據精度越高,訪問越方便快截,但EAI及ETL階段所花的表關聯時間越多。本文的體系架構在實際應用中一般遵循一下兩個原則:
(1)EAI階段采用“表達完整性原則”
該原則體現在進行企業EAI階段,必須在對企業元數據進行全局設計及定義。在該邏輯層數據粒度的定義應以清晰描述企業數據元素為首要目標。本階段為數據淺加工階段。
(2)在數據總線接口設計階段采用“SLA理念”
SLA服務水平協議(service level agreement)是在一定開銷下為保障服務的性能和可靠性,服務提供商與用戶間定義的一種雙方認可的協定。在數據總線部件的規劃設計階段,企業視圖的設計必須考慮數據提供的便捷性及時效性,該層所提供的數據精度設計一般需足高,并能直接滿足企業各數據消費系統快速訪問得到展現報表所需數據的需求。因此,數據總線的接口設計階段一般需對數據消費系統的需求進行專題分析,并明確兩系統間數據服務的標準協議。本階段為數據深加工階段。
在軟件設計中,可擴展性與效率一般存在一定的制約關系,一般體現為:系統設計得越通用,可擴展性越好,但平均效率一般就越低;相反,系統設計若為針對完成某項工作進行,則執行效率可以很高,但就失去了較好的通用性。因此,在本文提出的數據總線體系中,數據總線部件為針對不同的數據消費系統設計了通用及專用兩類接口,以平衡數據可擴展性與訪問效率之間的矛盾。通用類接口提供以支撐企業日常運營所需的基本報表維度數據而設的通用通道,這些數據可供不同的數據消費系統進行直接消費或二次利用;專用類接口則是為某些重點支撐系統而設計及部署的,目的是為之提供點對點的最有效的數據訪問支撐。
本文針對電信企業數據集成現狀及存在問題,提出了一個基于EAI平臺的企業數據總線模型。該模型通過引用EAI平臺功能實現企業元數據定義及數據淺加工;通過ETL、數據集成技術實現數據深度加工,并通過數據總線組件的部署實現了提供給企業數據消費系統應用的松耦合數據接口;另外,本文的數據總線模型通過定制兩個層次的數據粒度劃分原則,在保證企業元數據定義完整的前提下,實現了企業視圖數據的高效加載及傳輸,并通過專用及通用兩類數據接口的設計部署,較好地解決了數據總線體系可擴展性與數據訪問效率之間的平衡問題。由于企業數據服務總線的規劃和部署實施既是技術問題也是管理問題,在今后的工作中,我們將著力于企業數據支撐規劃的規范化管理及流程定制工作,以及數據分析專業團隊的建設,使企業數據總線的支撐能緊貼企業變化,使之更具備可伸縮性及持續的生命力。
[1]興業銀行信息科技部.企業級數據服務總線規劃探究[EB/OL].中國知網(http://www.cnki.com.cn),2010-03.
[2]鄭洪源,周良.商業智能解決方案的研究與應用[J].計算機應用研究,2005,(09).
[3]初佃輝,丁建睿,戰德臣.面向中小企業的智能數據處理工具的研究與設計[J].計算機應用研究,2005,(07).
[4]王兆紅.企業商業智能系統的架構及實施研究[J].中國管理信息化(綜合版),2007,(06).