數據倉庫技術在通信管理系統中的應用

摘 要：智能化是目前世界電力發展的新趨勢。隨著智能電網地不斷深化與發展，電力通信資源管理系統的智能水平也得到了相應的提高。文章首先論述了數據倉庫技術，然后介紹了數據倉庫的功能結構和網絡結構，最后介紹了該技術在通信管理系統中的實現。

關鍵詞：智能電網；管理系統；數據倉庫

引言

電網智能化是目前世界電力發展的新趨勢，電力通信網作為智能電網必不可少的技術支撐手段貫穿于智能電網的各個環節。通信專業必須提高通信網絡及其管理系統的智能化水平才能更好地適應和支撐這一要求，通信智能管理系統是實現通信專業智能化管理的關鍵和重點。

通信資源智能管理系統是基于圖形技術、工作流技術、GIS技術和數據庫等技術，對現有的各類網管系統和應用系統進行整合集成，統一編碼規范、統一界面、統一平臺，形成一套完整、科學的電力通信管理系統，實現電力通信各個業務環節的全過程網絡化、自動化與一體化管理，實現規范的基于設備和電路圖形化的通信運行管理及完備的工作流運作機制，并通過對整合集成的企業通信數據信息進行分析挖掘，為領導層決策提供高可信的信息支持。

1 現狀分析與建立數據倉庫的意義

電力通信管理不僅要管理各種相關通信設施，而且要負責通信專業的協調管理工作，不僅資產設備眾多，而且業務管理流程也相對比較復雜，是一個典型的資金密集和技術密集高度結合的職能管理部門，經過近幾年的信息化建設，電力通信業務應用了各類專業網管系統（SDH光傳輸設備系統、 SDH微波系統、電源設備管理系統、數字同步網管理系統、寬帶數據網管理系統、程控設備管理系統、電信生產調度/計費管理系統、人力資源管理系統和遠光財務系統等）。

這些信息系統在建設時，大都是針對不同的業務需求在不同的階段分步實施的。這種方法的好處是分期投資、見效快，但由此帶來的問題是各子系統都是針對特定的應用由不同的廠商開發的，不同子系統之間存在著功能設計重復、信息存儲冗余甚至相互之間數據不一致的問題，導致信息孤島的出現。不同部門不同子系統之間難以實現數據共享，查詢非常不方便。

因此，對現有各類業務數據進行整合集成，建立數據倉庫，提高業務數據的綜合利用率和共享程度，可以說已是電力通信部門下一步的信息系統建設的一個重要方向。

2 數據集成的目標

異構數據源的數據整合和集成的目標是為企業綜合應用系統提供集成的、統一的、安全的、快捷的信息查詢、數據挖掘和決策支持服務。為了滿足這個需求條件，整合、集成后的數據必須達到一定的集成性、完整性、一致性和訪問安全性的目標。

集成性：企業各種原先孤立的業務信息系統數據經過整合、集成后，應該達到查詢一個綜合信息不必再到各個業務系統進行分別查詢和人工處理，只要在整合、集成后的數據信息倉庫中就可以直接訪問到，即整合、集成后的綜合信息倉庫的數據是各異構業務數據的有機集成和關聯存儲（整合、發掘出各業務數據間的內在關聯關系），而不是簡單、孤立的堆放在一個數據庫系統里。

完整性：包括數據完整性和約束完整性兩方面。數據完整性是指完整提取數據本身，約束完整性，約束是指數據與數據之間的關聯關系，是唯一表征數據間邏輯的特征。保證約束的完整性是良好的數據發布和交換的前提，可以方便數據處理過程，提高效率。

一致性：不同業務信息資源之間存在著語義上的區別。這些語義上的不同會引起各種不完整甚至錯誤信息的產生，從簡單的名字語義沖突（不同的名字代表相同的概念），到復雜的結構語義沖突（不同的模型表達同樣的信息）。語義沖突會帶來數據集成結果的冗余，干擾數據處理、發布和交換。整合、集成后的數據應該根據一定的數據轉換模式和商業規則進行統一數據結構和字段語義編碼轉換。

訪問安全性：由于數據庫資源可能歸屬不同的單位，各業務數據系統有著各自的用戶權限管理模式，訪問和安全管理很不方便，不能集中、統一管理，所以保證在訪問異構數據源數據基礎上保障原有數據庫的權限不被侵犯，實現對原有數據源訪問權限的隔離和控制，就需要設計基于整合、集成后的綜合信息倉庫的統一的用戶安全管理模式來解決此問題。

3 數據倉庫技術

實現信息集成的一個非常有效的技術工具是數據倉庫管理系統。通過數據倉庫相關技術和工具，可以很方便地對企業現有異構系統數據進行整合集成，使他們以一致的方式表現，將分散在企業內外部的各種數據源進行抽取、清理并整合集成到主題（業務指標）導向的中央數據庫（數據倉庫）系統中。

“數據倉庫是面向主題的、集成的、時變的、非易失的數據集合，支持管理部門的決策過程“，這個簡短而又全面的定義指出了數據倉庫的主要特征. 所謂面向主題，指的是數據倉庫建庫時應排除對于決策無用的數據，只有于分析主題一致的數據才整理收集進來。而構造數據倉庫通常需要將多個異種數據源，如各類網管系統后臺數據庫或MIS系統后臺庫或已有的數據文件等集成在一起，且通常需要使用數據清理和數據集成技術，確保命名約定、編碼結構、屬性度量等的一致性，這是所謂“集成的“的真實含義。數據倉庫應用體系機構如圖：

圖1 數據倉庫應用體系機構

4 數據倉庫的設計實施

4.1 概念模型設計

建立數據倉庫前必須首先設計好企業級數據倉庫的概念模型，然后才能按照該模型實施獨立的數據集市。其設計過程分為：

（1）可將按照通信運行、通信維護、工作票、備品備件以及其它業務申請等帶有較強獨立性的業務流，按照決策層、管理層、業務運作層進行分解，形成電力通信管理業務模型。

（2）針對各級別部門分別繪出數據流程圖，從而搞清楚部門之間、部門內部以及部門與外數據源的信息流，進行各管理業務的輸入、存儲、輸出流的量化分析。

（3）調研不同層次的用戶所提出的業務需求，確定要提供什么樣的事實。結合前面對數據流和用戶視圖等的分析，可以列基本的數據集市以及相關維度，從而可以形成以數據集市為行、維度為列的數據倉庫總線結構矩陣。

按照以上論述并結合電力通信管理的特點，所設計的模型有：

（1）設備維護類，如配置信息；（2）設備運行類，如告警信息；（3）網絡運行類，如帶寬利用率；（4）業務類，如業務運行分析；（5）資產管理分析，如備品備件；（6）人力資源分析；（7）其它類，如管理制度完備性分析。

4.2 邏輯模型設計

邏輯模型設計是每個當前要裝載的主題的邏輯實現進行定義，并將相關內容記錄在數據倉庫的元數據中，包括： 適當的粒度劃分、合理的數據分割策略、適當的表劃分、定義合適的數據來源等。主要需要完成如下工作：

（1）分析主題域，確定當前要裝載的主題。在進行設計時，對概念模型設計步驟中確定的幾個基本主題域進行分析，并選擇首先要實施的主題域。如果所選擇的主題域很大并且很復雜，可以針對它的一個有意義的子集來進行開發。

（2）確定粒度層次劃分。通過估算數據行數等信息，來確定是采用單一粒度還是多重粒度，以及粒度劃分的層次。

（3）確定數據分割策略。選擇適當的數據分割的標準，一般要考慮以下幾方面因素：數據量（而非記錄行數）、數據分析處理的實際情況、簡單易行以及粒度劃分策略等。要考慮到所選擇的數據分割標準應是自然的、易于實施的；同時也要考慮數據分割的標準與粒度劃分層次是適應的。

（4）關系模式定義。對選定的當前實施的主題進行模式劃分，形成多個表，并確定各個表的關系模式。

4.3 物理模型設計

物理模型設計要確定數據的存儲結構，確定索引策略，確定數據存放位置，確定存儲分配。為了更好的優化存取時間和空間效率。必須了解數據環境、數據的使用頻度、使用方式、數據規模以及響應時間要求等。還必須了解外部存儲設備的特性，如分塊原則，塊大小的規定，設備的I/O特性等。

（1）權衡存取時間、存儲空間利用率和維護代價三個方面因素來確定數據的存儲結構。

（2）考慮對各個數據存儲建立專用的、復雜的索引，以獲得最高的存取效率。

（3）按數據的重要程度、使用頻率以及對響應時間的要求進行分類，并將不同類的數據分別存儲在不同的存儲設備中。重要程度高、經常存取并對響應時間要求高的數據就存放在硬盤上；存取頻率低或對存取響應時間要求低的數據則可以放在磁帶上。

（4）確定存儲分配。

4.4 數據倉庫生成

數據倉庫生成就是完成接口設計，數據裝入。這一步工作的成果是，數據已經裝入到數據倉庫中，可以在其上建立數據倉庫的應用。

（1）接口設計，在接口建立的過程中必須考慮到：從面向應用和操作的環境生成完整的數據；數據的基于時間的轉換；數據的凝聚；對現有記錄系統的有效掃描，以便以后進行追加等。接口設計應該滿足高效性、保存完整的文檔記錄、靈活性、完整性。

（2）數據裝入，在數據裝入前必須確定數據裝入的次序、清除無效或錯誤數據、數據“老化”、數據粒度管理、數據刷新等。在數據裝入前要完成數據變換，具體方法有手工編制程序和使用專用數據變換工具。

在數據倉庫的生成過程中，對數據的清洗、過濾主要采用：

（1）計算列方法：該方法主要針對簡單變換。在傳送過程中直接將原始數據導入，在數據倉庫中建立計算列進行透明轉換，這樣不影響數據傳送的效率。

（2）視圖法：該方法主要針對清潔和集成。視圖法同樣是在傳送時直接導入。對于清潔，可以再建一張額外的表，建立原始數據和清潔數據的對應關系。對于集成，可以將原始數據通過視圖集成，然后在視圖上建立數據立方體。

數據倉庫的生成包含事實表的建立和維表的建立。其中事實表就是數據倉庫從資源管理系統中的基本數據中提煉出一些對對管理者決策分析有用的數據，作為事實表中的相應記錄。維表則是參考概念模型的需求所建立的日期維、設備維、業務維、運行維等各種不同視角所需的信息表。

4.5 數據倉庫運行與維護

建立企業的體系化環境，不僅包括建立起操作型和分析型的數據環境，還應包括在這一數據環境中建立起企業的各種應用。數據倉庫裝入數據之后，管理數據倉庫的一些日常活動，如刷新數據倉庫的當前詳細數據、將過時的數據轉化成歷史數據、清除不再使用的數據、調整粒度級別等。

維護數據倉庫的工作主要是管理日常數據裝入的工作，包括刷新數據倉庫的當前詳細數據，將過時的數據轉化成歷史數據.清除不再使用的數據，管理元數據，等等；另外，如何利用接口定期從操作型環境向數據倉庫追加數據，確定數據倉庫的數據刷新頻率，等等。

數據倉庫的開發是逐步完善的原型法的開發方法，要在系統運行或使用中，不斷地理解需求，改善系統，不斷地考慮新的需求，完善系統。

5 電力通信管理系統數據倉庫的建立

在具體構建數據倉庫時，并不是要面面俱到，而是必須圍繞電力通信業務領導層關注的、針對未來電力通信管理決策支持對基礎數據需求的角度來組織構建。要充分結合通信管理現有的各類網管系統和MIS子系統的基本應用現狀和已有的基礎數據來構建。

電力通信系統數據倉庫的建立按照概念模型設計、邏輯模型設計、物理模型設計、數據倉庫生成、數據倉庫運行與維護五個步驟，完成數據倉庫的建立。下面詳細介紹建立數據倉庫的全過程：

（1）在項目實施前期針對已有存量數據和工程資料、已有系統數據等進行數據比對、異常數據分析工作、數據一致性規范等數據清洗工作。

（2）在數據清洗完成后，對資料、動態數據和原有系統數據進行數據合并，實現數據集成。

（3）對數據進行合理的數據轉化工作，包括數據模型規范轉化、資源標準命名轉化。

（4）對數據進行合理設計并進行編碼，以實現數據消減。

建成的電力通信系統數據倉庫總體邏輯系統架構可劃分為三個層次：數據層、應用層、表示層，實現對整個電力通信資源管理系統的商務智能及決策支持系統前后端所有操作、流程管理。

圖2電力通信系統數據倉庫系統構架

6 結束語

建立數據倉庫有助于更有針對性的集中收集保存核心基礎業務數據信息。業務系統運行生成的業務數據往往是海量的、細節的，而且存在冗余、標準不一甚至矛盾等現象，把它們收集堆積在一起并沒有什么意義。但如果站在更高的高度，站在主管領導這關注的角度，站在企業未來決策支持對基礎數據需求的角度，重新審視這些數據，將其中有用的數據抽取出來，并通過一定的變換整理再整合集成在一起，以更有利于查詢、檢索和統計分析的方式統一存放在一個數據中心點（數據倉庫），這對提高業務數據的綜合利用率和可共享性，為主管部門決策支持服務將具有極為重要的意義。建立數據倉庫有助于電力通信管理實現統一的數據信息標準規范和業務系統規范提供良好的經驗和參考依據。

參考文獻

[1]黃小桃，焦群.電力系統通信綜合網管系統設計[J].電力系統通信，2000（6）：33-37.

[2]陶邦勝.基于CORBA的統一數據采集平臺[J].電力系統通信，2010，31（213）： 53-56.

[3]楊君，劉云.基于MapX的通信資源管理系統的設計與實現[J].中國數據通信，2003（5）：75-79.

[4][美]厄曼.陳維軍，等譯. Oracle9i PL/SQL程序設計[M].北京：機械工業出版社， 2009.

作者簡介：王慧卿（1973，3-），女，山西太原人，高級工程師，從事電力通信運行管理及資源管理系統維護工作。