數(shù)據(jù)倉庫技術(shù)在移動通信網(wǎng)絡(luò)分析中的應(yīng)用

摘要：電信企業(yè)為了適應(yīng)激烈的市場競爭，紛紛建立了以歷史數(shù)據(jù)為基礎(chǔ)的知識性決策系統(tǒng)─經(jīng)營分析系統(tǒng)。該文以某地區(qū)移動公司網(wǎng)絡(luò)綜合分析系統(tǒng)為實例，從用戶需求分析、數(shù)據(jù)倉庫規(guī)劃、數(shù)據(jù)轉(zhuǎn)換等三個方面進行描述，說明怎樣將數(shù)據(jù)倉庫技術(shù)應(yīng)用于一個大型的網(wǎng)絡(luò)資源管理項目。

關(guān)鍵詞：數(shù)據(jù)倉庫；網(wǎng)元；數(shù)據(jù)轉(zhuǎn)換

中圖分類號：TP311文獻標(biāo)識碼：A文章編號：1009-3044(2008)36-2573-02

The Application of Data Warehouse to Network Analysis of Mobile Company

LIU Ting-cang1， LONG Hua-biao2， SHI Li2

(1.Jiangxi University of Science and Technology， Information Science and Engineering， Namchang 330013， China; 2.Shenyang Ligong University， Shenyang 110168， China)

Abstract: The telecommunication enterprise in order to adapt the intense market competition， has established in abundance take the historical data as the foundation decision surpport system - business analysis system. This article take \"Some Local Mobile Company Network analysis System\" as an example， the user demand analysis， the data warehouse plan，the data conversion and so on three aspects carries on the description，explained how applies the data warehouse technology in a network management project.

Key words: data warehouse; network element; data conversion

近年來，移動公司在不斷擴大網(wǎng)絡(luò)覆蓋率的同時，對網(wǎng)絡(luò)設(shè)備的投資也日益增加，現(xiàn)有的網(wǎng)管系統(tǒng)已不能滿足網(wǎng)絡(luò)規(guī)劃者決策分析的需求，目前網(wǎng)管系統(tǒng)中包含豐富的網(wǎng)絡(luò)資源數(shù)據(jù)，由于缺少帳務(wù)和計費的數(shù)據(jù)，網(wǎng)管系統(tǒng)對收入，業(yè)務(wù)量數(shù)據(jù)等不能做詳盡和全方位的分析。在這種情況下，如何在滿足客戶需求的前提下，充分利用移動公司多年來所積累的業(yè)務(wù)數(shù)據(jù)，優(yōu)化網(wǎng)絡(luò)資源，提高網(wǎng)絡(luò)投資回報率，就成為決策者們所研究的主要課題，而建設(shè)基于數(shù)據(jù)倉庫的決策支持系統(tǒng)─網(wǎng)絡(luò)綜合分析系統(tǒng)，將從網(wǎng)絡(luò)的角度上，整合營帳、計費、客服等數(shù)據(jù)對網(wǎng)絡(luò)管理進行實時和階段性的全面分析，是解決這些問題的有效手段。

1 網(wǎng)絡(luò)分析數(shù)據(jù)功能

移動GSM無線覆蓋區(qū)結(jié)構(gòu)中的最小單位扇區(qū)（以下稱為小區(qū)），基站就是由一個（當(dāng)基站采用全向天線結(jié)構(gòu)時）或多個扇區(qū)構(gòu)成[1]。本次網(wǎng)絡(luò)分析系統(tǒng)就是從網(wǎng)絡(luò)的最小分析單元小區(qū)開始，打通網(wǎng)管系統(tǒng)和計費系統(tǒng)的關(guān)聯(lián)關(guān)系，統(tǒng)計所有與網(wǎng)元相關(guān)的性能指標(biāo)以及用戶通信信息，從網(wǎng)絡(luò)的業(yè)務(wù)使用情況出發(fā)，結(jié)合BOSS（業(yè)務(wù)運營支撐系統(tǒng)）的承載用戶情況和收益情況以及網(wǎng)絡(luò)的地理位置人文環(huán)境，通過對網(wǎng)絡(luò)負載用戶和收益的分析，優(yōu)化網(wǎng)元，維護重要網(wǎng)元，以及擴展網(wǎng)元。

網(wǎng)絡(luò)分析系統(tǒng)的主題區(qū)域是不同粒度、不同系統(tǒng)的數(shù)據(jù)關(guān)聯(lián)問題，且大部分數(shù)據(jù)是從其他數(shù)據(jù)庫抽取而來并且不易變動，所以將其歸類于經(jīng)營分析的數(shù)據(jù)倉庫應(yīng)用。網(wǎng)絡(luò)分析的核心是網(wǎng)絡(luò)部的信息以及計費詳單（業(yè)務(wù)使用詳細記錄）資料做關(guān)聯(lián)，根據(jù)關(guān)聯(lián)得到需要的數(shù)據(jù)做分項分析，由于兩大系統(tǒng)數(shù)據(jù)的關(guān)聯(lián)核心是在詳單，因此詳單是否存在網(wǎng)元信息，也是網(wǎng)絡(luò)數(shù)據(jù)最終分析覆蓋范圍的關(guān)鍵問題。前期經(jīng)過對該地區(qū)計費詳單的分析和核實，本專題分析中我們會結(jié)合網(wǎng)絡(luò)部數(shù)據(jù)，對語音業(yè)務(wù)和GPRS業(yè)務(wù)的相關(guān)網(wǎng)絡(luò)信息進行詳盡的分析。

2 數(shù)據(jù)倉庫的規(guī)劃

2.1 數(shù)據(jù)來源

在建立數(shù)據(jù)倉庫之前，首先確定整個系統(tǒng)的數(shù)據(jù)來源，網(wǎng)絡(luò)綜合分析是對各個網(wǎng)元對應(yīng)業(yè)務(wù)量及話務(wù)量的詳細分析，因此基礎(chǔ)數(shù)據(jù)主要來源于移動計費系統(tǒng)處理BOSS詳單后的各類文本數(shù)據(jù)資料以及網(wǎng)管部門傳送的相關(guān)的網(wǎng)管數(shù)據(jù)，共分為五個部分，即用戶語音通話詳細資料、用戶GPRS數(shù)據(jù)業(yè)務(wù)詳細資料、網(wǎng)元配置代碼信息、小區(qū)實體業(yè)務(wù)信息、大客戶信息資料等。

用戶語音通話數(shù)據(jù)和GPRS業(yè)務(wù)數(shù)據(jù)按月定期從該地區(qū)移動公司計費系統(tǒng)中提取。包括GSM（全球通系統(tǒng)編碼序號）號碼、通話類型、品牌類別、漫游類型、GPRS流量、本地和長途話費等信息。它們是小區(qū)業(yè)務(wù)量分析計算的依據(jù)。大客戶信息資料按月定期從該地區(qū)移動公司營業(yè)系統(tǒng)中提取，其中包括用戶名稱、GSM號碼、入網(wǎng)時間、大客戶標(biāo)記等信息。網(wǎng)元配置代碼信息和小區(qū)實體業(yè)務(wù)信息從網(wǎng)絡(luò)管理系統(tǒng)中采集，通過制定對網(wǎng)管系統(tǒng)數(shù)據(jù)抽取的接口方式提取，其中包括小區(qū)名稱、小區(qū)代碼、基站信息、小區(qū)配置信息、小區(qū)話務(wù)量等信息，通過制定本系統(tǒng)對網(wǎng)管系統(tǒng)數(shù)據(jù)抽取的接口方式采集。

這些數(shù)據(jù)按委托單位的要求，所有移動小區(qū)業(yè)務(wù)量信息至少保留三個月。系統(tǒng)需要備份的表中，最大的網(wǎng)元話務(wù)量信息表每日的總行數(shù)超過4000萬行。由于記錄總行數(shù)過多，為提高系統(tǒng)運行效率，所以需要針對該地區(qū)的每一個移動子公司設(shè)置專門數(shù)據(jù)庫，分別保存歷史資費數(shù)據(jù)。

2.2 數(shù)據(jù)粒度設(shè)計

所謂粒度，指數(shù)據(jù)倉庫的數(shù)據(jù)單位中保存數(shù)據(jù)的細化程度的級別。細化程度越高，信息量越多，粒度級就越小；相反，細化程度越低，信息量越少，粒度級就越大。粒度影響存放在數(shù)據(jù)倉庫中數(shù)據(jù)量的大小，同時影響數(shù)據(jù)倉庫所能回答的查詢類型。一般來說，運作數(shù)據(jù)及正在使用中的數(shù)據(jù)的粒度都非常低。為了增加粒度及其對決策者的實用性，必須對運作數(shù)據(jù)進一步概括和聚集。通常，粒度越高，轉(zhuǎn)換和概括運作數(shù)據(jù)所需的處理次數(shù)就越多。

網(wǎng)絡(luò)分析系統(tǒng)為網(wǎng)管部門從收益和話務(wù)量分析網(wǎng)元各種粒度的負荷和收益情況，因為源數(shù)據(jù)粒度不同，因此在數(shù)據(jù)處理和表的生成上要特別注意粒度的劃分和在不同粒度上的數(shù)據(jù)的聚合度。雖然系統(tǒng)涉及到的數(shù)據(jù)表不是很多，但是由于粒度的不同，在數(shù)據(jù)表的設(shè)計中一定注意表級數(shù)據(jù)粒度的劃分，并且在表級別粒度是可加的，網(wǎng)絡(luò)數(shù)據(jù)的最小粒度是時段+小區(qū)，其話務(wù)量也是基于此粒度，詳單數(shù)據(jù)的粒度是小區(qū)+時段+品牌+業(yè)務(wù)類型等等，故系統(tǒng)需要每日抽取用戶每個通話時段的時長、費用等詳細信息，網(wǎng)管系統(tǒng)需要每日抽取小區(qū)的配置信息和小區(qū)的話務(wù)量信息，小區(qū)信息由網(wǎng)管系統(tǒng)按照接口規(guī)范以文本形式提供。所以在網(wǎng)絡(luò)分析系統(tǒng)中數(shù)據(jù)粒度的設(shè)置低，低粒度的數(shù)據(jù)需要較大的存儲空間，能夠滿足全面、方便地進行查詢。

2.3網(wǎng)絡(luò)分析系統(tǒng)體系結(jié)構(gòu)

網(wǎng)絡(luò)分析數(shù)據(jù)倉庫和公司其它數(shù)據(jù)庫之間的關(guān)系，如圖1所示。圖中各實體表示為已經(jīng)存在的數(shù)據(jù)庫服務(wù)器。服務(wù)器之間的連線說明服務(wù)器之間的關(guān)系。連線的箭頭所指方向，表示數(shù)據(jù)的流向。

在網(wǎng)管數(shù)據(jù)中，包括小區(qū)配置代碼信息和實體業(yè)務(wù)信息，小區(qū)配置信息占用空間較小而且變動不大，可以每日全量提供，在數(shù)據(jù)入庫時進行表的更新操作。BOSS詳單數(shù)據(jù)中小區(qū)代碼+位置區(qū)代碼唯一確定一個小區(qū)代碼而網(wǎng)管CGI（公共網(wǎng)關(guān)接口）代碼的后兩項位置區(qū)代碼和小區(qū)代碼就是本省唯一的小區(qū)編碼，因此BOSS數(shù)據(jù)和網(wǎng)管數(shù)據(jù)之間的對應(yīng)關(guān)系通過詳單中的小區(qū)代碼+基站代碼和網(wǎng)管數(shù)據(jù)中的CGI代碼的關(guān)聯(lián)來獲得。

2.4 網(wǎng)絡(luò)分析總體數(shù)據(jù)流程圖

圖1 網(wǎng)絡(luò)分析系統(tǒng)體系結(jié)構(gòu)

圖2 網(wǎng)絡(luò)分析系統(tǒng)數(shù)據(jù)流程圖

圖3 數(shù)據(jù)轉(zhuǎn)換流程

數(shù)據(jù)的綜合必須根據(jù)決策的需要，針對不同的決策主題及對數(shù)據(jù)的需求，進行必要的數(shù)據(jù)統(tǒng)計與分析。本系統(tǒng)數(shù)據(jù)倉庫采用三級結(jié)構(gòu)，即細節(jié)級、輕度綜合級和高度綜合級。系統(tǒng)數(shù)據(jù)流程圖如圖2所示，通過處理原始通話詳單文件，得到每日詳單關(guān)于網(wǎng)元的匯總信息，處理網(wǎng)管數(shù)據(jù)文件，經(jīng)過數(shù)據(jù)裝載和過濾，得到日網(wǎng)管數(shù)據(jù)的配置信息和話務(wù)量表，由詳單網(wǎng)元數(shù)據(jù)和網(wǎng)管數(shù)據(jù)關(guān)聯(lián)得到小區(qū)相關(guān)日數(shù)據(jù)，由小區(qū)相關(guān)日數(shù)據(jù)通過月程序聚合得到小區(qū)月數(shù)據(jù)。其中黃色代表細節(jié)級，綠色代表輕度綜合級，藍色代表高度綜合級。原始數(shù)據(jù)經(jīng)過ETL處理后首先進入細節(jié)級，再根據(jù)決策的需求進行進一步綜合、從而進入輕度綜合級（統(tǒng)計數(shù)據(jù)）乃至高度綜合級（分析數(shù)據(jù)），老化的數(shù)據(jù)進入歷史細節(jié)級，提高數(shù)據(jù)綜合度，目的是針對決策的需要提高查詢效率。

3 數(shù)據(jù)轉(zhuǎn)換

高質(zhì)量的數(shù)據(jù)是決策成功的基礎(chǔ)，導(dǎo)致俘獲并維護高質(zhì)量數(shù)據(jù)困難的原因有許多，其主要的3種，過程原因、人為因素和技術(shù)問題等，小區(qū)配置信息的手工輸入時也會出現(xiàn)諸多的問題，比如說用戶填寫隨意，輸入人員過度疲勞等人為因素。為了使ROI（投資回報）最高而保證每個數(shù)據(jù)都正確，將耗費巨大的人力和才力，以及技術(shù)人員和業(yè)務(wù)人員的溝通誤解等等原因，均被歸納為技術(shù)問題。

因此，在本系統(tǒng)中規(guī)定所有進人數(shù)據(jù)倉庫的數(shù)據(jù)，都要經(jīng)過抽取、轉(zhuǎn)換和加載3個步驟，以維護數(shù)據(jù)質(zhì)量，數(shù)據(jù)轉(zhuǎn)換流程如圖3所示。

定義數(shù)據(jù)抽取元數(shù)據(jù)，元數(shù)據(jù)是用于描述數(shù)據(jù)庫狀態(tài)的一組信息，包括事件、動機、人、時間、內(nèi)容等。系統(tǒng)對網(wǎng)管系統(tǒng)的數(shù)據(jù)抽取事件定義一個數(shù)據(jù)抽取元數(shù)據(jù)，它用于記錄對網(wǎng)管系統(tǒng)所有小區(qū)配置信息及話務(wù)量數(shù)據(jù)的提取，以便系統(tǒng)的管理和維護。數(shù)據(jù)抽取元數(shù)據(jù)如下所示：

名稱：抽取每日XX地區(qū)小區(qū)信息；時間：每日凌晨4點；人員：XXX；動機：獲取XX地區(qū)每日小區(qū)配置參數(shù)信息；內(nèi)容：獲取當(dāng)前日期前一天XX地區(qū)的小區(qū)配置信息；操作：起用數(shù)據(jù)管道PIPE-1；開始時間：每日O4時40分；結(jié)束時間：每日O6時20分；記錄數(shù)：21000─30000。

對抽取過來的數(shù)據(jù)進行轉(zhuǎn)換，其作用是按規(guī)則統(tǒng)一數(shù)據(jù)格式，清理和預(yù)防數(shù)據(jù)垃圾，只有通過數(shù)據(jù)轉(zhuǎn)換的過程，才能提高數(shù)據(jù)的質(zhì)量。

4 結(jié)束語

知識性決策與基于本能（而不是數(shù)據(jù)）的決策相比，通常會產(chǎn)生更高的ROI。本系統(tǒng)同時針對網(wǎng)絡(luò)數(shù)據(jù)和計費數(shù)據(jù)的引入不僅可以為網(wǎng)絡(luò)部提供更準(zhǔn)確的分析，同時也可以在原有系統(tǒng)上針對用戶進行分群分區(qū)分時的貼心營銷，更加提供多種定制統(tǒng)計和數(shù)據(jù)綜合功能，為移動的經(jīng)營決策分析提供了有力的補充，在當(dāng)前電信激烈競爭中，為該地區(qū)移動公司決策提供可靠決策支持。

參考文獻：

[1] Sperley E. 企業(yè)數(shù)據(jù)倉庫一規(guī)劃建立與實現(xiàn)[M].北京:人民郵電出版社，2005.

[2] 段石峰，吳唯寧，李建威，等.數(shù)抓倉庫及其在電信領(lǐng)域中的應(yīng)用[M].北京:電子下業(yè)出版社，2005.

[3] 陳京民.數(shù)據(jù)倉庫原理、設(shè)計與應(yīng)用[M].北京:中國水利水電出版社，2005.

[4] 段云峰，吳唯寧. 數(shù)據(jù)倉庫及其在電信領(lǐng)域中的應(yīng)用[M].北京:電子工業(yè)出版社，2005.

[5] 茅明輝.利用數(shù)據(jù)倉庫技術(shù)實現(xiàn)電信業(yè)務(wù)經(jīng)營分析[D].南京:南京理工大學(xué)，2004.

[6] 孫巖峰.數(shù)據(jù)倉庫技術(shù)在黑龍江省移動通信公司經(jīng)營分析系統(tǒng)中的應(yīng)用[D].北京:北京工業(yè)大學(xué)，2006.