基于廣電網(wǎng)絡(luò)ODS進(jìn)行運(yùn)營數(shù)據(jù)分析

李志剛 李俊杰

【摘要】 隨著廣東廣電開始進(jìn)入全面的視頻和數(shù)據(jù)業(yè)務(wù)運(yùn)營階段，各種經(jīng)營活動(dòng)將逐步向精細(xì)化邁進(jìn)。 三網(wǎng)融合的大背景下，未來的競(jìng)爭(zhēng)將考驗(yàn)廣電運(yùn)營商采集和分析數(shù)據(jù)的能力。對(duì)于現(xiàn)有的廣電，缺少對(duì)數(shù)據(jù)挖掘和分析的經(jīng)營分析系統(tǒng)，如何理解數(shù)據(jù)、規(guī)范數(shù)據(jù)、運(yùn)用數(shù)據(jù)、實(shí)現(xiàn)數(shù)據(jù)從信息到價(jià)值的提升，成為擺在管理者面前一個(gè)重要課題。

【關(guān)鍵詞】 ODS 運(yùn)營數(shù)據(jù)

一、背景

現(xiàn)在，廣東廣電各個(gè)業(yè)務(wù)系統(tǒng)都已經(jīng)全面上線運(yùn)營，包括集中BOSS系統(tǒng)、綜合運(yùn)維系統(tǒng)（OSS）、客服系統(tǒng)等。系統(tǒng)數(shù)據(jù)運(yùn)行狀況如何？我們可以從運(yùn)營數(shù)據(jù)中看到什么？

問題一：當(dāng)前BOSS系統(tǒng)主要以業(yè)務(wù)受理支撐為主，缺乏經(jīng)營分析模塊，難以提供經(jīng)營分析數(shù)據(jù)。BOSS提供了一部分經(jīng)營數(shù)據(jù)報(bào)表，但缺少明細(xì)數(shù)據(jù)。所提供的專用查詢數(shù)量有限，都局限于面對(duì)營業(yè)員和客服人員使用的，不能滿足復(fù)雜的信息提取。

問題二：各個(gè)業(yè)務(wù)系統(tǒng)，數(shù)據(jù)獨(dú)立，難以進(jìn)行聯(lián)合查詢。BOSS負(fù)責(zé)客戶管理、產(chǎn)品管理及收費(fèi)管理等，OSS系統(tǒng)負(fù)責(zé)綜合工單調(diào)度和資源（地址）管理，客服系統(tǒng)負(fù)責(zé)客戶來電接入和客戶咨詢、投訴等。各個(gè)系統(tǒng)的獨(dú)立性對(duì)數(shù)據(jù)統(tǒng)計(jì)分析帶來了很大困難。

問題三：缺乏良好的分析視圖，缺乏角色定制，對(duì)運(yùn)營決策者、各級(jí)管理者的決策支持力度十分有限。

為解決這些數(shù)據(jù)分析問題，我們的長遠(yuǎn)目標(biāo)是建立一套經(jīng)營分析系統(tǒng)。經(jīng)營分析系統(tǒng)是基于數(shù)據(jù)倉庫進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析和數(shù)據(jù)挖掘的。

ODS是一個(gè)面向主題的、集成的、可變的、當(dāng)前的細(xì)節(jié)數(shù)據(jù)集合，用于支持企業(yè)對(duì)于即時(shí)性的、操作性的、集成的全體信息的需求，支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合。ODS是介于業(yè)務(wù)數(shù)據(jù)庫（DB）和數(shù)據(jù)倉庫（DW）之間的一種數(shù)據(jù)存儲(chǔ)技術(shù)，和原來面向應(yīng)用的分散的DB相比，ODS具備業(yè)務(wù)數(shù)據(jù)庫的部分特性（數(shù)據(jù)細(xì)節(jié)和數(shù)據(jù)結(jié)構(gòu)都接近業(yè)務(wù)數(shù)據(jù)庫），但也轉(zhuǎn)移和整合了部分?jǐn)?shù)據(jù)，數(shù)據(jù)組織方式和數(shù)據(jù)倉庫（DW）一樣也是面向主題的和集成的，具備部分DW特征。（圖1）

二、ODS數(shù)據(jù)查詢

ODS的建設(shè)本身是為經(jīng)營分析系統(tǒng)服務(wù)的，現(xiàn)在有關(guān)BOSS的報(bào)表統(tǒng)計(jì)都是來源于ODS。我們需要了解更多的經(jīng)營數(shù)據(jù)，也可以通過ODS來獲取。特別是一些報(bào)表數(shù)據(jù)明細(xì)，BOSS本身只給出了結(jié)果，缺少過程和明細(xì)。

ODS采用Oracle數(shù)據(jù)庫存儲(chǔ)，我們查詢?cè)L問主要通過PL/SQL Developer來處理。PL/SQL Developer是一個(gè)集成開發(fā)環(huán)境，專門面向Oracle數(shù)據(jù)庫存儲(chǔ)程序單元的開發(fā)。

我們經(jīng)常使用的就是通過PL/SQL Developer，但使用過程中發(fā)現(xiàn)，該工具重點(diǎn)在于進(jìn)行開發(fā)和測(cè)試，如經(jīng)常進(jìn)行ODS數(shù)據(jù)提取，則需要操作人具備一定的數(shù)據(jù)庫知識(shí)基礎(chǔ)；數(shù)據(jù)的需求者一般是市場(chǎng)部或者運(yùn)維部的普通員工，由于能力有限，不能自行在PL/SQL Developer進(jìn)行查詢和導(dǎo)出，都需要通過企信人員操作等問題。

三、經(jīng)營數(shù)據(jù)分析助手開發(fā)

需要數(shù)據(jù)的市場(chǎng)或者營銷人員，他往往只是想看到最終的數(shù)據(jù)結(jié)果，期望一個(gè)簡單的工具或者界面。為此，我們開發(fā)了一個(gè)專門基于ODS的“經(jīng)營數(shù)據(jù)分析助手”工具。這個(gè)工具可以通過簡單的參數(shù)選擇組合，點(diǎn)擊一下按鈕就可以提取到所需要的數(shù)據(jù)。

經(jīng)營數(shù)據(jù)分析助手采用DELPHI編程語言進(jìn)行開發(fā)。程序結(jié)構(gòu)相對(duì)比較簡單，采用C/S模式，通過dbExpress組件直接進(jìn)行ODS數(shù)據(jù)庫訪問。讓經(jīng)營數(shù)據(jù)分析助手可以更加簡單和容易部署，直接拷貝就可以使用，真正是綠色版本。

運(yùn)營數(shù)據(jù)分析助手開發(fā)的初始開發(fā)目的是取替PL/SQL Developer，用來做數(shù)據(jù)查詢和提取，并針對(duì)用戶數(shù)據(jù)做一些簡單的分析處理。所以，程序上很大部分都是針對(duì)SQL語句管理和查詢數(shù)據(jù)的處理，下面針對(duì)部分主要功能介紹如下：

1、操作員登陸認(rèn)證與權(quán)限設(shè)計(jì)。

用戶數(shù)據(jù)的查詢提取需要保證一定的權(quán)限控制，確保數(shù)據(jù)的安全性，所以必須有登陸認(rèn)證過程，其中，密碼是以MD5格式進(jìn)行加密保存的。

2、分業(yè)務(wù)區(qū)分類別管理SQL語句。

分析助手對(duì)所有SQL進(jìn)行編號(hào)和分類管理，并且區(qū)分不同分公司。例如我們有2個(gè)查詢名稱分別是：B01總在用用戶數(shù)統(tǒng)計(jì)，B02按片區(qū)在用用戶數(shù)統(tǒng)計(jì)。雖然都是在用用戶數(shù)統(tǒng)計(jì)，但有了不同的編碼就可以讓分析人員很容易的知道自己需要那一個(gè)。

3、參數(shù)化的SQL管理。

在分析助手界面上提供常用的參數(shù)。根據(jù)需要，我們配置了超過20個(gè)參數(shù)選項(xiàng)， 包括ODS表日期、查詢的業(yè)務(wù)區(qū)名稱、日期區(qū)間、產(chǎn)品名稱、營銷方案名稱等等。這些參數(shù)使每次運(yùn)行SQL的時(shí)候，都可以根據(jù)用戶的界面選擇進(jìn)行自動(dòng)匹配。

4、使用中間表分步查詢。

有些查詢要求比較復(fù)雜，例如查詢結(jié)果需要同時(shí)展現(xiàn)：客戶資料、客戶總機(jī)頂盒臺(tái)數(shù)、客戶高清機(jī)頂盒臺(tái)數(shù)、寬帶賬號(hào)數(shù)、互動(dòng)用戶數(shù)等。如果只用一個(gè)SQL執(zhí)行，不但編寫困難，而且執(zhí)行起來也非常占系統(tǒng)資源。我們可以把這個(gè)查詢要求進(jìn)行拆分為幾個(gè)子查詢并生成臨時(shí)中間表，再通過中間表列出數(shù)據(jù)。

經(jīng)營數(shù)據(jù)分析助手目的是提供一個(gè)簡單的方法，讓數(shù)據(jù)分析員能快速提取到自己的數(shù)據(jù)。經(jīng)營數(shù)據(jù)分析助手是通過組建更多的寬表，并且加入客戶標(biāo)簽，組成BOSS系統(tǒng)和經(jīng)營分析系統(tǒng)的“外掛”，為做真正的數(shù)據(jù)挖掘。

四、通過ODS洞察業(yè)務(wù)數(shù)據(jù)

實(shí)際上，ODS給到我們的并不僅僅于此。我們通過ODS的數(shù)據(jù)分析，也發(fā)現(xiàn)了生產(chǎn)系統(tǒng)存在的一些問題。因?yàn)椋琌DS數(shù)據(jù)是業(yè)務(wù)數(shù)據(jù)庫的直接反饋，是直接來源于生產(chǎn)系統(tǒng)明細(xì)的。在做經(jīng)營數(shù)據(jù)分析過程中，我們就多次發(fā)現(xiàn)過存在的一些數(shù)據(jù)問題。

通過ODS的經(jīng)營數(shù)據(jù)分析，我們不但可以了解詳細(xì)的經(jīng)營數(shù)據(jù)，也可以發(fā)現(xiàn)存在的一些生成系統(tǒng)數(shù)據(jù)問題，這也有利于我們?nèi)ダ^續(xù)改進(jìn)和優(yōu)化生產(chǎn)系統(tǒng)。

五、總結(jié)和思考

大數(shù)據(jù)時(shí)代來了，其他電信運(yùn)營商的經(jīng)營數(shù)據(jù)分析已經(jīng)走到了前面，我們只能迎頭趕上。ODS是大數(shù)據(jù)的基礎(chǔ)，是大數(shù)據(jù)分析的第一階段，重點(diǎn)是解決業(yè)務(wù)應(yīng)用統(tǒng)計(jì)分析報(bào)表功能，具備可變性、準(zhǔn)實(shí)時(shí)性，數(shù)據(jù)結(jié)構(gòu)也基本和業(yè)務(wù)系統(tǒng)數(shù)據(jù)表一致；第二個(gè)階段是就是數(shù)據(jù)挖掘、決策分析和模型導(dǎo)入。

通過整合所有業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫，進(jìn)行ODS的建設(shè)和不斷完善，把日常的數(shù)據(jù)查詢提煉，整理出模板，相信這將成為日后數(shù)據(jù)挖掘建模的重要組成部分。我們將努力建設(shè)出一套能夠真正提供廣電決策支持的經(jīng)營分析系統(tǒng)。