數(shù)據(jù)立方體技術(shù)在電力數(shù)據(jù)統(tǒng)計分析中的運用與研究

簡燕紅++符士侃

摘 要：數(shù)據(jù)立方體是一類多維矩陣，讓用戶從多個角度探索和分析數(shù)據(jù)集，即它允許以多個維度對數(shù)據(jù)進行建模和觀察，數(shù)據(jù)立方體技術(shù)是數(shù)據(jù)倉庫的核心技術(shù)。本文以電力系統(tǒng)數(shù)據(jù)統(tǒng)計分析工作為例，介紹了數(shù)據(jù)立方體技術(shù)的原理，研究探討了數(shù)據(jù)立方體技術(shù)在電力系統(tǒng)數(shù)據(jù)統(tǒng)計分析工作中的運用，通過建立基于數(shù)據(jù)立方體模型的電力數(shù)據(jù)統(tǒng)計分析系統(tǒng)，不但可以實現(xiàn)運行輕量級數(shù)據(jù)分析工具，而且滿足了當前電網(wǎng)建設(shè)運行數(shù)據(jù)統(tǒng)計分析靈活、多樣的需求。

關(guān)鍵詞：數(shù)據(jù)立方體模型 數(shù)據(jù)挖掘 輕量級工具

中圖分類號：TM73 文獻標識碼：A 文章編號：1674-098X（2016）11（a）-0009-02

電網(wǎng)建設(shè)運行數(shù)據(jù)的采集與分析，是全面快速了解電網(wǎng)狀態(tài)并指導后續(xù)工作開展的一項重要工作。電力數(shù)據(jù)統(tǒng)計分析需要對數(shù)據(jù)進行快速提取并進行靈活、多樣的分析，現(xiàn)有電網(wǎng)中涉及電力運行分析的相關(guān)業(yè)務系統(tǒng)繁多，數(shù)據(jù)大部分面向業(yè)務雖有報表統(tǒng)計模塊，卻難以完全適應此需求。通過在電力數(shù)據(jù)統(tǒng)計分析管理系統(tǒng)中建立數(shù)據(jù)立方體模型，可以實現(xiàn)運行輕量級數(shù)據(jù)分析工具，滿足當前電力數(shù)據(jù)統(tǒng)計分析工作的需要。

1 基于數(shù)據(jù)立方體技術(shù)數(shù)據(jù)分析模型建立

1.1 數(shù)據(jù)立方體

數(shù)據(jù)立方體是一類多維矩陣，通常一次同時考慮三個因素（維度），但并不局限于三個，在實際中常常用多個維度來構(gòu)建數(shù)據(jù)立方體。

多維矩陣是數(shù)據(jù)立方體分析的基礎(chǔ)，涉及2個重要概念：事實和維度。事實即分析的目標數(shù)據(jù)，如數(shù)量、金額等，維度即事實信息的屬性，如對應的時間、設(shè)備類型、產(chǎn)權(quán)單位等。數(shù)據(jù)立方體是根據(jù)用戶對數(shù)據(jù)挖掘的要求確定維及維層次而生成的多維數(shù)據(jù)集合。每個數(shù)據(jù)立方體是一個三維結(jié)構(gòu)，x、y、z軸分別表示數(shù)據(jù)立方體的三個維度。x軸是時間軸，其時間單位是該層的統(tǒng)計粒度；y軸是屬性軸，表示統(tǒng)計針對的記錄類型；z軸是統(tǒng)計方法軸，表示采用的統(tǒng)計方法。

1.2 數(shù)據(jù)立方體的建立與提取

構(gòu)建在數(shù)據(jù)庫中的數(shù)據(jù)立方體并非如數(shù)據(jù)立方體字面意思直觀，而是通過二維數(shù)據(jù)表形式進行組織與存儲。通過將y軸的維度與z軸的統(tǒng)計值轉(zhuǎn)化為二維表格中的列，x軸時間單位作為記錄頻率進行定期數(shù)據(jù)獲取并存儲到數(shù)據(jù)立方體所在數(shù)據(jù)庫中。

（1）數(shù)據(jù)列重定義。大部分系統(tǒng)因為編碼技術(shù)特點，開發(fā)人員往往使用英文字母與數(shù)字組合作為表格與字段名稱，在客戶展現(xiàn)端使用相應意義的中文顯示。然而通過表格關(guān)聯(lián)的字段，數(shù)據(jù)立方體視圖在生成時按照計算機特點仍然使用英文字母與數(shù)字方式顯示，由于需要考慮數(shù)據(jù)立方體生成靈活性，需要在數(shù)據(jù)庫中針對表格和字段進行重定義，利用系統(tǒng)表格進行表名和字段名稱中文與字母的映射，滿足用戶隨意利用系統(tǒng)表關(guān)聯(lián)建立視圖工作方式。

（2）計算列實現(xiàn)。數(shù)據(jù)立方體中的指標列，既可以包含個數(shù)、長度、金額等原始表格數(shù)據(jù)列，也可以包含諸如平均數(shù)、求和、乘積等計算值。可利用數(shù)據(jù)庫定義的多種函數(shù)進行計算列生成。

（3）維度遞進實現(xiàn)。由于一些維度存在一定的層次結(jié)構(gòu)特性，故而維度的定義與組織往往使用樹狀層次結(jié)構(gòu)實現(xiàn)。遞進維度是多個相關(guān)維度相互嵌套的一種形式，是實現(xiàn)數(shù)據(jù)立方體數(shù)據(jù)切塊或切片的基礎(chǔ)，通過組織好維度的樹狀菜單，可實現(xiàn)基于維度樹的數(shù)據(jù)向上向下切片功能。

在數(shù)據(jù)提取上采用手工提取與系統(tǒng)獲取相結(jié)合，通過系統(tǒng)統(tǒng)計周期即數(shù)據(jù)立方體中y軸頻率對數(shù)據(jù)立方體中數(shù)據(jù)進行上一周期數(shù)據(jù)進行復制到本周期默認數(shù)據(jù)，相應數(shù)據(jù)管理單位通過對默認數(shù)據(jù)的修改填報完成各個數(shù)據(jù)立方體數(shù)據(jù)的填充。數(shù)據(jù)立方體主要采用自動化生成，由于電力數(shù)據(jù)統(tǒng)計分析數(shù)據(jù)管理需具備閉環(huán)管理功能，故采用數(shù)據(jù)自動生成，通過任務接收、提供對外標準接口，提供不同系統(tǒng)條件下數(shù)據(jù)填報由人工轉(zhuǎn)入自動化接口。

2 系統(tǒng)構(gòu)建

本系統(tǒng)通過B/S結(jié)構(gòu)進行開發(fā)，用戶客戶端通過瀏覽器進行操作，服務端進行數(shù)據(jù)的存儲和對外發(fā)布管理，實現(xiàn)基于省市縣三級管理單位電力運行分析數(shù)據(jù)設(shè)備、缺陷、業(yè)務等數(shù)據(jù)的填報和報表統(tǒng)計分析管理。系統(tǒng)使用三層結(jié)構(gòu)開發(fā)，分為數(shù)據(jù)層、邏輯層和應用層。數(shù)據(jù)層負責基礎(chǔ)臺賬數(shù)據(jù)的存儲，使用SQL SERVER 數(shù)據(jù)庫進行管理，邏輯層負責數(shù)據(jù)填報與統(tǒng)計數(shù)據(jù)庫操作邏輯與結(jié)果反饋功能，應用層使用基于Ajax頁面無刷新技術(shù)的富客戶端顯示技術(shù)與操作用戶進行交互。

3 數(shù)據(jù)挖掘?qū)嶋H運用

3.1 數(shù)據(jù)切片

數(shù)據(jù)立方體想要通過統(tǒng)計圖進行展示，就需將數(shù)據(jù)立方體進行切片。通過數(shù)據(jù)切片，實現(xiàn)數(shù)據(jù)立方體中單一維度的分解，通過單位切片可以分析不同單位的缺陷分布統(tǒng)計圖。

3.2 數(shù)據(jù)切塊

數(shù)據(jù)切塊主要包括兩種方式，單一維區(qū)間切塊和多維區(qū)間切塊。單一維區(qū)間切塊在本系統(tǒng)中應用較多。多維切塊是指在兩個或多個維度上選取相應的數(shù)據(jù)范圍進行切塊的方式。例如在缺陷數(shù)據(jù)切塊中時間維度選擇2015年，地區(qū)維度選擇某市，影響設(shè)備類型選擇電源，即可針對該范圍提取相應的數(shù)據(jù)塊，進行進一步的數(shù)據(jù)切片分析。

3.3 數(shù)據(jù)鉆取

數(shù)據(jù)挖掘分數(shù)據(jù)源鉆取、深度鉆取兩種方式。數(shù)據(jù)源鉆取主要用于統(tǒng)計圖表中相應數(shù)據(jù)項的統(tǒng)計來源數(shù)據(jù)的提取，具備數(shù)據(jù)源表格顯示和表格下載功能。深度鉆取指在數(shù)據(jù)立方體上進行某個方向上數(shù)據(jù)切塊后，在獲得的數(shù)據(jù)塊基礎(chǔ)上進一步進行維度切塊或者切片分析的操作模式。

3.4 維度旋轉(zhuǎn)

構(gòu)建的數(shù)據(jù)立方體二維表格具備多個維度，在原有維度的基礎(chǔ)上進行維度選擇，可以實現(xiàn)圖表不同維度的轉(zhuǎn)換。分析出的數(shù)據(jù)視圖大都具備三個以上的維度，系統(tǒng)用戶往往需要對其多維度進行提取，從而完成基于兩個維度的平面統(tǒng)計圖構(gòu)建工作，通過轉(zhuǎn)換不同的x軸和y軸坐標可以實現(xiàn)多個圖表的維度旋轉(zhuǎn)。

3.5 數(shù)據(jù)導出

通過數(shù)據(jù)鉆取的數(shù)據(jù)，通常用戶需將其轉(zhuǎn)換為EXCEL表格，進行報告的依據(jù)整理。使用基于微軟COM組件基礎(chǔ)的EXCEL DLL接口，實現(xiàn)基于web數(shù)據(jù)的導出工作，可以實現(xiàn)表格導出。

3.6 固定報表

企業(yè)報表是信息系統(tǒng)呈現(xiàn)用戶價值所在，日常實現(xiàn)報表的方式有兩種，一種網(wǎng)頁格式，另一種電子文件格式。兩種實現(xiàn)方式各具優(yōu)缺點，本系統(tǒng)兼容兩種格式。

（1）基于web的固定報表。Web固定報表可根據(jù)用戶實際需求進行選取，圖表展示和表格顯示大部分報表工具都具備。由于系統(tǒng)支持電子文件格式導出報表，故而沒有使用專業(yè)報表工具進行顯示打印，僅僅使用Extjs前端腳本進行數(shù)據(jù)表格與圖表的顯示功能，也可以選擇商業(yè)化的圖表工具進行展示，提升系統(tǒng)的美觀性。

（2）基于EXCEL的報表。基于微軟COM組件技術(shù)的EXCEL DLL接口，實現(xiàn)基于web數(shù)據(jù)的導出，可以實現(xiàn)表格導出。通過COM自帶OLE函數(shù)，調(diào)用生成EXCEL表格并填入表格數(shù)字，同時根據(jù)表格自動生成相應的圖表，最后通過COM函數(shù)存儲為需要的EXCEL文件。當報表數(shù)目很多時，可通過標簽頁實現(xiàn)或者通過調(diào)用ZIP函數(shù)進行多文件打包下載。

4 結(jié)語

數(shù)據(jù)立方體是數(shù)據(jù)倉庫的核心技術(shù)，基于數(shù)據(jù)立方體模型建立電力數(shù)據(jù)統(tǒng)計分析系統(tǒng)，不但實現(xiàn)輕量化易于掌握的軟件，而且可以滿足數(shù)據(jù)統(tǒng)計靈活、多樣需求，成為電力管理部門數(shù)據(jù)分析挖掘重要工具。

參考文獻

[1] 王德文，周青.一種電力設(shè)備狀態(tài)監(jiān)測大數(shù)據(jù)的分布式聯(lián)機分析處理方法[J].中國電機工程學報，2016，36（19）：

5111-5121.

[2] 蔣建民，張世勇.在關(guān)系數(shù)據(jù)庫上實現(xiàn)OLAP多維分析[J].渝州大學學報：自然科學版，2002，19（1）：18-20.

[3] 潘東靜.基于OLAP的多維分析模型設(shè)計及應用[J].德州學院學報，2004，20（6）：55-58.