面向大數據的電力用戶信息挖掘探討

施堯，楊錚宇

（1.云南電網有限責任公司，云南昆明，650051；2.云南電網有限責任公司信息中心，云南昆明，650051）

0 引言

電網客戶服務系統是電網企業的重要服務窗口, 不斷積累著海量用戶信息數據, 這些需要信息數據需要經過系統的整合挖掘，從而最大化發揮其自身價值。隨著大數據技術的發展，以大數據技術作為基礎，進行海量電力用戶信息數據的處理分析，以此發揮對電網企業信息系統交互以及客戶服務決策的支持作用，成為電網客戶服務系統發展的趨勢。基于此，本文針對如何利用大數據技術來滿足電網客戶服務系統對海量用戶信息數據處理需求的問題，提出面向大數據的電力用戶信息數據數據挖掘系統設計方案。

1 系統關鍵技術

1.1 面向大數據的ETL數據倉庫技術

在本系統設計中，數據處理策略采用MapReduce分布式計算模式，而數據加載策略則需要支持并行加載。使用多種方法應對不同的數據抽取策略，從而提高系統性能。本設計中，采取以下形式來表達電網的結構化數據的ETL行為：

（1）以P、W、O、M分別表示原始數據、數據倉庫的數據、不同ETL任務、數據倉庫的元數據等數據集合，則電網結構化數據 ETL 行為模型為N=(P,W,O,M)。

（2）ETL任務以O表示。數據抽取任務、數據導入任務以及數據集成任務則分別表示為

ETL的數據源表以T表示。T在i時間點時，數據倉庫過渡區中的數據副本以 Ti表示,時間戳以D表示，則

（3）數據源表從i至i+1的變更副本以I表示, 發生數據變更的日志號以表示，數據變更操作以M表示，變更前的數據以 To表示，變更后的數據以 Tn表示，

因為I＜T，在得到Ti+ 1 時，映射的效率高，同時不會較大地影響源數據庫性能。

（4）以關系代數來表示數據倉庫過渡區中從 Ti+ 1映射到

stat={Max,Min,Count,Sum,Avg}，即得到 Ti+1在[i, i+1]時間區間的事實數據后，進行聚集投影運算。

1.2 多維數據分析技術

多維數據分析技術是指把一個實體的多項重要的屬性定義為多個維，對不同維上的數據進行比較，具有極強的人機互動性以及能夠靈活表達數據的優點。為了能夠深度發掘電力用戶的信息數據，在本系統設計中采用了多維分析技術，通過分析模型工具，分析數據倉庫中的數據信息，并且生成服務質量指標分析和服務質量分析等模型。

1.3 數據聚合及挖掘

在本設計中，數據聚合及挖掘主要分為統計數據分析、預測數據分析以及決策數據分析三個部分，下面針對這三個部分進行具體闡述。

（1）統計數據分析主要針對電力用戶服務管理組織方式，根據相關業務信息和分析指標，設計了多維數據模型。其中，數據統計值主要包括累計、增量、平均、最大、最小以及標準差等項的統計值。根據統計數據分析，進行數據挖掘建模和矩陣計算, 實現切片、鉆取和鉆透等功能。

（2）預測數據分析基于電力相關業務規則及挖掘模型，將原始數據優化后得到精簡數據，建立線性回歸模型、多維尺度模型并進行分析。

決策數據分析主要為定量分析及統計分析，算法在決策數據分析中具有著關鍵作用。在沒有隱含假設前提下, 分類回歸樹算法可以對變量與因變量之間的線性相關性進行預測.，因此本設計中主要采用分類回歸樹算法, 并對該算法進行封裝。

2 面向大數據的電力用戶信息數據挖掘系統

2.1 系統整體架構

本設計采用四層系統架構，如圖1所示。四個層次分別為數據層、服務層、聚合層、表示層。

圖1 系統整體架構

數據層能夠統一配置管理不同數據庫，主要包括呼叫中心、營銷系統、配網系統、OA系統、排隊叫號機等數據庫。

聚合層主要用于非結構化數據的處理，由數據倉庫、Hadoop以及Stream流計算構成。其中，數據倉庫為電網企業營銷業務數據的集合；Hadoop用于存貯非結構化數據，分析原始數據并能提高系統性能；Stream 流計算用于數據分析,能夠快速判定特定問題下各數據相關性。

服務層主要是在數據層以及聚合層之間進行數據管理與數據訪問，具有模型數據映射和性能優化的特性。模型數據映射支持對關系型數據庫、數據倉庫和非關系型數據庫的訪問；性能優化主要包括二級緩存、并發保護和高危查詢過濾等。

表示層主要包括數據展示構件、數據分析構件、報表構件等，為系統用戶提供數據查詢調用的功能，以報表、圖形等形式顯示數據分析結果。

2.2 系統功能設計

在該系統的功能設計方面，設置了服務質量與客戶感知監控、工單管理與調度、綜合服務質量評價管理、結果展示等功能模塊，如圖2所示。

圖2 系統功能

2.3 面向大數據的電力用戶信息數據挖掘系統應用

本文提出的面向大數據的電力用戶信息數據挖掘系統，在某電網公司中進行應用實測。針對該公司的營銷業務，整合95598、電力營銷、計量自動化、配網等系統的數據，建立高集約、高智能的管理模型以及系統性算法模型庫,提供全面且深入的電力數據分析和數據預測功能，對該電網公司的營銷環節進行全程、多維度的閉環分析。通該電力用戶信息數據挖掘系統，該電網公司實現了系統問題的及時發現以及高效處理，從而提高了服務質量以及營銷工作的效率。

3 結語

針對如何挖掘電網客戶服務系統中海量用戶數據信息的問題，本文基于大數據技術，提出一套電力用戶信息數據挖掘系統設計方案。通過某電網公司實測，證明該系統 通過整合電網公司的各業務數據庫, 構建綜合數據分析管理系統,能夠從中提取有價值的用戶信息數據，對其進行分析，并將結果通過圖形及報表等形式進行展示，為電網企業的績效評估、運營決策、用戶服務等提供數據支持。