大數(shù)據(jù)技術(shù)在電力行業(yè)的研究與應(yīng)用

沈佳++王天軍++尹蕊++馬宗達

摘 要

隨著信息通信技術(shù)的不斷進步，數(shù)據(jù)已經(jīng)成為關(guān)乎企業(yè)發(fā)展的重要戰(zhàn)略資源，大數(shù)據(jù)的分析應(yīng)用得到了各行各業(yè)的強烈關(guān)注。本文首先介紹了大數(shù)據(jù)分析技術(shù)在電力行業(yè)的落地-企業(yè)級大數(shù)據(jù)平臺的功能及組件實現(xiàn)，隨后描述了電網(wǎng)業(yè)務(wù)在企業(yè)級大數(shù)據(jù)平臺中的兩項典型應(yīng)用，最后對大數(shù)據(jù)分析技術(shù)在電力行業(yè)的應(yīng)用前景做了展望。

【關(guān)鍵詞】大數(shù)據(jù) 電力 技術(shù)

隨著信息通信技術(shù)的不斷進步，數(shù)據(jù)已經(jīng)成為關(guān)乎企業(yè)發(fā)展的重要戰(zhàn)略資源。大數(shù)據(jù)的概念從產(chǎn)生之日起就獲得了各行各業(yè)的強烈關(guān)注，有關(guān)大數(shù)據(jù)的應(yīng)用也不斷的深入各個領(lǐng)域，觸動了行業(yè)的大量變革。電力行業(yè)自“三集五大”管理體系建立以來，信息系統(tǒng)的應(yīng)用已經(jīng)貫穿了企業(yè)生產(chǎn)經(jīng)營管理的各個環(huán)節(jié)，過程中累積了海量的數(shù)據(jù)資源，其中包括了結(jié)構(gòu)化、非結(jié)構(gòu)化、海量歷史/準實時和地理信息數(shù)據(jù)，提升數(shù)據(jù)的應(yīng)用水平，挖掘數(shù)據(jù)的商業(yè)價值成為了亟待考慮的問題。

1 大數(shù)據(jù)分析技術(shù)路線

為了提升電網(wǎng)數(shù)據(jù)資源的整合、處理及價值挖掘水平，在充分借鑒互聯(lián)網(wǎng)思維的基礎(chǔ)上，構(gòu)建“服務(wù)型平臺、輕量級應(yīng)用、全景化分析”的應(yīng)用管理模應(yīng)運而生。構(gòu)建統(tǒng)一的企業(yè)級大數(shù)據(jù)平臺，使用有別于傳統(tǒng)的采集、存儲和處理技術(shù)，實現(xiàn)了橫跨多個業(yè)務(wù)類型、快速靈活、可定制的數(shù)據(jù)關(guān)聯(lián)分析，同時也滿足滿企業(yè)管理提升和業(yè)務(wù)創(chuàng)新的需求。

企業(yè)級大數(shù)據(jù)平臺在總體上分為數(shù)據(jù)整合、數(shù)據(jù)存儲、數(shù)據(jù)計算、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)五個主要模塊及安全、管理配置、數(shù)據(jù)管理等配套管理模塊。功能架構(gòu)如圖1所示。

1.1 數(shù)據(jù)整合

數(shù)據(jù)整合采用Kafka、Sqoop、增量捕獲工具等多種技術(shù)手段，滿足了關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫等異構(gòu)數(shù)據(jù)源的接入需求，提供數(shù)據(jù)的實時推送、抽取等采集功能，能夠支撐數(shù)據(jù)按照不同的采集頻率進行接入。

1.2 數(shù)據(jù)存儲

基于X86集群架構(gòu)，采用分布式技術(shù)構(gòu)建成本較低、可支持靈活擴展的存儲系統(tǒng)，支撐公司四類數(shù)據(jù)（結(jié)構(gòu)化、非結(jié)構(gòu)化、海量歷史準實時、地理信息數(shù)據(jù)）的存儲需求。同時，支持高效的數(shù)據(jù)即席查詢、非結(jié)構(gòu)化數(shù)據(jù)處理、內(nèi)存讀寫操作等功能。

1.3 數(shù)據(jù)計算

提供批量計算、內(nèi)存計算、流計算、查詢計算等功能滿足不同時效性的計算需求。批量計算能夠支持大批量數(shù)據(jù)的離線分析，如歷史數(shù)據(jù)報表分析。內(nèi)存計算支持交互性分析，如全省用電數(shù)據(jù)在線統(tǒng)計。流計算支持實時處理，如電表數(shù)據(jù)實時處理、預警。查詢計算基于分布式文件存儲，提供類似sql的查詢分析技術(shù)，將查詢語句轉(zhuǎn)譯為并行的分布式計算任務(wù)。

1.4 數(shù)據(jù)分析

能夠提供橫跨多個業(yè)務(wù)的分析模型和數(shù)據(jù)挖掘算法，構(gòu)建模型庫和算法庫，開展數(shù)據(jù)模擬分析和計算預測，滿足各類應(yīng)用的分析挖掘需求，為分析決策類應(yīng)用提供支撐。

1.5 平臺服務(wù)

平臺服務(wù)層是統(tǒng)一的企業(yè)及大數(shù)據(jù)平臺服務(wù)中心，其中封裝了各類服務(wù)如存儲服務(wù)、分析服務(wù)、計算服務(wù)及展現(xiàn)服務(wù)等，統(tǒng)一對外提供服務(wù)支持。

1.6 其他

從配置管理、安全和數(shù)據(jù)管理方面，提供了大數(shù)據(jù)平臺的配套管理功能，實現(xiàn)各個組件集中化的監(jiān)控、配置，數(shù)據(jù)接入的身份權(quán)限控制和安全審計功能。

2 大數(shù)據(jù)分析典型場景應(yīng)用

通過企業(yè)級大數(shù)據(jù)平臺進行數(shù)據(jù)整合挖掘分析，實現(xiàn)了對電網(wǎng)生產(chǎn)運行及經(jīng)營管理等方面的進一步優(yōu)化，初期實現(xiàn)了10個方面的典型應(yīng)用。以防竊電預警分析場景和基于氣溫變化對客戶用電影響分析場景為例。

2.1 防竊電預警分析場景

該場景是基于用電信息采集系統(tǒng)的海量數(shù)據(jù)，建立防竊電分析模型，結(jié)合電網(wǎng)GIS信息，采用大數(shù)據(jù)挖掘和數(shù)據(jù)關(guān)聯(lián)技術(shù)實現(xiàn)對現(xiàn)場計量異常情況、竊電行為的在線監(jiān)測，靈活開展防竊電業(yè)務(wù)，及時發(fā)現(xiàn)異常行為，挽回電網(wǎng)經(jīng)濟損失。

在實際應(yīng)用中運用關(guān)聯(lián)度累加算法，建立防竊電異常分析模型，實現(xiàn)對現(xiàn)場計量異常情況、竊電行為的在線監(jiān)測，分析用戶竊電嫌疑程度。某省公司基于該場景開展防竊電工作，竊電用戶稽核命中率提升30%，工作效率提升4倍。

2.2 基于氣溫變化對客戶用電影響分析場景

該場景是基于營銷用戶檔案數(shù)據(jù)、用電信息采集電量、負荷數(shù)據(jù)，構(gòu)建用戶用電行為特征模型庫，結(jié)合溫度變化等數(shù)據(jù)，對用戶用電行為特征影響進行分析。在傳統(tǒng)短期負荷預測方法中增加氣溫等影響因素的輔助輸入變量，對于提高短期日負荷預測精度、增加電力系統(tǒng)調(diào)度效率以及緩解區(qū)域供電不足等方面具有重要意義。

在實際應(yīng)用中運用隨機森林結(jié)合時間序列、聚類模型（K-means）構(gòu)建負荷預測模型、客戶用電特征細分模型，建設(shè)用電行為特征分析、用電影響因素分析場景，對每類客戶群從客戶價值、信用風險等方面綜合評估，實現(xiàn)用戶類型細分，并對不同溫度對用電的影響進行總體分析。某省公司將大客戶歸類為風險、優(yōu)質(zhì)、普通、發(fā)展等4類用戶，其中風險客戶識別率提升30%。

3 結(jié)語

企業(yè)級大數(shù)據(jù)平臺的構(gòu)建及應(yīng)用，使大數(shù)據(jù)的價值得到了一定程度的發(fā)揮，也給企業(yè)信息管理模式帶來了巨大的變革，提高了公司數(shù)據(jù)分析應(yīng)用水平。未來，大數(shù)據(jù)技術(shù)將繼續(xù)服務(wù)于電網(wǎng)生產(chǎn)、經(jīng)營管理和優(yōu)質(zhì)服務(wù)等領(lǐng)域，構(gòu)建提升優(yōu)化、預測預警、企業(yè)決策等類型的大數(shù)據(jù)應(yīng)用場景，進一步提高企業(yè)服務(wù)能力，促進管理提升和業(yè)務(wù)創(chuàng)新。

作者單位

國網(wǎng)新疆電力公司信息通信公司 新疆維吾爾自治區(qū)烏魯木齊市 830000