基于電力光纖入戶的大數(shù)據(jù)應(yīng)用

鄒京希+曹敏+王德傾

伴隨著社會經(jīng)濟和信息技術(shù)的快速發(fā)展，電力光纖到戶的發(fā)展為電力監(jiān)控設(shè)備主站系統(tǒng)或用戶對實時信息的監(jiān)測查詢成為現(xiàn)實，本文基于電力光纖入戶獲取的大量設(shè)備終端實時數(shù)據(jù)信息，結(jié)合電網(wǎng)公司內(nèi)部系統(tǒng)相關(guān)歷史存儲數(shù)據(jù)，運用大數(shù)據(jù)分析計算技術(shù)，構(gòu)建大數(shù)據(jù)分析服務(wù)應(yīng)用。

【關(guān)鍵詞】電力光纖 光纖入戶 大數(shù)據(jù)應(yīng)用

電力光纖到戶是指在使用低壓通信的同時接入網(wǎng)中使用光纖復(fù)合低壓電纜，將光纖隨低壓電力線敷設(shè)，實現(xiàn)電力與通信雙業(yè)務(wù)，配合開展智能電網(wǎng)發(fā)展的重要技術(shù)。

國家發(fā)展改革委、國家能源局下發(fā)《關(guān)于促進智能電網(wǎng)發(fā)展的指導(dǎo)意見》，要求加快智能電網(wǎng)的建設(shè)，開展智能計量技術(shù)應(yīng)用，完善多元化計量模式和互動功能。推動智能電網(wǎng)建設(shè)，電力光纖到戶是關(guān)鍵，電力光纖到戶搭建了小區(qū)公共服務(wù)平臺，為智能電網(wǎng)配用電側(cè)的信息采集、智能互動用電等業(yè)務(wù)應(yīng)用提供了有力支持，同時利用富余帶寬為社區(qū)公共服務(wù)建設(shè)提供基礎(chǔ)。電力光纖到戶將獲取配網(wǎng)線路的監(jiān)控設(shè)備、用戶端智能電表、家庭智能用電設(shè)備等大量實時數(shù)據(jù)，特別是智能電表上的電流、電壓及每15分鐘的凍結(jié)表底電量數(shù)據(jù)及時上傳至主站系統(tǒng)，實現(xiàn)信息的實時采集、監(jiān)測，并結(jié)合電力企業(yè)的內(nèi)部營銷業(yè)務(wù)域、生產(chǎn)業(yè)務(wù)域及計量自動化業(yè)務(wù)域數(shù)據(jù)，應(yīng)用大數(shù)據(jù)技術(shù)構(gòu)建智能分析服務(wù)應(yīng)用，將優(yōu)化電網(wǎng)的運行和管控，提高供電可靠性，提升客戶服務(wù)水平。

1 現(xiàn)狀分析

面對新形勢新挑戰(zhàn)，我國提出了加快建設(shè)以特高壓電網(wǎng)為骨干網(wǎng)架，各級電網(wǎng)協(xié)調(diào)發(fā)展，形成以信息化、自動化、互動化為特征的智能電網(wǎng)，努力實現(xiàn)我國傳統(tǒng)電網(wǎng)到現(xiàn)代電網(wǎng)的升級和跨越。

國家電網(wǎng)已開展電力光纖入戶智能小區(qū)/樓宇建設(shè)，基本通過在低壓通信接入網(wǎng)中采用光纖復(fù)合低壓電纜（OPLC），將光纖隨低壓電力線鋪設(shè)。光纖到戶主要集中在新小區(qū)，老舊小區(qū)智能電網(wǎng)的需求大多依靠電力線寬帶載波實現(xiàn)。南方電網(wǎng)在電力光纖入戶上已做好頂層設(shè)計，并開展相關(guān)課題研究和示范應(yīng)用，按照規(guī)劃預(yù)計到2020年，全網(wǎng)電表自動抄表率達到95%。

通過電力光纖到戶，可發(fā)揮光纖信息通道功能，實現(xiàn)居民家里用水、用電、用氣等信息的快速采集，為電力用戶用電情況查詢、業(yè)務(wù)辦理及用電分析服務(wù)等基本服務(wù)功能，但目前基于大數(shù)據(jù)技術(shù)的光纖入戶應(yīng)用基本處于探索研究階段，本文將根據(jù)云南電網(wǎng)有限責(zé)任公司的信息化現(xiàn)狀對基于光纖入戶的大數(shù)據(jù)技術(shù)服務(wù)分析應(yīng)用進行研究探索，以構(gòu)建大數(shù)據(jù)的光纖入戶信息分析服務(wù)應(yīng)用平臺，提供電網(wǎng)運營管控和客戶服務(wù)功能應(yīng)用。

2 技術(shù)架構(gòu)設(shè)計

光纖入戶信息的大數(shù)據(jù)技術(shù)應(yīng)用架構(gòu)設(shè)計分為數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)分析層及服務(wù)應(yīng)用層構(gòu)成，如圖1信息服務(wù)分析應(yīng)用總體設(shè)計所示。

信息服務(wù)分析應(yīng)用總體設(shè)計主要針對電力行業(yè)的營銷數(shù)據(jù)、計量自動化數(shù)據(jù)、生產(chǎn)數(shù)據(jù)及現(xiàn)場設(shè)備數(shù)據(jù)的不同數(shù)據(jù)形式進行集成，包括關(guān)系型、非關(guān)系型及流數(shù)據(jù)等，通過技術(shù)組件MapReduce、Spark、Storm等大數(shù)據(jù)技術(shù)，并結(jié)合聚類（距離算法、kmeans算法）和關(guān)聯(lián)（邏輯樹、神經(jīng)網(wǎng)絡(luò)）等算法實現(xiàn)信息的分析，為應(yīng)用提供實時信息查詢、設(shè)備狀態(tài)監(jiān)測及用電分析服務(wù)等功能應(yīng)用。

2.1 離線數(shù)據(jù)集成實現(xiàn)

2.1.1 集成架構(gòu)設(shè)計

離線數(shù)據(jù)主要包含各子系統(tǒng)存量數(shù)據(jù)及增量數(shù)據(jù)，數(shù)據(jù)集成主要通過ETL實現(xiàn)跨系統(tǒng)、異構(gòu)數(shù)據(jù)集成。跨業(yè)務(wù)系統(tǒng)的異構(gòu)數(shù)據(jù)源之間數(shù)據(jù)差異性大，不僅存在結(jié)構(gòu)化數(shù)據(jù)，而且存在大量半結(jié)構(gòu)數(shù)據(jù)及非結(jié)構(gòu)數(shù)據(jù)；同時，異構(gòu)數(shù)據(jù)的ETL操作要求數(shù)據(jù)在抽取和加載的過程中進行遠程傳輸，本方案針對離線跨系統(tǒng)異構(gòu)數(shù)據(jù)采用基于Kettle構(gòu)建ETL集成模型。對分散在各業(yè)務(wù)系統(tǒng)中的現(xiàn)有數(shù)據(jù)進行抽取、轉(zhuǎn)換、清洗和加載。如圖2離線數(shù)據(jù)集成架構(gòu)所示。

數(shù)據(jù)抽取過程包括數(shù)據(jù)剖析、增量數(shù)據(jù)捕獲以及數(shù)據(jù)抽取三個環(huán)節(jié)。數(shù)據(jù)剖析是對源數(shù)據(jù)中數(shù)據(jù)結(jié)構(gòu)及其內(nèi)容的統(tǒng)計分析；增量數(shù)據(jù)捕獲是實現(xiàn)增量數(shù)據(jù)抽取的解決方案；數(shù)據(jù)獲取則是對源數(shù)據(jù)的獲取。

2.1.2 離線數(shù)據(jù)計算

針對系統(tǒng)應(yīng)用到的離線數(shù)據(jù)計算框架主要采用MapReduce及Spark組件。離線批量處理主要針對營銷客戶用電相關(guān)數(shù)據(jù)和計量自動化設(shè)備監(jiān)測歷史數(shù)據(jù)，由于其數(shù)據(jù)的有序性和準(zhǔn)確性相對較高，能充分挖掘用戶用電行為習(xí)慣及設(shè)備運行特征，使數(shù)據(jù)分析挖掘價值更貼近實際，為決策等提供有效的數(shù)據(jù)依據(jù)。

MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算，適用于分析如電力企業(yè)的幾年營銷業(yè)務(wù)域、生產(chǎn)業(yè)務(wù)域或計量自動化等大量歷史存儲數(shù)據(jù)，其技術(shù)實現(xiàn)原理如圖3所示。

Spark是UC Berkeley AMP lab所開源的類HadoopMapReduce的通用并行框架，Spark擁有HadoopMapReduce所具有的優(yōu)點；但不同于MapReduce的是Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學(xué)習(xí)等需要迭代的MapReduce的算法，其技術(shù)實現(xiàn)原理如圖4所示。

2.2 實時數(shù)據(jù)集成實現(xiàn)

2.2.1 集成架構(gòu)設(shè)計

用電用戶對用電信息的實時信息查詢及電力企業(yè)內(nèi)部人員對設(shè)備的實時運行監(jiān)測是電力行業(yè)實時性要求較高的常規(guī)業(yè)務(wù)工作，特別是對設(shè)備實時運行的分析統(tǒng)計和故障預(yù)測應(yīng)用是保證供電可靠性重要手段，實時數(shù)據(jù)集成架構(gòu)如圖5所示，服務(wù)應(yīng)用分析平臺實時數(shù)據(jù)集成主要針對光纖通道直接接入智能電表數(shù)據(jù)、家庭智能家居和配網(wǎng)線路上的各類監(jiān)測設(shè)備數(shù)據(jù)，基于SOA的Web service集成接口實現(xiàn)數(shù)據(jù)的采集，再通過多任務(wù)進程及分區(qū)方式進行流數(shù)據(jù)的接入計算。

2.2.2 流式數(shù)據(jù)計算

流式計算中，無法確定數(shù)據(jù)的到來時刻和到來順序，也無法將全部數(shù)據(jù)存儲起來。因此，不再進行流式數(shù)據(jù)的存儲，而是當(dāng)流動的數(shù)據(jù)到來后在內(nèi)存中直接進行數(shù)據(jù)的實時計算。流式計算主要針對計量設(shè)備的電流、電壓、表底數(shù)據(jù)及潮流等信息通過電力光纖通道傳輸至服務(wù)分析應(yīng)用主站平臺服務(wù)器進行實時流式計算，通過移動應(yīng)用及系統(tǒng)主站提供可視化展示。

2.3 數(shù)據(jù)處理

信息服務(wù)分析服務(wù)平臺建立不同的數(shù)據(jù)分析處理模型，主要包括聚類和分類算法模型的應(yīng)用，找出用電行為和設(shè)備運行的規(guī)律特征，并不斷的訓(xùn)練和驗證分析模型的準(zhǔn)確度，實現(xiàn)電力數(shù)據(jù)的大數(shù)據(jù)價值挖掘。

聚類分析能將高維數(shù)據(jù)集合劃分為很多類，使得同一類內(nèi)數(shù)據(jù)對象相似度最高，類與類之間的數(shù)據(jù)對象的相似度最小即相異度最大。kmeans算法的應(yīng)用以用電用戶用電量為分類依據(jù)，設(shè)定0-50、50-100等不同層次的用電量，即為K值，建立相似或相似關(guān)系，通過計算機對所有用戶進行逐一比對；將所有用戶進行歸類，以繳費時間為分類依據(jù)進行二次聚類，根據(jù)繳費的及時率設(shè)置用電用戶的優(yōu)質(zhì)等級，經(jīng)過二次組合分類即可快速的在所有用電用戶中科學(xué)的篩選出優(yōu)質(zhì)的用電用戶，實現(xiàn)用電行為特征的分析挖掘。

根據(jù)主站系統(tǒng)獲取的大量的設(shè)備運行數(shù)據(jù)和非運行數(shù)據(jù)，采用設(shè)備狀態(tài)評估大數(shù)據(jù)挖掘分析方法，基于多元多維度數(shù)據(jù)進行狀態(tài)評估，重點考察設(shè)備狀態(tài)量（ 包括設(shè)備權(quán)限、故障的結(jié)果性狀態(tài)量） 之間的關(guān)聯(lián)性。根據(jù)配網(wǎng)線路監(jiān)測設(shè)備、智能電表、家庭智能用電設(shè)備等實時信息的采集，結(jié)合歷史運行計量設(shè)備數(shù)據(jù)實現(xiàn)大數(shù)據(jù)的設(shè)備狀態(tài)運行評估等應(yīng)用，為運行決策提供重要數(shù)據(jù)支撐，提高供電可靠性。

3 結(jié)語

本文基于電力光纖通道獲取的生產(chǎn)設(shè)備運行實時數(shù)據(jù)，并結(jié)合電力營銷、生產(chǎn)及計量業(yè)務(wù)相關(guān)歷史數(shù)據(jù)，采用大數(shù)據(jù)挖掘分析技術(shù)，通過對實時運行數(shù)據(jù)流式處理和歷史數(shù)據(jù)的批量處理，構(gòu)建大數(shù)據(jù)分析服務(wù)應(yīng)用并進行示范，實現(xiàn)大數(shù)據(jù)技術(shù)在電力光纖入戶領(lǐng)域的應(yīng)用，增強電網(wǎng)運行管控和客戶服務(wù)能力。

參考文獻

[1]趙丹陽，帥繼先，郝婷婷.關(guān)于電力光纖到戶關(guān)鍵技術(shù)的綜述[J].商品與質(zhì)量，2016（40）.

[2]國家發(fā)展改革委 國家能源局.《關(guān)于促進智能電網(wǎng)發(fā)展的指導(dǎo)意見》.發(fā)改運行[2015]1518號.

[3] 喬學(xué)明，翟穎，孟平，張蓉蓉，王超.基于光纖到戶的智能互動用電技術(shù)研究與應(yīng)用[J].電力信息與通信技術(shù)，2013（10）.

[4]孫大為，張廣艷，鄭緯民.大數(shù)據(jù)流式計算：關(guān)鍵技術(shù)及系統(tǒng)實例[J].軟件學(xué)報，2014（25）.

[5]劉莉，王剛，翟登輝.k-means 聚類算法在負荷曲線分類中的應(yīng)用[J].電力系統(tǒng)保護與控制，2011（23）.

[6]宮宇，呂金壯.大數(shù)據(jù)挖掘分析在電力設(shè)備狀態(tài)評估中的應(yīng)用[J].南方電網(wǎng)技術(shù)，2014（06）.

作者單位

1.云南電網(wǎng)有限責(zé)任公司電力科學(xué)研究院 云南省昆明市 650217

2.云南云電同方科技有限公司 云南省昆明市 650217