大數(shù)據(jù)分析技術(shù)在用電數(shù)據(jù)采集系統(tǒng)的應(yīng)用

楊強(qiáng)

摘要：隨著人們生活水平的不斷提高，日常用電量不斷增加，用電數(shù)據(jù)采集系統(tǒng)的弊端逐漸顯露出來(lái)。本文從對(duì)用電數(shù)據(jù)采集系統(tǒng)研究出發(fā)，結(jié)合實(shí)際數(shù)據(jù)收集情況，總結(jié)出用電數(shù)據(jù)采集系統(tǒng)中大數(shù)據(jù)分析的應(yīng)用方式，即對(duì)數(shù)據(jù)的載入與存儲(chǔ)、對(duì)數(shù)據(jù)進(jìn)行計(jì)算、深度挖掘相關(guān)數(shù)據(jù)。

關(guān)鍵詞：大數(shù)據(jù)分析技術(shù);數(shù)據(jù)采集;數(shù)據(jù)計(jì)算

引言：用電數(shù)據(jù)采集系統(tǒng)是通過(guò)采集和分析終端客戶的用電量和變壓器的配對(duì)數(shù)據(jù)，監(jiān)控住戶實(shí)際用電量、為階梯電價(jià)提供依據(jù)、分析線路損壞的的原因、管理超負(fù)荷的電路，最終實(shí)現(xiàn)住戶合理使用電力、減少電路損壞、降低能源損耗、節(jié)約用電費(fèi)用的目的。用戶可以自主的查詢相關(guān)用電量，進(jìn)行合理調(diào)配。

用電數(shù)據(jù)采集系統(tǒng)研究

2005年2月2日國(guó)家國(guó)務(wù)院發(fā)布了《電力監(jiān)管條例》，要求電力監(jiān)管機(jī)構(gòu)對(duì)電力企業(yè)、電力調(diào)度交易機(jī)構(gòu)執(zhí)行電力市場(chǎng)運(yùn)行規(guī)則的情況，以及電力調(diào)度交易機(jī)構(gòu)執(zhí)行電力調(diào)度規(guī)則的情況實(shí)施監(jiān)管。加強(qiáng)對(duì)電力的合理分配，保障居民的正常用電量。為了進(jìn)一步加強(qiáng)對(duì)電力的管理，維持生態(tài)穩(wěn)定，國(guó)家于2011年1月實(shí)施了《電力需求側(cè)管理辦法》，明確了應(yīng)該做好市場(chǎng)分析，做好資源調(diào)配管理;根據(jù)各地的實(shí)際情況制定相應(yīng)的側(cè)需求管理，節(jié)約資源;制定階梯電價(jià)，鼓勵(lì)居民避開(kāi)高峰期;發(fā)掘潛在用戶，為期提供節(jié)能服務(wù)，加強(qiáng)對(duì)用戶的用電情況的數(shù)據(jù)分析，制定用電管理。

用電數(shù)據(jù)采集系統(tǒng)具有自動(dòng)抄表、電能數(shù)據(jù)分析、系統(tǒng)運(yùn)行分析、主站運(yùn)行監(jiān)測(cè)的特征。自動(dòng)抄表的流程為電表安裝，然后進(jìn)行自動(dòng)抄表投運(yùn)，進(jìn)而執(zhí)行自動(dòng)抄表，其中失敗的數(shù)據(jù)在由人工進(jìn)行，接著匯總統(tǒng)一上傳抄表任務(wù)，最后自動(dòng)結(jié)算出賬單。電能數(shù)據(jù)分析是按照年、季度、月、日、時(shí)段的時(shí)間范圍，對(duì)電量、負(fù)荷、電壓、電流數(shù)據(jù)進(jìn)行分析。系統(tǒng)運(yùn)行分析是對(duì)采集成功率、抄表成功率、終端實(shí)時(shí)在線率、終端運(yùn)行在線監(jiān)視、電表運(yùn)行狀態(tài)監(jiān)視進(jìn)行分析。主站運(yùn)行監(jiān)測(cè)是由主站設(shè)備、網(wǎng)絡(luò)設(shè)備、GPS時(shí)鐘、服務(wù)模塊、數(shù)據(jù)庫(kù)組成。

二、用電數(shù)據(jù)采集系統(tǒng)中大數(shù)據(jù)分析的應(yīng)用方式

數(shù)據(jù)載入和存儲(chǔ)

原有的用電數(shù)據(jù)采集系統(tǒng)是將在終端采集的數(shù)據(jù)統(tǒng)一存儲(chǔ)到磁盤(pán)中，但是這樣存在很大弊端，因?yàn)榇疟P(pán)一旦損壞，就會(huì)導(dǎo)致數(shù)據(jù)流失，給企業(yè)帶來(lái)經(jīng)濟(jì)損失，影響正常的分析與運(yùn)營(yíng)工作。如今把大數(shù)據(jù)技術(shù)應(yīng)用到用電數(shù)據(jù)采集系統(tǒng)中去，實(shí)行分布式的存儲(chǔ)方法，使用模塊或者設(shè)置節(jié)點(diǎn)的方式通過(guò)集群的方式將資源系統(tǒng)化，使的企業(yè)用較低的硬件成本和較高的靈活性，搭建自身的用電數(shù)據(jù)采集系統(tǒng)[1]。在實(shí)際采集中使用Flume，對(duì)數(shù)據(jù)進(jìn)行收集整理后進(jìn)行輸送，在完成前會(huì)進(jìn)行自動(dòng)備份，完成后會(huì)自動(dòng)刪除，保障了數(shù)據(jù)的安全穩(wěn)定性。Agent是Flume的運(yùn)行的重中之重，是一個(gè)結(jié)構(gòu)完善的收據(jù)收集工具。Agent是由source、channel、sink這三部分組成的。Source可以接受外部發(fā)送的數(shù)據(jù)，可以根據(jù)不同的數(shù)據(jù)調(diào)整對(duì)應(yīng)的格式，可以監(jiān)測(cè)文件中數(shù)據(jù)的變化。Channel具有存儲(chǔ)的功能，它接受Source的數(shù)據(jù)。Channel中的數(shù)據(jù)只有進(jìn)入下一個(gè)終端，才會(huì)刪除現(xiàn)有的數(shù)據(jù)，當(dāng)sink寫(xiě)入失敗后，系統(tǒng)又會(huì)自動(dòng)重啟，保障數(shù)據(jù)的安全。

數(shù)據(jù)計(jì)算

大數(shù)據(jù)技術(shù)在用電數(shù)據(jù)采集系統(tǒng)中的數(shù)據(jù)計(jì)算方式分為兩種即實(shí)時(shí)計(jì)算和離線計(jì)算。離線計(jì)算是指在計(jì)算前已經(jīng)獲知所有數(shù)據(jù)，實(shí)施計(jì)算不會(huì)對(duì)原有數(shù)據(jù)造成影響。在離線計(jì)算中，運(yùn)用Hdfs進(jìn)行數(shù)據(jù)存儲(chǔ)，通過(guò)MapReduce實(shí)現(xiàn)數(shù)據(jù)的大批量計(jì)算整合，計(jì)算整合后的數(shù)據(jù)統(tǒng)一存儲(chǔ)到Hive中，進(jìn)行統(tǒng)一展示。離線計(jì)算具有能夠計(jì)算大量數(shù)據(jù)且保存時(shí)間長(zhǎng)，可以多次的進(jìn)行批量計(jì)算，保存原有的數(shù)據(jù)，快速查詢計(jì)算結(jié)果的特點(diǎn)。實(shí)時(shí)計(jì)算是指可以以序列化的方式一個(gè)個(gè)輸入相應(yīng)的數(shù)據(jù)，不必再一開(kāi)始的時(shí)候就獲知所有的數(shù)據(jù)。傳統(tǒng)的整理方式是，先進(jìn)行數(shù)據(jù)的收集工作，之后匯總到電腦中，在需要時(shí)在進(jìn)行系統(tǒng)搜索，這一過(guò)程雖然比較方便，但是沒(méi)有進(jìn)行合理調(diào)配，浪費(fèi)了大量時(shí)間。

目前采取離線計(jì)算和實(shí)時(shí)計(jì)算的方式針對(duì)不同情況作出分析，可以準(zhǔn)確的把握數(shù)據(jù)節(jié)約成本。Hadoop是離線計(jì)算的框架，具有高可靠性、高效性、高擴(kuò)展性、高容錯(cuò)性、低成本的特點(diǎn)[2]。Hadoop適用于整合電流曲線等系統(tǒng)場(chǎng)景，可以清晰地呈現(xiàn)一段時(shí)間內(nèi)的電流變化。Spark是實(shí)時(shí)計(jì)算的框架，具有支持交互式計(jì)算和復(fù)雜計(jì)算的特點(diǎn)，主要應(yīng)用于計(jì)算本身。Spark適用于統(tǒng)計(jì)某一時(shí)段的用電情況，分析實(shí)時(shí)用電量。

數(shù)據(jù)的深度挖掘

用電信息采集系統(tǒng)每年接收的和處理的數(shù)據(jù)非常繁雜，例如全國(guó)每年用電信息采集系統(tǒng)接收的數(shù)據(jù)量的平均值就達(dá)到了5TB，對(duì)于一些大城市而言，數(shù)據(jù)量就更加龐大了。應(yīng)該采用大數(shù)據(jù)技術(shù)，對(duì)相關(guān)的用電數(shù)據(jù)進(jìn)行整合，分析對(duì)比挖掘其潛在的趨勢(shì)，檢測(cè)運(yùn)營(yíng)狀態(tài)，促進(jìn)用電采集系統(tǒng)可以精細(xì)化準(zhǔn)確化的進(jìn)行運(yùn)轉(zhuǎn)。可以運(yùn)用層次聚集類挖掘、密度聚集類挖掘、關(guān)聯(lián)挖掘的方法，通過(guò)數(shù)據(jù)劃分測(cè)率和任務(wù)劃分策略進(jìn)行計(jì)算強(qiáng)度分析和并行化效率分析。通過(guò)算法階段優(yōu)化、組合算優(yōu)化、算法迭代優(yōu)化、算法服務(wù)管理，對(duì)用點(diǎn)預(yù)測(cè)、負(fù)荷預(yù)測(cè)、設(shè)備故障智能診斷進(jìn)行分析管理。

結(jié)論：綜上所述，大數(shù)分析技術(shù)能夠優(yōu)化用電數(shù)據(jù)采集系統(tǒng)，為其提供更加直觀的數(shù)據(jù)分析，及時(shí)解析用電故障及價(jià)格問(wèn)題。隨著終端數(shù)據(jù)的增多，大數(shù)據(jù)分析技術(shù)能夠起到存儲(chǔ)和計(jì)算的功能，對(duì)數(shù)據(jù)有效整合，解決用電數(shù)據(jù)采集系統(tǒng)中存在的問(wèn)題，細(xì)化用電結(jié)構(gòu)，推動(dòng)數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化發(fā)展。

參考文獻(xiàn)：

[1]于小青，齊林海.基于流數(shù)據(jù)聚類算法的電力大數(shù)據(jù)異常檢測(cè)[J].電力信息與通信技術(shù)，2020，18（03）：8-14.

[2]黃文思，陳婧，谷峪.基于大數(shù)據(jù)技術(shù)的營(yíng)配調(diào)數(shù)據(jù)智能匹配和識(shí)別方案研究[J].通信電源技術(shù)，2019，36（05）：161-162+164.