試述智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)

陳澤鑫

隨著科學與電力技術(shù)的推動與發(fā)展，人們對于電力資源的需求越來越高，娛樂、教育、交通等各行各業(yè)對電力需求高，智能電網(wǎng)作為新型電力技術(shù)手段，同時也要保證在經(jīng)濟、安全的同時，降低輸電環(huán)節(jié)的風險。在電力的運輸過程中系統(tǒng)將產(chǎn)生海量的電力數(shù)據(jù)。隨著大數(shù)據(jù)技術(shù)的興起，這些電力數(shù)據(jù)將被應用于電力系統(tǒng)的數(shù)據(jù)挖掘分析，以便更好的應對智能電網(wǎng)在現(xiàn)實中遇到的各種難題。本文主要對現(xiàn)智能電網(wǎng)建設的技術(shù)現(xiàn)狀與技術(shù)挑戰(zhàn)進行試述。

智能電網(wǎng)、大數(shù)據(jù)處理技術(shù)、現(xiàn)狀、挑戰(zhàn)

隨著科技的進步與發(fā)展，如今每家每戶都安裝上了智能電表，作為智能電網(wǎng)中高效、便捷、安全管理終端，智能電表為電力公司與用戶建立起信息傳輸?shù)臉蛄海谥悄茈姳淼膶嶋H運用過程中將不斷的產(chǎn)生TB級甚至更多的離散大數(shù)據(jù)，這些數(shù)據(jù)來源不統(tǒng)一，分布較散，來自不同部門的數(shù)據(jù)又具有一定的相似性，可聚類，同時也能直觀的反映出目前城市的社會經(jīng)濟水平，說到底，智慧電力與每一位城市用戶生活息息相關(guān)，并且具有內(nèi)在聯(lián)系。

?

大數(shù)據(jù)技術(shù)的興起帶領(lǐng)著傳統(tǒng)行業(yè)邁上了智能化的步伐，如今，大數(shù)據(jù)技術(shù)已被應用于零售、傳統(tǒng)媒體、交通、安防等各行各業(yè)。在此基礎上，智能電網(wǎng)大數(shù)據(jù)技術(shù)得到了廣泛的應用，其中智能電表作為智能電網(wǎng)中的數(shù)據(jù)指導，依靠著先進的傳感技術(shù)與實時在線檢測技術(shù)走進家家戶戶，方便電力數(shù)據(jù)收集，智能電網(wǎng)中的大數(shù)據(jù)具備以下幾項特點：

分布廣泛且數(shù)據(jù)量大。智能電網(wǎng)大數(shù)據(jù)處理技術(shù)面對的首要問題就是數(shù)據(jù)規(guī)模龐大，隨著我國供電網(wǎng)絡的持續(xù)發(fā)展，各個網(wǎng)絡分配節(jié)點與負荷節(jié)點與日俱增，同時供電網(wǎng)絡與各負荷節(jié)點又相互影響制約著，這表明整個電網(wǎng)的數(shù)據(jù)量正在大規(guī)模增長，與之對應的，數(shù)據(jù)處理與存儲的工作量也在加大。

類型眾多且處理速度快。智能電網(wǎng)數(shù)據(jù)類型結(jié)構(gòu)復雜且類型繁多，涵蓋了結(jié)構(gòu)化、非結(jié)構(gòu)化與半結(jié)構(gòu)化數(shù)據(jù)，且不同類型的數(shù)據(jù)，采樣的頻率和要求的性能指標也是不一樣的。例如，設備終端的運行狀態(tài)檢測數(shù)據(jù)中的絕緣放電數(shù)據(jù)，其查詢頻率要大于上百kHz或者GHz，而普通的數(shù)據(jù)采樣頻率只需半小時一次即可。速度快表現(xiàn)在智能電網(wǎng)的對數(shù)據(jù)的處理要求必須要達到毫秒級的響應，超短時間內(nèi)完成對海量數(shù)據(jù)的分析能力，并且提供決策輔助。這與傳統(tǒng)的數(shù)據(jù)挖掘分析不同，對實時性、在線的數(shù)據(jù)流分析要求較高。

?

在進行大數(shù)據(jù)分析前，數(shù)據(jù)如何傳輸進入存儲介質(zhì)中是一個重要的問題，且存儲后的數(shù)據(jù)需完整準確。針對要處理的智能電網(wǎng)大數(shù)據(jù)進行分布式存儲，并對數(shù)據(jù)文件系統(tǒng)的命名空間進行管理，主要涉及三大塊，分別是數(shù)據(jù)源、存儲地址、存儲空間。如圖 1所示：

圖 1智能電網(wǎng)電數(shù)據(jù)的存儲

首先源數(shù)據(jù)進行預處理，簡單地說就是篩選并歸類，分為結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)，將不同類型、不同格式的數(shù)據(jù)進行標準化操作，將規(guī)范化的元數(shù)據(jù)以XML文檔格式存儲到Master節(jié)點。之后，利用VM-Ware等虛擬化技術(shù)對具有多源異構(gòu)特點的數(shù)據(jù)進行自動過濾，最終以負載均衡的方式對相關(guān)的數(shù)據(jù)存儲資源進行動態(tài)分配，對資源調(diào)度進行統(tǒng)一管理，內(nèi)部優(yōu)化資源的管控，外部處理需求的響應。

針對元數(shù)據(jù)則采用中間件對各類元數(shù)據(jù)進行分類，并重新整合，在管理效果方面，對元數(shù)據(jù)資源存儲庫進行了配置更新，新增“增、刪、查、關(guān)聯(lián)”等多個從屬模塊，使得系統(tǒng)運行更加穩(wěn)定，在智能電網(wǎng)中可采用No?SQL技術(shù)進行分布式的數(shù)據(jù)存儲，進而緩解了電網(wǎng)中海量數(shù)據(jù)的存儲壓力。

?

近年來，云計算已經(jīng)成為各大互聯(lián)網(wǎng)公司研究的熱點對象，屬于分布式計算的一種，通過利用網(wǎng)絡云將龐大的數(shù)據(jù)計算工程分割成數(shù)以萬計的輕量級計算，接著通過服務器集群對分割后的計算程序進行處理并將結(jié)果返回給客戶。現(xiàn)階段來說，云計算又不單單是簡單的分布式計算了，它已然結(jié)合了分布式、并行計算、虛擬化等混合技術(shù)，達到強大的網(wǎng)絡服務的目的。

?

在使用該項技術(shù)的前要先對龐大且復雜的電網(wǎng)數(shù)據(jù)做好數(shù)據(jù)預處理的事宜，主要工作包括數(shù)據(jù)過濾、數(shù)據(jù)清洗、數(shù)據(jù)格式轉(zhuǎn)化、數(shù)據(jù)去噪等操作，即利用云計算中的集成管理技術(shù)對數(shù)據(jù)進行抽取，并對所有數(shù)據(jù)信息進行融合、聚類等操作，待資源存儲庫中的數(shù)據(jù)全部處理完成后，統(tǒng)一對處理后的數(shù)據(jù)結(jié)果進行保存。使用此技術(shù)的同時，應注意在對數(shù)據(jù)進行統(tǒng)一融合前需要對原始數(shù)據(jù)進行預處理，保證數(shù)據(jù)的高質(zhì)量、完整性、準確性，無其他問題后可進行下一步處理操作。

?

在利用云計算技術(shù)對電網(wǎng)大數(shù)據(jù)進行分析時，需要轉(zhuǎn)換成特定的格式，變成能夠有效地被云計算表達的消息，而這些信息將被用來供領(lǐng)導審閱以便做出上層決策，有些信息甚至可以反映電網(wǎng)在運行過程中存在的潛在的問題，如果此類信息能夠被表示出來，則工作人員可迅速做出應對。此項技術(shù)就是要在離散的、隨機的、大量的電網(wǎng)數(shù)據(jù)中，分析得出具備一定規(guī)律性的內(nèi)容，這些內(nèi)容往往與電網(wǎng)運行的狀態(tài)、模式有著密切的關(guān)系，工作人員研讀這些消息表達式，可有效地開展電網(wǎng)管理工作。目前，在應用云計算處理電網(wǎng)大數(shù)據(jù)的同時，需要加強對消息轉(zhuǎn)化過程所用到的數(shù)據(jù)挖掘方法，包括聚類，關(guān)聯(lián)性分析法則等，進而對現(xiàn)有的常規(guī)方法進行合理的完善，在保證節(jié)約企業(yè)成本的前提下，開展云計算的大數(shù)據(jù)處理技術(shù)的研究。

?

基于云計算的電力大數(shù)據(jù)架構(gòu)如圖 2所示，架構(gòu)主要包含五大模塊，如下：

HDFS模塊。作為整個架構(gòu)的核心部分，此模塊用于對智能電網(wǎng)大數(shù)據(jù)進行持久化的存儲它能夠在集群中可靠的存儲大量的數(shù)據(jù)文件，所有存儲于HDFS的文件均已塊形式存在，每個數(shù)據(jù)塊都會配有3個副本文件，當其中一個副本出現(xiàn)故障時，系統(tǒng)將會自動訪問另外的塊，以此來保持負載均衡。

Hadoop模塊。它是開源的并行編程框架，可以把單獨的應用程序劃分成分多并行計算指令，在它上面可以運行龐大的計算指令，通過鍵值對應的形式先產(chǎn)生一組中間結(jié)果后，再對鍵值相同的的組別進行處理，最后將結(jié)果寫入HDFS模塊。

Hive模塊。作為Hadoop的數(shù)據(jù)倉庫，此模塊用來對大數(shù)據(jù)進行邏輯操作，既然是數(shù)據(jù)庫系統(tǒng)，它可以使用類似于SQL的語法來進行數(shù)據(jù)庫關(guān)聯(lián)性操作，并將操作結(jié)果存儲至HDFS模塊中。

任務管理模塊。任務管理模塊主要分為監(jiān)控與運行調(diào)度，前者主要用于監(jiān)控整個云平臺的運行狀態(tài)，后者主要根據(jù)系統(tǒng)管理員設定生效的指揮調(diào)度策略對數(shù)據(jù)分析任務進行統(tǒng)一管理與調(diào)度，并解析各個任務之間的作用關(guān)系和影響。

開發(fā)工具。此模塊主要用于形成人機交互界面，為管理員提供便捷化的管理配置。

?

在整個智能電網(wǎng)的中，龐大的數(shù)據(jù)規(guī)模導致了數(shù)據(jù)傳輸、存儲與分析的時間效率低下，不巧的是有些數(shù)據(jù)對實時性的需求相對較大，且采樣的頻率較高，在現(xiàn)有的云計算或者大數(shù)據(jù)平臺中難以實現(xiàn)。因此，數(shù)據(jù)的處理效率亟需解決。

?

做好了數(shù)據(jù)收集、預處理、分析、存儲，除了能為上層領(lǐng)導提供必要的決策輔助外，更應該友好的展現(xiàn)在用戶眼前，使得用戶能夠更加直觀的感受到數(shù)據(jù)處理后的樣貌，可以看到多元化數(shù)據(jù)表示的信息，實現(xiàn)數(shù)據(jù)以圖表的形式于用戶的交互。

?

隨著智能電網(wǎng)的快速發(fā)展，各類數(shù)據(jù)源的產(chǎn)生必將與日俱增，而且各類源數(shù)據(jù)的格式存在較大的差別，云平臺需要及時的對各類源數(shù)據(jù)進行采集，并且必定要處理不同數(shù)據(jù)類型、不同數(shù)據(jù)格式或者數(shù)據(jù)結(jié)構(gòu)所帶來的問題。

本文主要敘述了現(xiàn)階段大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)中的應用現(xiàn)狀以及后期應該解決的問題。由此可見，智能電網(wǎng)依靠云計算/大數(shù)據(jù)處理技術(shù)去解決當前海量數(shù)據(jù)的問題已成為必然，我們需要將大數(shù)據(jù)處理技術(shù)聚焦于智能電網(wǎng)中，使得其在電網(wǎng)中能夠發(fā)揮更好的作用。

[1]張碩.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].環(huán)球市場，2019，（18）：139

[2]白云飛.智能電網(wǎng)領(lǐng)域的大數(shù)據(jù)應用[J].集成電路應用，2019，36（9）：40-41

[3]胡鵬，郭麗瑩.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀[J].數(shù)碼設計（上），2018，（9）：106

[4]程宇航，王遠，劉芳嶠.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].百科論壇電子雜志，2019，（2）：450