云計算視野中的電力大數據分析技術與應用

高騫 徐超 楊俊義 張飛 顧姝姝

摘 要：21世紀以來智能電網迅猛發展，與此同時也帶來了數量龐大、種類繁多的海量數據，傳統的電力數據處理系統已經不能滿足當前的實際需求。云計算作為一種基于互聯網的服務模式，通過虛擬化技術，以其可異構計算資源、海量數據的存儲和管理能力、快速高效的計算分析能力、易于動態擴展等特點給電力大數據分析帶來了新的理念與思路。基于基礎圖表、SVG和地圖的可視化方法則充分運用了電力大數據，借助這些新技術和新方法，電力數據分析與應用的平臺也在不斷發展和提高。

關鍵詞：云計算 數據分析 數據應用 電力大數據

電能自十八世紀發明以來，與我們的生活休戚相關。一方面電能提高了居民生活質量，另一方面對促進國家經濟發展、加強國防建設、推進社會和諧等都產生了深遠的影響。電能的應用程度也成為衡量一個國家發展水平的重要標準之一。在進入21世紀以來，電能進入了高速、全面、系統的發展時期，智能電網的概念應運而生，智能電網建設的熱潮在各個國家如火如荼地進行著。但隨著智能電網爆發式的增長，各類監測數據不斷擴大，種類不斷增多，價值不斷提高，現有的傳統電力數據處理系統無法滿足這種需求。而云計算的出現，如同第三次革命浪潮一般，徹底改變了我們的生活方式和生產方式，也給電力數據的分析與處理帶來了全新的理念和思路。

在云計算的技術支撐之下，電網系統的數據收集、數據監測、數據分析和數據應用都實現了大數據式的革新和升級，在這個全新的高性能的平臺上，能夠解決很多以往電力大數據發展遇到的問題，并開展全面的應用服務。

一、云計算在海量電力大數據分析上的優勢

云計算是一種通過網絡來提供的虛擬化服務，因此它與互聯網是密不可分的。云計算可以充分利用各種硬件和軟件資源如存儲設備、網絡系統、服務器等，是一種可以為各種互聯網應用提供基礎架構服務、硬件服務、平臺服務、存儲服務和軟件服務的系統。在中國，云計算也受到了越來越多的重視。總體來說，云計算技術的優勢非常明顯，結合本文主題，主要從以下幾個層面來研究：

（一）可異構計算資源

在傳統的數據平臺上，由于各類資源都需要有統一的接口，因此傳統數據分析具有同構性的技術特點，但召集資源信息異常繁雜，一致接口則是很能達到的一種狀態。而云計算可以采用一些虛擬化技術如計算、存儲等，將計算機服務器等不同組織上的零散、無序的資源匯總整合，從而為數據收集、分析和應用提供了全新的思路和技術支撐。

（二）海量數據的存儲和管理能力

我們知道電網中的數據數量大、種類大，因此處理電網大數據的平臺也必須達到相應的數據管理能力。傳統數據存儲容量有限，存儲狀態不夠穩定，數據有丟失和排列失序的可能，想對這些數據進行管理和分析，實操起來難度非常大。而云計算則完全不同，在虛擬化技術的支持下，大量混亂無序的資源得到了分門別類的歸集和識別，狀態穩定、獲取簡便、處理起來能夠實現智能化，受一些客觀因素的影響變少，根據不同的指令，實現不同的功能和服務模式。

（三）快速高效的計算分析能力

分析速度快慢，解讀效率高底是衡量數據挖掘與分析能力的重要指標。對于電力系統來說，海量的電力大數據需要通過復雜繁瑣的計算方法來進行有效評估，并產生預警機制。云計算智能化的并行計算模式，能夠最大程度的節約成本提高效率，從而實現電力大數據分析與應用的基本需求和高參數需求。

（四）易于動態擴展

傳統的電力數據分析平臺，只有通過購置更換更新的核心部件，才能夠提升相關數據分析能力，同時這種擴展也是有限制的，一旦升至上限就要完全更換設備。而云計算與傳統電力數據分析平臺則是完全不同的原理，并不受制于設備和硬件等條件的參數限制。從理論上來講，云計算是沒有空間限制的，可以實現無限擴展。這個擴展并不需要更換原有設備，只需要增加相關設備即可。動態擴展的成本本、效率高，實用價值大大提高。

通過以上對云計算技術的優勢分析，我們可以看到傳統數據分析平臺已經不再能夠適應現代數據分析的需求了。隨著智能電網系統的全面發展與革新，大數據的收集、分析和應用的需求越來越大。要想解決在發展中遇到的問題，充分利用電力大數據來解決問題，就必須采用云計算技術。

二、電力大數據的主要分析技術

大數據分析技術種類較多，在此結合電力行業的實際，主要介紹三種電力大數據的分析技術。

（一）Hadoop

Hadoop是在電力大數據分析中較為常見的一種技術，如今已經發展成為一個大數據相關的龐大的軟件生態系統。Hadoop對待大型數據的處理方法，主要是采用編程模型來進行計算和分析，這種大數據式的處理框架效率高、速度高。Hadoop以單一服務器擴展至千百萬個機器，架構安全，可用度高，服務高效。其用戶在前期也不用花費太多的時間和金錢，就能夠從事數據開發和處理的相關工作。在電力大數據的分析實踐中，我們可以發現對Hadoop的應用是比較廣泛的，也主要是用于處理批量的離線數據。在對實時大數據的處理過程中，Hadoop則顯示出其不能快速響應的缺陷，因此需要其它數據分析技術給予補充。

（二）Spark

Spark技術相較前兩者，它是一個新技術新思路。Spark與第一種Hadoop有類似之處，開發者是UCBerkeleyAMPlab，其計算框架與MapReduce能用，基于MapReduce實現分布式計算。可以這樣說，Hadoop所具有的優點，Spark都具有。而Spark又具有前者所不具有的一些優勢，即它將中間處理的結果保存在內存中以便于下次計算時能夠快速的讀取數據，減少了頻繁讀取HDFS帶來的I/O方面的開銷。因此，Spark在迭代計算方面的處理性能比MapReduce高出一個數量級。

（三）Storm

Storm自2011年8月成為正式開源以來，受到了很多用戶的喜愛和追捧。而在實踐過程中，Storm也確實表現出驚人的業務處理、數據流處理和服務支撐能力。Storm既表現出跟Hadoop一樣的穩定的離線數據處理能力，也能夠輕松應對實時大數據的分析處理工作，可以達到一秒鐘處理百萬消息的速度。當今很多電子商務巨頭也采用Storm應用來處理實時數據變化。

總體來說，電力大數據平臺的研究系統化不強，研究類別也不多，相對來說對Hadoop的大數據的離線批處理研究的比較多，但仍然存在較多的問題。云計算技術正好能彌補傳統電力數據分析系統的缺陷。

三、電力大數據的可視化應用

電力大數據的獲取是為了更好的應用數據，讓枯燥的數據反映出問題和趨勢，并提供解決問題的方案。這也就是電力大數據可視化所要研究的問題。可視化研究的關鍵，是在龐大的數據海洋中發現規律、尋找聯系、歸整指標，并采用科學合理的方式進行直觀展示。當前電力大數據可視化的方法主要基礎圖表法、基于SVG的可視化法和基于地圖的可視化法。

（一）基礎圖表可視化方法

最基礎的可視化展示手段，就是通過圖形、表格的方式來展示數據。人們在獲取數據時，能夠在最快的時間內發現問題所在，并利用數據所體現出的規律特征來解決問題。在可視化系統的實現過程中，主要使用了表格、折線圖以及柱狀圖三種可視化展示方法。表格主要用于記錄詳細的數據，用戶可以通過查找來獲取數據資源。拆線圖主要應用于時間序列數據，描述在某個時間間隔下連續數據隨時間變化趨勢。而柱狀圖顧名思義采用的是通過柱體的長度，按照不同標準排列起來，來展示相關數值差異。

（二）基于SVG的可視化方法

SVG的文件主要通過顏色顯示的方式來代表不同的電力數據。采用這一方法必須掌握某區域內電力數據的基本情況，結合具體的指標參數，對各區域的地力數據進行顏色賦值，不同的顏色、深淺程度代表不同的電力數據情況。這樣一來，不同區域的電力數據差異一目了然。以中國地圖為例，如果需要了解在某一時間區間內不同省市的用電人數情況，則可以通過色塊的方式在地圖上有非常直觀的呈現。而如果你想調用某一具體數據，則可以通過SVG文件來實現控制功能，查看各類型數據資源都非常方便和穩定。

（三）基于地圖的可視化

以用戶用電量為例，傳統數據顯示法就是直觀的統計數據，而基于地圖的可視化可以將數據引入到地圖中去，并結合色彩、圖形等個性化地展示不同地區的用電量數據特點，方便用戶直觀地看看到數據以及不同區域之間的數據對比。同時，基于地圖的可視化也可以做的十分精細，可以具體到某一個用戶甚至某一個用電設備。在數據統計時，也可以選取某一種類的用電設備，如空調，可以實現及時查看各類數據。目前主要會選擇高德地圖、百度地圖等地圖工具。

電力設備狀態的監測分為數據采集、數據分析和狀態評估三個階段。隨著信息時代的不斷發展，電力數據的數量不斷提高，數據采集工作量很大。但最為核心的技術還是數據分析。云計算在當前數據資源的發展態勢下顯現了一定的優勢，本文結合云計算技術，提出了基于云計算的海量電力數據分析平臺技術，并引入了三種可視化的方法，分別是基礎圖表可視化、SVG可視化以及地圖可視化。云計算技術在電力行業有著廣闊的發展前景，未來的研究中還需持續關注、不斷創新。

參考文獻：

[1]楊莉.用大數據助力互聯網金融高效監管[J].人民論壇，2018（15）.

[2]熊里.基于云平臺的電力大數據多角度可視化分析與研究[D].華北電力大學，2017.

[3]劉燕.電力大數據可視化融合[D].華北電力大學，2017.

[4]馬曉丹.電力大數據平臺下數據分析與挖掘研究與應用[D].華北電力大學，2016.

[5]曾文靜.Storm在電力大數據分析平臺中的研究與應用[D].華北電力大學，2016.

[6]謝然.社交關系與大數據的結合，催生真正的互聯網與金融領導者[J].互聯網周刊，2015（1）：22—25.

[7]邵夢.大數據如何顛覆傳統金融？[J].徽商，2015（1）：68—68.

[8]孫藝新.電力大數據應用模式與前景分析[J].中國電力企業管理，2015（9）：22—24.

[9]毛羽豐.基于云計算的海量電力數據分析系統設計與實現[D].北京交通大學，2015.

[10]楊佳琦.互聯網金融模式及發展研究[J].電子商務，2014（4）：1—2.

〔本文系國家自然科學基金資助項目“基于agent與眾包數據獲取服務的企業決策支持關鍵方法研究”（項目編號：71471083）、國家自然科學基金資助項目“互聯網環境下信息產品與服務的多途徑價值創新關鍵支撐方法與建模研究”（項目編號：71771118）、江蘇省自然科學基金“基于眾包模式的數據獲取與決策支持關鍵方法與技術研究”（項目編號：BK20151388）研究成果〕

（高騫、徐超，國網江蘇省電力有限公司。楊俊義，國網江蘇省電力公司電力經濟技術研究院。張飛，國網江蘇省電力公司淮安供電公司。顧姝姝，南京大學商學院）