大數據技術在電力行業(yè)中的應用分析

孫目

摘要：本文簡述了大數據的來源和特點，簡要分析了大數據的相關技術，闡述了大數據技術在電力行業(yè)的典型應用，論述了大數據技術對電力行業(yè)進一步發(fā)展的重要性。

關鍵詞：智能電網;電力系統(tǒng);大數據技術;電力行業(yè)

1電力大數據技術分析

1.1云計算技術

Google是處理大數據技術最典型的公司，2006年首次提出云計算的概念。云計算是網絡計算[9]，是一種基于互聯(lián)網的計算方法。它可以根據需要向計算機終端和相關設備提供信息，并使用服務提供商提供的計算機基礎設施進行計算和資源。具體來說，就是通過網絡云將海量數據處理成不同類型的小程序，由服務器系統(tǒng)對小程序進行分析，并將結果反饋給用戶[10]。云計算的核心內容是利用互聯(lián)網在網站上為用戶提供云計算、數據存儲等服務，讓用戶可以利用網絡進行數據處理。

云計算技術是大數據分析和處理的基礎，也是大數據應用的基礎平臺。云計算是基于先進的互聯(lián)網技術，其實現形式眾多，主要通過以下幾種形式：服務（IaaS）、平臺即服務（PaaS）、軟件即服務（SaaS）。對于云計算技術來說，海量數據存儲和數據并行處理是關鍵內容。具體技術有分布式文件系統(tǒng)和MapReduce技術，這兩種技術都是Google提出的。

DFS系統(tǒng)是分布式文件系統(tǒng)，主要是指文件系統(tǒng)管理的資源不與本地節(jié)點直接相連，而是利用網絡與節(jié)點（可以簡單理解為計算機）相連;或者是由幾個不同的邏輯磁盤分區(qū)或卷標組合而成的完整的分層文件系統(tǒng)。分布式文件系統(tǒng)可以為系統(tǒng)提供高吞吐量的數據訪問，適合大數據處理。DFS的一個開源實現是HDFS，它是Hadoop架構的基礎，也支持以流的形式訪問文件系統(tǒng)中的數據。

MapReduce是Google為大規(guī)模數據并行計算提出的編程模型，便于在分布式系統(tǒng)上運行程序。映射函數用于將一組鍵值對映射到一組新的鍵值對，并指定了一個并發(fā)的減少函數來確保所有映射的鍵值對共享同一個鍵組。Hadoop提供了MapReduce的開源實現，也是目前應用最廣泛的大數據技術。為了實現MapReduce編程模型的高效應用，誕生了許多更高級的查詢語言，如Hive。這些先進的查詢語言使得模型更適合數據的并行處理，促進了大數據技術的發(fā)展。

1.2數據挖掘和機器學習

在處理和分析大數據的過程中，數據挖掘和機器學習起著非常重要的作用。從大量數據中挖掘隱藏的、以前未知的、潛在有價值的信息，為相關決策提供參考。在電力大數據的分析中，主要分為三類，即關聯(lián)分析、聚類方法和分類方法。

關聯(lián)分析的研究始于Apriori算法，它是指在相關數據載體中的項目集或對象集之間尋找頻繁模式、關聯(lián)、相關性或因果結構。挖掘頻繁項集后，需要挖掘頻繁項集中大于最小置信度閾值的關聯(lián)規(guī)則。將頻繁項集分為前后兩部分，然后計算規(guī)則的前后部分的置信度。如果大于最小置信度閾值，則為強關聯(lián)規(guī)則。廣泛使用的關聯(lián)分析方法有Apriori算法和FP-growth算法。

聚類方法是數據挖掘中最早使用的算法之一，也廣泛應用于各種數據庫中。將物理或抽象對象的集合劃分為由相似對象組成的多個類的過程稱為聚類。傳統(tǒng)的聚類方法包括劃分法、層次法、基于密度法和基于模型法。聚類分析內容豐富，包括系統(tǒng)聚類法、有序樣本聚類法、動態(tài)聚類法、模糊聚類法、圖論聚類法、聚類預測法等。傳統(tǒng)聚類成功地解決了低維數據的聚類問題，高維聚類分析是當今的研究熱點。

分類算法用于提取描述重要數據類的模型，按照一定的標準標注對象，然后根據標注進行分類。傳統(tǒng)的分類算法由于自身的瓶頸不適合大數據環(huán)境下的分類，成為研究熱點。在支持向量機的基礎上，Kim等人提出了一種適用于大數據的特征提取和分類算法，可以很好地解決大數據分類問題。Ben-Haim等人提出了一種構建決策樹分類器的算法，該算法可以在分布式環(huán)境下運行，適用于大數據集和流數據。近年來，神經網絡發(fā)展迅速。uang等人提出了ELM的優(yōu)化策略來代替梯度下降算法，訓練速度得到了很大的提高。

1.3大數據可視化

可視化是指利用圖形手段直觀地傳達數據的關鍵方面和特征，然后對復雜數據進行深入分析，實現相關信息的有效傳遞。在數據可視化中，數據主要表現為單一的圖元，將數據轉化為數據圖像，可以幫助相關人員從不同角度對數據進行分析和觀察，從而對數據進行深入分析和有效應用。

可視化分析將可視化技術與數據分析技術相結合，提高了可視化效果，為大規(guī)模數據提供了解決方案。近年來，大數據可視化的研究取得了很大進展，在報表工作、商業(yè)智能分析工具和數據可視化平臺等領域發(fā)揮了重要作用。

在大數據時代，可視化已經廣泛應用于電力行業(yè)、社交網絡等多個行業(yè)。如何有效地向用戶展示數據是一個非常重要的問題，它關系到海量數據中的信息能否有效地傳遞給用戶。可視化研究已經成為當今的熱點問題，學術界和工業(yè)界已經做了很多研究，在標簽云和歷史流程圖領域也取得了重要進展。

2大數據技術在電力行業(yè)的典型應用

2.1推動大數據傳輸和存儲

隨著智能電網的有效建設，電力系統(tǒng)各環(huán)節(jié)產生的數據得到有效記錄，這對數據傳輸和存儲提出了更高的要求。隨著產生的數據越來越多，電力系統(tǒng)的負擔越來越重，阻礙了智能化的發(fā)展。

大數據技術為海量數據的傳輸和存儲提供了解決方案，能夠很好地滿足電力大數據任務的需求。如果可以選擇分布式文件系統(tǒng)，可以讓大數據的存儲更加方便。目前，Hadoop HDFS文件系統(tǒng)已經得到廣泛應用。同時，電力系統(tǒng)對實時數據有一定的要求，大數據技術對實時數據也有很好的支持，可以實時采集電力運行數據，并通過流媒體傳輸對實時數據進行分析。可以根據系統(tǒng)的性能和數據的特點分別存儲，一些要求高、需要實時處理的數據可以通過數據庫系統(tǒng)進行處理。對于一般數據，可以選擇數據倉庫進行處理。對于大量的歷史數據或非結構化數據，相關人員可以使用分布式文件系統(tǒng)進行處理。

通過大數據技術，可以將電力行業(yè)復雜的數據融合轉換成便于存儲和數據分析的數據。利用數據倉庫進行有效管理，逐步形成相應的電力企業(yè)信息管理系統(tǒng)，對提高企業(yè)的數據共享和競爭力有重要作用，可以使電力數據發(fā)揮更大的作用。

2.2電力設備的狀態(tài)評估

電力設備的正常運行是整個電力系統(tǒng)運行的關鍵，電力設備的狀態(tài)評估結果對電力系統(tǒng)的設備采購、投資計劃、設備維護等所有生產運行環(huán)節(jié)都有重要影響。電力設備狀態(tài)檢修是電網發(fā)展的關鍵，也是提高國民經濟生命線產業(yè)保障性的工作。

目前，電力設備狀態(tài)評估主要包括基于標準導則和評分系統(tǒng)的評估方法、故障診斷專家系統(tǒng)和基于傳統(tǒng)機器學習的設備狀態(tài)評估。傳統(tǒng)的設備狀態(tài)評估方法大多是基于有限的樣本數據，建立相關模型來預測投入與產出之間的關系。隨著電力監(jiān)控設備的廣泛使用，電網運行系統(tǒng)逐漸呈現出海量數據的特點，這也是大數據挖掘分析在電力設備狀態(tài)評估領域應用的關鍵。

在大電網背景下，多維數據是大數據挖掘的基礎，也是電力設備狀態(tài)評估的必要條件。根據其特點，相關數據可分為靜態(tài)參數、動態(tài)參數、準動態(tài)參數和外部參數。設備狀態(tài)評估大數據挖掘分析的基本思想是通過分類算法、聚類算法、時間序列挖掘等大數據挖掘技術，挖掘和分析大量的設備歷史數據。，挖掘各種狀態(tài)參數之間的關系，實時采集電力設備的運行數據，并根據相關的狀態(tài)參數對設備進行相關性分析，及時評估設備的運行狀態(tài)，為相關工作提供指導。

3結束語

大數據時代的到來是未來的必然趨勢，對電力行業(yè)來說既是挑戰(zhàn)也是機遇。在電力行業(yè)的進一步發(fā)展中，有必要認識到大數據技術在電力系統(tǒng)生產運營、企業(yè)運營發(fā)展、配電分析等領域應用的重要性。通過良好的數據管理和有效的數據挖掘，實施相關的大數據策略不僅可以保證電力系統(tǒng)的穩(wěn)定運行，而且對電力營銷質量和提高企業(yè)競爭力具有重要意義。可以說，電力企業(yè)大數據系統(tǒng)建設是未來發(fā)展的重點。

參考文獻

[1]李國杰，程學旗.大數據研究：未來科技及經濟社會發(fā)展的重大戰(zhàn)略領域——大數據的研究現狀與科學思考[J].中國科學院院刊，2012，6.

[2]陳超，張順仕，等.大數據背景下電力行業(yè)數據應用研究[J].現代電子技術，2013，24.

[3]丁杰，徐建，等.迎戰(zhàn)大數據[J].電力信息與通信技術，2013，2.

國網內蒙古東部電力有限公司巴林右旗供電分公司 內蒙古 025150