數據挖掘算法在電力云數據分析平臺的應用

沈洋

摘 要：本文對云計算和數據挖掘相關技術進行了概述，對電力云數據分析平臺進行了分析，探討了數據挖掘算法在電力云數據分析平臺的應用。

關鍵詞：數據挖掘;云計算;算法;云數據分析平臺

DOI：10.16640/j.cnki.37-1222/t.2019.24.097

0 引言

隨著現代電網建設速度的不斷加快以及規模的不斷擴大，人們對電力系統的要求也在不斷的提高，同時電力系統產生了大量的電力數據，這就需要電力系統具有一定的數據分析和處理能力，保證電力系統的正常安全運行，尤其是智能電力系統的不斷發展，更需要其具有強大的數據處理能力。隨著云計算技術的不斷成熟和應用，電力企業應用云計算強大的數據存儲和數據處理能力，建立起相應的電力云數據分析平臺，從而可以有效解決大量電力數據處理方面存在的問題。通過利用相應的數據挖掘算法，可以有效分析和處理相關數據，將數據挖掘算法應用于電力云數據分析平臺，能夠充分發揮兩者的優勢，對海量的電力數據進行處理并獲取有用的信息。

1 云計算和數據挖掘相關技術概述

（1）云計算技術。云計算的本質是將大的計算任務進行劃分為較小的任務，之后將這些小的任務分配給服務器中的相關計算節點進行并行處理。云計算能夠通過網絡按照一定的方式獲取需要的資源，其本身具有較多的特點和優勢，比如具有較大的規模、虛擬化、較高的可靠性、通用性以及較高的可擴展性等，這也是云計算技術能夠在較短的時間內得到較快發展的原因。云計算還具有較多的技術，其中最為關鍵的技術有數據存儲技術、數據管理技術和資源調度。云計算能夠保存相關數據的多份副本，有效保證了數據的可靠性，其分布式存儲能夠滿足大量用戶對資源進行同時訪問的需求，保證系統對數據處理工作的高效率;云計算具有的較為先進的數據管理技術，能夠保證對大量數據的有效管理，其采用的是一種列存儲的管理模式[1]。在一定的資源環境下，資源調度能夠按照一定的調度規則進行資源的調整，并且其能夠在很短的時間內實現系統進程的調度。

（2）數據挖掘技術。信息化時代的到來，使得電力企業的數據信息在不斷的增長，大量的數據積累在電力系統的相關平臺上，需要進行有效的分析和處理。數據挖掘技術是指利用相應的數據挖掘算法和其他工具，在大量的、復雜的數據中尋找到具有有用價值的數據信息，同時也可以發現數據信息之間的關聯和相關規則。數據挖掘具有較為豐富的挖掘算法和不斷完善的數據挖掘工具，數據挖掘包含著多種算法，每一種算法對應著不同的需求和應用場景，通過利用這些數據挖掘算法，就可以很好地獲取到所需要的數據信息。

2 電力云數據分析平臺分析

（1）電力云數據分析平臺介紹。在電力云數據分析平臺中，一般是其基礎云平臺，并且能夠實現相關數據輸入到云數據分析平臺的功能，在云數據分析平臺中也包括并行化、增量化的ETL組件，通過將相應的數據挖掘算法注入到云數據分析平臺，就可以實現對海量數據的處理以及進行可視化展示[2]。在云計算平臺中包含著多種類型的計算節點，每個計算節點都具有特定的功能，當數據在計算節點之間進行傳輸的時候回占用較大的網絡資源，這就需要每一個DataNode具備數據存儲和計算的功能，從而減少相關數據的傳輸，這些節點還能夠并行處理相應的數據挖掘任務，有效提升處理的效率。

（2）電力云數據分析平臺架構。圖1是電力云數據分析平臺的系統結構，在這個平臺中包含了工作流引擎、門戶、數據源服務器和Hadoop集群等多個組件。在Hadoop集群中含有多個類型的幾點，同時還有文本數據源服務器。云數據分析平臺中的工作流引擎可以對工作流進行編輯并執行相應的挖掘任務。

3 數據挖掘算法在云數據分析平臺的應用

（1）關聯規則算法。在關聯規則的算法中，算法是其中最為經典的算法，也常常被用于執行相應的數據挖掘任務，在本文的研究中探討了算法在云數據分析平臺的應用。傳統的單節點算法不能夠有效完成對海量電力數據的挖掘，所以基于云計算平臺對算法進行并行化改進，使其能夠適應復雜的電力數據挖掘任務。通過選取某一電力企業的電力數據，使用該算法進行并行數據挖掘處理，在這個過程中，云數據分析平臺的客戶端會下發相應的數據挖掘任務請求，當平臺的主控節點接收到相應的請求后，會向NameNode節點進行數據的申請，接著根據其返回的云數據信息將該算法發送到相應的數據存儲計算節點上，云數據服務平臺上的各個計算節點會產生相應的局部頻繁項集，最后再由主控節點進行全局支持合計數的統計，從而利用平臺對海量的電力數據進行處理，并完成相應的數據挖掘任務。

（2）樸素貝葉斯分類算法。在數據挖掘算法中，樸素貝葉斯分類算法不但是最經典的分類算法，也是一種較為簡單的分類算法，其是以貝葉斯定理作為算法的基礎。傳統的樸素貝葉斯分類算法存在一定的不足，通過應用云計算的MapReduce對樸素貝葉斯分類算法進行改進，實現該算法的并行化。樸素貝葉斯分類算法用途較為廣泛，通過利用該算法對大量的電力數據進行分析，可以得到有效的處理結果，利用獲取的有價值的信息就可以實現對用戶行為的分析，而在這個過程中，最關鍵的就是對相關電力用戶進行分類。在得到不同用戶的大量電力數據后，利用電力云數據分析平臺中的相關組件數據進行預處理，接著利用已經并行化的樸素貝葉斯分類算法對相應的數據集進行有效的處理，從而達到相應的數據挖掘目的。

4總結

綜上所述，隨著電力系統不斷向智能化方向發展，越來越多的電力數據會積累在系統中，這就需要對海量的電力數據進行有效的處理并獲取有用的數據信息。通過云計算技術和數據挖掘技術的結合，將數據挖掘算法應用于電力云數據分析平臺上，能夠有效提升數據處理的效率，滿足用戶對電力系統的相關需求。

參考文獻：

[1]張廣德，于連城，張譯，李金湖，徐欣杰.基于數據挖掘的電網數據分析方法[J].國外電子測量技術，2018，37（07）：24-28.

[2]李海龍.電力云數據分析平臺數據挖掘算法的研究與應用[D].華北電力大學，2014.