數(shù)據(jù)挖掘算法在電力云數(shù)據(jù)分析平臺的應(yīng)用

沈洋

摘 要：本文對云計算和數(shù)據(jù)挖掘相關(guān)技術(shù)進行了概述，對電力云數(shù)據(jù)分析平臺進行了分析，探討了數(shù)據(jù)挖掘算法在電力云數(shù)據(jù)分析平臺的應(yīng)用。

關(guān)鍵詞：數(shù)據(jù)挖掘;云計算;算法;云數(shù)據(jù)分析平臺

DOI：10.16640/j.cnki.37-1222/t.2019.24.097

0 引言

隨著現(xiàn)代電網(wǎng)建設(shè)速度的不斷加快以及規(guī)模的不斷擴大，人們對電力系統(tǒng)的要求也在不斷的提高，同時電力系統(tǒng)產(chǎn)生了大量的電力數(shù)據(jù)，這就需要電力系統(tǒng)具有一定的數(shù)據(jù)分析和處理能力，保證電力系統(tǒng)的正常安全運行，尤其是智能電力系統(tǒng)的不斷發(fā)展，更需要其具有強大的數(shù)據(jù)處理能力。隨著云計算技術(shù)的不斷成熟和應(yīng)用，電力企業(yè)應(yīng)用云計算強大的數(shù)據(jù)存儲和數(shù)據(jù)處理能力，建立起相應(yīng)的電力云數(shù)據(jù)分析平臺，從而可以有效解決大量電力數(shù)據(jù)處理方面存在的問題。通過利用相應(yīng)的數(shù)據(jù)挖掘算法，可以有效分析和處理相關(guān)數(shù)據(jù)，將數(shù)據(jù)挖掘算法應(yīng)用于電力云數(shù)據(jù)分析平臺，能夠充分發(fā)揮兩者的優(yōu)勢，對海量的電力數(shù)據(jù)進行處理并獲取有用的信息。

1 云計算和數(shù)據(jù)挖掘相關(guān)技術(shù)概述

（1）云計算技術(shù)。云計算的本質(zhì)是將大的計算任務(wù)進行劃分為較小的任務(wù)，之后將這些小的任務(wù)分配給服務(wù)器中的相關(guān)計算節(jié)點進行并行處理。云計算能夠通過網(wǎng)絡(luò)按照一定的方式獲取需要的資源，其本身具有較多的特點和優(yōu)勢，比如具有較大的規(guī)模、虛擬化、較高的可靠性、通用性以及較高的可擴展性等，這也是云計算技術(shù)能夠在較短的時間內(nèi)得到較快發(fā)展的原因。云計算還具有較多的技術(shù)，其中最為關(guān)鍵的技術(shù)有數(shù)據(jù)存儲技術(shù)、數(shù)據(jù)管理技術(shù)和資源調(diào)度。云計算能夠保存相關(guān)數(shù)據(jù)的多份副本，有效保證了數(shù)據(jù)的可靠性，其分布式存儲能夠滿足大量用戶對資源進行同時訪問的需求，保證系統(tǒng)對數(shù)據(jù)處理工作的高效率;云計算具有的較為先進的數(shù)據(jù)管理技術(shù)，能夠保證對大量數(shù)據(jù)的有效管理，其采用的是一種列存儲的管理模式[1]。在一定的資源環(huán)境下，資源調(diào)度能夠按照一定的調(diào)度規(guī)則進行資源的調(diào)整，并且其能夠在很短的時間內(nèi)實現(xiàn)系統(tǒng)進程的調(diào)度。

（2）數(shù)據(jù)挖掘技術(shù)。信息化時代的到來，使得電力企業(yè)的數(shù)據(jù)信息在不斷的增長，大量的數(shù)據(jù)積累在電力系統(tǒng)的相關(guān)平臺上，需要進行有效的分析和處理。數(shù)據(jù)挖掘技術(shù)是指利用相應(yīng)的數(shù)據(jù)挖掘算法和其他工具，在大量的、復(fù)雜的數(shù)據(jù)中尋找到具有有用價值的數(shù)據(jù)信息，同時也可以發(fā)現(xiàn)數(shù)據(jù)信息之間的關(guān)聯(lián)和相關(guān)規(guī)則。數(shù)據(jù)挖掘具有較為豐富的挖掘算法和不斷完善的數(shù)據(jù)挖掘工具，數(shù)據(jù)挖掘包含著多種算法，每一種算法對應(yīng)著不同的需求和應(yīng)用場景，通過利用這些數(shù)據(jù)挖掘算法，就可以很好地獲取到所需要的數(shù)據(jù)信息。

2 電力云數(shù)據(jù)分析平臺分析

（1）電力云數(shù)據(jù)分析平臺介紹。在電力云數(shù)據(jù)分析平臺中，一般是其基礎(chǔ)云平臺，并且能夠?qū)崿F(xiàn)相關(guān)數(shù)據(jù)輸入到云數(shù)據(jù)分析平臺的功能，在云數(shù)據(jù)分析平臺中也包括并行化、增量化的ETL組件，通過將相應(yīng)的數(shù)據(jù)挖掘算法注入到云數(shù)據(jù)分析平臺，就可以實現(xiàn)對海量數(shù)據(jù)的處理以及進行可視化展示[2]。在云計算平臺中包含著多種類型的計算節(jié)點，每個計算節(jié)點都具有特定的功能，當(dāng)數(shù)據(jù)在計算節(jié)點之間進行傳輸?shù)臅r候回占用較大的網(wǎng)絡(luò)資源，這就需要每一個DataNode具備數(shù)據(jù)存儲和計算的功能，從而減少相關(guān)數(shù)據(jù)的傳輸，這些節(jié)點還能夠并行處理相應(yīng)的數(shù)據(jù)挖掘任務(wù)，有效提升處理的效率。

（2）電力云數(shù)據(jù)分析平臺架構(gòu)。圖1是電力云數(shù)據(jù)分析平臺的系統(tǒng)結(jié)構(gòu)，在這個平臺中包含了工作流引擎、門戶、數(shù)據(jù)源服務(wù)器和Hadoop集群等多個組件。在Hadoop集群中含有多個類型的幾點，同時還有文本數(shù)據(jù)源服務(wù)器。云數(shù)據(jù)分析平臺中的工作流引擎可以對工作流進行編輯并執(zhí)行相應(yīng)的挖掘任務(wù)。

3 數(shù)據(jù)挖掘算法在云數(shù)據(jù)分析平臺的應(yīng)用

（1）關(guān)聯(lián)規(guī)則算法。在關(guān)聯(lián)規(guī)則的算法中，算法是其中最為經(jīng)典的算法，也常常被用于執(zhí)行相應(yīng)的數(shù)據(jù)挖掘任務(wù)，在本文的研究中探討了算法在云數(shù)據(jù)分析平臺的應(yīng)用。傳統(tǒng)的單節(jié)點算法不能夠有效完成對海量電力數(shù)據(jù)的挖掘，所以基于云計算平臺對算法進行并行化改進，使其能夠適應(yīng)復(fù)雜的電力數(shù)據(jù)挖掘任務(wù)。通過選取某一電力企業(yè)的電力數(shù)據(jù)，使用該算法進行并行數(shù)據(jù)挖掘處理，在這個過程中，云數(shù)據(jù)分析平臺的客戶端會下發(fā)相應(yīng)的數(shù)據(jù)挖掘任務(wù)請求，當(dāng)平臺的主控節(jié)點接收到相應(yīng)的請求后，會向NameNode節(jié)點進行數(shù)據(jù)的申請，接著根據(jù)其返回的云數(shù)據(jù)信息將該算法發(fā)送到相應(yīng)的數(shù)據(jù)存儲計算節(jié)點上，云數(shù)據(jù)服務(wù)平臺上的各個計算節(jié)點會產(chǎn)生相應(yīng)的局部頻繁項集，最后再由主控節(jié)點進行全局支持合計數(shù)的統(tǒng)計，從而利用平臺對海量的電力數(shù)據(jù)進行處理，并完成相應(yīng)的數(shù)據(jù)挖掘任務(wù)。

（2）樸素貝葉斯分類算法。在數(shù)據(jù)挖掘算法中，樸素貝葉斯分類算法不但是最經(jīng)典的分類算法，也是一種較為簡單的分類算法，其是以貝葉斯定理作為算法的基礎(chǔ)。傳統(tǒng)的樸素貝葉斯分類算法存在一定的不足，通過應(yīng)用云計算的MapReduce對樸素貝葉斯分類算法進行改進，實現(xiàn)該算法的并行化。樸素貝葉斯分類算法用途較為廣泛，通過利用該算法對大量的電力數(shù)據(jù)進行分析，可以得到有效的處理結(jié)果，利用獲取的有價值的信息就可以實現(xiàn)對用戶行為的分析，而在這個過程中，最關(guān)鍵的就是對相關(guān)電力用戶進行分類。在得到不同用戶的大量電力數(shù)據(jù)后，利用電力云數(shù)據(jù)分析平臺中的相關(guān)組件數(shù)據(jù)進行預(yù)處理，接著利用已經(jīng)并行化的樸素貝葉斯分類算法對相應(yīng)的數(shù)據(jù)集進行有效的處理，從而達到相應(yīng)的數(shù)據(jù)挖掘目的。

4總結(jié)

綜上所述，隨著電力系統(tǒng)不斷向智能化方向發(fā)展，越來越多的電力數(shù)據(jù)會積累在系統(tǒng)中，這就需要對海量的電力數(shù)據(jù)進行有效的處理并獲取有用的數(shù)據(jù)信息。通過云計算技術(shù)和數(shù)據(jù)挖掘技術(shù)的結(jié)合，將數(shù)據(jù)挖掘算法應(yīng)用于電力云數(shù)據(jù)分析平臺上，能夠有效提升數(shù)據(jù)處理的效率，滿足用戶對電力系統(tǒng)的相關(guān)需求。

參考文獻：

[1]張廣德，于連城，張譯，李金湖，徐欣杰.基于數(shù)據(jù)挖掘的電網(wǎng)數(shù)據(jù)分析方法[J].國外電子測量技術(shù)，2018，37（07）：24-28.

[2]李海龍.電力云數(shù)據(jù)分析平臺數(shù)據(jù)挖掘算法的研究與應(yīng)用[D].華北電力大學(xué)，2014.