基于云計算的大數(shù)據(jù)挖掘平臺探究

摘 要：大數(shù)據(jù)時代的到來，帶來了數(shù)據(jù)量的急劇增加，同時數(shù)據(jù)的低價值密度特性也相應(yīng)突顯出來，需要運用云計算技術(shù)開發(fā)大數(shù)據(jù)挖掘平臺，從低價值密度的數(shù)據(jù)中挖掘出具有潛在價值的信息和知識。文章探究了基于云計算的并行大數(shù)據(jù)挖掘平臺的應(yīng)用，存在的問題以及應(yīng)對策略。

關(guān)鍵詞：云計算；大數(shù)據(jù)挖掘平臺；并行數(shù)據(jù)挖掘；問題和建議

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1674-7712 （2014） 20-0000-01

云計算技術(shù)具備動態(tài)資源分配和調(diào)度、虛擬化和高可用性的特點，能夠克服傳統(tǒng)數(shù)據(jù)挖掘技術(shù)速度慢、效率低和能耗高的弱點，有效的降低成本，提高數(shù)據(jù)挖掘效率。文章探討了一種基于云計算的并行大數(shù)據(jù)挖掘平臺的應(yīng)用，并探討基于云計算的大數(shù)據(jù)挖掘系統(tǒng)構(gòu)成、存在問題及應(yīng)對措施。

一、云計算在大數(shù)據(jù)挖掘中的重要性

近年來，隨著數(shù)據(jù)量的急劇增加，數(shù)據(jù)的低價值密度特性越發(fā)顯現(xiàn)出來，大數(shù)據(jù)時代的到來，凸顯了數(shù)據(jù)的重要性。但是數(shù)據(jù)大價值必須通過數(shù)據(jù)挖掘才能從低價值密度的數(shù)據(jù)中發(fā)現(xiàn)其潛在價值。

數(shù)據(jù)挖掘通常需要遍歷許多數(shù)據(jù)獲得相關(guān)的統(tǒng)計信息，用于求解或優(yōu)化模型參數(shù)，在大規(guī)模數(shù)據(jù)上進行頻繁的數(shù)據(jù)訪問需要耗費大量運算時間。數(shù)據(jù)復(fù)雜度和系統(tǒng)計算能力有限的矛盾日益突出，傳統(tǒng)的單機系統(tǒng)速度慢、效率低、能耗高，而云計算平臺卻具備動態(tài)資源分配和調(diào)度、虛擬化和高可用的特點，能夠滿足挖掘計算的性能要求。大數(shù)據(jù)挖掘平臺的建立和發(fā)展離不開云計算技術(shù)。

云計算就是將復(fù)雜的計算任務(wù)分布在大量計算機構(gòu)成的“云”中，將計算能力、存儲能力以及應(yīng)用服務(wù)能力按需分配給用戶，提高數(shù)據(jù)獲取的效率。而數(shù)據(jù)挖掘則是將大量的、不完全的、有噪聲的、模糊的、隨機的實際應(yīng)用數(shù)據(jù)經(jīng)過加工處理，篩選優(yōu)化后，提取出隱藏在其中的有應(yīng)用價值的信息。由于數(shù)據(jù)的大量和復(fù)雜性，這就需要用到巨大的存儲運算量。而基于云計算技術(shù)的數(shù)據(jù)挖掘平臺就能夠很好的解決這一問題。它能夠有效的控制運算和存儲成本，提升數(shù)據(jù)挖掘效率，進而打破傳統(tǒng)數(shù)據(jù)挖掘的瓶頸限制。

二、基于云計算的并行數(shù)據(jù)挖掘平臺

由于數(shù)據(jù)復(fù)雜多樣，數(shù)據(jù)挖掘和處理需要高速、高效，因此需要并行計算來實現(xiàn)大規(guī)模的計算，而云計算平臺實質(zhì)上就是一個虛擬資源池，通過多個虛擬機和應(yīng)用將資源按需分配給用戶，提高資源利用率。

基于云計算的并行數(shù)據(jù)挖掘平臺的架構(gòu)是利用了數(shù)據(jù)庫分片的思想，將數(shù)據(jù)分片后存儲在各個分節(jié)點中，再由一個中央單元像一臺中央空調(diào)一樣來負責(zé)各個節(jié)點信息的匯總和維護。而各個分節(jié)點的算法是不固定的，也就是說不同的部分可以使用不同的算法，應(yīng)用在并行分布式環(huán)境中，就更加靈活和高效，而這些是傳統(tǒng)的數(shù)據(jù)挖掘平臺所不具備的。

基于云計算的并行數(shù)據(jù)挖掘平臺能夠利用云計算的海量存儲和并行計算能力解決大數(shù)據(jù)的海量和高效性要求。目前基于云計算的并行數(shù)據(jù)挖掘平臺的研究已經(jīng)取得了一部分成果。何清等開發(fā)了一種基于云計算的并行分布式大數(shù)據(jù)挖掘平臺PDMiner（Parallel Distributed Miner），運用云計算的手段，實現(xiàn)像是數(shù)據(jù)預(yù)處理、關(guān)聯(lián)規(guī)則分析以及分類、聚類等各種并行數(shù)據(jù)挖掘算法。并在PDMiner中的并行數(shù)據(jù)計算實現(xiàn)了處理太字節(jié)級的大規(guī)模數(shù)據(jù)集。PDMiner并行分布式數(shù)據(jù)挖掘平臺具有很好的加速比性能，在商用機器構(gòu)建的并行平臺上能夠穩(wěn)定運行。中國移動研究院研發(fā)了一種基于云計算的并行數(shù)據(jù)挖掘工具Hadoop，可以讓程序員很容易的開發(fā)和運行處理海量數(shù)據(jù)，實現(xiàn)了海量數(shù)據(jù)的存儲、分析、處理、挖掘，向子系統(tǒng)提供可靠，高性能的數(shù)據(jù)。其核心部分就是HDFS——一種建立在大型集群上的可靠存儲大數(shù)據(jù)集的文件系統(tǒng)和MapReduce——一種簡化的分布式程序設(shè)計模型用于處理和生成大數(shù)據(jù)集。

三、基于云計算的數(shù)據(jù)挖掘平臺的問題和建議

基于云計算的數(shù)據(jù)挖掘平臺是云計算和數(shù)據(jù)挖掘的完美結(jié)合，融合了云計算的動態(tài)資源分配高效性和強大的數(shù)據(jù)挖掘能力，二者相輔相成、相得益彰。

基于云計算的數(shù)據(jù)挖掘平臺結(jié)構(gòu)復(fù)雜、內(nèi)容豐富。云計算綜合運用了分類算法、聚類分析、關(guān)聯(lián)規(guī)則、基于模式的相似性查找和時間序列或趨勢發(fā)現(xiàn)和分析等多種算法對數(shù)據(jù)進行挖掘，達到良好的數(shù)據(jù)挖掘效果。云計算為數(shù)據(jù)挖掘提供強大資源分配上的技術(shù)支持，而數(shù)據(jù)挖掘能夠促進云計算的數(shù)據(jù)計算和管理能力大幅提高。

基于云計算的數(shù)據(jù)挖掘平臺系統(tǒng)一般包括數(shù)據(jù)管理子系統(tǒng)、賬戶管理子系統(tǒng)、數(shù)據(jù)挖掘子系統(tǒng)、挖掘算法管理子系統(tǒng)四個子系統(tǒng)，負責(zé)不同的任務(wù)，彼此之間結(jié)合緊密。基于云計算的數(shù)據(jù)挖掘平臺還包括一個服務(wù)器群和一個數(shù)據(jù)庫群。通過服務(wù)器群來利用平臺所擁有的本地或異地服務(wù)器資源實現(xiàn)高效的服務(wù)并對資源進行有效配置，而數(shù)據(jù)庫群則用來存儲平臺自身和用戶自身的數(shù)據(jù)信息。

基于云計算的數(shù)據(jù)挖掘平臺具有獨特的優(yōu)勢，但由于云計算技術(shù)尚不成熟，在云計算技術(shù)的基礎(chǔ)上建立數(shù)據(jù)挖掘平臺還存在許多問題。譬如基于云計算的數(shù)據(jù)挖掘算法的平行性存在很大的挑戰(zhàn)，同時還要克服數(shù)據(jù)挖掘的方法和結(jié)果的一系列不確定性。由于數(shù)據(jù)挖掘建立在云計算基礎(chǔ)上，而云計算自身是一個虛擬化的軟件，就不得不面對云服務(wù)軟件的正確性、安全性、可靠性等諸多問題的挑戰(zhàn)。

對此，在建立數(shù)據(jù)挖掘云服務(wù)平臺時，一定要注重其專業(yè)性和個性化，因地制宜，根據(jù)不同的服務(wù)對象構(gòu)建相應(yīng)的服務(wù)平臺。而且在數(shù)據(jù)挖掘使用的算法的選擇上也要盡可能的考慮其通用性，要可查、可調(diào)、可視，對一些隱私數(shù)據(jù)要加大安全防護。

目前基于云計算的數(shù)據(jù)挖掘平臺系統(tǒng)的研發(fā)和應(yīng)用已經(jīng)取得了一定的成果。這一類系統(tǒng)具有其獨特的高效、處理數(shù)據(jù)量大的優(yōu)勢，但是由于云計算技術(shù)目前還處在發(fā)展的初級階段，還面臨著許多問題和挑戰(zhàn)，既要克服云服務(wù)軟件的安全性問題，還要克服數(shù)據(jù)挖掘算法和結(jié)果的不確定性。因此在構(gòu)建運計算基礎(chǔ)上的數(shù)據(jù)挖掘平臺時，要注意與實際結(jié)合，注意設(shè)計的個性化以及通用性，加大對隱私數(shù)據(jù)的加密保護。

參考文獻：

[1]鄧蕾蕾，于航.基于云計算的數(shù)據(jù)挖掘研究及展望[J].計算機與現(xiàn)代化，2012（05）.

[2]何清，莊福振.基于云計算的大數(shù)據(jù)挖掘平臺[J].中興通信技術(shù)，2013（04）.

[3]王超鵬，梁正科，李強.基于云計算的分布式數(shù)據(jù)挖掘算法研究[J].硅谷，2012（02）.

[作者簡介]劉光金（1973.07-），男，四川隆昌人，講師，本科，研究方向：計算機及應(yīng)用。