基于云計算的海量數(shù)據(jù)挖掘

付永丹

摘 要

在一個信息爆炸的時代，基于云計算的海量數(shù)據(jù)挖掘技術很好地滿足了用戶對于數(shù)據(jù)庫中可理解知識的精準認識。依靠網(wǎng)絡資源，云計算提供了一種動態(tài)可伸縮的虛擬性資源模式，實現(xiàn)了用戶按使用率付費。云計算在節(jié)約資源和提高信息化上具有應用價值。MapReduce是一種云計算環(huán)境下的并行計算模型，在數(shù)據(jù)挖掘方面具有很大技術優(yōu)勢。此外，要很好地應用基于云計算的海量數(shù)據(jù)挖掘技術，我們還需關注虛擬機遷移、服務器整合、能耗管理、流量管理與分析、軟件框架和存儲技術與數(shù)據(jù)管理等的關鍵問題。

【關鍵詞】云計算 海量數(shù)據(jù)挖掘 研究

1 前言

我們正處于一個信息爆炸的時代，現(xiàn)在大約每隔十八個月的時間全球的數(shù)據(jù)量就會翻一倍，而且數(shù)據(jù)總量還呈現(xiàn)不斷增加的趨向。海量的數(shù)據(jù)為企業(yè)或者個人帶來了各種便利，但是也帶來了甄別、選擇有價值數(shù)據(jù)的難度。而云計算平臺正好契合了對此類高效挖掘數(shù)據(jù)的要求，它擁有高度虛擬化和高可用化的優(yōu)勢，可以對資源進行動態(tài)的調(diào)度和分配。因此，融合云計算技術和數(shù)據(jù)挖掘技術無疑是一套很好的解決方案。目前，基于云計算的海量數(shù)據(jù)挖掘技術已經(jīng)開始走向商業(yè)應用階段，其中以谷歌實驗室提出的MapReduce并行計算模型最具代表性。它具有顯著的數(shù)據(jù)處理效率，可以為各類企業(yè)提供有效的數(shù)據(jù)挖掘服務，能為企業(yè)提高增效節(jié)支提供助力。

2 云計算

2.1 云計算的定義

云計算是一種依靠互聯(lián)網(wǎng)提供動態(tài)可伸縮的虛擬性資源的模式，它充分發(fā)揮了互聯(lián)網(wǎng)的資源優(yōu)勢，把互聯(lián)網(wǎng)上暫時閑置的資源加以了合理配置。它是一種全新的理念，是按照使用量付費的新型模式。通過設立計算資源的共享池，它整合了互聯(lián)網(wǎng)上的各種計算資源，實現(xiàn)了快速、按需和廉價地提供服務。因此，對于用戶而言，完全不必知道誰是真正的服務提供者，也無需關心支持云計算的服務器等基礎設施是如何工作和管理的。目前，云計算主要存在三種主要的商業(yè)模式，它們是軟件即服務（SaaS），平臺即服務（Paas）和基礎架構(gòu)即服務（IaaS）。

2.2 云計算的應用價值

云計算具有很大的使用價值。首先，云計算通過對互聯(lián)網(wǎng)上的服務器的集群，對各類資源進行篩選整理并根據(jù)客戶的實際需求加以有針對性的提供，從而極大地節(jié)約了資源。這對于用戶和云計算運營商來講都能節(jié)省大量的資源，提供了很大的便利。同時，相比大型計算機的單獨運作，云計算在大數(shù)據(jù)處理，特別是深層數(shù)據(jù)挖掘和整合方面具有無與倫比的優(yōu)勢。以計算資源池為依托，云計算可以處理海量數(shù)據(jù)和超大型文件資料。

2.3 云計算環(huán)境下的并行計算模型

谷歌實驗室提出的MapReduce概念是一個分布式并行編程的模型或者說是技術框架，可用于并行處理大規(guī)模的數(shù)據(jù)。它的主要技術思路是先將一個MapReduce的數(shù)據(jù)處理作業(yè)分解為若干個能夠獨立運行的Map任務，把任務分配給不同的計算機去執(zhí)行，生成各自獨立的統(tǒng)一格式的某種中間文件，然后由Reduce任務合并這些Map任務，并最終獲得一個輸出文件。

3 基于云計算的海量數(shù)據(jù)挖掘

3.1 數(shù)據(jù)挖掘

簡單地說，數(shù)據(jù)挖掘就是對數(shù)據(jù)庫中的知識發(fā)現(xiàn)過程。它是在海量的數(shù)據(jù)中找到新型的、有效的或是可能有用的并能被人類理解的模式的一個過程。對于企業(yè)用戶而言，他們希望獲得看似混沌的海量數(shù)據(jù)中可理解的那部分知識，而且希望這類知識是非常精準的，比如一些電商用戶希望了解他們服務的客戶群體的行為模式和偏好等。

3.2 云計算數(shù)據(jù)挖掘服務的優(yōu)勢

總體而言，基于云計算的海量數(shù)據(jù)挖掘具有四方面的優(yōu)勢。

（1）基于云計算的海量數(shù)據(jù)挖掘采用分布式數(shù)據(jù)挖掘的方式，效率非常高，而且是實時動態(tài)開展的。因此，它的應用面非常廣泛，能夠滿足不同類型、不同規(guī)模的組織形態(tài)的需求。它既能為中小型用戶節(jié)約大量的資金成本，提高工作效率，又能幫助大型企業(yè)用戶緩解特定數(shù)據(jù)處理的需求對于大型計算機的技術依賴性。

（2）對于用戶而言，基于云計算的海量數(shù)據(jù)挖掘使用起來非常簡便。由于云計算分布式的數(shù)據(jù)處理模式，用戶不必考慮數(shù)據(jù)劃分和數(shù)據(jù)分配等繁瑣的數(shù)據(jù)挖掘處理的過程。

（3）基于云計算的海量數(shù)據(jù)挖掘提高了原有機器設備的利用率水平，通過服務器集成和協(xié)同工作提高了處理大數(shù)據(jù)的能力。而且，它的資源利用的可伸縮性非常靈活，并具有很高的容錯能力。

（4）基于云計算的海量數(shù)據(jù)挖掘把應用的門檻放得很低，實現(xiàn)了數(shù)據(jù)挖掘技術上的資源共享，回應了市場的急切需求。

3.3 云計算技術在海量數(shù)據(jù)挖掘過程中的關鍵問題

要很好地實現(xiàn)云計算技術在海量數(shù)據(jù)挖掘中的作用，還需要妥善解決虛擬機遷移、服務器整合、能耗管理、流量管理與分析、軟件框架和存儲技術與數(shù)據(jù)管理這六方面的關鍵問題。

（1）實現(xiàn)虛擬機遷移是為了回避熱點，減輕數(shù)據(jù)負載，使數(shù)據(jù)處理處于減壓平衡的狀態(tài)。但是，由于目前的技術水平限制，系統(tǒng)的靈活性還尚顯不足，回避熱點有時較難做到。此外，一些服務器的數(shù)據(jù)負載能力無法與高效的遷移需要相匹配。

（2）通過服務器整合，讓高頻與低頻錯位配置，能夠把能耗壓縮到最低。但是，這種理想的狀況常常會被資源利用的動態(tài)性所打斷，從而出現(xiàn)瞬時的信息擁堵情況的發(fā)生。

（3）能耗成本在云計算運營中的占比非常高，大致超過了一半的成本支出。

4 結(jié)語

總之，傳統(tǒng)的數(shù)據(jù)挖掘方式已經(jīng)無法滿足用戶的需求，而云計算技術對于海量數(shù)據(jù)挖掘和數(shù)據(jù)處理方面具有極大的優(yōu)勢。通過對云計算關鍵技術問題的解決，云計算在海量數(shù)據(jù)挖掘上必能有更大的作為。

參考文獻

[1]巴濟慈.基于云計算的海量數(shù)據(jù)挖掘處理與研究[D].長春：長春理工大學，2013.

[2]賀瑤，王文慶，薛飛.基于云計算的海量數(shù)據(jù)挖掘研究[J].計算機技術與發(fā)展，2013（02）：69-72.

[3]王鄂，李銘.云計算下的海量數(shù)據(jù)挖掘研究[J].現(xiàn)代計算機（專業(yè)版），2009（11）：22-25+50.

[4]袁其帥.云計算在海量數(shù)據(jù)挖掘過程中的問題探討[J].信息與電腦（理論版），2015（20）：98-99.