一種基于云計算的數據挖掘平臺架構設計與實現

解姍姍

(閩南理工學院信息管理系，福建泉州 362000）

1 引言

進入21世紀以來，我國在社會產業結構與科學技術等領域，都取得了長足的發展，尤其是在互聯網領域。隨著我國移動互聯網、物聯網的快速發展，使我國逐漸步入信息化、數據化新時代，在這個網絡數據、資源信息過載的海量信息時代，加強對數據挖掘平臺架構模型的研究與設計，將會極大的促進我國信息化辦公的發展。而這種互聯網應用技術被稱作“云計算”技術，它主要是基于“云”的一種分布式web安全系統。

近些年來，隨著數據量的急劇增加，我國許多行業在數據挖掘等領域面臨著嚴重的實現難題，包括一些對數據的分析計算、對數據的復雜處理技術、數據挖掘系統的計算能力等，這些矛盾日益突出。“云計算”的出現與迅速發展，改變了傳統的單機系統在計算過程中的不足之處，“云計算”這種商業化的計算模型，使得數據挖掘平臺系統的操作性、安全性、靈活性、穩定性都得到了極大的提升。

2 “云計算”與“數據挖掘平臺”

2.1 云計算

“云計算”——Cloud Computing，它是一種基于信息技術時代環境下互聯網的計算方式，也可稱其為“云技術”。而云計算平臺也可以稱作為云平臺，云計算平臺它能夠以一種快速、簡單、可擴展的互聯網計算方式來創建和管理大型、復雜的IT基礎設施的建設。本文重點研究的數據挖掘平臺也是基于這種方式來進行構建和實現的。總而言之，云計算平臺就是一種以數據挖掘處理技術為主的計算型——“云平臺”。

“云計算”主要包括三個層次面的服務，分別是:LaaS——基礎設施即時服務;PaaS——系統平臺即時服務;SaaS。

通常情況下，云計算主要應用于商業網絡模式的發展，其主要具有以下幾個方面的特征:①通用性。通用性是云計算在工作過程中最為顯著的一個特征，在商業運營模式中，云計算一般不針對特定的應用，它主要是在“云”的支撐下來構造出許許多多的千變萬化的互聯網信息技術的應用。②虛擬性。云計算最大的功能作用主要體現在“云”上，云計算支持用戶可以在任意位置不受時間、空間限制的使用各種互聯網終端，并以此來獲取相應的專業化的系統服務。對于云計算用戶而言，他們所獲取的信息資源并不是有形的、固定的實體服務，而是在使用“云”技術條件下所提供的互聯網終端服務。③經濟性好。在互聯網云計算技術應用下，云的特殊容錯機制，直接導致了云計算用戶可以采用更為廉價的節點來構成“云”。與此同時，云本身所具有的通用性，間接的促使互聯網數據信息資源的利用率得到了大幅度的提升。

2.2 數據挖掘

數據挖掘是人類社會在發展的過程中，知識發現領域的一項重要應用技術，數據挖掘涉及與應用的領域很多，包括一些模式識別、機器學習、人工智能等，其具體的操作技術可分為:Classification——分 類;Estimation——估 計;Prediction——預 測;Affinty grouping or association rules——相關性分組;Clustering——聚類等。

2.3 云計算環境下的數據挖掘平臺

3 云計算數據挖掘系統平臺架構的設計

3.1 支撐數據挖掘平臺架構的關鍵技術分析

關于數據挖掘平臺架構的設計，這就需要互聯網——“云計算”技術來作為支撐。云計算應用技術是當前社會各個領域發展過程中的應用需求，在實際應用與操作中，云計算技術已然成為了數據挖掘平臺架構中最為核心的互聯網應用技術手段之一。這些云計算應用技術手段中，主要包括分布式存儲應用技術、并行云計算應用技術、云計算虛擬化應用技術等。在實際應用過程中，分布式存儲應用技術比較廣泛，它可以利用本身所具備的高性能的先進計算機信息軟件，以此來彌補傳統計算機應用技術中硬件的不足之處，不僅如此，分布式存儲這種云計算應用技術，起到的最主要的作用就是保證了存儲數據信息的穩定性與經濟性。在下文中，將會以分布式存儲技術作為云計算技術實施數據挖掘處理的關鍵技術來研究與探討。

3.2 數據挖掘模型的設計

1.目標系統模型的設計

在互聯網云計算環境下，數據挖掘平臺中的目標系統起到著關鍵的促進作用，科學、合理的構架系統平臺中的目標系統模型，它不僅僅可以在互聯網——“云計算”技術環境下為各種終端用戶提供高透明化的界面服務，同時還能夠在此基礎之上進一步為互聯網終端用戶提供較為開放式的接口支持。加強和完善這種系統模型的建設，不僅可以滿足云計算用戶對互聯網終端訪問系統的性能要求，同時還可以綜合利用互聯網——“云計算”信息技術中其它類型的端口應用程序。

2.功能層次模型的設計

關于功能層次模型的設計，我們可以將其基本的框架結構進行細分，具體劃分為:算法層、應用層、用戶層這三個層次面。

首先，算法層是功能層次模型中最為核心的目標層。算法層在功能層次系統平臺中的工作原理是，它在工作過程中，主要是利用和準確的結合下一層所提供的統一數據源來調用相關算法以及對接口處進行合理的數據處理管理。在計算與實驗過程中，可以根據不同算法的執行順序來得到并分析不同的結果構成。

其次，功能層次中的應用層，它和其它目標層相比較，首選就是具有極強的抽象性，同時還可以將云計算環境下數據挖掘中的海量信息進行系統的規劃與描述，包括一些重要的數據處理分析以及關鍵核心算法等。在功能層次框架設計的過程中，應用層還具有其它方面的高效功能，包括為云計算數據挖掘平臺提供應用調用系統服務以及維護接口系統服務等。

3.數據挖掘系統設計中的關鍵技術

開放式接口設計技術。在互聯網——“云計算”技術環境中，在一般情況下，云計算數據挖掘平臺中的開放式接口，它主要被應用于數據挖掘平臺中的資源管理開發利用。這種云技術應用的研發與開發者，他們能夠更高效、更全面、更深入的利用數據挖掘平臺所提供的數據信息資源及其數據信息服務。

插件系統設計技術。插件系統設計是云計算數據挖掘系統設計中比較關鍵的設計技術，插件在云計算數據挖掘平臺中，主要是結合了相應的互聯網計算機應用程序及其開發接口規范，從而在一定程度上實現了數據挖掘平臺構架的一種應用程序。而在功能層次模型的設計過程中，技術開發工作人員一般都會把這種插件系統設置為三個部分:擴展點、調用下層擴展點、業務邏輯。

4 云計算數據挖掘平臺架構關鍵技術的實現

4.1 分布式算法CDKmeans分析

關于分布式存儲技術的算法分析，CDK-means——Cloud Distrbuted K － means 。CDK-means是當前學術界新提出來的一種基于云計算數據挖掘平臺的分布式算法。

這種基于互聯網——“云計算”技術下的新型數據挖掘程序算法，可以將其劃分為四種不同的程序算法:①一種基于地域性路由優化的程序算法;②資源約束型的自適應程序算法;③云計算環境下局部數據挖掘算法;④云計算平臺中的全局挖掘算法。

表1 資源約束型自適應程序算法相關符號

其中聚類半徑臨界值的表達公式具體為:

4.2 實驗研究的結果

5 結論及分析

基于“云計算”環境下的數據挖掘平臺為廣大用戶所帶來的好處:①零管理。“云計算”技術應用環境下的數據挖掘平臺為廣大的互聯網——“云計算”用戶節約了大量的管理費用，降低了商業模式的運營管理成本，在這種情況下，云計算用戶不需要投入相應的人員管理、技術管理、設備管理等資金費用。②零安裝。零安裝可以說是目前最便利的新技術，這也是云計算數據挖掘平臺得以推廣與發展的基礎。零安裝主要是指互聯網用戶在使用過程中，完全不需要進行安裝，包括一些計算機軟硬件等，互聯網云平臺中的用戶只需要通過網絡配置將其接入到云計算系統網址當中。③零維護。在“云計算”環境下，數據挖掘網絡系統平臺可以為廣大的互聯網用戶節約大量的維護成本。因為這種系統平臺是建立在云計算體系基礎之上的，與那些傳統的系統平臺相比較，“云平臺”系統可以實時在線，并時刻保持著系統的最新版本以及最佳的防護能力。

總而言之，分布式存儲應用技術，在數據挖掘平臺系統中的優勢正是互聯網——“云計算”技術的本質體現。它之所以得到了高速的發展與普及，主要是為了適應當今知識經濟信息化時代的社會發展需求。簡單的舉個例子:假設只有一個網站采用了“云計算”這種互聯網信息應用技術，那么他肯定無法得到發展，無論從成本費用上還是從企業規模效益上，都將會受到極大的損失。因此，云計算只有在為大規模的互聯網用戶提供專項服務的時候，才能最大限度的發揮其應有的效益。

［1］云曉東.云計算的數據挖掘應用分析［J］.電子制作，2014(1）:131－131.

［2］崇陽.云計算的數據挖掘應用分析［J］.計算機光盤軟件與應用，2014(9）:30－31.

［3］朱江.基于云計算的數據挖掘平臺架構及其關鍵技術研究［J］.計算機光盤軟件與應用，2014(21）:111－111，113.

［4］張敏.云計算環境下的并行數據挖掘策略研究［D］.南京:南京郵電大學，2011.

［5］陳林沖.云計算技術的探討與研究［J］.電腦知識與技術，2014(36）:8607 －8608.