基于云計(jì)算的WEB數(shù)據(jù)挖掘關(guān)鍵技術(shù)分析

劉少均

摘要：現(xiàn)階段，數(shù)據(jù)存儲(chǔ)功能上的大幅度提升也是得益于云計(jì)算的飛速發(fā)展。在此市場(chǎng)背景下，研究云計(jì)算基礎(chǔ)上的WEB數(shù)據(jù)挖掘技術(shù)是有非常深遠(yuǎn)意義的，在對(duì)云計(jì)算的使用特點(diǎn)分析后，再結(jié)合WEB數(shù)據(jù)挖掘技術(shù)進(jìn)行進(jìn)一步分析。

關(guān)鍵詞：云計(jì)算；WEB數(shù)據(jù)；關(guān)鍵技術(shù)分析

中圖分類號(hào)：TP311.13 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2017）01-0092-02

互聯(lián)網(wǎng)產(chǎn)業(yè)所具有革命性，是由于它創(chuàng)新了時(shí)代格局、改變了生活習(xí)慣，在隨著用戶不斷增加、需求不斷更新的情況下，他的數(shù)據(jù)信息越來(lái)越豐富。WEB技術(shù)就是指從海量的信息中提取出符合需求的信息。

1 云計(jì)算

1.1 云計(jì)算的概念

云計(jì)算是一種在互聯(lián)網(wǎng)的基礎(chǔ)上進(jìn)行創(chuàng)新的新的計(jì)算方式，主要是以互聯(lián)網(wǎng)上異構(gòu)和自治的服務(wù)方式來(lái)滿足用戶按需即取的計(jì)算要求。因?yàn)榛ヂ?lián)網(wǎng)上的資源正是所需的資源，若是用一個(gè)類似云的圖案來(lái)表示互聯(lián)網(wǎng)的話，就可以生動(dòng)形象的比喻為云，同時(shí)“云”也生動(dòng)的概括了底層抽象的基礎(chǔ)設(shè)施。

1.2 云計(jì)算的特點(diǎn)

（1）分布式。分布式是云計(jì)算最本質(zhì)的特點(diǎn)。這個(gè)特點(diǎn)一是體現(xiàn)在在地理位置的分布上對(duì)用戶以及服務(wù)的提供者是不同的，二是體現(xiàn)在在不同的計(jì)算機(jī)上或者同一計(jì)算機(jī)的不同地理位置上分布著服務(wù)提供者提供服務(wù)的能力。

（2）虛擬化。虛擬化是云計(jì)算的特點(diǎn)中最重要的。虛擬化這一技術(shù)特點(diǎn)的使用使得更能更好的結(jié)合硬件產(chǎn)品和軟件產(chǎn)品。虛化性為這一特點(diǎn)為其他云計(jì)算的特點(diǎn)提供了保障。

（3）高可靠性。數(shù)據(jù)的存儲(chǔ)以及對(duì)數(shù)據(jù)的處理都是由云計(jì)算中的應(yīng)用程序在許多的計(jì)算節(jié)點(diǎn)中進(jìn)行的。所以即使是某個(gè)節(jié)點(diǎn)發(fā)生故障，也不會(huì)影響數(shù)據(jù)的存儲(chǔ)和對(duì)數(shù)據(jù)的處理，換句話說(shuō)這加強(qiáng)了系統(tǒng)的可靠性。

2 WEB數(shù)據(jù)挖掘

2.1 WEB數(shù)據(jù)挖掘的概念

WEB數(shù)據(jù)挖掘就是指融合WEB、數(shù)據(jù)挖掘、計(jì)算機(jī)存在的技術(shù)和方法。在三者進(jìn)行結(jié)合后，能夠?qū)⑵渚C合性淋漓盡致的表現(xiàn)出來(lái)。WEB數(shù)據(jù)挖掘技術(shù)是由多種技術(shù)共同作用運(yùn)行的而不是靠某一單一技術(shù)進(jìn)行運(yùn)行。

2.2 WEB數(shù)據(jù)的特點(diǎn)

（1）異構(gòu)數(shù)據(jù)庫(kù)環(huán)境。在WEB中，每個(gè)站點(diǎn)都相當(dāng)于一個(gè)數(shù)據(jù)源，都可以產(chǎn)生一定的數(shù)據(jù)，并且這些數(shù)據(jù)都具有異構(gòu)性，同時(shí)在組織以及信息方面都存在差異性，這就組成了數(shù)據(jù)庫(kù)的異構(gòu)環(huán)境。

（2）分布式特點(diǎn)：WEB是以互聯(lián)網(wǎng)作為基礎(chǔ)，這就使得在世界上的任意WEB服務(wù)器上都可以顯示其網(wǎng)頁(yè)，這體現(xiàn)了其分布式的特點(diǎn)。

（3）動(dòng)態(tài)性：由于WEB 每個(gè)站點(diǎn)具有很強(qiáng)的動(dòng)態(tài)性，這就加快了每個(gè)站點(diǎn)在進(jìn)行鏈接信息、訪問(wèn)記錄信息等信息的更新的頻率。

2.3 WEB數(shù)據(jù)挖掘的分類

數(shù)據(jù)挖掘主要分為結(jié)構(gòu)挖掘、使用挖掘和內(nèi)容挖掘這三大類。在下文中將對(duì)結(jié)構(gòu)挖掘以及使用挖掘進(jìn)行詳細(xì)介紹。

（1）結(jié)構(gòu)挖掘。WEB結(jié)構(gòu)挖掘就是從WEB結(jié)構(gòu)中挖掘有用信息的過(guò)程，WEB結(jié)構(gòu)主要包括組織結(jié)構(gòu)、文檔結(jié)構(gòu)和 WEB鏈接關(guān)系結(jié)構(gòu)等，具體來(lái)說(shuō)，在研究WEB時(shí)，同時(shí)也要針對(duì)頁(yè)面結(jié)構(gòu)以及WEB鏈接關(guān)系結(jié)構(gòu)進(jìn)行研究，找出隱含在兩者中的關(guān)系模式，這就可以完成對(duì)鏈接甚至鏈接頁(yè)面的分類，從中甄選出所需的頁(yè)面，這就是WEB數(shù)據(jù)的結(jié)構(gòu)挖掘。

（2）使用挖掘。WEB使用挖掘就是針對(duì)用戶進(jìn)行訪問(wèn)時(shí)的模式進(jìn)行挖掘的過(guò)程，其依賴于數(shù)據(jù)挖掘技術(shù)，能夠有效提升網(wǎng)絡(luò)信息服務(wù)質(zhì)量，對(duì)于改進(jìn)WEB服務(wù)器性能也有著重要的作用。

3 云計(jì)算背景下的web數(shù)據(jù)挖掘技術(shù)分析

3.1 云計(jì)算背景下的web數(shù)據(jù)的收集和處理

分析用戶以及WEB的訪問(wèn)數(shù)據(jù)是進(jìn)行收集數(shù)據(jù)和處理數(shù)據(jù)的主要內(nèi)容。在云計(jì)算的基礎(chǔ)上，盡量完善對(duì)數(shù)據(jù)的網(wǎng)絡(luò)分析、篩選、整合，使數(shù)據(jù)更具有效性和針對(duì)性，與此同時(shí)，將WEB中的數(shù)據(jù)轉(zhuǎn)成xml形式的文件，使其以分布式文件的形式存在。

3.2 基于云計(jì)算的Web數(shù)據(jù)挖掘算法

基于云計(jì)算的Web數(shù)據(jù)挖掘算法步驟如下：

第一步，根據(jù)數(shù)據(jù)挖掘服務(wù)請(qǐng)求來(lái)對(duì)置信度闕值進(jìn)行確定，一般這種服務(wù)請(qǐng)求由Web瀏覽器提出的。

第二步，客戶端向主控節(jié)點(diǎn)發(fā)出的任務(wù)，數(shù)據(jù)存儲(chǔ)的節(jié)點(diǎn)就會(huì)向主控節(jié)點(diǎn)申請(qǐng)數(shù)據(jù)并返回有服務(wù)節(jié)點(diǎn)處理過(guò)后的數(shù)據(jù)。

第三步，主控節(jié)點(diǎn)的數(shù)據(jù)將發(fā)給算法的存儲(chǔ)節(jié)點(diǎn)，算法節(jié)點(diǎn)會(huì)根據(jù)所存儲(chǔ)的大量算法，篩選出最佳的挖掘算法，并將這些算法應(yīng)用到每個(gè)服務(wù)節(jié)點(diǎn)。

第四步，每個(gè)服務(wù)節(jié)點(diǎn)都會(huì)有針對(duì)性地對(duì)各個(gè)數(shù)據(jù)進(jìn)行篩選，從而將數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行系統(tǒng)的分類和規(guī)整，用 Apriori算法，得出不同數(shù)據(jù)庫(kù)的一部分頻集。

第五步，將服務(wù)節(jié)點(diǎn)處理的這些結(jié)果反饋主控節(jié)點(diǎn)上，得出整個(gè)數(shù)據(jù)庫(kù)全局的頻集。在將這些發(fā)送到每個(gè)服務(wù)節(jié)點(diǎn)之上就可以得到更加準(zhǔn)確的局部頻集。以此類推，再將服務(wù)節(jié)點(diǎn)處理的結(jié)果反饋到主控節(jié)點(diǎn)上，得到更加精準(zhǔn)的全局的頻集。

4 結(jié)語(yǔ)

WEB數(shù)據(jù)挖掘指的是從WEB數(shù)據(jù)以及其他獲得的網(wǎng)絡(luò)數(shù)據(jù)中選出所需的有效的、針對(duì)性的數(shù)據(jù)信息。它通過(guò)用戶的興趣和習(xí)慣來(lái)篩選出數(shù)據(jù)信息以滿足用戶的需求。基于云計(jì)算的WEB數(shù)據(jù)挖掘能夠在網(wǎng)絡(luò)的平臺(tái)上進(jìn)行統(tǒng)一的調(diào)整或管理，還可以充分占用云計(jì)算的儲(chǔ)存空間。基于云計(jì)算下的WEB數(shù)據(jù)挖掘關(guān)鍵技術(shù)不僅提高了數(shù)據(jù)挖掘的技術(shù)性，還提高了對(duì)網(wǎng)絡(luò)數(shù)據(jù)的利用率。基于云計(jì)算的WEB數(shù)據(jù)挖掘關(guān)鍵技術(shù)的提高對(duì)我國(guó)互聯(lián)網(wǎng)的發(fā)展具有重要的促進(jìn)意義。

參考文獻(xiàn)

[1]任爭(zhēng)，董莉麗，史澤，等.數(shù)據(jù)挖掘技術(shù)及其在過(guò)程監(jiān)控中的應(yīng)用[J].黑龍江科技信息，2016（9）.

[2]黃佳倩，何明昌，盛麗芬，等.基于云計(jì)算的移動(dòng)學(xué)習(xí)平臺(tái)[J].2015（3）：40-43.