基于聚類(lèi)優(yōu)化的大型網(wǎng)絡(luò)數(shù)據(jù)庫(kù)挖掘系統(tǒng)設(shè)計(jì)

姜姍 任靖娟 高志宇

摘? 要： 傳統(tǒng)的數(shù)據(jù)庫(kù)挖掘系統(tǒng)是基于粗略集合方法進(jìn)行挖掘，該系統(tǒng)在面對(duì)龐大的數(shù)據(jù)量時(shí)，系統(tǒng)運(yùn)行效率較差，為此設(shè)計(jì)基于聚類(lèi)優(yōu)化的大型網(wǎng)絡(luò)數(shù)據(jù)庫(kù)挖掘系統(tǒng)。搭建數(shù)據(jù)采集所需的傳感器節(jié)點(diǎn)結(jié)構(gòu)，選擇CC3200作為主控芯片，在原有的電路中引入射頻通信電路，實(shí)現(xiàn)數(shù)據(jù)的無(wú)線傳輸;在此基礎(chǔ)上，對(duì)數(shù)據(jù)庫(kù)中數(shù)據(jù)進(jìn)行預(yù)處理，利用優(yōu)化后的聚類(lèi)算法和軟件程序?qū)崿F(xiàn)數(shù)據(jù)挖掘，至此系統(tǒng)設(shè)計(jì)完成。測(cè)試結(jié)果表明：與傳統(tǒng)的數(shù)據(jù)庫(kù)挖掘系統(tǒng)相比，基于聚類(lèi)優(yōu)化的大型網(wǎng)絡(luò)數(shù)據(jù)庫(kù)挖掘系統(tǒng)在處理龐大的數(shù)據(jù)量時(shí)，系統(tǒng)始終保持較高的運(yùn)行效率，適合應(yīng)用在大型網(wǎng)絡(luò)數(shù)據(jù)庫(kù)中。

關(guān)鍵詞： 大型網(wǎng)絡(luò); 數(shù)據(jù)庫(kù)挖掘系統(tǒng); 聚類(lèi)優(yōu)化; 數(shù)據(jù)傳輸; 系統(tǒng)設(shè)計(jì); 仿真測(cè)試

中圖分類(lèi)號(hào)： TN911?34; TP391.4? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）06?0175?03

Design of large network database mining system based on clustering optimization

JIANG Shan， REN Jingjuan， GAO Zhiyu

（School of Information Technology， Henan University of Traditional Chinese Medicine， Zhengzhou 450000， China）

Abstract： As for the traditional database mining system based on the rough set method has poor efficiency of system operation when facing huge amount of data， large network database mining system based on clustering optimization is designed. The sensor node structure required for data collection is built， CC3200 is selected as the main control chip， and the RF communication circuit is introduced into the original circuit to realize the wireless transmission of data. On this basis， the data in the database is preprocessed， and data mining is realized by means of the optimized clustering algorithm and software program， so that the system design is completed. The testing results show that， in comparison with the traditional database mining system， the large network database mining system based on clustering optimization keeps high efficiency when dealing with large amount of data， which is suitable for application in large network database.

Keywords： large networks; database mining system; clustering optimization; data transmission; system design; simulation test

0? 引? 言

隨著信息技術(shù)的發(fā)展，人類(lèi)已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代，對(duì)龐大的數(shù)據(jù)進(jìn)行分析和處理需要利用數(shù)據(jù)庫(kù)挖掘技術(shù)，這是一種隨著大數(shù)據(jù)時(shí)代到來(lái)而產(chǎn)生的技術(shù)。數(shù)據(jù)庫(kù)的挖掘是通過(guò)算法將具有潛在價(jià)值的、可利用的信息數(shù)據(jù)從龐大的數(shù)據(jù)中分析提煉出來(lái)的過(guò)程[1]。該技術(shù)綜合了模式識(shí)別、搜索建模和人工智能等技術(shù)，進(jìn)行歸納與推理，摸索出數(shù)據(jù)間存在的潛在關(guān)系，為信息數(shù)據(jù)的傳遞提供了良好的基礎(chǔ)[2]。

數(shù)據(jù)庫(kù)在不斷的擴(kuò)大，使數(shù)據(jù)的種類(lèi)越來(lái)越多，復(fù)雜程度越來(lái)越大。那么對(duì)聚類(lèi)算法也應(yīng)有更高的要求，傳統(tǒng)聚類(lèi)算法已經(jīng)很難滿足實(shí)際要求，為此在傳統(tǒng)聚類(lèi)算法上進(jìn)行優(yōu)化，設(shè)計(jì)基于聚類(lèi)優(yōu)化的大型網(wǎng)絡(luò)數(shù)據(jù)庫(kù)挖掘系統(tǒng)，克服傳統(tǒng)聚類(lèi)算法中的缺點(diǎn)，實(shí)現(xiàn)對(duì)高維復(fù)雜數(shù)據(jù)的聚類(lèi)。

1? 大型網(wǎng)絡(luò)數(shù)據(jù)庫(kù)挖掘系統(tǒng)硬件設(shè)計(jì)

設(shè)計(jì)大型網(wǎng)絡(luò)數(shù)據(jù)庫(kù)挖掘系統(tǒng)，首先需要采集所需數(shù)據(jù)，做訓(xùn)練數(shù)據(jù)集，具有針對(duì)性的進(jìn)行數(shù)據(jù)庫(kù)挖掘[2]。數(shù)據(jù)采集利用無(wú)線傳感器技術(shù)來(lái)實(shí)現(xiàn)，無(wú)線傳感器一般由傳感器節(jié)點(diǎn)、用戶管理節(jié)點(diǎn)、匯聚節(jié)點(diǎn)、互聯(lián)網(wǎng)以及被監(jiān)測(cè)區(qū)域組成[3]，如圖1所示。將傳感器節(jié)點(diǎn)布置在監(jiān)測(cè)目標(biāo)附近，方便感知監(jiān)測(cè)目標(biāo)的各項(xiàng)屬性，監(jiān)測(cè)到的信息通過(guò)匯聚節(jié)點(diǎn)接收的同時(shí)，用戶終端接收到數(shù)據(jù)并進(jìn)行分析，并且通過(guò)匯聚節(jié)點(diǎn)實(shí)現(xiàn)對(duì)傳感器節(jié)點(diǎn)的控制與管理。

1.1? 傳感器節(jié)點(diǎn)結(jié)構(gòu)設(shè)計(jì)

傳感器節(jié)點(diǎn)是實(shí)現(xiàn)數(shù)據(jù)采集的核心，主要有傳感器模塊，處理器模塊，無(wú)線通信模塊以及電源模塊組成，如圖2所示。

在傳感器節(jié)點(diǎn)中，傳感器模塊負(fù)責(zé)數(shù)據(jù)采集，該模塊主要通過(guò)傳感器感知各種信息，而將模擬參量轉(zhuǎn)化為數(shù)字參量，方便處理器模塊對(duì)數(shù)據(jù)進(jìn)行處理的是ADC。而處理器模塊主要使用來(lái)接收和存儲(chǔ)數(shù)據(jù)。最后實(shí)現(xiàn)無(wú)線數(shù)據(jù)傳輸?shù)氖菬o(wú)線通信模塊。電源模塊提供穩(wěn)定的電壓，為系統(tǒng)提供能量，維持系統(tǒng)的正常運(yùn)行。根據(jù)系統(tǒng)實(shí)際需求選擇CC3200節(jié)點(diǎn)主控芯片。CC3200是目前應(yīng)用范圍最廣，功能最強(qiáng)大控制芯片[4]，其為用戶開(kāi)發(fā)提供運(yùn)行頻率為80 MHz高性能處理器等。

1.2? 射頻通信電路設(shè)計(jì)

傳感器節(jié)點(diǎn)以CC3200主控芯片為核心，配合外圍電路實(shí)現(xiàn)數(shù)據(jù)采集，由于CC3200是一種單片無(wú)線微控制器，其外圍電路包括電源電路、復(fù)位電路、晶振電路、WiFi射頻模塊電路以及接口電路[5]。主要實(shí)現(xiàn)無(wú)線傳輸?shù)氖荂C3200芯片內(nèi)部的射頻產(chǎn)生射頻信號(hào)，該信號(hào)進(jìn)入2.4 GHz天線，通過(guò)天線向外傳送無(wú)線信號(hào)。WiFi射頻通信電路如圖3所示。

設(shè)計(jì)WiFi射頻信號(hào)電路，保證2.4 GHz射頻信號(hào)在WiFi射頻信號(hào)電路中具有良好的傳輸性能，并且在實(shí)現(xiàn)消除負(fù)載對(duì)射頻信號(hào)的反射，使射頻信號(hào)在傳輸過(guò)程中使信號(hào)源輸出最大功率。

2? 大型網(wǎng)絡(luò)數(shù)據(jù)庫(kù)挖掘系統(tǒng)軟件設(shè)計(jì)

2.1? 數(shù)據(jù)采集及預(yù)處理

大型網(wǎng)絡(luò)數(shù)據(jù)庫(kù)挖掘是一個(gè)復(fù)雜的過(guò)程，根據(jù)實(shí)際要求采集所需數(shù)據(jù)，采集到的數(shù)據(jù)被存儲(chǔ)到數(shù)據(jù)庫(kù)中。此時(shí)數(shù)據(jù)庫(kù)中的數(shù)據(jù)未經(jīng)過(guò)篩選，會(huì)存在很多噪音和沒(méi)有用的離散點(diǎn)，所以需要先對(duì)其進(jìn)行預(yù)處理，提高數(shù)據(jù)所具有的的特性，使數(shù)據(jù)在挖掘過(guò)程中聚類(lèi)速度更快，結(jié)果更加優(yōu)異[6]。在完成數(shù)據(jù)預(yù)處理后，根據(jù)數(shù)據(jù)特性的不同利用優(yōu)化后的聚類(lèi)算法進(jìn)行聚類(lèi)分析獲得不同的聚類(lèi)結(jié)果。

對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，利用分箱技術(shù)去除掉數(shù)據(jù)中的噪聲數(shù)據(jù)和冗余數(shù)據(jù)，使用與給定元素類(lèi)似的樣本平均值填寫(xiě)空值。根據(jù)用戶的設(shè)置對(duì)整個(gè)數(shù)據(jù)集重新排序，對(duì)可匹配的數(shù)據(jù)記錄進(jìn)行多次刷新，確定結(jié)果的準(zhǔn)確性。對(duì)多個(gè)數(shù)據(jù)庫(kù)運(yùn)行環(huán)境中的異類(lèi)數(shù)據(jù)進(jìn)行合并，可為后續(xù)的聚類(lèi)提供方便[7]。

2.2? 優(yōu)化聚類(lèi)算法

若，則劃分矩陣U和聚類(lèi)中心C為就是最終的結(jié)果，反之重復(fù)以上步驟。假設(shè)存在一組含有10個(gè)樣本的二維數(shù)據(jù)，將其分成3個(gè)簇，其分布如圖4所示。

利用獲得的聚類(lèi)中心計(jì)算類(lèi)間分離度，從而計(jì)算數(shù)據(jù)樣本的特征權(quán)重[f]。對(duì)數(shù)據(jù)樣本的特征的計(jì)算是基于最大分離原則的思想，也就是需要增大某一維的屬性權(quán)重。一般情況下選擇各維特征中最具代表性的，這樣能夠使其對(duì)劃分的貢獻(xiàn)盡可能的明顯，降低對(duì)劃分的干擾[9]。其特征權(quán)重的計(jì)算公式如下：

式中：[Zdistj]表示類(lèi)間分離度;[ηj]表示平衡系數(shù);r表示系數(shù)。構(gòu)成權(quán)重的初始聚類(lèi)中心矩陣類(lèi)間分離度和平衡系數(shù)存在一定的關(guān)系，新的分離度是平衡系數(shù)和最初的聚類(lèi)中心矩陣的分離度相乘的結(jié)果。

2.3? 基于聚類(lèi)優(yōu)化的數(shù)據(jù)挖掘

通過(guò)優(yōu)化后的聚類(lèi)算法對(duì)數(shù)據(jù)進(jìn)行分類(lèi)，將數(shù)據(jù)保存在不同的數(shù)據(jù)倉(cāng)庫(kù)中，并獲得其特征權(quán)重，根據(jù)實(shí)際需求利用不同的特征權(quán)重對(duì)數(shù)據(jù)進(jìn)行挖掘。實(shí)現(xiàn)數(shù)據(jù)挖掘的部分代碼如下所示。

{class Kmdiod（）

get_data（self）? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?//接收數(shù)據(jù)

centroids = self.，data[init_index，：]? ? ? ? ? ? ? ? ?//初始化簇心

print（′開(kāi)始迭代′）;

target = []

stop = false? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? //初始參數(shù)設(shè)定

while（not stop）：? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?//開(kāi)始遍歷數(shù)據(jù)

stop =true

points = [[can] for in can]

target = []

for sample in self.data;? ? ? ? ? ? ? ? //計(jì)算離數(shù)據(jù)最近的簇心

target.append（level）? ? ? ? ? ? ? ? ?//統(tǒng)計(jì)迭代完成后所有簇心

for s in range（self.cen） //尋找簇對(duì)應(yīng)的歐氏距離最小的中心

n_distances = sum（distance）? ? ? //統(tǒng)計(jì)簇中共有多少個(gè)中心

for（int i=0;i

if（belong[i]）{

cout<

}

聚類(lèi)算法將所有數(shù)據(jù)對(duì)象劃分為多個(gè)聚類(lèi)，同一聚類(lèi)中的對(duì)象存在較高的相似值，不同的聚類(lèi)對(duì)象的相似值較小[10]。利用數(shù)據(jù)樣本的特征權(quán)重進(jìn)行數(shù)據(jù)挖掘，將數(shù)據(jù)分到相似度最大的類(lèi)中，實(shí)現(xiàn)基于聚類(lèi)優(yōu)化的數(shù)據(jù)挖掘。

3? 仿真測(cè)試

對(duì)基于聚類(lèi)優(yōu)化的大型網(wǎng)絡(luò)數(shù)據(jù)庫(kù)挖掘系統(tǒng)進(jìn)行測(cè)試，測(cè)試過(guò)程中利用不同的數(shù)據(jù)類(lèi)型，以及數(shù)據(jù)量的變化，測(cè)試系統(tǒng)的運(yùn)行效率，并利用傳統(tǒng)的數(shù)據(jù)庫(kù)挖掘系統(tǒng)作為測(cè)試對(duì)比對(duì)象，進(jìn)行測(cè)試分析。

3.1? 測(cè)試準(zhǔn)備

測(cè)試過(guò)程中，需要準(zhǔn)備三種不同類(lèi)型的測(cè)試數(shù)據(jù)，并且設(shè)置數(shù)據(jù)量為2～18 GB，利用聚類(lèi)算法進(jìn)行數(shù)據(jù)挖掘。相關(guān)參數(shù)設(shè)置如表1所示。

利用Matlab軟件進(jìn)行仿真，通過(guò)基于聚類(lèi)優(yōu)化的大型網(wǎng)絡(luò)數(shù)據(jù)庫(kù)挖掘系統(tǒng)和傳統(tǒng)的數(shù)據(jù)庫(kù)挖掘系統(tǒng)進(jìn)行挖掘，在系統(tǒng)與Oracle數(shù)據(jù)庫(kù)交互過(guò)程中，手動(dòng)配置Web文件，實(shí)現(xiàn)系統(tǒng)與數(shù)據(jù)庫(kù)的連接。

為保證測(cè)試的可靠性，模擬的數(shù)據(jù)量為測(cè)試的典型值，不是重復(fù)值和隨機(jī)值。利用兩種系統(tǒng)對(duì)提供的數(shù)據(jù)量進(jìn)行挖掘，分析挖掘結(jié)果，根據(jù)分析結(jié)果分析系統(tǒng)的運(yùn)行效率。

3.2? 測(cè)試結(jié)果及分析

在不同數(shù)據(jù)量下的仿真測(cè)試結(jié)果，繪制測(cè)試結(jié)果對(duì)比曲線，如圖5所示。從圖中可以看出，傳統(tǒng)的數(shù)據(jù)庫(kù)挖掘系統(tǒng)隨著數(shù)據(jù)量的增加，系統(tǒng)的運(yùn)行效率逐漸減小，特別是在數(shù)據(jù)量增加到10 GB之后，出現(xiàn)了明顯的下降趨勢(shì)。而基于聚類(lèi)優(yōu)化的大型網(wǎng)絡(luò)數(shù)據(jù)庫(kù)挖掘系統(tǒng)，隨著數(shù)據(jù)量的增加，產(chǎn)生的波動(dòng)較小，系統(tǒng)的運(yùn)行效率基本沒(méi)有受到太大的影響，始終保持比較穩(wěn)定的狀態(tài)。兩者相比可以明顯看出提出的基于聚類(lèi)優(yōu)化的數(shù)據(jù)庫(kù)挖掘系統(tǒng)，在處理大量數(shù)據(jù)時(shí)，依然能保持高效處理，適合應(yīng)用在實(shí)際項(xiàng)目中。

4? 結(jié)? 語(yǔ)

設(shè)計(jì)基于聚類(lèi)優(yōu)化的大型網(wǎng)絡(luò)數(shù)據(jù)庫(kù)挖掘系統(tǒng)，針對(duì)聚類(lèi)初始中心進(jìn)行優(yōu)化，引用權(quán)重特征，利用優(yōu)化后的聚類(lèi)算法和軟件程序完成數(shù)據(jù)挖掘數(shù)據(jù)挖掘的應(yīng)用范圍十分廣闊，如科研領(lǐng)域和商業(yè)領(lǐng)域，而數(shù)據(jù)挖掘系統(tǒng)在實(shí)際應(yīng)用中的發(fā)展，具有一定的現(xiàn)實(shí)意義。

參考文獻(xiàn)

[1] 肖宗水，孟令童，孔蘭菊，等.基于數(shù)據(jù)庫(kù)日志關(guān)聯(lián)規(guī)則挖掘的業(yè)務(wù)流程優(yōu)化[J].計(jì)算機(jī)集成制造系統(tǒng)，2017，23（5）：993?999.

[2] 王曉妮，段群，韓建剛.基于云計(jì)算的數(shù)據(jù)挖掘系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2019，14（3）：178?182.

[3] 張沛朋，魏楠.基于數(shù)據(jù)挖掘技術(shù)的個(gè)性化移動(dòng)推薦系統(tǒng)設(shè)計(jì)研究[J].西安文理學(xué)院學(xué)報(bào)（自然科學(xué)版），2017，20（2）：41?45.

[4] 王永勝，李暉，陳梅，等.VISDMiner：一個(gè)交互式數(shù)據(jù)挖掘過(guò)程可視化系統(tǒng)[J].計(jì)算機(jī)與現(xiàn)代化，2018（6）：76?82.

[5] 侯亮，王新棟，高倩，等.基于Hadoop的農(nóng)業(yè)大數(shù)據(jù)挖掘系統(tǒng)構(gòu)建[J].農(nóng)業(yè)圖書(shū)情報(bào)學(xué)刊，2018（7）：21?23.

[6] 李洪奇，張艷麗，楊景海，等.特征聚類(lèi)在油田測(cè)試方案優(yōu)化中的研究[J].計(jì)算機(jī)工程與應(yīng)用，2017，53（21）：214?218.

[7] 張恒，李世其，劉世平，等.一種聚類(lèi)優(yōu)化的傳感器布置方法研究[J].振動(dòng)與沖擊，2017，36（14）：61?65.

[8] 陳志雄.基于hadoop平臺(tái)的分布式數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)探討[J].數(shù)字技術(shù)與應(yīng)用，2017（1）：179?179.

[9] 程慧，李建芬，付龍，等.基于95598大數(shù)據(jù)挖掘的系統(tǒng)設(shè)計(jì)及研究[J].貴州電力技術(shù)，2017，20（9）：17?19.

[10] 梁雙，周麗華，楊培忠.基于聚類(lèi)分析分庫(kù)策略的社交網(wǎng)絡(luò)數(shù)據(jù)庫(kù)查詢性能與數(shù)據(jù)遷移[J].計(jì)算機(jī)應(yīng)用，2017，37（3）：673?679.