數(shù)據(jù)挖掘應(yīng)用和優(yōu)化的研究

崔嘉

（海軍航空工程學(xué)院 山東 煙臺 264001）

數(shù)據(jù)挖掘應(yīng)用和優(yōu)化的研究

崔嘉

（海軍航空工程學(xué)院 山東 煙臺 264001）

針對數(shù)據(jù)挖掘技術(shù)從數(shù)據(jù)源中挖掘出潛在的、有價值的知識，對科學(xué)決策和分析問題具有非常重要的意義。通過對聚類算法進(jìn)行分析，結(jié)合可視化技術(shù)，利用網(wǎng)格與聚類算法相結(jié)合，進(jìn)行二次聚類處理，提高數(shù)據(jù)挖掘的工作效率。本文對于智能研究人員具有積極的作用。

數(shù)據(jù)挖掘；優(yōu)化；可視化；聚類分析

隨著網(wǎng)絡(luò)和計算機技術(shù)的不斷提高，各行各業(yè)對于數(shù)據(jù)的運用越來越廣泛，促使了信息化程度的日益提高[1]。大量的數(shù)據(jù)給人們的決策提供了豐富的原始資料，但數(shù)據(jù)集中存在著數(shù)量眾多的冗余數(shù)據(jù)，如何提取有用的數(shù)據(jù)形成知識給人們使用，促使了數(shù)據(jù)挖掘技術(shù)的不斷發(fā)展。可視化技術(shù)是將計算機圖像處理技術(shù)、圖形學(xué)、輔助設(shè)計、人機交互和計算機視覺等多個學(xué)科相結(jié)合的一門學(xué)科，隨著可視化技術(shù)發(fā)展的需要，數(shù)據(jù)挖掘技術(shù)與可視化技術(shù)相結(jié)合是發(fā)展數(shù)據(jù)可視化的有效手段[2]。

1 數(shù)據(jù)挖掘技術(shù)

1.1 數(shù)據(jù)挖掘概念

1）數(shù)據(jù)挖掘定義

數(shù)據(jù)挖掘從20世紀(jì)70年代提出以來，就受到了IT業(yè)界的歡迎，特別是20世紀(jì)末期，隨著計算機技術(shù)和網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，信息化處理受到人們越來越多的關(guān)注，為了更加準(zhǔn)確地獲取數(shù)據(jù)，數(shù)據(jù)挖掘與其他行業(yè)的結(jié)合越來越廣泛[3]。

數(shù)據(jù)挖掘是對擁有海量的、模糊的、有噪聲的、隨機的及不完全的數(shù)據(jù)源中通過特有的運算提取出潛在的、事先不知的知識過程。其中數(shù)據(jù)源不一定來自同一位置或同一出處[4]；提取出的知識能夠被人或計算機識別。

2）數(shù)據(jù)挖掘過程

數(shù)據(jù)挖掘經(jīng)過多年的不斷發(fā)展，國內(nèi)外專家和學(xué)者提出和設(shè)計了大量的算法，無論哪種算法，其過程基本上是相近的。整個過程分為數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘和結(jié)果表達(dá)3個階段，具體如圖1所示[5-6]：

在數(shù)據(jù)準(zhǔn)備階段，是通過數(shù)據(jù)集成和選擇等操作將數(shù)據(jù)源中雜亂的、無序的或不可識別的數(shù)據(jù)轉(zhuǎn)換為計算機可識別的目標(biāo)數(shù)據(jù)；在數(shù)據(jù)挖掘階段，通過預(yù)處理數(shù)據(jù)，挖掘出有用的數(shù)據(jù)信息；結(jié)果表示階段是將預(yù)處理后的數(shù)據(jù)以知識表現(xiàn)的形式展示出來。

3）數(shù)據(jù)挖掘功能

數(shù)據(jù)挖掘與其他應(yīng)用性行業(yè)相結(jié)合，具有了豐富的功能，其實現(xiàn)的算法過程差距非常大，數(shù)據(jù)挖掘問題主要有數(shù)據(jù)統(tǒng)計與概括、分類分析、聚類分析、關(guān)聯(lián)分析、依賴分析、演變分析和孤立點分析等幾個類別[7]。

圖1 數(shù)據(jù)挖掘過程

數(shù)據(jù)挖掘的功能主要分為預(yù)測驗證功能和描述功能，其中預(yù)測驗證功能主要是預(yù)判數(shù)據(jù)的屬性和規(guī)律；描述功能是對數(shù)據(jù)理解的展開[8]。功能如圖2所示。

圖2 數(shù)據(jù)挖掘功能

1.2 聚類分析

1）聚類分析定義

聚類分析是數(shù)據(jù)挖掘技術(shù)之一，將數(shù)據(jù)源中的數(shù)據(jù)對象劃分為若干個不同的簇（集合），通過算法對簇進(jìn)行分類，使得同一類簇中的數(shù)據(jù)的相似性盡可能地大，而不在同一類簇中的數(shù)據(jù)的相似性盡可能地小，這現(xiàn)類簇之間的差異化[9]。

2）聚類分析算法

根據(jù)聚類分析方法中選取的數(shù)據(jù)目標(biāo)、應(yīng)用范圍和數(shù)據(jù)類型的不同，聚類分析主要分為基于劃分的聚類算法、基于分層的聚類算法、基于密度的聚類算法、基于模型的聚類算法和基于網(wǎng)絡(luò)的聚類算法[10-11]。

2 可視化技術(shù)

2.1 數(shù)據(jù)可視化

數(shù)據(jù)挖掘?qū)?shù)據(jù)源進(jìn)行處理之后獲取知識，知識只有被人們識別才能夠稱得上有效數(shù)據(jù)，數(shù)據(jù)可視化技術(shù)就是運用數(shù)據(jù)圖形圖像學(xué)及相關(guān)的處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)換成圖形圖像并在輸出設(shè)備上顯示或打印出來，是人機交互的直觀表現(xiàn)[12]。

當(dāng)前，數(shù)據(jù)的可視化的形式比較多，無論哪種形式的圖形圖像都是為了迎合人們實際工作的需求，本文對當(dāng)前的可視化形式進(jìn)行總結(jié)，主要有以下幾種：

1）離散點圖

該方式是將數(shù)據(jù)以點的直觀形式分布在圖上，便于直觀地查看孤立點數(shù)據(jù)和噪音數(shù)據(jù)，特別適合于二維或三維數(shù)據(jù)，對于多維的數(shù)據(jù)，可以通過顯示部分維度或離散點矩陣的方式來實現(xiàn)[13]。

2）飽和圖

當(dāng)顯示的數(shù)據(jù)量特別大時，人們無法通過離散點圖觀察出數(shù)據(jù)的疏密程度，甚至看到整個圖形都是同一個顏色。在這種情況下，利用屏幕的色彩對密度不同的區(qū)域通過不同的色彩來進(jìn)行區(qū)分，進(jìn)而實現(xiàn)數(shù)據(jù)分布的直觀表現(xiàn)。

3）平行坐標(biāo)系法

對于多維的數(shù)據(jù)采用相應(yīng)的平等線進(jìn)行表示，例如維度為100，就用100個平行線來表示，每個屬性點的值代表該維度的值，該方法雖然比較直觀明了，但缺點是維度的數(shù)量必須確定且不能太多。

4）多角度巡視

通過對特定的數(shù)據(jù)進(jìn)行多角度的分析，通過連續(xù)的變換線形，并且通過不同的角度動態(tài)地顯示出來，便于更好地觀察和分析該數(shù)據(jù)。

2.2 過程和模型可視化

一般來說，結(jié)果是靜態(tài)的，過程是動態(tài)的，對過程可視化操作，需要在過程在運算的過程中給用戶提供大量的數(shù)據(jù)信息，使用戶可以直觀地看到數(shù)據(jù)挖掘的過程[14]。

對于模型的可視化，主要是應(yīng)用在專家領(lǐng)域，普通的用戶對模型的關(guān)注度不高，不過隨著社會的不斷發(fā)展，模型的完美展示，更有利于用戶對產(chǎn)品或數(shù)據(jù)的理解。模型的可視化可以通過結(jié)構(gòu)輸入量的變化來觀察輸出，進(jìn)而得到更優(yōu)的效果。

3 多維網(wǎng)格聚類的可視化方案

3.1 擴(kuò)展的多維網(wǎng)格聚類算法

1）算法原理

設(shè)一組樣本X{x1，x2，…，xn}，對于每個樣本xi都有一個對應(yīng)的m個屬性的屬性集A{ai1，ai2，…，aim}。

用網(wǎng)絡(luò)計算的方法通過一個多維的立方體將所有的樣本全部包含，對網(wǎng)格中的樣本進(jìn)行聚類操作，得到聚類的結(jié)果，通過二維的離散點圖進(jìn)行表示[15]。

2）構(gòu)建網(wǎng)格空間

網(wǎng)絡(luò)空間設(shè)置成為一個多維的立方體，用公式（1）表示。

其中m表示維度，max表示各個維度的最大值，min表示各個維度的最小值，DIV表示各個維度的分割線。三維的網(wǎng)格空間樣本點分布如圖3所示。

圖3 三維網(wǎng)絡(luò)樣本分布

3）擴(kuò)展原始樣本并分類至網(wǎng)格

由于原始的樣本進(jìn)行初步的分類分配給對應(yīng)的網(wǎng)格，因此應(yīng)該對原始樣本的維進(jìn)行擴(kuò)充處理，對樣本進(jìn)行掃描時，發(fā)現(xiàn)某個樣本屬于某個網(wǎng)格，則該網(wǎng)格的密度進(jìn)行加1操作。

4）利用聚類算法對網(wǎng)格聚類

所有的樣本已經(jīng)分類完畢，接下來，將生成的k個網(wǎng)格進(jìn)行聚類操作，其方法同上，根據(jù)原始樣本與網(wǎng)格的映射關(guān)系，輸出原始樣本的聚類結(jié)果。

3.2 算法實現(xiàn)

聚類算法是數(shù)據(jù)挖掘中重要的一種算法，已經(jīng)廣泛應(yīng)用于眾多領(lǐng)域，本文在此給出聚類算法的核心代碼，具體如下：

4 結(jié) 論

文中對數(shù)據(jù)挖掘的應(yīng)用和優(yōu)用展開研究，聚類算法是當(dāng)前數(shù)據(jù)挖掘中應(yīng)用比較廣泛的一種算法，首先對數(shù)據(jù)挖掘的定義、過程和功能進(jìn)行全面的分析研究；其次對可視化技術(shù)進(jìn)行了描述；最后給出了多維網(wǎng)格聚類的可視化方案，并給出了部分核心代碼。

[1]夏火松.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)[M].北京:科學(xué)出版社，2004.

[2]劉海林，華程.數(shù)據(jù)挖掘在網(wǎng)絡(luò)優(yōu)化平臺中的應(yīng)用策略研究[J].電信快報:網(wǎng)絡(luò)與通信，2015（12）：16-18.

[3]方宏斌.模糊聚類及其實際應(yīng)用[J].廣東通信技術(shù)，2008（5）：9-13.

[4]張玉英，分析數(shù)據(jù)挖掘在網(wǎng)絡(luò)優(yōu)化中的應(yīng)用[J].電子技術(shù)與軟件工程，2015（12）：201-202.

[5]韓振東，蔡子龍，程曉軍.基于用戶行為數(shù)據(jù)挖掘的網(wǎng)絡(luò)質(zhì)量優(yōu)化[J].數(shù)據(jù)通信，2012（1）：36-39.

[6]韓茂，邱崧，李外云.基于數(shù)據(jù)挖掘的測試工程數(shù)據(jù)整合分析平臺 [J].電子設(shè)計工程，2015（11）：105-109.

[7]劉靜.數(shù)據(jù)挖掘技術(shù)在教務(wù)管理實踐中的應(yīng)用研究[J].電子設(shè)計工程，2014（24）：1-3.

[8]馬保平.關(guān)于對軟件工程中的數(shù)據(jù)挖掘技術(shù)的探討[J].電子技術(shù)與軟件工程，2015（19）：196-197.

[9]王樹良，丁剛毅，鐘鳴.大數(shù)據(jù)下的空間數(shù)據(jù)挖掘思考[J].中國電子科學(xué)研究院學(xué)報，2013（1）：8-17.

[10]程苗.基于云計算的Web數(shù)據(jù)挖掘[J].計算機科學(xué)，2011（B10）：146-149.

[11]陳開，黃明和，但寶平.淺析數(shù)據(jù)挖掘在CRM中的應(yīng)用[J].中國電子商務(wù)，2013（2）：65-66.

[12]賈輝.淺談數(shù)據(jù)挖掘技術(shù)在圖書館中的應(yīng)用[J].經(jīng)濟(jì)研究導(dǎo)刊，2012（27）：241-242.

[13]譚英麗，郭峰.數(shù)據(jù)挖掘在電子商務(wù)中的應(yīng)用研究[J].價值工程，2011（22）：165-166.

[14]付光.可視化原理及應(yīng)用中的可視化數(shù)據(jù)挖掘[J].廣西教育，2011（24）：125-127.

[15]韓振東，蔡子龍，程曉軍.基于用戶行為數(shù)據(jù)挖掘的網(wǎng)絡(luò)質(zhì)量優(yōu)化[J].數(shù)據(jù)通信，2012（1）：36-39.

Research on application and optimization of data mining

CUI Jia
（Naval Aeronautical and Astronautical University，Yantai 264001，China）

Mining potential and valuable knowledge for data mining technology is very important to scientific decision making and analysis.Through the analysis of the clustering algorithm，combined with visualization technology，the use of grid and clustering algorithm，the two clustering processing，improve the efficiency of data mining.This paper has a positive effect on the intelligent researchers.

data mining；optimization；visualization；cluster analysis

TN03

：A

：1674-6236（2017）08-0024-03

2016-04-05稿件編號：201604031

崔 嘉（1982—），男，山東濱州人，碩士研究生，講師。研究方向:物聯(lián)網(wǎng)應(yīng)用技術(shù)、裝備管理信息化、信息安全。