大數(shù)據(jù)條件下的數(shù)據(jù)挖掘技術(shù)及應(yīng)用

李翼+孟莉

摘要

隨著云計(jì)算、互聯(lián)網(wǎng)、數(shù)據(jù)庫(kù)等技術(shù)的快速發(fā)展和改進(jìn)，人們已經(jīng)進(jìn)入到大數(shù)據(jù)時(shí)代，政企辦公、電子商務(wù)、大健康、科學(xué)研究等領(lǐng)域積累了海量的數(shù)據(jù)資源，傳統(tǒng)的人工分析模式已經(jīng)無(wú)法滿足需求，亟需引入BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、K均值等數(shù)據(jù)挖掘技術(shù)，進(jìn)一步改進(jìn)大數(shù)據(jù)的應(yīng)用需求。

【關(guān)鍵詞】大數(shù)據(jù) 支持向量機(jī) BP神經(jīng)網(wǎng)絡(luò) 數(shù)據(jù)挖掘

1引言

大數(shù)據(jù)時(shí)代，電子政務(wù)、電子商務(wù)、智能家居、金融證券等領(lǐng)域己經(jīng)引入了先進(jìn)的云計(jì)算服務(wù)平臺(tái)，積累了海量數(shù)據(jù)，信息資源從匱乏時(shí)代過(guò)渡到了豐富時(shí)代，有力提升了人們的生活質(zhì)量和水平。面臨數(shù)據(jù)量與數(shù)據(jù)評(píng)價(jià)維度的急劇增長(zhǎng)，傳統(tǒng)的人工分析模式已經(jīng)無(wú)法滿足需求，如何提高大數(shù)據(jù)挖掘結(jié)果的準(zhǔn)確性和價(jià)值性，從大數(shù)據(jù)中挖掘潛在的、有價(jià)值的信息，提供合理的知識(shí)解釋和決策信息，亟需引入先進(jìn)的數(shù)據(jù)挖掘技術(shù)。本文重點(diǎn)描述大數(shù)據(jù)在多個(gè)領(lǐng)域的應(yīng)用情況，同時(shí)分析了BP神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)、支持向量機(jī)、K均值等先進(jìn)數(shù)據(jù)挖掘技術(shù)的應(yīng)用特點(diǎn)和發(fā)展趨勢(shì)。

2大數(shù)據(jù)發(fā)展及應(yīng)用情況

大數(shù)據(jù)技術(shù)己經(jīng)在智能制造、金融證券、電子商務(wù)等領(lǐng)域得到廣泛應(yīng)用，詳細(xì)應(yīng)用內(nèi)容描述如下：

2.1智能制造

目前，我國(guó)正處于深化改革全面推進(jìn)、重點(diǎn)攻堅(jiān)的年代，傳統(tǒng)的制造模式污染嚴(yán)重、成本浪費(fèi)較大，不利于我國(guó)制造行業(yè)的轉(zhuǎn)型和發(fā)展，因此通過(guò)對(duì)歷史制造數(shù)據(jù)進(jìn)行挖掘和分析，利用大數(shù)據(jù)技術(shù)構(gòu)建需求分析模型，可以更加準(zhǔn)確的獲取現(xiàn)實(shí)社會(huì)對(duì)制造行業(yè)的需求，提高制造的效率和流轉(zhuǎn)速度。

2.2金融證券

金融證券行業(yè)己經(jīng)引入了網(wǎng)上銀行管理系統(tǒng)、銀行現(xiàn)金管理系統(tǒng)、股票交易系統(tǒng)、企業(yè)經(jīng)營(yíng)分析管理系統(tǒng)等，這些信息化系統(tǒng)的運(yùn)行積累了海量的數(shù)據(jù)資源和信息，因此為了保證金融系統(tǒng)的安全運(yùn)行，保證金融行業(yè)不發(fā)生系統(tǒng)性風(fēng)險(xiǎn)，金融行業(yè)監(jiān)管單位開(kāi)始利用大數(shù)據(jù)分析技術(shù)，比如BP神經(jīng)網(wǎng)絡(luò)構(gòu)建一個(gè)風(fēng)險(xiǎn)分析模型，預(yù)判未來(lái)金融行業(yè)風(fēng)險(xiǎn)承受能力，確保金融行業(yè)在一個(gè)合理范圍內(nèi)穩(wěn)定運(yùn)行。

2.3電子商務(wù)

目前，淘寶、京東、蘑菇街、蘇寧云商、一號(hào)店等互聯(lián)網(wǎng)商務(wù)平臺(tái)運(yùn)行的逐漸成熟，這些平臺(tái)入駐的商家己經(jīng)超過(guò)了數(shù)百萬(wàn)，用戶數(shù)量也己過(guò)億，琳瑯滿目的商品更是不計(jì)其數(shù)。消費(fèi)者瀏覽商品時(shí)，非常容易陷入一個(gè)眼花繚亂的局面，因此基于大數(shù)據(jù)分析技術(shù)可以構(gòu)建一個(gè)推薦系統(tǒng)，該推薦系統(tǒng)可以讀取用戶瀏覽商品、購(gòu)買(mǎi)商品的行為記錄，定期為用戶挑選類似商品進(jìn)行推薦，既能夠進(jìn)行營(yíng)銷推廣，也可以幫助消費(fèi)者快速定位需求商品，提高電子商務(wù)的成交率。

3大數(shù)據(jù)條件下數(shù)據(jù)挖掘技術(shù)研究現(xiàn)狀

大數(shù)據(jù)時(shí)代數(shù)據(jù)挖掘技術(shù)主要包括兩個(gè)類別，分別是有監(jiān)督學(xué)習(xí)方法，比如BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、貝葉斯理論；一種是無(wú)監(jiān)督學(xué)習(xí)方法，比如譜聚類、密度聚類、K均值、信息論等方法。有監(jiān)督數(shù)據(jù)挖掘方法需要利用人們的經(jīng)驗(yàn)，預(yù)先構(gòu)建一個(gè)分析模型，然后盡可能地提高這個(gè)學(xué)習(xí)模型的準(zhǔn)確性，從而保證數(shù)據(jù)挖掘的精確度；無(wú)監(jiān)督學(xué)習(xí)方法卻不需要任何先驗(yàn)知識(shí)，系統(tǒng)自動(dòng)地將數(shù)據(jù)按照不同的關(guān)注角度進(jìn)行分類。

3.1BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)又被稱為連接機(jī)模型，它是基于心理學(xué)、現(xiàn)代神經(jīng)學(xué)等專業(yè)的研究成果建立的，是生物神經(jīng)系統(tǒng)活動(dòng)過(guò)程在其他領(lǐng)域的再現(xiàn)和表現(xiàn)，是模仿人的大腦神經(jīng)系統(tǒng)活動(dòng)的規(guī)律建立起來(lái)的計(jì)算模式，是對(duì)眾多需要處理的單元進(jìn)行互聯(lián)形成的網(wǎng)絡(luò)系統(tǒng)，其基本特點(diǎn)或特征與生物系統(tǒng)一樣，很大程度上體現(xiàn)了人腦功能的反應(yīng)，是生物系統(tǒng)的一定程度上的模擬和再現(xiàn)。目前，人工神經(jīng)網(wǎng)絡(luò)技術(shù)得到跨越式的發(fā)展，尤其是在深度學(xué)習(xí)領(lǐng)域。作為一種機(jī)器學(xué)習(xí)算法，深度學(xué)習(xí)是一個(gè)引入多個(gè)隱藏層的多層感知器神經(jīng)網(wǎng)絡(luò)，通過(guò)組合底層特征，可以形成一個(gè)抽象的高層表示屬性，發(fā)現(xiàn)數(shù)據(jù)中的分布式特征，其優(yōu)點(diǎn)是利用半監(jiān)督或非監(jiān)督特征學(xué)習(xí)、分層特征等高效提取特征。目前，深度學(xué)習(xí)己經(jīng)在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理和語(yǔ)音識(shí)別等領(lǐng)域取得顯著應(yīng)用成效。微軟研究院將深度學(xué)習(xí)引入到聲音識(shí)別模型中，訓(xùn)練了大量詞匯，成功開(kāi)發(fā)了語(yǔ)音識(shí)別系統(tǒng)，有效降低語(yǔ)音識(shí)別的錯(cuò)誤率。IBM、谷歌、百度公司、阿里巴巴、科大訊飛、中科院自動(dòng)化所等科研單位、企業(yè)均對(duì)深度學(xué)習(xí)在語(yǔ)音識(shí)別領(lǐng)域進(jìn)行了研究，從聲音特征提取、聲音識(shí)別系統(tǒng)開(kāi)發(fā)等領(lǐng)域取得顯著應(yīng)用成效。

3.2支持向量機(jī)

支持向量機(jī)是一種性能強(qiáng)大的數(shù)據(jù)分析技術(shù)，其可以解決樣本數(shù)量較少、非線性或高維模式數(shù)據(jù)分析的問(wèn)題，比如推廣到函數(shù)擬合的其他類型數(shù)據(jù)分析問(wèn)題中，可以更好地分析數(shù)據(jù)、識(shí)別模式，用于分類和回歸分析。支持向量機(jī)作為一種先進(jìn)的數(shù)據(jù)挖掘技術(shù)，數(shù)據(jù)挖掘過(guò)程中存在精確度地等問(wèn)題，因此引入了自適應(yīng)共振理論，進(jìn)一步利用數(shù)據(jù)中蘊(yùn)含的有價(jià)值信息，將這些信息進(jìn)行分類和挖掘，從而可以從不同的角度進(jìn)行分類和操作。

3.3K均值

K均值（K-means）算法是一種基于距離的聚類算法，其可以把距離作為相似性評(píng)價(jià)和度量指標(biāo)，采用無(wú)監(jiān)督學(xué)習(xí)模式，通常兩個(gè)數(shù)據(jù)對(duì)象的距離越近，這兩個(gè)數(shù)據(jù)對(duì)象的相似性就會(huì)越高，不需要指定數(shù)據(jù)的類別標(biāo)簽就可以獲取內(nèi)部結(jié)構(gòu)，將數(shù)據(jù)匯聚在一起，實(shí)現(xiàn)數(shù)據(jù)解釋。K均值作為一種成熟的數(shù)據(jù)挖掘技術(shù)，值采用無(wú)監(jiān)督學(xué)習(xí)模式，不需要用戶具有先驗(yàn)知識(shí)，只需要輸入自己期望的類別即可獲取分析模式，己經(jīng)在醫(yī)學(xué)圖像處理、文本信息檢索、金融數(shù)據(jù)分析、藥物利用等領(lǐng)域得到廣泛應(yīng)用。

4結(jié)束語(yǔ)

大數(shù)據(jù)時(shí)代，數(shù)據(jù)挖掘技術(shù)經(jīng)過(guò)多年的研究和改進(jìn)，己經(jīng)逐漸向以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)轉(zhuǎn)變，這種改變既提高了算法的準(zhǔn)確度，也降低了處理時(shí)間，可以有效提升大數(shù)據(jù)處理能力，改進(jìn)數(shù)據(jù)挖掘的可解釋性，為人們決策提供輔助知識(shí)，具有重要的作用和意義。

參考文獻(xiàn)

[1]王山海，景新幸，楊海燕.基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的孤立詞語(yǔ)音識(shí)別的研究[J].計(jì)算機(jī)應(yīng)用研究，2015，32（08）：2289-2291.

[2]王瑜，苑津莎，尚海昆，等.組合核支持向量機(jī)在放電模式識(shí)別中的優(yōu)化策略[J].電工技術(shù)學(xué)報(bào)，2015，30（02）：229-236.

[3]劉小明，喻杰，劉俊，等.改進(jìn)K均值與模糊置信度的腦部MRI分割[J].計(jì)算機(jī)工程與設(shè)計(jì)，2015（03）：710-715.endprint