大數(shù)據(jù)環(huán)境下的數(shù)據(jù)挖掘技術分析及若干研究

摘 要： 信息化的時代中，大數(shù)據(jù)正在融入日常生產(chǎn)以及生活，發(fā)揮了突顯的作用。大數(shù)據(jù)環(huán)境的具體表現(xiàn)為：數(shù)據(jù)傳輸加快了速度、數(shù)據(jù)種類增多，傳輸方式也變得更多樣。大數(shù)據(jù)環(huán)境下，數(shù)據(jù)庫的數(shù)據(jù)挖掘方式正在逐漸受到重視。利用數(shù)據(jù)挖掘，可以發(fā)掘更多的數(shù)據(jù)資源，服務于生產(chǎn)和生活。同時，大數(shù)據(jù)環(huán)境也利于展開更深入的數(shù)據(jù)挖掘，為數(shù)據(jù)挖掘提供了更多的便利。為此，有必要探析數(shù)據(jù)挖掘技術在大數(shù)據(jù)環(huán)境下的具體運用。結(jié)合技術發(fā)展的現(xiàn)狀，探究數(shù)據(jù)挖掘的具體應用途徑和方式。

關鍵詞：大數(shù)據(jù)環(huán)境 數(shù)據(jù)挖掘 具體技術分析

中圖分類號：TP39 文獻標識碼：A 文章編號：1003-9082（2016）10-0004-02

技術在快速進步，現(xiàn)今時期內(nèi)的網(wǎng)絡正在深入生活，網(wǎng)絡體現(xiàn)出重要的意義。從本質(zhì)上看，大數(shù)據(jù)不僅代表了日益增長的數(shù)據(jù)量，同時也表現(xiàn)出更復雜的數(shù)據(jù)關系。增長的過程中，達到特定規(guī)模的數(shù)據(jù)量將會發(fā)生質(zhì)變。大數(shù)據(jù)的具體類型包含了視頻和文本等信息[1]。對于信息搜集以及處理等，也應當確保更快的處理速度。大數(shù)據(jù)環(huán)境下，數(shù)據(jù)挖掘的相關技術具備了獨特的技術優(yōu)勢，然而同時也面對新階段的技術挑戰(zhàn)。面對新階段的新環(huán)境，有必要給出數(shù)據(jù)挖掘的特定技術流程以及技術方式。結(jié)合現(xiàn)階段面臨的挑戰(zhàn)，給出完善思路。

一、數(shù)據(jù)挖掘在大數(shù)據(jù)環(huán)境下的重要價值

面對信息化的新時期，各行業(yè)都不可缺少數(shù)字化技術作為支持。最近幾年，互聯(lián)網(wǎng)正在快速普及，在這種基礎上也誕生了云計算和物聯(lián)網(wǎng)的相關技術。在當前形勢下，全球范圍內(nèi)的網(wǎng)絡技術正在加快發(fā)展，爆炸式的數(shù)據(jù)增長趨勢也因此變得更明顯。信息化沖擊著各個行業(yè)，傳輸信息的方式也在相應改變。信息化形勢下，對于信息形成、信息運用以及信息共享都可以做到有效的整合[2]。在企業(yè)發(fā)展中，大數(shù)據(jù)起到了不可忽視的作用，同時也匯聚了各個層面的物力和人力。

從信息化角度看，企業(yè)在整合處理各類的數(shù)據(jù)時都需要借助電子化的方式。針對大量的資源和信息，應當符合交互式的處理方式和數(shù)據(jù)傳輸方式。數(shù)據(jù)化處理可以為企業(yè)提供精確的決策依據(jù)，因此也創(chuàng)造了更高層次的生產(chǎn)效能。云計算方式能夠用來處理實時的數(shù)據(jù)，從而減少了整體投入。

隨著技術進步，云計算技術正在變得更成熟。與此同時，云計算也配備了信息化的新式平臺。這樣做，在根本上確保了信息化的效能提高。在當前時期內(nèi)，大數(shù)據(jù)代表著全新的發(fā)展階段。這是因為，大數(shù)據(jù)技術可以用來篩選數(shù)據(jù)、存儲數(shù)據(jù)或者調(diào)用數(shù)據(jù)，這些步驟和流程都不必耗費額外的資源。從行業(yè)本身來看，數(shù)據(jù)交換以及信息交易的總數(shù)都變得更大，因此也構(gòu)建了規(guī)模更大的數(shù)據(jù)庫。針對存儲量很大的數(shù)據(jù)庫，應當經(jīng)過篩選和分類，提取必需的信息數(shù)據(jù)。這樣做，就可以為各類用戶提供必需的信息。由此可見，大數(shù)據(jù)環(huán)境中的數(shù)據(jù)挖掘具備更高的價值，有必要深入探析數(shù)據(jù)挖掘的相關技術方式[3]。

二、現(xiàn)今階段的技術難點

從技術構(gòu)架來看，數(shù)據(jù)庫表現(xiàn)出更復雜的技術架構(gòu)，因而也增加了整體數(shù)據(jù)庫的管理難度。在傳統(tǒng)模式下，數(shù)據(jù)庫能夠用來處理較低層次的數(shù)據(jù)，然而針對較高層次的信息數(shù)據(jù)并不能給予很好的處理。最近幾年，數(shù)據(jù)總量正在增大，數(shù)據(jù)庫管理也相應改變了常用的流程和模式。近些年，分布式的全球數(shù)據(jù)庫也被創(chuàng)造出來，在這種形勢下亟待擴展整體的處理規(guī)模，以此來適應現(xiàn)今階段的數(shù)據(jù)處理。然而應該注意：傳統(tǒng)數(shù)據(jù)庫仍缺乏相應的分區(qū)和類型，非結(jié)構(gòu)化的傾向十分明顯。

從實時性來看，數(shù)據(jù)處理中的實時性需求正在變得更強，用戶希望獲得實時的處理方式和技術。最近幾年，數(shù)據(jù)庫表現(xiàn)出智能性和商業(yè)化的整體趨勢，因此也相應提高了實時性的需求。針對各類型的信息，用戶都有必要給予實時的解析和處理。大數(shù)據(jù)的整體背景有別于傳統(tǒng)背景，這是因為智能式的商業(yè)處理方式正在被推廣采用。因此，如果仍沿用常用的處理流程，那么很難符合新階段的實時處理需要[4]。

從硬件和軟件的存儲方式看，傳統(tǒng)類型的軟硬件也不再滿足需求。現(xiàn)今時期內(nèi)，數(shù)據(jù)處理達到了更大的總量。與此相應，在信息保存的過程中也應當符合更高層次的精確性需求。數(shù)據(jù)量不斷增大的狀態(tài)下，只有配備高性能的軟硬件，才能夠給予必要的保障。實際上，軟件更新的整體速度仍較慢，無法適應現(xiàn)有的形勢。

從技術分析的具體方式看，傳統(tǒng)方式的數(shù)據(jù)分析特指結(jié)構(gòu)化的分析。經(jīng)過分析之后，就可以歸納得到全面的體系，確保實效性的處理。然而，大數(shù)據(jù)形勢下的各行業(yè)數(shù)據(jù)總量都變得更大，因此也挑戰(zhàn)了常用的分析方式。

三、數(shù)據(jù)挖掘的技術優(yōu)勢

首先，數(shù)據(jù)挖掘符合了更強的實效性，滿足實時的處理。信息技術的新時期內(nèi)，不同類型的數(shù)據(jù)也蘊含了更多的知識價值。大數(shù)據(jù)環(huán)境下，數(shù)據(jù)分析更多表現(xiàn)為線性處理，這種趨勢符合了新階段的處理需求。如果選擇了大數(shù)據(jù)這種處理形式，那么優(yōu)先選擇數(shù)據(jù)挖掘的相關技術方式。這是由于，數(shù)據(jù)挖掘可以運用于流處理的過程，從而也確保了批量式的處理。針對大數(shù)據(jù)而言，業(yè)務處理也在客觀上需要設置實時性的處理框架，以此來滿足實效性的新需要。

其次，在動態(tài)環(huán)境下，數(shù)據(jù)挖掘設置了特定的索引類型，能夠符合動態(tài)變化的環(huán)境。從關系數(shù)據(jù)庫的角度看，索引可以加快整體的檢索速度。然而，傳統(tǒng)類型的數(shù)據(jù)檢索只設置了較少的幾類索引[5]。近些年來，大數(shù)據(jù)的具體種類正在不斷增多，這種形勢下創(chuàng)建的索引就必須具備更簡潔的特征，同時也必須符合高效化的整體要求。在數(shù)據(jù)挖掘中，索引形式是多樣的，并且可以實時調(diào)整。因此，大數(shù)據(jù)環(huán)境中的索引形式應當更新，這樣做才能便于提高實時查詢的效率。

第三，大數(shù)據(jù)環(huán)境中的數(shù)據(jù)挖掘還具備豐富的先驗知識。傳統(tǒng)模式的數(shù)據(jù)分析通常選擇了關系型的信息存儲，這種模式隱含了先驗知識。具體而言，在探求特定對象的屬性時，首先就需要明確可以取到的數(shù)值范圍。在進入分析之前，有必要初步了解這種取值范圍。然而，大數(shù)據(jù)包含了更多的非結(jié)構(gòu)性信息，因此在客觀上也要求構(gòu)建與之匹配的內(nèi)部數(shù)據(jù)關系。數(shù)據(jù)是實時性的，因此并不具備先驗知識。針對這種問題，數(shù)據(jù)挖掘也可以給予妥善的處理。

四、具體技術實現(xiàn)

在新的環(huán)境下，數(shù)據(jù)挖掘技術受到了更多行業(yè)的認可和接受，同時也逐漸擴展了應用范圍。大數(shù)據(jù)環(huán)境下，數(shù)據(jù)挖掘具體可以劃分為數(shù)據(jù)遺傳、神經(jīng)網(wǎng)絡算法、粗糙集的算法、決策樹算法等類型。現(xiàn)今社會中的信息呈現(xiàn)爆炸的趨勢，數(shù)據(jù)挖掘因此也逐漸具備了獨立性，構(gòu)成了獨立學科。用戶運用分類技術，就能夠針對特性類型的數(shù)據(jù)和信息予以分類，然后進入數(shù)據(jù)挖掘的過程中。由此可見，數(shù)據(jù)挖掘更加符合了大數(shù)據(jù)的特定環(huán)境和背景[6]。具體而言，數(shù)據(jù)挖掘的方式和技術手段包含了如下：

1.構(gòu)建矩陣模型

存儲大數(shù)據(jù)過程中，應當構(gòu)建精確的矩陣模型。在建模的基礎上，才能夠適當運用數(shù)據(jù)挖掘的方式。針對不同來源的數(shù)據(jù)，也需要給出各異的處理方式。傳統(tǒng)處理方式下，通常構(gòu)建單一的數(shù)據(jù)庫，用來存儲信息并且分析信息。實際上，這種方式在具體落實時也很困難，因為不同類型的信息包含了繁雜的內(nèi)容。大數(shù)據(jù)環(huán)境下，依照數(shù)據(jù)挖掘的思路，相關人員可以嘗試構(gòu)建相關的數(shù)據(jù)模型。這樣做，就能夠在根本上確保通用性，數(shù)據(jù)模型也能夠容納更多的數(shù)據(jù)內(nèi)容。矩陣模型屬于三維模型，模型具備立體性，因此更加便于數(shù)值分析。

2.設置關聯(lián)規(guī)則

如果要順利進行數(shù)據(jù)挖掘，那么先要挖掘關聯(lián)規(guī)則。從特定屬性來看，關聯(lián)規(guī)則通常是隱含在屬性內(nèi)部的，是不可以預知的。對于此，只能依照選擇的統(tǒng)計方法來實現(xiàn)。從興趣度的角度看，關聯(lián)規(guī)則通常取決于置信度和支持度這兩個指標。為了達到平衡，用戶就應當給出最小的置信度和支持度數(shù)據(jù)。數(shù)據(jù)挖掘的具體方式可以用來實現(xiàn)可靠的關聯(lián)規(guī)則，建立必要的存儲模型，用這種方式來集中表達關聯(lián)規(guī)則。

3.聚類算法的運用

針對高維的空間，通常可以構(gòu)建特定的聚類算法。為了詳細區(qū)分不同類型的超圖，數(shù)據(jù)挖掘選擇了區(qū)分投影的方式。選擇這種方式，能夠細化不同類型的算法，進而也提高了算法整體的精細度。利用數(shù)據(jù)挖掘，實現(xiàn)了更優(yōu)的超圖劃分，聚類計算得到的結(jié)果也表現(xiàn)得更加精確[7]。

結(jié)論

大數(shù)據(jù)背景下，數(shù)據(jù)庫更需要數(shù)據(jù)挖掘作為支持。通過數(shù)據(jù)挖掘，能夠篩選并且獲得可利用的數(shù)據(jù)信息，滿足新階段的用戶需求。經(jīng)濟在不斷增長，然而與此同時資源消耗的總量也相應變得更大。大數(shù)據(jù)可以用于多領域的數(shù)據(jù)挖掘，因此也在根本上改變了原有的處理過程和處理方式。面對劇烈的市場競爭，數(shù)據(jù)挖掘的新方式也可以用于更廣的領域，同時也起到了更大作用。未來的實踐中，相關人員還需要結(jié)合大數(shù)據(jù)的特定背景，不斷修正并完善現(xiàn)今階段的數(shù)據(jù)挖掘手段。只有這樣，才可以為各行業(yè)提供必要的決策依據(jù)，服務于數(shù)據(jù)挖掘的整體質(zhì)量提高。

參考文獻

[1]朱東華，張嶷，汪雪鋒等. 大數(shù)據(jù)環(huán)境下技術創(chuàng)新管理方法研究[J]. 科學學與科學技術管理，2013（04）：172-180.

[2]王蘭成，劉曉亮. 網(wǎng)上數(shù)字檔案大數(shù)據(jù)分析中的知識挖掘技術研究[J]. 浙江檔案，2013（10）：14-19.

[3]李海林.大數(shù)據(jù)環(huán)境下的數(shù)據(jù)挖掘課程教學探索[J].計算機時代，2014（02）：54-55.

[4]盧建昌，樊圍國. 大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術在電力企業(yè)中的應用[J]. 廣東電力，2014（09）：88-94.

[5]黃取治. 大數(shù)據(jù)環(huán)境下O2O電商用戶數(shù)據(jù)挖掘探討[J]. 湖南科技學院學報，2015（05）：122-124.

[6]杜鋼虎. 大數(shù)據(jù)時代背景下數(shù)據(jù)挖掘技術芻議[J]. 電子技術與軟件工程，2015（14）：221.

[7]田祥宏，陳正宇. 大數(shù)據(jù)環(huán)境下的高維數(shù)據(jù)挖掘技術研究[J]. 自動化與儀器儀表，2016（03）：100-101.

作者簡介：周瓊（1977-）女，湖南省永州人。主要從事計算機應用技術教學與數(shù)據(jù)庫技術的應用研究。