大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術(shù)與實踐

張鵬

【摘要】? ? 結(jié)合時代背景，各行各業(yè)都隨著大數(shù)據(jù)技術(shù)的發(fā)展得到便利，隨著大數(shù)據(jù)時代的來臨，數(shù)據(jù)應(yīng)用及數(shù)據(jù)共享得到迅速發(fā)展。在當前階段，數(shù)據(jù)蘊含重要價值。而如何將數(shù)據(jù)價值挖掘出來，使其得到充分利用是重點思考內(nèi)容，數(shù)據(jù)挖掘技術(shù)的發(fā)展為此問題地解決提供巨大支持。在此結(jié)合實際情況，探究大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術(shù)具體內(nèi)容及應(yīng)用實踐，以期為我國的社會發(fā)展提供些許參考。

【關(guān)鍵詞】? ? 大數(shù)據(jù)時代? ? 數(shù)據(jù)挖掘技術(shù)? ? 應(yīng)用實踐

引言：

隨著人類文明發(fā)展，信息化、自動化、智能化成為發(fā)展方向，信息技術(shù)和大數(shù)據(jù)技術(shù)得到廣泛應(yīng)用。越來越多的行業(yè)著眼于時代發(fā)展，并結(jié)合社會變化，嘗試探究現(xiàn)代化社會面臨的挑戰(zhàn)和困境，從而針對性的提出應(yīng)對策略。無數(shù)企業(yè)結(jié)合數(shù)據(jù)挖掘技術(shù)，綜合探究行業(yè)發(fā)展規(guī)律及市場需求變化，從而全面調(diào)整自身綜合實力。此外，結(jié)合數(shù)據(jù)篩選技術(shù)實現(xiàn)海量數(shù)據(jù)科學(xué)化篩選，可進一步梳理分析相關(guān)信息內(nèi)容，從而深度挖掘數(shù)據(jù)蘊含的價值，為企業(yè)實現(xiàn)高效管理以及科學(xué)決策夯實基礎(chǔ)。

一、大數(shù)據(jù)時代數(shù)據(jù)挖掘技術(shù)具體內(nèi)容闡述

數(shù)據(jù)挖掘技術(shù)在20世紀80年代逐漸得到發(fā)展，其最初主要應(yīng)用于人工智能技術(shù)相關(guān)的產(chǎn)品開發(fā)和活動中，此時期相關(guān)技術(shù)手段尚未成熟，很多設(shè)施相對落后，與先進新時代的人工智能有較大差別。在大數(shù)據(jù)時代背景下，人工智能技術(shù)與數(shù)據(jù)挖掘技術(shù)的應(yīng)用有緊密聯(lián)系，通過先進技術(shù)手段，借助機器的深度學(xué)習(xí)能力，從而實現(xiàn)對復(fù)雜、不可控、無規(guī)律的數(shù)據(jù)信息進行深層次挖掘，從而獲得數(shù)據(jù)信息隱藏的信息內(nèi)容[1]。從技術(shù)角度分析，數(shù)據(jù)挖掘技術(shù)可深度挖掘信息數(shù)據(jù)潛藏的線索及內(nèi)涵，在當前大數(shù)據(jù)時代，為企業(yè)發(fā)展提供更多助力。具體來講，數(shù)據(jù)挖掘技術(shù)主要針對隨意性較強、信息內(nèi)容較為模糊的數(shù)據(jù)進行處理，從而實現(xiàn)更為精確的深層次數(shù)據(jù)價值分析。通常來講，數(shù)據(jù)挖掘是一項繁瑣復(fù)雜的過程，其具體運作流程環(huán)節(jié)復(fù)雜繁瑣，隨著實踐研究，目前有多種方法。例如統(tǒng)計分析方法、遺傳算法、神經(jīng)網(wǎng)絡(luò)方法等，這些方法各有特點。

二、大數(shù)據(jù)時代常見的數(shù)據(jù)挖掘方法詳細闡述

2.1統(tǒng)計分析方法

數(shù)據(jù)庫中的字段之間存在兩種關(guān)系，其一是可以通過函數(shù)公式表示出具有明確聯(lián)系的關(guān)系，其二是雖然字段項之間可以具有確定性，但不能用函數(shù)公式表述出來。因此結(jié)合數(shù)據(jù)庫中的字段項關(guān)系內(nèi)涵，將具有確定性且可用函數(shù)公式表示的認定為函數(shù)關(guān)系，只具有確定性但不能與函數(shù)公式表示的認定為相關(guān)關(guān)系。具有明確的判定標準后，便可以借助統(tǒng)計學(xué)原理分析方法對符合上述兩種關(guān)系的信息數(shù)據(jù)進行分析，例如借助統(tǒng)計學(xué)原理對數(shù)據(jù)內(nèi)容進行求和、最大值、最小值、平均值等內(nèi)容的計算，或者借助回歸方程來表述數(shù)據(jù)之間的數(shù)量關(guān)系等，通過這些統(tǒng)計學(xué)方法對數(shù)據(jù)進行深度挖掘，將信息數(shù)據(jù)看作樣本，進行統(tǒng)計學(xué)計算，從而根據(jù)數(shù)值差異等來體現(xiàn)深層次信息的方法。

2.2遺傳算法

此種方法是當前有效進行數(shù)據(jù)挖掘的方法之一，目前以此種方法為基礎(chǔ)開發(fā)的數(shù)據(jù)挖掘工具應(yīng)用面較廣，“數(shù)據(jù)挖掘工具”的價值明確展示了此種方法在數(shù)據(jù)挖掘中具有實際價值。所謂的遺傳算法是一種以生物自然選擇和遺傳機理為基礎(chǔ)開發(fā)的隨機搜索方法，其具有高度融合性特點，經(jīng)過實踐探索，目前與神經(jīng)網(wǎng)絡(luò)、粗集技術(shù)等融合性發(fā)展較為流行，受到社會大眾廣泛青睞[2]。

2.3神經(jīng)網(wǎng)絡(luò)方法

與其他數(shù)據(jù)挖掘方法進行比較發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)方法十分適用解決數(shù)據(jù)挖掘問題，因此在進行數(shù)據(jù)挖掘工作時，也是較為受歡迎的方式之一。此種方法具有自適應(yīng)性及容錯性高等特點，且此種方式還可以支持并行處理運作，因此，在現(xiàn)今社會是數(shù)據(jù)挖掘研究中重點關(guān)注內(nèi)容之一。

2.4粗集方法

粗集方法的基礎(chǔ)依據(jù)是集合論，其是一種基于數(shù)學(xué)理論形成的數(shù)據(jù)挖掘方法，由于數(shù)學(xué)理論的特點，此種方法難以處理數(shù)據(jù)連續(xù)屬性。具體來講，在需要獲取信息表的連續(xù)屬性時，需要采用其他方法進行配合才能準確、全面的得到所求內(nèi)容。此種方式局限性較為明顯，但同時也具有明顯的優(yōu)點，借助粗集方法不需要得到額外信息便能進行數(shù)據(jù)挖掘，可適當簡化信息表述度，縮減表達空間，最后此種方法操作簡便，應(yīng)用難度較低。基于此，粗計算法也在數(shù)據(jù)挖掘工作中占據(jù)一席之地，受到部分人群青睞。

2.5決策樹方法

此種方法主要利用決策樹來對數(shù)據(jù)進行描述，此種方法深刻體現(xiàn)了決策樹的優(yōu)點，例如分類速度快、方法簡便、可以支持大量數(shù)據(jù)處理等，此種方法自從出現(xiàn)以來，以Quinlan提出的基于信息熵的ID3算法影響力最大，在其之后經(jīng)過實踐探索，Schlimmer和Fisher又在ID3算法的基礎(chǔ)上設(shè)計了ID4遞增式學(xué)習(xí)算法，新設(shè)計的ID4算法很好的補充了ID3算法中的漏洞，使得此種方法應(yīng)用效果大幅度提高。

2.6聚類分析方法

所謂的聚類分析方法是在進行數(shù)據(jù)信息挖掘過程中，結(jié)合數(shù)據(jù)類型等特點將其劃分為多個類似組別，然后在對不同組別進行詳細分析。此種方法一定程度上大幅度提高了各組別數(shù)據(jù)內(nèi)容之間的關(guān)聯(lián)性。此種方式十分適合應(yīng)用客戶群挖掘等方面。目前我國的心理學(xué)、醫(yī)學(xué)等多個領(lǐng)域廣泛應(yīng)用此種模式挖掘可用信息。

2.7關(guān)聯(lián)分析

自然界中各事物運行具有一定的聯(lián)系，這一特征可作為數(shù)據(jù)挖掘的入手點，不同數(shù)據(jù)由于分類標準區(qū)別會具有千絲萬縷的聯(lián)系，所以可充分借助不同數(shù)據(jù)之間的聯(lián)系判斷集合與對象集合之間的因果關(guān)系，從而深度探析可能存在的問題和不足，此種方法可用于企業(yè)產(chǎn)品優(yōu)化工作方面，可通過探究商品和消費者之間的關(guān)系，從而督促企業(yè)改良產(chǎn)品特性，進而實現(xiàn)效益提升目標。

2.8特征分析方法

特征分析方法主要是從數(shù)據(jù)庫中選出一組數(shù)據(jù)，并結(jié)合此組數(shù)據(jù)具體內(nèi)容篩選出關(guān)鍵詞，然后以關(guān)鍵詞代指整組數(shù)據(jù)進行深入分析，以關(guān)鍵詞分析結(jié)果代指整組數(shù)據(jù)的特點。此種方法可有效縮減數(shù)據(jù)處理時間，并降低工作人員壓力，但應(yīng)用此種方法時也存在很多不足，例如關(guān)鍵詞選擇存在誤差，無法代表整體數(shù)據(jù)，這會導(dǎo)致數(shù)據(jù)挖掘的準確度下降。此種方法目前多用于建筑領(lǐng)域，建筑企業(yè)借助特征分析方法結(jié)合以往數(shù)據(jù)從而判斷出問題所在，這可為企業(yè)發(fā)展帶來更多助力。

三、數(shù)據(jù)挖掘技術(shù)具體流程

3.1合理收集所需信息數(shù)據(jù)

結(jié)合數(shù)據(jù)分析的具體目的，選擇最優(yōu)信息采集方案，并得出數(shù)據(jù)分析的具體詳細特征，將這些內(nèi)容準確輸入信息庫中，做好數(shù)據(jù)挖掘準備工作。

3.2結(jié)合實際進行數(shù)據(jù)集成

信息收集完成后，將不同渠道、不同屬性、不同格式以及不同特征的數(shù)據(jù)進行整合，結(jié)合一定標準實現(xiàn)數(shù)據(jù)有機結(jié)合，從而構(gòu)建高效的數(shù)據(jù)共享。

3.3靈活運用數(shù)據(jù)規(guī)約技術(shù)

企業(yè)運營過程中靈活借助數(shù)據(jù)規(guī)約技術(shù)可有效縮減數(shù)據(jù)空間。此技術(shù)應(yīng)用后，可對企業(yè)原始數(shù)據(jù)的龐大信息數(shù)據(jù)進行整合，在保證完整的前提下，盡可能縮減原油數(shù)據(jù)體量[3]。

3.4“無用”數(shù)據(jù)高效清理

數(shù)據(jù)庫中會收錄大量的信息數(shù)據(jù)，這些數(shù)據(jù)中一部分內(nèi)容由于多種因素影響具有“特殊性”，例如數(shù)據(jù)不完整、數(shù)據(jù)信息屬性存在錯誤內(nèi)容、數(shù)據(jù)信息重復(fù)等，這些信息在數(shù)據(jù)庫匯總不僅不能發(fā)揮價值，反而影響數(shù)據(jù)庫正常運作，因此應(yīng)采取合適的方法進行數(shù)據(jù)清理，從而確保數(shù)據(jù)庫中的信息具有“真實”價值。

3.5合適方法進行數(shù)據(jù)變換

為了方便數(shù)據(jù)挖掘，需要對數(shù)據(jù)庫中的信息數(shù)據(jù)格式進行調(diào)整，采用合適方法將數(shù)據(jù)內(nèi)容轉(zhuǎn)換成適合數(shù)據(jù)挖掘技術(shù)應(yīng)用的格式。現(xiàn)今常用的數(shù)據(jù)轉(zhuǎn)換方式主要有平滑聚集、數(shù)據(jù)概化、規(guī)范化、概念分層及數(shù)據(jù)離散化等方式實現(xiàn)合理轉(zhuǎn)換。

3.6結(jié)合目標選擇分析工具

正式開展數(shù)據(jù)挖掘之前，應(yīng)結(jié)合數(shù)據(jù)庫中的信息數(shù)據(jù)以及信息挖掘目的選擇最佳分析工具，綜合考慮各方面內(nèi)容，合適選擇最適宜的處理方法落實數(shù)據(jù)挖掘工作。

3.7模式評估以及信息公示

針對某一目標進行數(shù)據(jù)挖掘后，針對獲得的結(jié)果不能直接進行應(yīng)用，需要邀請具有豐富經(jīng)驗的行業(yè)專家進行檢驗，對得到的數(shù)據(jù)信息進行科學(xué)驗證，從而確保得到的結(jié)果真實可靠，具有參考價值。確定數(shù)據(jù)的真實性后，可將數(shù)據(jù)挖掘信息以可視化的方式向大眾展示，便于用戶應(yīng)用。也可將這些信息作為新內(nèi)容保存于數(shù)據(jù)庫中，方面信息數(shù)據(jù)進行共享。

四、大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術(shù)應(yīng)用實踐

4.1在科研領(lǐng)域的應(yīng)用

科學(xué)研究活動開展過程中，幾乎任何成功的科研成果都需要經(jīng)過多失敗的打磨才能得到，尤其是實驗類成果，需要經(jīng)多大量實驗的驗證才能得到準確數(shù)據(jù)，因此對于科研領(lǐng)域而言，數(shù)據(jù)具有重要作用。但具體來講，這些數(shù)據(jù)包含大部分內(nèi)容，有最開始的原始資料數(shù)據(jù)、失敗數(shù)據(jù)、實驗數(shù)據(jù)等多種內(nèi)容，這些數(shù)據(jù)的處理效果與科研活動成敗有緊密聯(lián)系，此過程中進行的數(shù)據(jù)處理不僅需要分析彼此之間的關(guān)系也需要進行統(tǒng)計學(xué)分析。因此，利用數(shù)據(jù)挖掘技術(shù)可協(xié)助科研人員以科研項目基礎(chǔ)數(shù)據(jù)為參照，然后快速實現(xiàn)需求數(shù)據(jù)深度挖掘，可大幅度降低科研人員的工作量，縮短數(shù)據(jù)分析處理時間[4]。

4.2在電信領(lǐng)域的應(yīng)用

隨著計算機網(wǎng)絡(luò)飛速發(fā)展，電信產(chǎn)業(yè)得到迅速發(fā)展。電信企業(yè)發(fā)展過程中需要以海量數(shù)據(jù)作為基礎(chǔ)，通過分析數(shù)據(jù)內(nèi)容才能更為合理地調(diào)整服務(wù)內(nèi)容，為客戶·帶來更優(yōu)質(zhì)的服務(wù)。利用數(shù)據(jù)挖掘技術(shù)可實現(xiàn)相關(guān)數(shù)據(jù)條理化處理，確保用戶信息得到全面地記錄和了解，盡可能規(guī)避服務(wù)過程中出現(xiàn)意外。因此，合理利用數(shù)據(jù)挖掘技術(shù)可助力電信企業(yè)更為精準地抓住用戶需求，為大眾帶來各加貼心的服務(wù)。

4.3在教育領(lǐng)域的應(yīng)用

現(xiàn)代化教育工作開展過程中，各種先進技術(shù)得到大面積應(yīng)用，對學(xué)生情況的掌握程度也得到大幅度提升。在中學(xué)階段，學(xué)生的成績、在校表現(xiàn)情況等，均包含在收集信息內(nèi)容之中。應(yīng)用數(shù)據(jù)挖掘技術(shù)，可更為準確的理清學(xué)生各項素質(zhì)情況，通過此種方法，可快速得到結(jié)果，為學(xué)校教師及管理層的工作提供參考。

4.4在制造業(yè)領(lǐng)域的應(yīng)用

隨著社會發(fā)展，我國綜合國力得到質(zhì)的飛躍，人們生活水平大幅度上升，與此用時，對產(chǎn)品的質(zhì)量和性能等提出更多要求。制造業(yè)領(lǐng)域中，企業(yè)想要實現(xiàn)穩(wěn)定發(fā)展，消費者需求是關(guān)鍵。通過數(shù)據(jù)挖掘技術(shù)科學(xué)地對產(chǎn)品數(shù)據(jù)進行分類整理，并采用合適的方法進行深度分析，從而得出市場產(chǎn)品的優(yōu)缺點，以此為依據(jù)合理進行產(chǎn)品優(yōu)化，這對于制造企業(yè)而言有實際意義。

4.5在醫(yī)療領(lǐng)域的應(yīng)用

隨著人們生活水平地提高，大眾對自身健康安全關(guān)注度有了顯著提高。在此種背景下，醫(yī)療行業(yè)得到迅速發(fā)展，醫(yī)療水平逐漸發(fā)達，但精確診斷疾病依舊是難點。通過數(shù)據(jù)挖掘技術(shù)可有效提升疾病監(jiān)測準確度，幫助醫(yī)生等快速確定病人病情，實現(xiàn)高效、準確診斷。此種方式不僅能幫助醫(yī)生降低不必要的勞動量，也能提高醫(yī)療診治效率，在有限的時間內(nèi)幫助更多的病患恢復(fù)健康。

4.6在計算機安全領(lǐng)域的應(yīng)用

現(xiàn)階段，網(wǎng)絡(luò)技術(shù)得到迅速發(fā)展，但與此同時網(wǎng)絡(luò)安全也成為重點問題。越來越多的不法分子借助網(wǎng)絡(luò)虛擬性特點隱藏自己，這為大眾財產(chǎn)安全帶來極大威脅。借助數(shù)據(jù)挖掘技術(shù)可實現(xiàn)對網(wǎng)絡(luò)存在隱患的軟件等進行篩選和甄別，有效預(yù)防“病毒軟件”和“釣魚網(wǎng)站”威脅，幫助網(wǎng)絡(luò)民眾營造更加安全、和諧的網(wǎng)絡(luò)環(huán)境。

五、結(jié)束語

在大數(shù)據(jù)時代背景下，數(shù)據(jù)挖掘技術(shù)有重要價值，其在多個行業(yè)領(lǐng)域得到應(yīng)用。結(jié)合具體情況來看，合理應(yīng)用數(shù)據(jù)挖掘技術(shù)成為社會發(fā)展必然趨勢，積極探究數(shù)據(jù)挖掘技術(shù)的內(nèi)涵及應(yīng)用方法，可為我國社會發(fā)展提供堅實助力。

參? 考? 文? 獻

[1]李玉玲.大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術(shù)的應(yīng)用[J].計算機與網(wǎng)絡(luò)，2020，46（24）：46.

[2]張博.大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術(shù)與應(yīng)用[J].數(shù)字技術(shù)與應(yīng)用，2020，38（12）：35-37.

[3]郭偉偉，吳文臣，隋亮.大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術(shù)與應(yīng)用[J].數(shù)字技術(shù)與應(yīng)用，2020，38（08）：103-105.

[4]謝盛嘉.大數(shù)據(jù)時代背景下數(shù)據(jù)挖掘技術(shù)的應(yīng)用研究[J].計算機產(chǎn)品與流通，2020（05）：128.