分析計算機數(shù)據(jù)挖掘技術(shù)的開發(fā)及其應(yīng)用

劉樹寶

摘要：由于現(xiàn)代科技的發(fā)展，網(wǎng)上的各類信息數(shù)據(jù)越來越多，面對這些海量數(shù)據(jù)，數(shù)據(jù)挖掘技術(shù)得以開發(fā)和發(fā)展。數(shù)據(jù)挖掘技術(shù)可以將大量數(shù)據(jù)信息進行處理從而輸出想要的結(jié)果，其中融合了多種算法。相比于傳統(tǒng)方法，具有一定的可行性和優(yōu)越性。該文主要是分析數(shù)據(jù)挖掘技術(shù)相關(guān)的開發(fā)和應(yīng)用，探究數(shù)據(jù)挖掘技術(shù)的工作流程和所帶來的貢獻(xiàn)。

關(guān)鍵詞：數(shù)據(jù)挖掘技術(shù);開發(fā);應(yīng)用

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）15-0057-02

隨著“大數(shù)據(jù)”時代的到來，海量的信息數(shù)據(jù)給用戶和商家都帶來了不必要的麻煩，然而，數(shù)據(jù)挖掘技術(shù)的出現(xiàn)緩解了這個麻煩的問題，因此，數(shù)據(jù)挖掘技術(shù)越來越被各行各業(yè)的研究人員重視。

1大數(shù)據(jù)中的數(shù)據(jù)挖掘技術(shù)

1.1大數(shù)據(jù)的現(xiàn)狀

從現(xiàn)在來看，大數(shù)據(jù)無非是指的來自各個商業(yè)或是平臺的海量信息，對于現(xiàn)有的傳統(tǒng)數(shù)據(jù)庫無法表示或是處理這些過載的信息。隨著時間和技術(shù)的進步，信息匱乏的時代已經(jīng)結(jié)束，隨之而來的是“海量數(shù)據(jù)”或是“信息過載”等爆炸式信息涌來，這便是大數(shù)據(jù)的到來，一些文章中對大數(shù)據(jù)做了定義，大數(shù)據(jù)指的是各種類型的數(shù)據(jù)集組合在一起的大數(shù)據(jù)集合。

由于這些大量數(shù)據(jù)的出現(xiàn)，給人們帶來了很多不必要的麻煩，例如，我想要看一部電影，我打開一些電影方面的網(wǎng)站，發(fā)現(xiàn)有海量的電影數(shù)據(jù)，我無法找到比較心儀的一部電影，對我造成了很大的困擾。如何處理這些數(shù)據(jù)成為如今將要解決的問題，由于大數(shù)據(jù)所包含的范圍很大，它包含了很多傳統(tǒng)數(shù)據(jù)分析工具很難處理的問題，因此，數(shù)據(jù)挖掘技術(shù)被提出用于緩解大數(shù)據(jù)所造成的困擾。

1.2數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘技術(shù)指的是結(jié)合現(xiàn)有的數(shù)據(jù)集，分析數(shù)據(jù)并在其中挖掘一些對我們有益的信息或是規(guī)則。并且，數(shù)據(jù)挖掘技術(shù)給各行各業(yè)都帶來了便利，例如：需求比較大的物聯(lián)網(wǎng)，互聯(lián)網(wǎng)平臺等。數(shù)據(jù)挖掘技術(shù)通過分析和處理大數(shù)據(jù)，能夠幫助平臺精準(zhǔn)的預(yù)測或是推薦一些信息數(shù)據(jù)。

數(shù)據(jù)挖掘技術(shù)通過發(fā)掘數(shù)據(jù)庫中的大量信息來獲取平臺或是商家所需要的信息。雖然數(shù)據(jù)挖掘技術(shù)融合了很多種復(fù)雜算法，但是它遵循著一套總體的流程或是規(guī)則。在運行的時候，各個算法按著秩序分工合作從而擺脫了很多麻煩，達(dá)到自己的目標(biāo)。數(shù)據(jù)挖掘技術(shù)一般分為三個階段，分別是翻譯數(shù)據(jù)、預(yù)處理數(shù)據(jù)和分析數(shù)據(jù)建模。其中，翻譯數(shù)據(jù)其實就是轉(zhuǎn)換數(shù)據(jù)的意思，將數(shù)據(jù)做轉(zhuǎn)換使其在計算機允許的格式范圍內(nèi)，在這個階段中，會選擇一些有價值的數(shù)據(jù)供后續(xù)使用;預(yù)處理數(shù)據(jù)階段對上一步所篩選和轉(zhuǎn)換的數(shù)據(jù)進一步初始化，提高數(shù)據(jù)質(zhì)量，保障后續(xù)工作高效運行，不會因為數(shù)據(jù)問題干擾后續(xù)工作;后面是對數(shù)據(jù)的建模，根據(jù)實際所提出的需求，對上面處理后的數(shù)據(jù)進行分析和建模，發(fā)現(xiàn)其中所存在的規(guī)則，這些數(shù)據(jù)會遵循這些規(guī)則所運行，得出最后的結(jié)果。

總之，數(shù)據(jù)挖掘技術(shù)是針對大數(shù)據(jù)做處理的，它幫助各個平臺和商業(yè)解決了不少麻煩，數(shù)據(jù)挖掘技術(shù)是目前大數(shù)據(jù)領(lǐng)域和信息化領(lǐng)域所重視的一個研究課題，加快了現(xiàn)代科技的腳步。

2數(shù)據(jù)挖掘技術(shù)的開發(fā)

2.1傳統(tǒng)方法

在開發(fā)計算機數(shù)據(jù)挖掘技術(shù)的過程中，統(tǒng)計是相較于其他方法來說最為傳統(tǒng)的方法，主要包括了以下幾種：第一是抽樣分析方法。主要是從所有數(shù)據(jù)中抽取一部分?jǐn)?shù)據(jù)來當(dāng)作研究樣本，旨在降低人們的工作壓力，有效減少數(shù)據(jù)分析的數(shù)量。第二則是多遠(yuǎn)統(tǒng)計分析方法。此方法所面對的對象基本是那些具有復(fù)雜結(jié)構(gòu)以及較高維數(shù)的因子與數(shù)據(jù)。除此之外就是統(tǒng)計預(yù)測方法，主要內(nèi)容包含了回歸分析預(yù)測分析法以及序列分析法。

2.2數(shù)據(jù)挖掘技術(shù)中的六種算法

數(shù)據(jù)挖掘技術(shù)是融合了各類算法，各個算法分工合作來提高對于數(shù)據(jù)的處理，相比普通的數(shù)據(jù)分析處理方法，數(shù)據(jù)挖掘技術(shù)更具有高效性、優(yōu)越性和全面性。從現(xiàn)實生活來看，大數(shù)據(jù)對于可視化數(shù)據(jù)的處理能力在廠商和平臺看來應(yīng)用更為便利和廣泛。因此，大數(shù)據(jù)中的有價值的信息是更為重要的，也就是說，數(shù)據(jù)挖掘技術(shù)對于數(shù)據(jù)的加工能力是研究人員所要重視的地方。目前的數(shù)據(jù)挖掘算法有很多，主要分為六類，分別是回歸算法、分類算法、聚類分析、神經(jīng)網(wǎng)絡(luò)方法、關(guān)聯(lián)規(guī)則和Web數(shù)據(jù)挖掘嘲。其中，回歸算法是指分析因變量與它的多個自變量的關(guān)系并發(fā)掘變量的屬性值之間是否有一定的規(guī)則或是相似性，這樣就可以得到兩個數(shù)據(jù)點之間的聯(lián)系從而設(shè)計一些算法;分類算法指的是根據(jù)數(shù)據(jù)的類型不同點，將數(shù)據(jù)分為幾種類型;聚類分析相當(dāng)于找出數(shù)據(jù)之間的相似性，根據(jù)分類分析的方法再次做劃分;神經(jīng)網(wǎng)絡(luò)方法是一種學(xué)習(xí)的方法，就像大腦一樣思考和學(xué)習(xí)，對于輸入的訓(xùn)練集進行學(xué)習(xí)和訓(xùn)練，對神經(jīng)網(wǎng)絡(luò)算法中的參數(shù)進行設(shè)定，然后到測試集中測試，即處理實際數(shù)據(jù);關(guān)聯(lián)規(guī)則是指數(shù)據(jù)中數(shù)據(jù)集合與數(shù)據(jù)集合之間的某種聯(lián)系的算法;Web數(shù)據(jù)挖掘方法即從網(wǎng)頁中不斷挖掘并收集所需數(shù)據(jù)。

數(shù)據(jù)挖掘技術(shù)通過結(jié)合六類算法中的一個或是幾個解決目前的需求，而不是只運用其中一個算法，它對大數(shù)據(jù)制定了一套規(guī)則，形成一套具有通用性的算法解決大數(shù)據(jù)的問題。相比傳統(tǒng)方法，更加滿足客戶和商戶以及平臺的需求。

2.3數(shù)據(jù)挖掘法之軸線型

軸線型方法指把處理數(shù)據(jù)的整個過程看成一條軸線，這條軸線的整個流程即為數(shù)據(jù)挖掘的過程，從數(shù)據(jù)的輸入開始，經(jīng)過數(shù)據(jù)的預(yù)處理和分析，最后將數(shù)據(jù)輸出。這個方法使得各個步驟分工明確，實現(xiàn)起來也很方便，但是也有很大的缺點，如果前一個步驟出現(xiàn)問題，將影響下面的步驟無法繼續(xù)進行，比較耗時。

2.4數(shù)據(jù)挖掘法之環(huán)形

環(huán)形方法也就是將數(shù)據(jù)處理過程分布在一個環(huán)中，環(huán)的周長也就是數(shù)據(jù)挖掘的工作時長。環(huán)中的數(shù)據(jù)也就是數(shù)據(jù)的輸入和輸出，中間經(jīng)歷預(yù)處理和分析，和軸線型相同，但是這種方法相比軸線型效率更高，因為此次數(shù)據(jù)挖掘工作完成后可以馬上運行到下一次循環(huán)中，不斷持續(xù)，不會間斷，但是整個過程相對復(fù)雜，實現(xiàn)比較困難。

2.5數(shù)據(jù)挖掘法之決策樹

決策樹數(shù)據(jù)挖掘法是一種內(nèi)含有龐大數(shù)據(jù)，并圍繞這些數(shù)據(jù)展開統(tǒng)計分類以及計算預(yù)測的挖掘手段，這種方式主要是依照有關(guān)數(shù)據(jù)，以此為基礎(chǔ)展開數(shù)據(jù)操作。決策樹中涵蓋了許多針對數(shù)據(jù)分析的方法，現(xiàn)階段比較完善的是CHAID以及RINT這兩種計算統(tǒng)計方法。而當(dāng)今計算機技術(shù)正在不斷向前發(fā)展，有關(guān)數(shù)據(jù)統(tǒng)計的方式也在隨之變得更為完善與科學(xué)，例如SLIQ和SPRINT技術(shù)就對連續(xù)屬性的處理提出了更優(yōu)良的解決策略，能夠?qū)⒎彪s的數(shù)據(jù)有序統(tǒng)一到?jīng)Q策樹上。

3數(shù)據(jù)挖掘技術(shù)的應(yīng)用

3.1市場方面

對于市場需求的統(tǒng)計是比較麻煩的，因為一個公司要推出一款產(chǎn)品之前，首先需要調(diào)查市場上面能夠使用該產(chǎn)品的用戶以及用戶的需求，對于如何了解市場人群的興趣點是一個問題，這時候就可以用數(shù)據(jù)挖掘技術(shù)來解決這個問題，通過數(shù)據(jù)挖掘技術(shù)統(tǒng)計這些需求數(shù)據(jù)并根據(jù)算法計算出用戶的需求偏好度，遵循用戶的需求和滿意度去設(shè)計產(chǎn)品的質(zhì)量。例如，如今流行的電商平臺像淘寶、京東等，它們都會有一些猜你喜歡或是興趣度推薦提供，這些提供是根據(jù)用戶的歷史行為數(shù)據(jù)進行建模，預(yù)測用戶的興趣度和喜好度，然后將用戶可能喜歡的商品展示在用戶面前，這樣既省去了用戶找某類不能描述的商品的時間，提高了購買率，也給商家?guī)砹素S厚的利潤。

3.2電信行業(yè)

電信行業(yè)與數(shù)據(jù)原本就有比較密切的聯(lián)系;正因如此，運用數(shù)據(jù)挖掘技術(shù)能夠有效促進此行業(yè)穩(wěn)步發(fā)展。縱觀目前電信行業(yè)的發(fā)展現(xiàn)狀，其在價格競爭方面的態(tài)勢是十分激烈的，而伴隨著通信市場的日新月異，對電信行業(yè)中的各大運營商也提出了巨大挑戰(zhàn)。現(xiàn)階段中國電信行業(yè)正處于改革大背景之下，不僅促進了市場的有序競爭，也推動了電信市場的“更上一層樓”，電信行業(yè)朝著信息化與集團化方向發(fā)展已然成了該行業(yè)發(fā)展的大趨勢。除此之外，移動、電信、聯(lián)通等各大運營商之間的競爭日趨激烈以及5G技術(shù)的出現(xiàn)，使得其在客戶服務(wù)水平上也向前邁出了一大步，很顯然，現(xiàn)階段移動信息化對于全球信息化服務(wù)起到的作用是決定性的。利用數(shù)據(jù)挖掘技術(shù)來深入探索大數(shù)據(jù)信息，主要內(nèi)容涵蓋了數(shù)據(jù)統(tǒng)計、業(yè)務(wù)數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、交易數(shù)據(jù)以及日常數(shù)據(jù)分析等等，并與預(yù)測預(yù)警以及數(shù)據(jù)試驗等模型相結(jié)合，從而為客戶打造更優(yōu)良完善的服務(wù)體系，以此來促使經(jīng)濟的進一步發(fā)展;但是，由于數(shù)據(jù)挖掘的工具基本上都屬于共享形式，因此，運營商應(yīng)該以挖掘工具為基礎(chǔ)形式，不斷展開創(chuàng)新創(chuàng)造，全面增強自身的市場競爭力。

3.3半導(dǎo)體行業(yè)

將計算機數(shù)據(jù)挖掘技術(shù)應(yīng)用于半導(dǎo)體這個領(lǐng)域當(dāng)中，其主要作用就是對軟件進行精準(zhǔn)檢測。大體流程如下：在生產(chǎn)半導(dǎo)體元件的過程中，通過采集有關(guān)的元件數(shù)據(jù)信息，結(jié)合數(shù)據(jù)挖掘技術(shù)對元件信息展開精準(zhǔn)的分析，從而判斷此元件的質(zhì)量是否符合規(guī)格標(biāo)準(zhǔn)，從而確保半導(dǎo)體能夠正常投入使用。因此，計算機數(shù)據(jù)挖掘技術(shù)的使用，有效提高了判斷元件合格與否的正確率。

3.4金融方面

不單單是指上述方面，數(shù)據(jù)挖掘方法在各個領(lǐng)域都有很大的應(yīng)用，每個企業(yè)都有對于金融的管理，因為一個公司的金融支持著整個公司的運作，所以企業(yè)的規(guī)模與金融的管理和分析有著密切的聯(lián)系。例如，通過處理和分析數(shù)據(jù)去預(yù)測公司股票，防御投資所帶來的風(fēng)險。這里可以投資某個股票前，通過數(shù)據(jù)挖掘技術(shù)，建模股票的生命周期中的數(shù)據(jù)，做出未來所出現(xiàn)的可能性比較大的各類風(fēng)險，防止公司的錯誤投資，為公司的金融作保障，減少公司所帶來的不必要的損失;除了這方面，它對于工作環(huán)境的預(yù)測和分析也有很大便利，例如，對于一些危險系數(shù)比較高的行業(yè)，可以通過數(shù)據(jù)挖掘技術(shù)建立模型對周圍環(huán)境做分析，并設(shè)計周圍環(huán)境的危險系數(shù)預(yù)警算法，如遇危險，立即拉響警報，減少人員傷亡，為公司的工作人員的安全作保障;還有關(guān)于開采方面，數(shù)據(jù)挖掘技術(shù)也做出了不少貢獻(xiàn)，這方面的公司通過數(shù)據(jù)挖掘技術(shù)來幫助工作人員制定很好的開采方案，使得開采工作的效率增加。

3.5其他方面

除了以上幾種實際應(yīng)用之外，挖掘技術(shù)在稅務(wù)行業(yè)也被較為廣泛的使用。通過采取這項技術(shù)，能夠及時發(fā)現(xiàn)和追蹤某些單位的偷稅和漏稅問題，并展開第一時間的調(diào)查。數(shù)據(jù)挖掘技術(shù)圍繞不同領(lǐng)域的納稅人，對其商業(yè)行為的基本規(guī)律進行分析與研究，提高了中國稅收工作的實際操作效率。此外，也有效預(yù)防了偷稅與漏稅等等問題的發(fā)生，從而進一步保障了征稅工作的有序開展。

4結(jié)束語

總的來說，隨著科技的進步和大數(shù)據(jù)的發(fā)展，網(wǎng)上的數(shù)據(jù)量會越來越多，數(shù)據(jù)挖掘是緩解這個麻煩的有效方法之一，目前的數(shù)據(jù)挖掘技術(shù)已經(jīng)很好地解決了很多問題，但是還是遠(yuǎn)遠(yuǎn)不夠的，因為它的準(zhǔn)確性和普遍性還需要進一步提高，因此，它仍然是相關(guān)領(lǐng)域的研究熱點。