淺析數據統計中數據挖掘的方法及應用意義

魏世昌

【摘要】數據，是21世紀的關鍵詞，隨著時間的推移，它的重要性將越來越明顯.全球知名的管理咨詢公司麥卡錫就最先標榜“大數據時代”的到來：“數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素.”那么，如何在紛繁的海量的數據中挖掘出有價值的信息來滿足各行各業的需求？就需要了解數據統計中數據挖掘的方法以及具體意義，本文將對此做具體分析.

【關鍵詞】大數據時代；數據挖掘；統計；方法

一、數據挖掘的基本概述

數據挖掘就是運用一定的數理方法，從數據庫中挖掘有價值的知識，它是當前人工智能和數據庫領域研究的熱點問題.換言之，數據挖掘是一個動態概念，數據庫中存在海量的數據信息，這些信息往往是雜亂的，需要人們運用一定的方法，從中挖掘出事先未知的并有潛在意義的、隱含的信息.

二、數據挖掘的基本方法

一般來說，數據挖掘算法可以分為兩種，一種是有監督法，一種是無監督算法.有監督算法主要有邏輯回歸（Logistic Regression）、決策樹（Decision Tree）、人工神經網絡（Artificial Neural Network，ANN）等，無監督法主要包括聚類、最鄰近分析法（Nearest Neighbor Analysis，NNA）、支持向量機（Support Vector Machine）等，這些算法各有自己的側重，它們分別從各自不同的角度對數據信息進行深入挖掘.下面將對這些方法做具體的分析.

1.邏輯回歸（Logistic Regression），這種分析方法主要是反映數據庫中屬性值在時間上的特征，生成一個將數據項映射到一個實值預測變量的函數，通過分析變量或屬性之間的依賴關系，多用來分析數據序列的趨勢特征、數據序列的預測以及數據間的關聯程度等.邏輯回歸是目前較常用的機器學習方法，主要用于測算某一事物的可能性.

邏輯回歸由三個部分組成：回歸、線性回歸、Logsitic方程.邏輯回歸屬線性回歸，而線性回歸又屬回歸.邏輯回歸沒有求后驗概率，所以它不像樸素貝葉斯那樣需要滿足條件獨立假設，但每個特征的貢獻是獨立計算的.

2.決策樹（Decision Tree），每個決策或事件（即自然狀態）都可能會引出兩個或兩個以上的事件，又會導致相異的結果，若把這種決策分支用圖形表現出來，就很像一棵樹的枝干，故而稱這種方法為“決策樹”.一般而言，決策樹自上而下畫出，它有四個構成要素，即方塊結點、方案枝、圓形結點、概率枝.每個結點一般會引出許多細支，每條細支表示一個方案，這一細支就是方案枝.每個圓形結點又會引出許多個細支，用來表示不同的事件，這一細支就是概率枝.在概率枝上，會標明其出現概率，在概率枝的最末稍，標明其在該自然狀態下所達到的收益值或損失值.

3.人工神經網絡（Artificial Neural Network，ANN），這種方法源于生物學中的神經網絡原理，人工神經網絡是一種運算模型，由許多節點連接而成，每個節點都代表著某種特定的輸出函數，叫作激活函數.每兩個節點間的連接都代表一個對于通過該連接信號的加權值，叫作為權重，通過這樣一種方式，成功模擬了人類的記憶.網絡的輸出取決于網絡的結構、網絡的連接方式、權重和激活函數，而網絡自身通常都是對自然界某種算法或者函數的逼近，也可能是對一種邏輯策略的表達.人工神經網絡把對生物神經網絡的認識與數學統計模型相結合，借助數學統計工具來實現.通過數學統計學的方法，使神經網絡能夠具備類似于人的決定能力和簡單的判斷能力，這種方法是對傳統邏輯學演算的進一步延伸.

4.聚類.聚類分析也稱群分析或點群分析，為了讓在同一類別中的數據的關聯度最大，在相異類別中的數據的關聯度最小，從而把數據按照其關聯度和相異程度分成若干個類別.首先，應該深入分析數據的類別，然后按照一定的指標，用數學方法將其置于一個多維空間中，定量地定位數據間的關系，并根據其關系的親疏程度，對數據進行聚類.系統聚類方法有如下步驟：① 對數據進行變換處理；② 構造n個類，每個類只包含一個樣本；③ 計算n個樣本兩兩間的距離；④ 合并距離最近的兩類為一新類；⑤ 計算新類與當前各類的距離，若類的個數等于1，轉到⑥，否則回④；⑥ 畫聚類圖；⑦ 決定類的個數，從而得出分類結果.

5.最鄰近分析法（Nearest Neighbor Analysis，NNA），就是將區域中點的分布與基于相同區域中點的理論意義的隨機分布相比較.理論上，假定所有的點完全隨機分布，則其平均距離為其密度倒數值的一半.用這個結果與借助圖像觀測到的實際的點分布格局相比較，可以得到一個比值，這個比值通常叫作最近鄰指數（Nearest Neighbor Index），或叫R尺度.

6.支持向量機（Support Vector Machine），這一方法建立在統計學習理論的VC Bound理論（機器學習最重要的理論基礎）以及結構風險最小原理的基礎上，根據有限的樣本信息在模型的復雜性和學習能力之間尋求最佳折衷，以期獲得最好的推廣能力.在具體的應用方面，在解決小樣本、非線性及高維模式識別中，與其他方法相比，它具有明顯的優勢，并且它還能推廣應用到函數擬合等其他機器學習問題中.

三、數據挖掘的應用及意義

數據挖掘是一種決策支持過程，它的應用范圍非常廣泛，在商業、農業、醫療業、電信、教育等領域中，數據挖掘都在發揮自己的價值.隨著互聯網時代的到來，數據以前所未有的速度在增長，有調查顯示，如今《紐約時報》一期所刊載的信息量，比生活在中世紀的人們一生所獲得信息量都多.既然數據這么海量，就需要使用科學的方法來挖掘數據中蘊含的價值，而數據挖掘作為數學中的重要一環，正發揮著巨大的作用.

四、結語

總之，數據挖掘有著十分廣泛的外延，作為目前一個炙手可熱的研究課題，它對社會各個方面都有著十分深層次的影響.為了讓這一課題能更好地服務于社會，需要對數據挖掘的基本方法有著十分明晰的認識，這也是本文旨在說明的問題.

【參考文獻】

[1]汪明.數據挖掘綜述[J].河北軟件職業技術學院學報，2012（1）：45-48.

[2]蔡運龍，陳彥光，等.地理學：科學地位與社會功能[M].北京：科學出版社，2012.

[3]馬紅娟，趙秀蘭，孫亞萍，鄭喜英.基于數據挖掘技術的概率統計教學研究[J].經濟研究導刊，2015（6）：220-222.