大數據與數據挖掘

周斌斌

摘 要 大數據指需要通過快速獲取、處理、分析以從中提取價值的海量、多樣化的交易數據、交互數據與傳感數據。所涉及的數據量規模巨大到無法通過人工在合理時間內完成信息的采集、處理、管理，并將其整理成為人類所能解讀的信息。通過對大數據的認識和大數據帶來的機遇，因此數據挖掘對大數據的管理來說至關重要。通過數據挖掘，從大數據中找到關鍵信息，從而為我們帶來商機和社會價值。

關鍵詞 web數據挖掘 大數據 海量 快速獲取 處理

中圖分類號：TP3 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A

當今社會大數據應用和數據挖掘，將從多個方面創造價值。大數據的重心將從存儲和傳輸，過渡到數據的挖掘和應用，這將深刻影響企業的商業模式。大數據利用中安全更加重要，為信息安全帶來發展契機。隨著移動互聯網、物聯網等新興IT技術逐漸步入主流，大數據使得數據價值極大提高，無處不在的數據，對信息安全提出了更高要求。同時，大數據領域出現的許多新興技術與產品將為安全分析提供新的可能性;信息安全和云計算貫穿于大數據產業鏈的各個環節，云安全等關鍵技術將更安全地保護數據。大數據對信息安全的要求和促進將推動信息安全產業的大發展。因此我對大數據和數據挖掘的知識做一些概括。

首先是關于什么是大數據。大數據是指需要通過快速獲取、處理、分析以從中提取價值的海量、多樣化的交易數據、交互數據與傳感數據。所涉及的數據量規模巨大到無法通過人工在合理時間內完成信息的采集、處理、管理，并將其整理成為人類所能解讀的信息。

大數據怎麼產生。物理世界的信息大量數字化產生的。社交網絡產生的，在雅虎時代，大量的都是讀操作，只有雅虎的編輯做一些寫操作的工作。進入web2.0時代，用戶數大量增加，用戶主動提交了自己的行為。進入了社交時代，移動時代。大量移動終端設備的出現，用戶不僅主動提交自己的行為，還和自己的社交圈進行了實時的互動，因此數據大量的產生出來，并且具有了極其強烈的傳播性。數據都要保存所產生的。

大數據的特點，多樣化：大數據一般包括以事務為代表的結構化數據、以網頁為代表的半結構化數據和以視頻和語音信息為代表的非結構化等多類數據。海量：通過各種智能設備產生了大量的數據，PB級別可謂是常態。快速：大數據要求快速處理，因為有些數據存在時效性。靈活：在互聯網時代，和以往相比，企業的業務需求更新的頻率加快了很多，那么相關大數據的分析和處理模型必須快速地適應新的業務需求。復雜：雖然傳統的BI已經很復雜了，但是由于前面4個V的存在，使得針對大數據的處理和分析更艱巨，并且過去那套基于關系型數據庫的BI開始有點不合時宜了，同時也需要根據不同的業務場景，采取不同的處理方式和工具。

通過對大數據的認識和大數據帶來的機遇，因此數據挖掘對大數據的管理來說至關重要。通過數據挖掘，從大數據中找到關鍵信息，從而為我們帶來商機和社會價值。

數據挖掘大體上分為四個階段：（1）確定業務對象階段：清晰地定義出業務對象，認清數據挖掘的目的是數據挖掘的首要任務。（2）數據準備階段：確定目標數據，并對原始的目標數據進行數據的選擇、凈化（消除噪聲、冗余數據）等，使其生成過程數據。然后進行轉換，主要是降維（dimensionreduction），為后面的數據挖掘準備好正確的數據。（3）數據挖掘階段：使用適當的數據挖掘算法對處理過的數據進行分析，進而得到可能的模式或模型。（4）解釋與評估階段：數據挖掘將獲得的信息通過用戶可以理解和觀察的方式反饋給用戶。

數據挖掘的關鍵技術。數據挖掘的關鍵技術是模式識別和關系識別的算法，許多算法源于數據庫理論、統計學、人工智能和機器學習等研究領域。常用的數據挖掘技術大致可以分為以下幾種：（1）統計方法;（2）模糊集方法;（3）支持向量機;（4）粗糙集方法。（5）貝葉斯網絡。（6）機器學習方法。（7）生物智能算法。

關于web數據挖掘方面，web數據挖掘主要特點包括：（1）數據量巨大、動態性強，數據類型復雜多樣，萬維網上的數據量非常巨大，并快速更新。Web上包含了各種信息和資源，有文本數據、超文本數據、圖表、圖像、音頻數據和視頻數據等多種類型的數據。（2）異構數據庫環境，Web上每一個站點是一個數據源，每一個站點的信息和組織都不一樣，所以每個數據源都是異構的，因此構成了一個巨大的異構數據庫環境。（3）半結構化的數據結構，Web數據是半結構化或非結構化的，不是計算機或者數據挖掘算法所能理解的形式，通常數據挖掘的對象是數據庫中的結構化數據，并利用關系表格等存儲結構來發現知識，因此有些數據挖掘算法并不適用于Web挖掘，即使可用也需要首先對Web數據進行預處理。這樣，對Web數據進行預處理，或者開發新的Web挖掘技術，便成為Web挖掘研究的重點。

參考文獻

[1] 羅剛，王振東.網絡爬蟲，清華大學出版社，2010，10.

[2] 于天恩.搜索引擎，中國鐵道出版社，2008，7.