基于數據挖掘技術的知識發現系統

李怡

摘 要：互聯網的發展為資源共享提供了有效的途徑，資源量越來越龐大，類別也越來越多，并且呈現出了分散與異構的特點。實現數據資源的有效利用，需要通過一定的技術與方法。而隨著技術的更新與發展，傳統的方法已經無法適用新的環境檢索的需要。需要將新的技術應用于其中，并且與知識發現系統相融合。本文就基于數據挖掘技術的知識發現系統作簡要闡述。

關鍵詞：數據挖掘技術 知識發現系統 分析

中圖分類號：G250.74 文獻標識碼：A 文章編號：1674-098X（2017）07（c）-0142-02

隨著資源量增加，如何從海量數據中尋找到需要并且有用的信息成為了新的問題，而將統計學、神經網絡、數據庫、模糊數學、模式識別等技術結合到一起，以此來解決問題。實現對所需要的知識搜索或者是基于某種需要進行深度挖掘。數據挖掘技術已經經歷了一定的發展時期，并且積累了一定經驗，市場應用的前景十分廣闊。

1 數據挖掘及其對象

數據挖掘又譯為資料探勘、數據采礦。它是數據庫知識發現中的一個步驟。數據挖掘一般是指從大量的數據中通過算法搜索隱藏于其中信息的過程。數據挖掘通常與計算機科學有關，并通過統計、在線分析處理、情報檢索、機器學習、專家系統和模式識別等諸多方法來實現上述目標。

其經歷了四個階段，電子郵件階段，信息發布階段，電子商務階段，全程電子商務階段。

依據原則來講，數據挖掘工作可以在任一類型的數據存儲上進行。如事務數據庫，數據倉庫，關系數據庫，高級數據庫。面向對象、對象關系、空間與時間關系的數據庫等。數據挖掘的技術可能會因為數據存儲的類別不同而存有差異。數據知識發現需要經歷一個過程，如數據的清理，集成，選擇，交換，挖掘，模式評價，知識表示等。數據挖掘只是知識發現過程中的一個步驟，或者可以將其理解為一個環節。在大多數的場合，人們采用的都是數據挖掘的廣義觀點，從存儲信息的地方將需要的信息進行挖掘一個過程。數據存儲的地方可以是數據庫，也可以是數據倉庫，或者是其他的信息庫。

2 數據挖掘的幾種模式

首先是概念描述，概念描述作為區分性描述與特征化數據挖掘的最簡單的類型，通常會經過以下方法獲得。一是數據特征化，對目標類數據進行一般性的匯總。二是對數據進行區分，將不同比較類與目標進行比較。

關聯規則。通過該方法進行數據挖掘工作和，可以獲得大量的數據中項集間存在有用或者是相關聯系。

分類與預測。作為數據分析的兩種方法，可以對未來的數據趨勢進行預測，或者是用于重要類數據模型進行提取。聚類則是將抽象或者是物理對象進行分組成為由類似對象組成的多個類的過程。聚類算法包括了層方法，劃分方法，基于網格的方法，基于密度的方法，基于模型的方法等。時間序列模型則是依據時間變化趨勢對未來進行預測。

3 數據挖掘的方法與步驟

3.1 數據挖掘的方法

數據挖掘技術的核心包括了多學科知識與技術，但是并產是將其簡單的組合到一起，應用的技術是一個整體，具有不可分割性，具體包括了機器學習，人工智能，數學統計等。在相關技術的支持下，得出滿足用戶要求的結果。

人工神經網絡的方法主要是應用于群集，特征挖掘，分類，模式識別，預測。人工神經網絡是基于生物神經網絡仿真的，其本質是矩陣或者是分散型的結構。統計分析的方法應用于數據挖掘工作中，能夠為其提供多種回歸與判斷方法，技術上有方差分析，回歸分析，貝葉斯推理等。在知道了新信息后，對數據集的概率進行修正，所使用的工具就是貝葉斯推理，以此來解決處理過程中數據分類問題。回歸分析的作用在于輸出與輸入變量之間的最佳的模型。或者是對變量的變化趨勢進行描述，對其他的變量值關系進行線性回歸。也可以用其為某些事件發生的概述建立模型，對變量集的對數回歸進行預測。方差分析一般則是用于分析估計回歸直線性能與自變量對回歸的最終影響。

決策樹是一種常用的方法，既可以用來對數據進行分析，同時也可以對數據進行預測。該方法以樹形結構對決策集合進行表示，而規則的產生則是通過對數據集進行分類。而除了上述方法還有其他方法，比如粗燥集法，關聯規則，遺傳算法，聚類分析，聯機分析處理，可視化方法。挖掘工具的使用需要結合到具體的問題，不同方法有其不同的特點與適應方面，在應用的時候，需要結合到具體的情況。

3.2 數據挖掘的過程

數據挖掘過程可以將其分為三個階段，數據準備，挖掘，結果的表達、解釋。在數據準備階段，對數據進行合并處理，處理的數據來源于不同文件或者是不同數據庫，數據集成解決的主要問題是語義模糊，數據中存在的遺漏，臟數據清洗等。數據選擇則是確定需要進行分析的數據集，以此來提升挖掘工作質量，而對其進行預處理，則是為了解決挖掘工具存有的某些局限性。

在數據挖掘階段，又可以將其進行細分。產生假設，挖掘系統為用戶提供假設或者是用戶對數據庫可能會存有的知識進行假設。將前一種方式稱之為發現型，而后一種方式則稱之為驗證型。選擇并確定合適的工具，數據挖掘操作，對發現的知識進行證實。

數據結果表述與解釋階段，通過對提取信息進行分析，利用決策支持工具將其提交于決策者，并將結果以某種方式表達出來。如果對數據挖掘結果不滿意，則需要重復挖掘過程。

4 知識發現系統與實現

4.1 知識發現

數據挖掘與基于數據庫的知識發現在一定程度上存在混淆，兩個術語在使用的過程中通常會被替換。前者是將低層數轉換為高層知識的過程。可以對其進行簡單的定義，知識發現就是對數據中有效的，潛在有用的模式的特定過程。知識發現是從數據中對知識進行挖掘的技術，通常將整理，降維、識別、歸納、收集等過程集于一體。知識發現中最主要的就是數據挖掘。知識發現的過程包括原始數據收集，數據清理、集成，數據倉庫，數據選擇、變換、預處理、挖掘，模型建立，知識表示，模式評估等。

4.2 知識發現系統的體系

理論層面，知識發現過程的機制有雙基融合，信息擴散，雙庫協同，構造了不同的模型。針對客觀存在的，并且具備某些特征的知識源，如不確定性、海量性、不完備性、復雜形態等，挖掘其中用戶感興趣的、潛在的知識。

知識發現體系的框架可以將其分為知資源層，包括了本地的數據庫，互聯網，通過其他方法組成的底層支持結構。知識發現層，該層的主要目的在于依據用戶的要求，將知識需求通過挖掘技術、倉庫技術，得到所需要的知識，并且將其進行存儲并返回用戶。

在發現體系的實現方面，應用到的相關扶梯技術包括了預測與分類，概念描述，時序模式，關聯挖掘，聚類分析，序列模式，數據倉庫技術，分布式計算方法，四組件技術等。系統實現的組成包括了用戶登錄，知識發現，資源預處理，可視化界面，預測決策等。

5 結語

數據倉庫與挖掘技術的發展，知識發現作為一個新的學科而受到廣泛關注。知識發現過程中，數據挖掘是一個重要的步驟。該環節涉及到的內容有信息檢索，高性能檢索，數據可視化，數據庫技術，統計學，圖像與信號處理等。數據挖掘在某些方面已經得到了應用，并且產生了巨大價值，技術在應用過程中不斷完善。但是同時也要認識到數據挖掘技術仍然存在的某些方面的問題。比如大規模數據處理的效率問題，挖掘結果的無效性等。而知識發現技術同樣也面臨著多方面挑戰，需要在今后的使用過程中不斷的完善，促進其發展，發揮更大的價值。

參考文獻

[1] 邱曉輝.知識發現與數據挖掘分析[J].情報探索，2011（1）：69.

[2] 羅平，陽廣元，甯佐斌.數據挖掘方法和知識發現研究[J].圖書情報工作，2011（S1）：85-86.endprint