數據挖掘在網絡信息檢索中的應用

張欣　郭廣楠　張瑜

摘 要 本文闡述了數據挖掘的基本理論，及其在網絡信息檢索中的應用，分析了數據挖掘對網絡信息資源、網絡信息檢索結果、用戶檢索需求等方面性能的提升，并對網絡信息檢索未來發展進行了展望。

關鍵詞 數據挖掘 網絡信息檢索 數據挖掘

中圖分類號：TP311.138 文獻標識碼：A

目前，網絡信息資源數據形式豐富多樣，數量巨大，并呈幾何級數的速度增長，基本滿足了人們的信息檢索的量的需求，然而如何快速、高效地找到自己所需要的信息，網絡信息檢索在查全率和查準率上還相對欠缺。網絡搜索引擎通常會返回給用戶成千上萬檢索到的網頁，其中大部分與用戶的檢索要求無關，另外就網絡上的知識發現而言，即使檢索精度再高，搜索引擎也不能夠勝任。因此，人們需要比信息檢索更精確高效的、能包含網絡數據庫在內的新的數據挖掘技術，數據挖掘正是在這樣的應用需求下產生并迅速發展起來的。但是，數據庫領域采用的數據挖掘技術所涉及的多是結構化數據，為了處理網絡上的異質、非結構化或半結構化數據，網絡數據挖掘成為數據挖掘研究的一個重要分支。

1 網絡信息檢索

網絡信息檢索一般指因特網檢索，是通過網絡接口軟件，用戶可以在一處終端查詢各地上網的信息資源。網絡信息檢索主要依靠計算機科學技術、網絡技術和數據的確切特征來創建相應的索引結構、數據庫等，能很好地處理已經發生或存在的靜態信息。網絡信息檢索工具包括傳統的服務工具：遠程登錄、文件傳輸服務、電子郵件、電子公告牌、廣域消息服務、Gopher、WWW、基于Z39.50的信息檢索服務、代理服務器和NAT，以及搜索引擎和中外著名網絡數據庫檢索。這些工具都能有效地組織和檢索海量數據，但對數據未來的變化趨勢等動態信息缺乏有效的統計和預測。

2 數據挖掘及Web數據挖掘

數據挖掘（Data Mining），即從大量模糊的數據中發現隱含的規律性內容，解決數據的應用質量問題的技術，是一種還處于發展中，已經部分投入實際生產實踐的技術框架。

Web數據挖掘是從數據挖掘技術發展而來，簡單地說是將數據挖掘技術應用到Web上，也稱為Web挖掘。其技術性的定義是：Web數據挖掘，是一項涉及Web、數據挖掘、信息學、計算機語言學等多個領域的綜合技術。Web數據挖掘的目的是為了揭示網絡信息中隱含的知識，它是比信息檢索層次更高、更精確的一種技術。它能夠根據用戶個性化定義的要求，根據目標的特征信息在網絡上或者數據庫中進行有目的的信息檢索。Web數據挖掘中幾種常用的技術是：關聯規則技術、分類技術、聚類技術、路徑分析技術和序列模式技術。

3 數據挖掘在網絡信息檢索中的應用

目前，作為網絡信息檢索最重要最常用的工具：搜索引擎，只能處理用戶給出的特定關鍵詞形式表示的簡單目標，而無法處理用戶給出的樣本形式的復雜模糊目標，對網絡數據未來的變化趨勢等動態信息也缺乏有效的統計和預測。而將數據挖掘技術運用的網絡信息檢索中，可以使網絡信息檢索過程及結果更加快速、精確、個性化。

（1）數據挖掘提高網絡信息內容自動摘要的準確率。網絡信息資源一般都有關鍵詞和內容摘要供用戶檢索選擇之用，但大部分的自動摘要都是簡單的抽取網頁文檔的前幾句內容，而僅僅是通過位置來確定的，這種方式很不準確，不能精確的反映網頁的全部內容，所以保證自動摘要的正確性非常重要。數據挖掘中的文本抽取就是從文檔中抽出關鍵信息，對文檔本身的內容而不是位置來進行文本內容的總結，以自然語言理解為基礎，更可揭示網絡信息的主題特征知識及其之間的相互關聯知識，對文檔進行語義甚至語用的標注，因此它更能反映出Web文檔中的真正信息，然后以簡單的形式進行摘要或表示，可以提煉出文檔最重要的信息生成關鍵字或摘要，使自動摘要的質量和準確性很大的提高。

（2）數據挖掘拓寬網絡信息資源量。網絡信息資源數量眾多，分布范圍很廣，大部分可以直接用網絡信息檢索工具查詢到的信息都是網頁中的文字、表格、圖形、圖像、聲音、視頻或好友網頁的鏈接及目錄結構等。但是還有一些潛在網絡信息不容易被搜索引擎等工具查詢到，如用ASP，JSP或PHP生成的動態網頁；一些專業數據庫系統中的數據；在Robot Exclusion框架協議下被拒絕搜索訪問的網站；由用戶的提問而動態生成的結果；存在于商業數據庫管理系統中的數據等，它們無法被索引，從而無法提供有效的檢索方式，這些結構化的或用html標記的半結構化數據都可以用數據挖掘中的內容挖掘進行處理，網絡頁面內容挖掘常采用的技術是文本挖掘和多媒體挖掘，可為這些網絡信息提供明確的摘要或索引，使得本來不容易搜索到，潛在隱藏的信息能被明確的搜索到，從而大大拓寬了網絡信息的資源量。

4 網絡信息檢索的未來展望

數據挖掘能發現網絡中隱含的有價值的信息和知識，從而提高標引、自動摘要、自動分類和自動聚類等的準確率；能促進用戶興趣模型的構建，從而為用戶提供更好的個性化信息服務。此外，它獨特的分析方法能發現網絡數據知識之間的各種關系，使網站建設和檢索結果的分布更加合理。隨著本體、網絡、自然語言處理、信息可視化和人工智能等技術的發展，將數據挖掘與這些技術進行結合，未來的網絡信息檢索將朝這更加精準、個性和智能化方向發展。

參考文獻

[1] 陳維.網絡環境下的信息檢索與數據挖掘技術[J].現代情報，2009（5）.

[2] 李村合.網絡信息挖掘技術及其應用研究[J].情報科學，2008.