Ｗｅｂ日志挖掘與電子商務

[摘要] 在電子商務中，根據客戶的訪問數據挖掘出有價值的信息，進而劃分客戶群體和發現潛在的客戶，從而提升業績，對電子商務網站有重要的意義。Web日志挖掘是數據挖掘在Web頁面上的應用，文章對Web日志挖掘進行了介紹，給出了Web日志挖掘的步驟和方法，對Web日子挖掘工具進行了分析，并介紹了其在電子商務網站中的應用。

[關鍵詞] 電子商務 數據挖掘 Web日志挖掘

一、引言

隨著計算機技術、通信技術和網絡技術的飛速發展，電子商務的發展也有了越來越好的技術平臺，許多公司都建立了自己的網站，這是公司的門戶和電子商務進行的所在。Web數據挖掘是當前最前沿的研究領域，是把Internet和數據挖掘結合起來的一種新興技術。Web數據挖掘是知識發現的特定步驟，也是最核心的部分。Web日志挖掘是Web挖掘的重要內容，其技術和方法在電子商務中有著巨大的應用空間和應用價值。如發現有價值的信息、尋找潛在客戶和提供個性化服務等。

二、Web挖掘及Web日志挖掘

Web挖掘是將數據挖掘的思想和方法應用到Web頁面內容、頁面之間的結構、用戶訪問信息等各種Web數據中，從中抽取隱含的、以前未知的、具有潛在應用價值的信息。根據挖掘的對象不同，Web挖掘可分為Web內容挖掘、Web結構挖掘和Web日志挖掘。

1.Web內容挖掘

Web內容挖掘主要從Web文檔的內容中抽取出有用的知識。由于Web文檔的絕大部分內容是以文本的形式存在，所以Web內容挖掘主要針對的是Web文檔的文本部分，文本挖掘主要包括對Web文檔文本的總結、分類、聚類、關聯分析等。除了文本挖掘以外，Web內容挖掘還包括Web上的聲音、圖形、圖像信息的挖掘、數據庫中的數據挖掘和信息獲取等。

2.Web結構挖掘

Web結構挖掘主要通過Web頁的組織結構和超鏈接關系以及Web文檔自身的結構信息（如Title， Heading， Anchor標記等）推導出Web內容以外的知識，可分為超鏈挖掘、內部結構挖掘和URL挖掘。

3.Web日志挖掘

Web日志挖掘即Web使用記錄挖掘，是從用戶的訪問記錄中抽取具有意義的模式。其數據源有服務器的日志、用戶注冊數據、跟蹤文件的數據記錄、用戶訪問期間的事務、用戶查詢、書簽數據和鼠標移動點擊的信息。Web日志記錄挖掘應用的技術主要有路徑分析、關聯規則分析、序列模式分析、聚類分析、統計分析等。Web使用記錄挖掘可以發現潛在的用戶、改進電子商務網站的建設、增加個性化服務等。

三、Web日志挖掘的步驟

Web日志挖掘步驟主要分為源數據收集、數據預處理、模式發現、模式分析４個階段。

1.源數據收集

源數據收集主要是Web日志文件的收集。對于一個電子商務網站來說，經過一段時間后，用戶會在網站上積累大量有用的信息（如訪問日志、注冊信息、需求信息、定單信息、交流信息等），采用Web 日志挖掘技術就可以充分利用這些有用信息，幫助電子商務網站的建設和發展。

Web日志文件主要包括以下3種類型：服務器日志文件、錯誤日志文件和Cookies。

2.數據預處理

Web日志挖掘首先要對日志中的原始數據進行預處理，因為從用戶的訪問日志中得到的原始日志記錄并不適于挖掘，必須進行適當的處理。因此，需要通過日志清理，去除無用的記錄。預處理過程是保證Web日志挖掘質量的關鍵步驟，下面我們來闡述數據預處理的過程。

（1）數據凈化。指刪除 Web服務器日志中與挖掘算法無關的數據。大多數情況，只有日志中 HTML文件與用戶會話相關，所以通過檢查URL 的后綴刪除認為不相關的數據。

（2）識別用戶。由于本地緩存、代理服務器和防火墻的存在，使得識別用戶的任務變得很復雜，可以使用一些啟發式規則幫助識別用戶。

（3）識別用戶會話。用戶會話是指用戶對服務器的一次有效訪問，通過其連續請求的頁面，我們可以獲得他在網站中的訪問行為和瀏覽興趣。

（4）識別片段。在識別用戶會話過程中的另一個問題是確定訪問日志中是否有重要的請求沒有被記錄。如果當前請求頁與用戶上一次請求頁之間沒有超文本鏈接，那么用戶很可能使用了瀏覽器上的“BACK”按鈕調用緩存在本機中的頁面。檢查引用日志確定當前請求來自哪一頁，如果在用戶的歷史訪問記錄上有多個頁面都包含與當前請求頁的鏈接，則將請求時間最接近當前請求頁的頁面作為當前請求的來源。

3.模式發現

模式發現是運用各種算法和技術對預處理后的數據進行挖掘，生成模式。這些技術包括人工智能、數據挖掘、統計理論、信息論等多領域的成熟技術。可以運用數據挖掘中的常用技術如路徑分析，關聯規則、序列模式以及分類聚類等。

（1）路徑分析。它可以被用于判定在一個站點中最頻繁訪問的路徑，還有一些其它的有關路徑的信息通過路徑分析可以得出。利用這些信息就可以改進站點的設計結構。

（2）關聯規則。使用關聯規則發現方法，可以從Web的訪問事務中找到相關性。利用這些相關性，可以更好的組織站點的Web空間。

（3）序列模式。在時間戳有序的事務集中，序列模式的發現就是指那些如“一些項跟隨另一個項”這樣的內部事務模式。發現序列模式，能夠便于預測讀者的訪問模式，開展有針對性的服務。

（4）分類和聚類。發現分類規則可以給出識別一個特殊群體的公共屬性的描述，這種描述可以用于分類的讀者。聚類分析可以從Web訪問信息數據中聚類出具有相似特性的讀者，在Web事務日志中，聚類讀者信息或數據項能夠便于開發和設計未來的服務模式和服務群體。

4.模式分析

該階段實現對用戶訪問模式的分析，基本作用是排除模式發現中沒有價值的規則模式，從而將有價值的模式提取出來。

四、Web日志挖掘在電子商務網站中的應用

1.電子商務網站中Web日志挖掘內容

（1）網站的概要統計。網站的概要統計包括分析覆蓋的時間、總的頁面數、訪問數、會話數、惟一訪問者、以及平均訪問、最高訪問、上周訪問、昨日訪問等結果集。

（2）內容訪問分析。內容訪問分析包括最多及最少被訪問的頁面、最多訪問路徑、最多訪問的新聞、最高訪問的時間等。

（3）客戶信息分析。客戶信息分析包括訪問者的來源省份統計、訪問者使用的瀏覽器及操作系統分析、訪問來自的頁面或者網站、來自的IP地址以及訪問者使用的搜索引擎。

（4）訪問者活動周期行為分析。訪問者活動周期行為分析包括一周7天的訪問行為、一天24小時的訪問行為、每周的最多的訪問日、每天的最多訪問時段等。

（5）主要訪問錯誤分析。主要訪問錯誤分析包括服務端錯誤、頁面找不到錯誤等。

（6）網站欄目分析。網站欄目分析包括定制的頻道和欄目設定，統計出各個欄目的訪問情況，并進行分析。

（7）商務網站擴展分析。商務網站擴展分析是專門針對專題或多媒體文件或下載等內容的訪問分析。

2.Web日志挖掘工具

已經有部分公司開發出了商用的網站用戶訪問分析系統，如WebTrends公司的CommerceTrends 3.0，它能夠讓電子商務網站更好地理解其網站訪問者的行為，幫助網站采取一些行動來將這些訪問者變為顧客。CommerceTrends主要由3部分組成：Report Generation Server、Campain Analyzer和Webhouse Builder。

還有Accrue公司的Accrue Insight，它是一個綜合性的Web分析工具，它能夠對網站的運行狀況有個深入、細致和準確的分析，通過分析顧客的行為模式，幫助網站采取措施來提高顧客對于網站的忠誠度，從而建立長期的顧客關系。

五、結束語

電子商務在快速增長，有非常好的前景。Web日志挖掘是數據挖掘中的前沿技術，應用Web日志挖掘技術，能使電子商務網站資源的配置更合理化，能發現隱含的有價值的信息，改進網站設計，找到潛在的客戶、為已有客戶提供更好的個性化服務。Web日志挖掘技術和 Web內容挖掘技術、Web結構挖掘技術的結合使用可進一步完善和提高電子商務網站的功能，這是我們今后所要探討的。

本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。