基于Web日志挖掘技術的商務信息系統構建

尹曉婷+高洪旗

摘要：Web日志挖掘，是Web使用挖掘的一種，就是通過對Web日志記錄的挖掘，發現用戶訪問Web頁面的模式，從而進一步分析和研究Web日志記錄中的規律，以期改進Web站點的性能和組織結構，提高用戶查找信息的質量和效率，并通過統計和關聯的分析找出特定用戶與特定地域、特定時間、特定頁面等要素之間的內在聯系，這在電子商務等領域是大有作為的。

關鍵詞：Web日志挖掘，商務信息網站，數據

1.Web日志挖掘的概念

Web日志挖掘，是Web使用挖掘的一種，就是通過對Web日志記錄的挖掘，發現用戶訪問Web頁面的模式，從而進一步分析和研究Web日志記錄中的規律，以期改進Web站點的性能和組織結構，提高用戶查找信息的質量和效率，并通過統計和關聯的分析找出特定用戶與特定地域、特定時間、特定頁面等要素之間的內在聯系，這在電子商務等領域是大有作為的。

用戶使用Web獲取信息的過程中需要不停地從一個Web站點通過超文本鏈接跳轉到另一個站點，這種過程存在一定的普遍性，發現此規律即是Web用戶訪問信息發現。web日志挖掘是關于用戶行為及潛在顧客信息的發現，一般包括三個階段，即數據預處理、模式識別及模式分析。

2.Web日志挖掘的過程

Web日志挖掘通過分析和研究Web日志記錄中的規律，識別電子商務的潛在用戶，提高對最終用戶信息服務的質量并改進Web服務系統的性能和結構。

2.1數據預處理

Web日志文件記錄中存儲的是用戶訪問站點信息的原始記錄，直接在這些數據上面進行挖掘是比較困難的，在使用算法或工具對其進行分析之前，必須進行預處理。預處理過程是Web日志挖掘質量保證的關鍵，因為處理后的數據好壞、全面與否，直接影響到數據挖掘的結果，進而對網站決策者的決策造成直接影響。特別是中小型電子商務網站，其數據相對較少，因此數據處理的準確性極為重要。Web日志預處理主要有4個步驟：數據凈化、用戶識別、會話識別和數據合并。

Web日志文件中包含一些不能反映用戶行為的記錄，數據凈化就是去掉這些記錄。而用戶識別的目的是對用戶的唯一性的識別。在通常情況下，只有通過分析日志文件中的IP地址、agent等信息來識別不同的用戶。會話識別是建立在對用戶識別的基礎上的，其目的是將用戶的訪問記錄分為單個會話。同時，對于網站上繁雜的頁面，由于數量較多，而且有許多網頁的內容有一定的聯系或相似之處，所以可以對其進行一定程度的合并，從而將其分成能反映網站邏輯信息的同質類別。特別是中小型電子商務網站的網頁，由于網站設計人員的知識架構、技術層次以及對所要設計的網站內容的了解程度的限制，很難建立一個完全無重復內容網頁和完全反映網站邏輯信息的網站。

2.2模式發現

模式發現階段就是利用挖掘算法挖掘出有效的、新穎的、潛在的、有用的以及最終可以理解的信息和知識。可用于Web的挖掘技術有路徑選擇、關聯分析、分類規則、聚類分析、序列分析、依賴性建模等。

2.3模式分析

模式分析是Web日志挖掘中的最后一項重要的步驟，主要是為了在模式發現算法找到的模式集合中發現有趣（有用）的模式。對于一個商務信息系統，通過模式發現與模式分析，可以得到詳細的用戶反饋，幫助他們根據實際用戶的瀏覽情況，調整網站的網頁鏈接結構和網頁內容，對網站進行優化，從而延長用戶的駐留時間，挽留老用戶、吸引新州戶，并增加用戶的購買率，以此獲得電子商務網站的成功運行；而通過對內部管理系統用戶的聚類，可以明確網站運營的缺陷在哪里，還有何可以改進的地方。

3.Web日志挖掘技術在商務信息系統中的構建

3.1建立個性化的網站模型

（1）用戶可以通過注冊后訪問網站，也可以不通過注冊直接訪問；（2）針對不同的用戶，網站提供不同的服務；（3）根據用戶的訪問記錄信息，動態調整網站的頁面，產生的個性化的網站使得用戶可以更容易地到達他所需服務的數據網頁；（4）挖掘用戶的Web訪問日志，在用戶定制區內預測并推薦用戶的潛在訪問網頁鏈接。

3.2個性化網站系統的框架

系統主要由4個功能模塊組成，分別為用戶識別模塊，行為記錄模塊，興趣識別模塊和個性推薦模塊。各個模塊的說明如下。

（1）用戶識別模塊。用戶識別模塊處理用戶的基本信息并識別用戶。包括用戶的登錄名（注冊用戶有自己唯一對應的name；非注冊用戶有一個共同的name，但有不同的Cookie值）；用戶登錄密碼；用戶注冊個人信息時填入的喜好；以及為了更加準確地識別用戶而獲取的關于用戶身份的其他一些基本信息，如MAC地址、IP地址、瀏覽器版本號和操作系統版本號等。用戶登錄后通過用戶名或Cookie值為每個用戶分配UserID，以方便其他模塊進一步地調整網站的頁面以及在用戶定制區內推薦該用戶可能訪問的鏈接。

（2）行為記錄模塊。用戶的訪問（行為記錄）日志是系統進行用戶個性化特征分析的數據依據和數據基礎。訪問日志模塊處理用戶行為記錄的各項信息，包括用戶訪問某一頁面的時間以及在該頁面停留的時間，訪問某一頁面的次數，用戶訪問網站的某頁面的URL地址，為其他相關模塊提供用戶信息，以及對大量數據保存方面的管理配置。

（3）興趣識別模塊。一個網站由眾多網頁構成的結點組成，結點之間的聯系是通過頁面的鏈接來實現的。一些大型門戶網站首頁，大量的鏈接讓人跟花繚亂。在這類網站上讓用戶填寫興趣表單只會考驗用戶的耐心。因此根據用戶在網站中各頁面的停留時間和訪問次數等特征，結合用戶參與、識別、建立、調整該用戶的喜好，可以避免用戶填寫一系列繁瑣的表單操作。

興趣的識別模塊將根據訪問日志模塊所給出的各個用戶不同信息計算得到該用戶的興趣強度，并且把識別的結果存儲在用戶興趣分類中，以便為頁面顯示提供數據源。

（4）個性推薦模塊。個性推薦模塊的功能包括興趣回顧和興趣推薦，根據用戶過去的行為預測用戶的將來行為。網站的用戶在登錄以后，個性推薦模塊根據用戶的UserlD查找用戶興趣庫中該用戶的歷史興趣，利用個性化推薦進行興趣推薦。系統針對用戶的不同興趣提供相應的服務。在頁面主顯示區和用戶定制區分別顯示相應的內容。免去用戶多次點擊鏈接的麻煩，使用戶的訪問更加有效率。

4.結束語

Web日志挖掘技術為商務信息網站構建的合理性分析以及相關電子商務信息系統建設提供了重要的科學指導。實踐證明，通過對Web日志進行預處理，清理、過濾以及重新組合不規范的記錄，并將Web日志中的數據轉換為挖掘算法可識別的形式來挖掘關聯規則，并對用戶進行聚類和分類，能夠找出特定用戶與特定地域、特定時間、特定頁面等要素之間的內在聯系，發現用戶訪問Web頁面的模式，從而改進Web站點的性能和組織結構，提高用戶查找信息的質量和效率。

參考文獻

[1] 陳京民.數據倉庫與數據挖掘技術（第2版）[M].電子工業出版社，2007.

[2] Dunham Margaret H.數據挖掘教程.清華大學出版社，2005.

[3] 梁循.數據挖掘算法與應用.北京大學出版社，2006.

[4] 戴永群.web挖掘研究與應用.計算機與信息技術，2007.

[5] 丁瑾.基于Web數據挖掘的綜述.科技開發情報與經濟，2004endprint