高校圖書館搜索引擎中Web使用記錄挖掘研究

趙靜

摘 要：針對高校的信息資源檢索的命中率低問題提出了運用Web使用記錄挖掘的高校圖書館搜索引擎。通過采用Web使用記錄挖掘技術和Clementine對高校圖書館網站的Web訪問日志記錄進行挖掘。在Web使用記錄挖掘流程中，提出一個基于用戶IP、登陸時間、網站的拓撲圖、引用網頁和Agent來識別出單個用戶的新算法，獲得有效提高識別用戶的實驗結果。最后用路徑分析來挖掘模式，優化網站結構，從而提高高校圖書館搜索引擎的命中率。

關鍵詞：Web使用記錄挖掘； 搜索引擎； 路徑分析； 高校圖書館； 用戶識別

中圖分類號：TN911?34 文獻標識碼：A 文章編號：1004?373X（2013）02?0001?05

0 引 言

高校圖書館使用數字技術進行信息資源的組織和管理，能夠存儲海量的信息。高校圖書館的搜索引擎部分地解決了資源發現的問題，但是它可能會返回給用戶成千上萬檢索到的網頁，而其中很大一部分與用戶的要求無關，用戶不能快速、準確地得到所需的有價值的信息。因此，運用Web使用記錄挖掘的高校圖書館搜索引擎隨之產生。運用Web使用記錄挖掘的高校圖書館搜索引擎是專門針對高校的信息資源進行檢索的搜索引擎，是實現高校教學資源共享提高搜索命中率必不可少的工具，所以高校圖書館搜索引擎中Web使用記錄挖掘的應用研究具有非常重要的科學意義和應用價值。

Web使用記錄挖掘[1]是從用戶“訪問痕跡”中獲取有價值的信息，是對Web上日志數據及相關數據的挖掘。Web使用記錄挖掘技術和工具可分為2大類：訪問模式的追蹤和個性化的使用記錄的追蹤。一般的訪問模式追蹤通過分析使用記錄來了解用戶的訪問模式和傾向，以改進站點的組織結構；個性化的使用記錄追蹤則傾向于分析個別用戶的偏好，其目的是根據不同用戶的訪問模式，為用戶提供定制的服務。其目的是預測用戶網上的行為，比較網站的實際使用與期望的差別，根據用戶的興趣調整網站結構。通過Web使用記錄挖掘技術對高校圖書館網站的Web訪問日志記錄進行挖掘，挖掘出用戶訪問模式、頻繁訪問路徑等信息，從而優化站點結構、獲取和分析用戶需求信息、為用戶提供高校圖書館搜索引擎系統服務以及為圖書館管理層提供決策支持。

1 高校圖書館搜索引擎中Web使用記錄挖掘 流程分析

在高校圖書館系統中，運用Web使用記錄挖掘的Web訪問日志數據為核心分析高校圖書館搜索引擎系統。高校圖書館的日志文件采用SQL Server數據庫來完成相應的挖掘操作，又用Clementine挖掘工具作以補充。

Clementine挖掘工具[2]是ISL公司開發的數據挖掘工具平臺。Clementine結合Web使用記錄挖掘技術可以快速建立預測性模型，進而應用到高校搜索引擎系統中，幫助高校圖書館改進圖書館搜索引擎系統的結構，為讀者提供個性化服務。

整個高校圖書館搜索引擎系統提出了一套適合Web使用記錄挖掘的流程圖，根據這個流程圖，進行數據收集，數據準備，建立用戶興趣模型，模式挖掘等操作。如圖1高校圖書館搜索引擎中Web使用記錄挖掘的流程圖所示。

圖1 高校圖書館搜索引擎中Web使用記錄挖掘的流程圖

1.1 數據收集

用戶瀏覽信息被Web服務器自動收集并保存在訪問日志、引用日志和代理日志中。基于高校圖書館網站自身特點，主要研究Web訪問日志。根據高校圖書館的Web服務器訪問日志，通過訪問路徑C：/WINDOWS/System32/LogFiles 收集需要的信息。Web訪問日志記錄用戶訪問信息。下面是一段收集的Web服務器訪問日志：

#Software： Microsoft Internet Information Services 6.0

#Version： 1.0

#Date： 2012?05?21 07：06：45

#Fields： date time s?sitename s?ip cs?method cs?uri?stem cs?uri?query s?port cs?username c?ip cs（User?Agent） sc?status sc?substatus sc?win32?status

2012?05?21 07：06：45 W3SVC894523 192.168.16.86 GET /index.htm ? 80 ?192.168.16.80Mozilla/4.0+（compatible；

+MSIE+7.0；+Windows+NT+5.1；+Trident/4.0；+GTB6.6；

+.NET+CLR+2.0.50727；+360SE） 200 0 0

上述日志的數據包含的主要項的含義如下：

（1）date time：時間戳。

（2）s?sitename： 系統服務。

（3）s?ip： 被訪問服務器的IP地址。

（4）cs?method： 客戶訪問的方式，有GET和POST。

（5）cs?uri?stem： 請求文檔的URL，即所訪問的頁面。

（6）cs?uri?query： URL查詢，用戶預進行的查詢。

（7）s?port： 被訪問服務器的端口。

（8）cs?username： 用戶ID，是在被訪問頁面需要進行用戶注冊時才有的。

（9）c?ip： 客戶主機的IP地址。

（10）cs（User?Agent）： 表示客戶機的瀏覽器類型、版本即所運行的操作系統。

（11）sc?status： 返回碼。200代表成功，404代表找不到所請求的頁面。