基于用戶web日志分析的推薦系統(tǒng)的應(yīng)用研究

王子政 姚衛(wèi)東（北京信息控制研究所，北京 100048)

基于用戶web日志分析的推薦系統(tǒng)的應(yīng)用研究

王子政 姚衛(wèi)東（北京信息控制研究所，北京 100048)

為了將用戶感興趣的各種資訊信息主動(dòng)推薦給用戶，提出了一個(gè)推薦算法權(quán)重公式，改進(jìn)了基于用戶的協(xié)同過濾算法，設(shè)計(jì)出了通用的推薦系統(tǒng)原型架構(gòu)，并分析了今后的研究方向。

推薦系統(tǒng)，協(xié)同過濾，網(wǎng)絡(luò)日志分析，軍工

引 言

推薦系統(tǒng)是一種向用戶提供推薦信息的軟件技術(shù)和工具。這種推薦建議可幫助用戶在面對(duì)龐雜的信息時(shí)作出更加適合自己的決定，例如，其可幫助用戶決定買什么商品、聽什么歌曲或者瀏覽哪些新聞等。隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，人類進(jìn)入了信息大爆炸時(shí)代，推薦系統(tǒng)被認(rèn)為是解決用戶信息過載問題最有效的方法之一，并在各個(gè)領(lǐng)域均具有廣泛的用途。

1 個(gè)性化推薦系統(tǒng)簡(jiǎn)介

為了做好各項(xiàng)決策，例如，瀏覽什么樣的新聞、購(gòu)買哪種商品、觀看哪部電影等，人們往往需要查閱大量的資料，甚至可能需要聽取他人的意見。推薦系統(tǒng)的重要性就在于其能夠?yàn)橛脩籼峁└信d趣的信息而無需用戶將自己的需求明確表達(dá)出來。阿爾伯塔大學(xué)的H?ubl G和Trifts認(rèn)為，推薦系統(tǒng)是一種面向用戶提供相關(guān)項(xiàng)目的軟件技術(shù)和工具。信息檢索（information retrieval）和推薦系統(tǒng)被認(rèn)為是2種相似的工具，其主要研究?jī)?nèi)容都是針對(duì)條目（item）進(jìn)行過濾和排序。但是，信息檢索通常側(cè)重于研究全局整體性的檢索數(shù)據(jù)，可能會(huì)忽略掉個(gè)體的需求和用戶的偏好信息。Still指出，推薦系統(tǒng)和信息檢索系統(tǒng)之間并不能夠很清晰地區(qū)分開來；推薦系統(tǒng)和信息檢索（或搜索引擎）之間核心的不同之處在于推薦系統(tǒng)更側(cè)重于個(gè)性化、有趣并且有用的信息。

從最近的發(fā)展趨勢(shì)來看，現(xiàn)在的web搜索引擎也在利用推薦系統(tǒng)的相關(guān)技術(shù)來應(yīng)對(duì)搜索領(lǐng)域目前面臨的挑戰(zhàn)，并實(shí)現(xiàn)了一些高級(jí)檢索功能。例如，搜索引擎會(huì)提供一些與當(dāng)前用戶查詢的信息相近的檢索詞。越來越多的搜索引擎正在嘗試向用戶提供個(gè)性化的檢索結(jié)果，其依據(jù)就是用戶的檢索詞、用戶的上下文信息（如用戶當(dāng)前的位置信息等），以及用戶的檢索歷史等。

目前，推薦系統(tǒng)已經(jīng)被廣泛應(yīng)用在各種各樣的電子商務(wù)網(wǎng)站中，并且能夠支持向上千萬甚至上億用戶進(jìn)行產(chǎn)品的推薦。推薦系統(tǒng)也是目前非常熱門的一個(gè)研究方向。對(duì)于一些大型的電子商務(wù)網(wǎng)站來說，推薦系統(tǒng)已經(jīng)成為網(wǎng)站擁有的一個(gè)不可或缺的功能，被廣泛應(yīng)用于圖書、電影、音樂、視頻、新聞等信息的推薦應(yīng)用。亞馬遜網(wǎng)站（www. amazon.com）通過一系列的推薦算法，例如，基于協(xié)同過濾的算法，尋找具有相似偏好的用戶群，用于預(yù)測(cè)和發(fā)現(xiàn)用戶可能感興趣的商品，并將其推薦給目標(biāo)用戶，從而大大提高了商品的銷售率。Netflix公司是美國(guó)一家在線電影服務(wù)提供商，為了提高推薦系統(tǒng)的性能，該公司設(shè)立了100萬美元的獎(jiǎng)金，用于獎(jiǎng)勵(lì)那些對(duì)于顯著提高推薦系統(tǒng)性能作出突出貢獻(xiàn)的設(shè)計(jì)人員。

2 個(gè)性化推薦系統(tǒng)研究

2.1 個(gè)性化推薦模型的提出

無論是對(duì)于電子商務(wù)類的網(wǎng)站，還是新聞資訊類的網(wǎng)站，所有的資源都可以成為被推薦的對(duì)象，用戶訪問這些網(wǎng)站，都是查找自己感興趣資源的過程。在軍工領(lǐng)域，軍工集團(tuán)門戶網(wǎng)站主要提供新聞資訊類的資源，軍工類電子商務(wù)網(wǎng)站提供軍民兩用產(chǎn)品的描述信息、解決方案等信息。為了更有針對(duì)性地為用戶提供所需的信息，本文提出了一個(gè)通用的推薦系統(tǒng)模型，不僅可應(yīng)用于普通的網(wǎng)絡(luò)信息推薦系統(tǒng)，也可應(yīng)用于軍工信息推薦系統(tǒng)。所設(shè)計(jì)的推薦算法權(quán)重公式如下：

在上式中，各項(xiàng)的具體含義如下：

（1）UserInfo。系統(tǒng)內(nèi)的注冊(cè)用戶信息，即推薦系統(tǒng)將相關(guān)條目進(jìn)行推薦的對(duì)象的信息。在這個(gè)維度中，包含了用戶的ID、姓名、性別、年齡、行業(yè)、所在地等信息。其數(shù)學(xué)形式化定義為UserInfo（UserID，Name，Gender，Age，Trade，Location）。

（2）UserSearchLog。用戶的檢索詞日志信息，其精準(zhǔn)地反映了用戶的需求信息，對(duì)于推薦系統(tǒng)來說是一項(xiàng)非常重要的數(shù)據(jù)來源。其數(shù)學(xué)形式化定義為：UserSearchLog（UserID，SearchLogList）。

（3）UserBrowserLog。用戶的歷史瀏覽日志信息，包含用戶自己產(chǎn)生的除檢索日志外的全部記錄信息，如用戶曾經(jīng)瀏覽過的新聞資訊、產(chǎn)品互動(dòng)咨詢信息和曾經(jīng)瀏覽過的商品信息等。其數(shù)學(xué)形式化定義為：UserBrowserLog（UserID，NewsInfo，InteractionInfo，SolutionInfo）。

上述推薦系統(tǒng)中的模型為用戶、檢索日志、瀏覽日志所組成的三維空間。推薦系統(tǒng)將用戶所從事的行業(yè)、所在地等個(gè)人信息，以及用戶歷史的檢索日志、瀏覽日志等信息作為數(shù)據(jù)來源，將用戶可能感興趣的項(xiàng)目計(jì)算出來，將評(píng)分最高的幾個(gè)項(xiàng)目推薦給用戶。用戶對(duì)推薦的項(xiàng)目進(jìn)行打開瀏覽等操作后，相關(guān)操作等信息又會(huì)被記錄到日志文件中，作為下一次計(jì)算的數(shù)據(jù)來源，從而不斷優(yōu)化算法，更準(zhǔn)確地把握用戶的需求。

2.2 個(gè)性化推薦方法的選擇

個(gè)性化推薦就是根據(jù)用戶的個(gè)人信息（UserInfo）、檢索日志信息（UserSearchLog），以及歷史瀏覽日志信息（UserBrowserLog），通過一定的規(guī)則進(jìn)行打分、排序，將得到的結(jié)果推薦給相應(yīng)的用戶的過程。常用的推薦算法包括基于內(nèi)容的協(xié)同過濾算法和基于用戶的協(xié)同過濾算法兩種。基于用戶的協(xié)同過濾算法是目前推薦系統(tǒng)中使用最多的推薦技術(shù)，其基于用戶對(duì)物品的偏好找到相鄰的鄰居用戶，然后將鄰居用戶喜歡的物品推薦給當(dāng)前用戶。在算法的實(shí)現(xiàn)上，該算法將用戶對(duì)所有物品的偏好作為一個(gè)向量來計(jì)算用戶之間的相似度，找到K鄰居，根據(jù)鄰居之間的相似性，以及對(duì)所有物品的偏好，預(yù)測(cè)當(dāng)前用戶潛在感興趣的物品，最終得出一個(gè)排序的物品列表推薦給目標(biāo)用戶。該算法最大的優(yōu)點(diǎn)是對(duì)推薦對(duì)象沒有特殊要求。該算法的流程包括以下4個(gè)步驟，如圖1所示。

在該算法中，用戶之間僅通過ID進(jìn)行標(biāo)識(shí)，并沒有利用用戶本身的屬性信息，在改進(jìn)的算法中增加了用戶的個(gè)人信息，如行業(yè)、位置信息等，對(duì)用戶信息進(jìn)行了多維度的描述，有助于提高相似鄰居計(jì)算的準(zhǔn)確性。因此，在改進(jìn)的算法中，提出了將UserID單一屬性修改為UserInfo（UserID，Industry，Location），再利用基于用戶的協(xié)同過濾算法進(jìn)行計(jì)算推薦的過程。

3 原型系統(tǒng)設(shè)計(jì)

3.1 功能模塊的設(shè)計(jì)

針對(duì)上文提出的推薦系統(tǒng)模型，基于內(nèi)容管理平臺(tái)和搜索服務(wù)平臺(tái)，采用基于用戶的協(xié)同過濾算法設(shè)計(jì)了一個(gè)通用的推薦系統(tǒng)的原型架構(gòu)，如圖2所示。該系統(tǒng)分為內(nèi)容管理模塊、搜索服務(wù)模塊、數(shù)據(jù)準(zhǔn)備模塊、推薦計(jì)算模塊等4個(gè)功能模塊。

圖2 通用推薦系統(tǒng)原型架構(gòu)圖

該系統(tǒng)各部分的功能描述如下：

（1）內(nèi)容管理模塊。該模塊是整個(gè)系統(tǒng)的主體模塊，包含了全部的新聞資訊、產(chǎn)品互動(dòng)咨詢信息和解決方案信息，是推薦系統(tǒng)將要推薦的全部項(xiàng)目的集合。對(duì)于每個(gè)項(xiàng)目，都有唯一的項(xiàng)目編號(hào)標(biāo)識(shí)號(hào)。當(dāng)用戶訪問每個(gè)項(xiàng)目資源的時(shí)候，服務(wù)器都會(huì)將用戶的行為記錄下來，存儲(chǔ)到日志文件中，為之后的推薦分析提供依據(jù)。

（2）搜索服務(wù)模塊。該模塊負(fù)責(zé)對(duì)網(wǎng)站進(jìn)行檢索。其檢索的信息是內(nèi)容管理模塊所提供的全部信息資源。同樣，當(dāng)用戶進(jìn)行檢索時(shí)，用戶所使用的每個(gè)檢索詞語、在檢索結(jié)果列表中打開的每個(gè)網(wǎng)頁也都會(huì)被記錄下來，存儲(chǔ)到日志文件中。

（3）數(shù)據(jù)準(zhǔn)備模塊。該模塊包括數(shù)據(jù)采集、數(shù)據(jù)提取和用戶標(biāo)識(shí)等3個(gè)步驟，在推薦系統(tǒng)中屬于數(shù)據(jù)預(yù)處理階段。數(shù)據(jù)準(zhǔn)備模塊的處理對(duì)象是服務(wù)器上記錄的原始數(shù)據(jù)日志記錄信息，其數(shù)據(jù)處理算法簡(jiǎn)單，但步驟繁瑣、工作量繁重。下面對(duì)每個(gè)子模塊步驟進(jìn)行介紹：一是數(shù)據(jù)采集子模塊。推薦系統(tǒng)最直接的數(shù)據(jù)來源就是服務(wù)器上的日志文件。服務(wù)器日志文件的格式多種多樣；W3C推薦了通用型日志格式文件CLF（Common Log Format）和擴(kuò)展通用型日志格式文件ECLF（Extended Common Log Format）2種通用的日志格式。二是數(shù)據(jù)提取子模塊。其功能是對(duì)推薦系統(tǒng)可能用到的數(shù)據(jù)進(jìn)行提取，數(shù)據(jù)提取對(duì)象就是上個(gè)步驟采集到的日志信息，將不相關(guān)的數(shù)據(jù)剔除，同時(shí)，將數(shù)據(jù)進(jìn)行相應(yīng)的格式化處理，轉(zhuǎn)換為推薦算法要求的輸入數(shù)據(jù)格式，方便計(jì)算。三是用戶識(shí)別子模塊。這里的用戶識(shí)別分為2種，一種是系統(tǒng)注冊(cè)用戶，另一種是系統(tǒng)未注冊(cè)用戶。對(duì)于系統(tǒng)注冊(cè)用戶來說，可以很方便地識(shí)別用戶身份；對(duì)于系統(tǒng)未注冊(cè)用戶來說，可以對(duì)用戶的IP地址進(jìn)行識(shí)別，不同的IP地址必然屬于不同的用戶；但是由于IPv4地址的稀缺，現(xiàn)在的局域網(wǎng)大量采用了NAT（網(wǎng)絡(luò)地址轉(zhuǎn)化）技術(shù)，使得同一局域網(wǎng)內(nèi)的用戶對(duì)外僅顯示一個(gè)IP地址，所以，可以根據(jù)客戶端瀏覽器軟件類型、版本號(hào)等信息來區(qū)分不同的用戶。

（4）推薦計(jì)算模塊。該模塊根據(jù)所設(shè)計(jì)的推薦算法進(jìn)行計(jì)算，從而獲得推薦結(jié)果，將所獲得的推薦信息推薦給用戶。

4 結(jié) 語

本文提出了一個(gè)改進(jìn)的推薦算法模型，并設(shè)計(jì)了系統(tǒng)的原型架構(gòu)，通過對(duì)用戶的潛在感興趣的信息進(jìn)行推薦，能夠幫助用戶快速定位到自己所需要的信息，具有通用性。推薦算法優(yōu)化及推薦結(jié)果評(píng)價(jià)是后續(xù)研究中需要解決的問題，也是今后開展研究的重要方向之一。

1 Ricci F, Rokach L, Shapira B. Introduction to recommender systems handbook[A]. Recommender Systems Handbook[M]. New York, 2011

2 H?ubl G, Trifts V. Consumer decision making in online shopping environments: The effects of interactive decision aids [J]. Marketing Science, 2000, 19(1): 4～21

3 Burke, R. Hybrid web recommender systems. The Adaptive Web [M]. Springer Berlin/Heidelberg, 2007

4 Iskold A. The art, science and business of recommendation engines[EB/OL]. [2014-02-28]. http://readwrite. com/2007/01/16/recommendation_engines

5 Adomavicius G, Tuzhilin A. Toward the next generation of recommender systems: A survey of the state-of-the-art and possible extensions[J]. IEEE Trans. on Knowledge and Data Engineering (TKDE), 2005, 17(6): 734～749

6 劉建國(guó), 周濤, 汪秉宏. 個(gè)性化推薦系統(tǒng)的研究進(jìn)展[J]. 自然科學(xué)進(jìn)展, 2009, 19(1): 1～15

7 沙招友. 某開發(fā)區(qū)電子政務(wù)網(wǎng)站個(gè)性化推薦服務(wù)的設(shè)計(jì)[D]. 北京郵電大學(xué), 2009

Study on Application of Recommender System Based on User Web Log Analysis

Wang Zizheng Yao Weidong
(Beijing Institute of Information and Control, Beijing 100048)

Recommender systems have been proved to be a valuable means for online users to deal with the information overload and have become one of the most powerful and popular tools. A power function of recommender system algorithm was proposed. The collaborative filtering algorithm based on user web log analysis was improved, and the prototype scheme of the recommender system was designed. The direction of study in future was analysed.

Recommender system, Collaborative filtering algorithm, Web log analysis, Military industry

1009-8119（2015）10（1）-0058-03