基于用戶的協(xié)同過濾推薦算法的改進(jìn)

陳塏冰，吳明芬*

（五邑大學(xué)計(jì)算機(jī)學(xué)院，廣東江門，529020）

引言

隨著互聯(lián)網(wǎng)的快速發(fā)展，人們每天都和巨量的數(shù)據(jù)打交道。如何讓用戶快速找到自己想要的信息，在此背景下，推薦系統(tǒng)應(yīng)運(yùn)而生，推薦系統(tǒng)是根據(jù)用戶的歷史行為，例如購(gòu)買過哪些商品來學(xué)習(xí)該用戶的興趣和愛好，然后根據(jù)興趣和愛好給用戶推薦相應(yīng)的商品。推薦系統(tǒng)（Recommender System）,作為一種有效的信息過濾系統(tǒng)，它能夠幫助用戶在大量數(shù)據(jù)中準(zhǔn)確地找到其感興趣的信息，成為研究者們廣泛關(guān)注的對(duì)象[1]。

目前推薦系統(tǒng)分為以下幾類：基于內(nèi)容（Content-based）的推薦系統(tǒng)、協(xié)同過濾（Collaborative filtering）系統(tǒng)以及混合（Hybrid）推薦系統(tǒng)[2]。“協(xié)同過濾”一詞最早由 Goldberg中提出[2]。目前協(xié)同過濾算法的使用非常廣泛，其分為基于用戶的協(xié)同過濾算法和基于項(xiàng)目的協(xié)同過濾算法。陳思思通過把協(xié)同過濾推薦算法應(yīng)用于高校圖書館，根據(jù)讀者的歷史借閱記錄學(xué)習(xí)讀者的興趣愛好，從而為讀者提供個(gè)性化的服務(wù)[3]。文獻(xiàn)[4]把基于用戶的協(xié)同過濾推薦算法運(yùn)用于 MOOC（Massive Open Online Course）在線課堂，根據(jù)用戶歷史行為和注冊(cè)信息為其推薦合適的資源。任磊提出一種有合評(píng)分時(shí)間特性的推薦系統(tǒng)，從評(píng)分時(shí)間角度對(duì)推薦算法的相似度計(jì)算和評(píng)分預(yù)測(cè)過程進(jìn)行改進(jìn)[5]?；谟脩舻膮f(xié)同過濾算法雖然考慮了用戶（項(xiàng)目）間的關(guān)系，但是卻忽略了用戶之間可能存在潛在的關(guān)系，導(dǎo)致推薦算法準(zhǔn)確率不高，本文提出一種改進(jìn)的用戶協(xié)同過濾算法，該算法充分利用了用戶地理位置這一屬性。改進(jìn)的用戶協(xié)同過濾算法具體工作原理：首先根據(jù)用戶所購(gòu)買的商品求出用戶之間的相似度，接著根據(jù)用戶的地理位置計(jì)算用戶位置之間的相似度，然后把二者加權(quán)求和，實(shí)試有有表明，改進(jìn)后的用戶協(xié)同過濾推薦算法提高了推薦的準(zhǔn)確率。

1 基于用戶的協(xié)同過濾算法

基于用戶的協(xié)同過濾推薦算法首先通過用戶購(gòu)買記錄來組成用戶-商品表，根據(jù)用戶-商品表來計(jì)算用戶之間的相似度，在兩個(gè)用戶購(gòu)買的商品記錄中，若他們所購(gòu)買相同的商品記錄數(shù)量越大，則他們的相似度越高，根據(jù)相似度從高到低選出相似度最大的N個(gè)用戶作為該用戶的鄰居，在給該用戶推薦商品時(shí)，通過鄰居用戶購(gòu)買記錄給其推薦商品，這些商品存在在鄰居購(gòu)買記錄中并且該用戶尚未購(gòu)買過。計(jì)算相似度選用的是Jaccard算法。 Jaccard相似度公式如下：

其中代表用戶A所購(gòu)買的商品的數(shù)量，代表用戶B所購(gòu)買的商品的數(shù)量，表示用戶A和B的相似度，分子表示用戶A和用戶B購(gòu)買的商品中相同商品的數(shù)量，分母表示用戶A與用戶B非重復(fù)購(gòu)買商品的數(shù)量。

基于用戶的協(xié)同過濾推薦算法分為三個(gè)部分：第一部分相似度的計(jì)算、第二部分選取商品的鄰居商品、第三部分產(chǎn)生推薦。算法的具體步驟如下：

第一步：相似度計(jì)算

（1）找出所有購(gòu)買過商品的用戶id，并放入到一個(gè)用戶id的集合中

（2）從用戶id集合中取出一個(gè)用戶A的id，在用戶-商品表中找出用戶 A所有購(gòu)買商品的id，并放入集合itemList中。

（3）執(zhí)行步驟2，取出除用戶A以外的另一個(gè)用戶B的id和得到其購(gòu)買商品id 的集合。

（4）運(yùn)用Jaccard算法對(duì)兩個(gè)商品集合進(jìn)行相似度的計(jì)算。

（5）循環(huán)執(zhí)行步驟 2,3,4,遍歷完用戶 id集合中除了用戶A的所有用戶，計(jì)算出其他用戶和用戶A的相似度。

第二步：選取鄰居商品

（6）對(duì)用戶A和其他用戶的相似度按照降序的順序排序。

（7）選擇相似度最大的N個(gè)用戶id作為用戶A的鄰居用戶，并寫入數(shù)據(jù)庫。

（8）重復(fù)執(zhí)行步驟2～7，計(jì)算其他用戶之間的相似度和找出他們的鄰居用戶。

第三步：產(chǎn)生推薦

（9）通過輸入的用戶id找出該用戶的鄰居用戶，放入NeighborList集合中。

（10）在NeighborList中取出一個(gè)鄰居用戶id。

（11）根據(jù)鄰居用戶id在用戶-商品表中找出該用戶所有購(gòu)買過的商品id，并放入shopList集合中。

（12）在shopList集合中遍歷所有的商品id并查看該商品id是否存在用戶A所購(gòu)買商品id的集合中，存在則跳過否則把該商品id放入 recommendList中。

（13）重復(fù)執(zhí)行10～12，把用戶A所有鄰居用戶購(gòu)買過的商品但是用戶 A并沒有購(gòu)買過的商品放入到recommendList中。

2 改進(jìn)的用戶協(xié)同過濾算法

用戶協(xié)同過濾算法根據(jù)用戶所購(gòu)買的商品可以計(jì)算出用戶之間的相似性，相似性越大說明兩用戶之間的興趣和愛好越相同，但是該算法只是通過用戶（商品）之間這一單一維度來計(jì)算用戶相似性。為了克服以上問題，本文提出了一種改進(jìn)的用戶協(xié)同過濾算法，該算法對(duì)上面算法的第一部分求用戶相似度時(shí)進(jìn)行改進(jìn)，在計(jì)算用戶之間的相似度時(shí)分為兩步，第一步是根據(jù)用戶-商品協(xié)同過濾算法來計(jì)算相似度，第二步是根據(jù)用戶地理位置來求用戶之間相似度，然后二者線性相加。其公式為：

sim_new(A,B)表示改進(jìn)后用戶之間的相似度，sim(A,B)表示上文敘述的用戶協(xié)同過濾算法的相似度，

sim_loc(A,B)表示用戶位置相似度。表示基于用戶協(xié)同過濾算法相似度的權(quán)重，表示基于用戶位置相似度的權(quán)重。表示的是用戶A與用戶B地理位置信息第i位字符的相似度。

改進(jìn)的用戶協(xié)同過濾推薦算法充分利用了用戶地理位置這一屬性，該算法也是由三個(gè)部分：第一部分是相似度的計(jì)算，第二部分選取用戶的鄰居用戶，第三部分產(chǎn)生推薦。其中對(duì)第二部分進(jìn)行改進(jìn)，在求相似度時(shí)考慮了用戶地理位置這一因素，具體過程：a.是通過用戶購(gòu)買歷史記錄來計(jì)算用戶之間的相似度；b.是通過用戶的地理位置信息來計(jì)算用戶自身屬性的相似度；c.是對(duì)前面兩步a和b的有有進(jìn)行加權(quán)得到用戶之間最終的相似度。其a中的相似度的計(jì)算和基與用戶的協(xié)同過濾推薦算法的相似度計(jì)算一致。改進(jìn)求相似度的具體操作步驟如下：

第一步：通過用戶購(gòu)買歷史記錄來計(jì)算相似度

（1）找出所有購(gòu)買過商品的用戶id，并放入到一個(gè)用戶id的集合中

（2）從用戶id集合中取出一個(gè)用戶A的id，在用戶-商品表中找出用戶 A所有購(gòu)買商品的 id，并放入集合itemList中。

（3）執(zhí)行步驟2，取出除用戶A以外的另一個(gè)用戶B的id和得到其購(gòu)買商品id 的集合。

（4）運(yùn)用Jaccard算法對(duì)兩個(gè)商品集合進(jìn)行相似度的計(jì)算。

（5）循環(huán)執(zhí)行步驟2，3，4遍歷完用戶id集合中除了用戶A的所有用戶，計(jì)算出其他用戶和用戶A的相似度。

第二步：通過用戶的地理位置信息來計(jì)算用戶自身屬性的相似度

（6）在用戶-位置表中找出用戶A與用戶B的地理位置n位長(zhǎng)的字符串。

（7）對(duì)用戶A和用戶B的地理位置字符串從第一個(gè)位置開始逐個(gè)位置進(jìn)行匹配，若相同，則地理位置相似度加上1/n,否則跳出循環(huán)比較，并返回最終相似度。

（8）重復(fù)執(zhí)行步驟6，7計(jì)算出用戶A和其他用戶之間的地理位置相似度。

第三步:加權(quán)求和計(jì)算最終相似度

（9）對(duì)步驟一和步驟二的有有進(jìn)行加權(quán)得到用戶之間最終的相似度

求用戶的鄰居用戶和產(chǎn)生推薦和改進(jìn)前的基于用戶的協(xié)同過濾算法一致在此不做過多的敘述。

3 實(shí)試有有及分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

本文采用的是天池大數(shù)據(jù)平臺(tái)的Ali_Mobile_Rec數(shù)據(jù)集 （https://tianchi.aliyun.com/datalab/dataSet.htm?

spm=5176.100073.888.16.7f4272cbynGnvG&id=4），該數(shù)據(jù)集是淘寶平臺(tái)上用戶一個(gè)月的行為的軌跡，采用前24天數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，后6天數(shù)據(jù)作為測(cè)試數(shù)據(jù)。數(shù)據(jù)中包含用戶id，商品id，商品類別，用戶行為，用戶地理位置和時(shí)間等字段。經(jīng)過預(yù)處理后得到4574位用戶，截取用戶位置字符串前4位字符為用戶地理位置信息，在實(shí)試過程中根據(jù)經(jīng)試值設(shè)置使用Myeclipse+Mysql平臺(tái)進(jìn)行實(shí)試。

3.2 評(píng)判指標(biāo)

本文性能主要采用準(zhǔn)確率（Precision）來衡量改進(jìn)前的算法和改進(jìn)后的算法。推薦準(zhǔn)確率表示算法推薦成功的比率[6]。其的公式為：

其中test表示測(cè)試數(shù)據(jù)中用戶購(gòu)買的商品，recommeder表示推薦給用戶的商品。

3.3 結(jié)果分析

由表1和圖1，圖2可以看出，在鄰居數(shù)和推薦數(shù)一致的情況下，改進(jìn)后的推薦算法明顯比傳統(tǒng)用戶協(xié)同過濾算法準(zhǔn)確率高，說明基于用戶協(xié)同過濾的改進(jìn)算法是有效的，同時(shí)還可以看出推薦算法的準(zhǔn)確率隨著鄰居數(shù)和推進(jìn)數(shù)的應(yīng)化而應(yīng)化。當(dāng)鄰居數(shù)不應(yīng)時(shí)，推薦的準(zhǔn)確率隨著推薦數(shù)的增加而提高，推薦數(shù)為20時(shí)，準(zhǔn)確率達(dá)到最高。

表1 準(zhǔn)確率對(duì)比Tab.1 Precision comparison

Fig 1 The accuracy of user collaborative filtering algorithm圖4 用戶協(xié)同過濾算法準(zhǔn)確率

Fig 2.The accuracy of user collaborative filtering algorithm after improved圖5 改進(jìn)的用戶協(xié)同過濾算法的準(zhǔn)確率

4 有束語

用戶協(xié)同過濾推薦算法是根據(jù)用戶-項(xiàng)目(商品)的行為來計(jì)算用戶之間的相似度，項(xiàng)目是連接用戶之間的橋梁。本文在此基礎(chǔ)上對(duì)傳統(tǒng)的用戶協(xié)同過濾算法進(jìn)行了改進(jìn)，在計(jì)算用戶相似度時(shí)，把用戶的位置信息考慮進(jìn)去，用戶相似度由用戶-項(xiàng)目矩陣表和用戶位置信息來一起決定，通過實(shí)試證明該改進(jìn)的算法提高了準(zhǔn)確率，同時(shí)也說明了用戶的偏好具區(qū)域性[7]，該改進(jìn)的算法具有一定的實(shí)際意義。當(dāng)然，改進(jìn)后的算法仍然存在一定的不足，例如目前該算法還沒能考慮到用戶購(gòu)買商品的時(shí)間，對(duì)位置信息的算法相對(duì)較簡(jiǎn)單。在今后的工作中仍需進(jìn)一步改進(jìn)。