基于SVD++與標(biāo)簽的跨域推薦模型

邢長(zhǎng)征,

(遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院,遼寧 葫蘆島 125105)

0 概述

推薦系統(tǒng)根據(jù)用戶的喜好(興趣和目標(biāo))來(lái)確定用戶感興趣的潛在項(xiàng)目[1]。大部分的推薦系統(tǒng)都是根據(jù)單一領(lǐng)域中的用戶和項(xiàng)目歷史數(shù)據(jù)來(lái)進(jìn)行推薦的,例如Netflix、Last.fm、Barnes & Noble網(wǎng)站對(duì)電影、音樂(lè)以及書(shū)籍的推薦,但由于用戶不僅僅對(duì)單一領(lǐng)域的事物感興趣,因此單領(lǐng)域推薦已經(jīng)不能準(zhǔn)確地預(yù)測(cè)用戶的興趣。針對(duì)單領(lǐng)域推薦模型在數(shù)據(jù)稀疏和冷啟動(dòng)情況下推薦效果較差的問(wèn)題,大型電子商務(wù)網(wǎng)站Amazon和eBay通過(guò)多個(gè)領(lǐng)域來(lái)獲取用戶的反饋信息,從而產(chǎn)生了跨域推薦系統(tǒng)。跨領(lǐng)域推薦系統(tǒng)中的跨域推薦模型[2]是利用不同源數(shù)據(jù)域來(lái)對(duì)目標(biāo)數(shù)據(jù)域[3-4]信息進(jìn)行預(yù)測(cè)的。現(xiàn)如今各大網(wǎng)站利用標(biāo)簽信息來(lái)體現(xiàn)用戶喜好和項(xiàng)目特征,而用戶在給不同領(lǐng)域(如電影、音樂(lè)、書(shū)籍等領(lǐng)域)的項(xiàng)目添加標(biāo)簽時(shí),可以使用通用詞匯作為標(biāo)簽[5]。因此,標(biāo)簽可以作為連接不同領(lǐng)域的橋梁并且用來(lái)克服基于內(nèi)容推薦時(shí)特征信息復(fù)雜性和不均勻性的不足[6-7]。目前,將跨域推薦模型融入標(biāo)簽因素來(lái)進(jìn)行評(píng)分預(yù)測(cè)時(shí),仍存在以下問(wèn)題:UserItemTags模型[8]當(dāng)用戶沒(méi)有給特定項(xiàng)目添加標(biāo)簽時(shí)預(yù)測(cè)誤差變大,ItemRelTags[8]只是加入了項(xiàng)目的標(biāo)簽信息,并沒(méi)有考慮用戶標(biāo)簽信息,導(dǎo)致無(wú)法利用用戶過(guò)去選擇的標(biāo)簽來(lái)預(yù)測(cè)用戶的喜好。

為提高預(yù)測(cè)準(zhǔn)確度,本文構(gòu)建一個(gè)新的跨域推薦模型。在使用SVD++模型評(píng)分?jǐn)?shù)據(jù)預(yù)測(cè)的基礎(chǔ)上,添加用戶和項(xiàng)目歷史標(biāo)簽信息,并利用標(biāo)簽使用次數(shù)、熱門(mén)標(biāo)簽和項(xiàng)目的懲罰系數(shù)刻畫(huà)并預(yù)測(cè)用戶喜好。

1 相關(guān)研究

1.1 基于矩陣分解的推薦模型

1.1.1 隱因式分解模型

隱因式分解模型(Latent Factor Model,LFM)是推薦系統(tǒng)領(lǐng)域的熱點(diǎn)研究話題之一,其核心思想是通過(guò)隱含特征聯(lián)系用戶興趣和物品[9]。具體過(guò)程分為3個(gè)部分:將物品映射到隱含分類,確定用戶對(duì)隱含分類的興趣,選擇用戶感興趣的分類中的物品推薦給用戶[10]。LFM通過(guò)式(1)計(jì)算用戶u對(duì)物品i的興趣:

(1)

其中,pu,k和qi,k是模型的參數(shù),pu,k代表用戶u的興趣是第k個(gè)隱類的權(quán)重,qi,k代表第k個(gè)隱類屬于物品i的權(quán)重,K是隱類的個(gè)數(shù)。兩者的乘積再對(duì)k積分就得到用戶u對(duì)商品i的偏好程度。

將式(1)表示為向量乘積的形式,即為:

(2)

考慮到在真實(shí)的模型中,每個(gè)用戶評(píng)分的基準(zhǔn)線不同,每個(gè)商品得到評(píng)分的基準(zhǔn)線也不同,引入?yún)?shù)μ表示訓(xùn)練集中所有記錄的評(píng)分的全局平均數(shù);引入?yún)?shù)bu,即用戶偏置項(xiàng),這一項(xiàng)表示用戶的評(píng)分習(xí)慣中和物品沒(méi)有關(guān)系的那種因素;引入?yún)?shù)bi,即物品偏置項(xiàng),表示物品接受的評(píng)分中和用戶沒(méi)有什么關(guān)系的因素。因此,式(2)變?yōu)橐韵滦问?

(3)

1.1.2 SVD++模型

LFM模型中并沒(méi)有顯式地考慮用戶的歷史行為對(duì)用戶評(píng)分預(yù)測(cè)的影響,為此Koren在Netflix Prize比賽中構(gòu)建一個(gè)模型,將用戶歷史評(píng)分的物品加入到LFM模型中。該模型被稱為SVD++[10-12],具體如下:

將基于項(xiàng)目的協(xié)同過(guò)濾算法(ItemCF)[13]的預(yù)測(cè)計(jì)算式改為:

(4)

(5)

將前面的隱因式分解模型(LFM)和上面的模型相加,從而得到:

(6)

文獻(xiàn)[10]提出為了不避免太多參數(shù)造成過(guò)擬合,可以令x=q,從而得到最終的SVD++模型,用式(7)表示SVD++模型:

(7)

1.2 基于標(biāo)簽的跨域推薦模型

用戶使用社交標(biāo)簽對(duì)信息進(jìn)行分類[14],可自由組織、管理和搜索所需的資源。這種易使用性使標(biāo)簽成為信息分類與索引的重要方式,既能反映出用戶的興趣愛(ài)好,又能體現(xiàn)資源特征,并且對(duì)稀疏數(shù)據(jù)和新資源推薦質(zhì)量的提升有所幫助。在跨域推薦過(guò)程中,在其中一個(gè)領(lǐng)域中使用的標(biāo)簽,完全可以被重新用于另一個(gè)領(lǐng)域[15]。因此,可以在跨域推薦模型中利用標(biāo)簽信息作為連接不同領(lǐng)域的橋梁。

1.2.1 UserItemTags模型

UserItemTags[8]模型是一個(gè)通過(guò)標(biāo)簽體現(xiàn)用戶興趣偏好和資源特征信息的模型,在預(yù)測(cè)評(píng)分時(shí)利用了目標(biāo)用戶使用過(guò)的標(biāo)簽。使用此模型時(shí)假設(shè)用戶沒(méi)有對(duì)項(xiàng)目進(jìn)行評(píng)分而只是添加了標(biāo)簽,然后利用這些標(biāo)簽來(lái)更好地預(yù)測(cè)用戶對(duì)項(xiàng)目的評(píng)分。運(yùn)用此模型進(jìn)行推薦的一個(gè)經(jīng)典案例是Delicious的社交書(shū)簽網(wǎng)站,用戶可以標(biāo)記書(shū)簽,但可以不對(duì)項(xiàng)目進(jìn)行評(píng)分[8]。UserItemTags使用下式預(yù)測(cè)評(píng)分:

(8)

其中,Tu表示用戶u給項(xiàng)目i添加的標(biāo)簽集合。

UserItemTags模型缺點(diǎn)為:當(dāng)項(xiàng)目沒(méi)有被用戶添加標(biāo)簽時(shí)推薦預(yù)測(cè)性能會(huì)大幅度降低。

1.2.2 ItemRelTags模型

ItemRelTags[8]模型中沒(méi)有涉及目標(biāo)用戶對(duì)目標(biāo)項(xiàng)目添加的標(biāo)簽,而是使用了任意用戶對(duì)目標(biāo)項(xiàng)目添加的所有標(biāo)簽,這樣就可以克服UserItemTags的局限性:目標(biāo)用戶在沒(méi)有對(duì)某一項(xiàng)目添加標(biāo)簽的情況下無(wú)法進(jìn)行評(píng)分預(yù)測(cè)。事實(shí)上,ItemRelTags模型只需要所有用戶對(duì)項(xiàng)目i添加有關(guān)標(biāo)簽集合TR(i)。這里評(píng)估標(biāo)簽的相關(guān)性使用Wilcoxon秩和檢驗(yàn)方法來(lái)決定每個(gè)標(biāo)簽的去留[8]。此外,假設(shè)標(biāo)簽對(duì)于任何用戶都具有相同影響。由于在模型中用戶給目標(biāo)項(xiàng)目添加相關(guān)標(biāo)簽,因此相同的標(biāo)記會(huì)出現(xiàn)多次。如果一個(gè)項(xiàng)目被添加同一個(gè)標(biāo)簽很多次,這就說(shuō)明這個(gè)標(biāo)簽可以很好地反映此項(xiàng)目的特征。因此,該模型添加了標(biāo)簽的使用頻率nt。ItemRelTags模型的計(jì)算式如下:

(9)

其中,TR(i)是整個(gè)標(biāo)簽集合中和項(xiàng)目i有關(guān)的標(biāo)簽,nt是用戶給項(xiàng)目i添加標(biāo)簽t的次數(shù)。該模型的優(yōu)點(diǎn)是即使是沒(méi)有對(duì)項(xiàng)目做任何標(biāo)簽的新用戶也可以為其做出評(píng)分預(yù)測(cè)。但其只是考慮特定項(xiàng)目的歷史標(biāo)簽并沒(méi)有考慮目標(biāo)用戶的歷史標(biāo)簽,在這種情況下,可以通過(guò)用戶在過(guò)去選擇的標(biāo)簽來(lái)豐富用戶的喜好。

2 TagSVD++跨域推薦模型

上文介紹的隱因式分解和SVD++模型雖然在推薦領(lǐng)域中流行度較高,但只能在單一領(lǐng)域中進(jìn)行推薦,這樣就會(huì)在冷啟動(dòng)情況下出現(xiàn)推薦準(zhǔn)確度下降的問(wèn)題。根據(jù)用戶不只對(duì)單一領(lǐng)域感興趣的現(xiàn)狀,本文構(gòu)建跨域推薦模型,用不同領(lǐng)域共有的標(biāo)簽信息作為連接不同領(lǐng)域的紐帶,在多個(gè)領(lǐng)域信息中進(jìn)行推薦預(yù)測(cè),提升了預(yù)測(cè)的性能[16]。目前跨域推薦模型存在的不足是:利用UserItemTags模型進(jìn)行預(yù)測(cè),用戶沒(méi)有為項(xiàng)目添加標(biāo)簽時(shí),模型預(yù)測(cè)效果沒(méi)有原始模型隱因式分解(LFM)模型預(yù)測(cè)精準(zhǔn);ItemRelTags模型并沒(méi)有考慮特定用戶的歷史標(biāo)簽來(lái)豐富用戶的喜好。

本文構(gòu)建基于SVD++改進(jìn)標(biāo)簽跨域推薦模型TagSVD++。該模型繼承了SVD++中利用評(píng)分信息間接表示用戶喜好和項(xiàng)目特征的特點(diǎn),同時(shí)又加入了用戶以及項(xiàng)目的歷史標(biāo)簽信息和標(biāo)簽使用頻率,并通過(guò)熱門(mén)標(biāo)簽懲罰系數(shù)來(lái)增強(qiáng)模型推薦效果的準(zhǔn)確性和新穎性。

步驟1求相似的標(biāo)簽。

針對(duì)新用戶或者新物品標(biāo)簽集合中標(biāo)簽數(shù)量較少的情況,需要對(duì)標(biāo)簽集合進(jìn)行擴(kuò)展,標(biāo)簽擴(kuò)展的本質(zhì)是對(duì)每個(gè)標(biāo)簽找到和它相似的標(biāo)簽,也就是計(jì)算標(biāo)簽之間的相似度。首先通過(guò)式(10)余弦相似度公式計(jì)算標(biāo)簽b和b′之間的相似度:

(10)

然后對(duì)標(biāo)簽集合排序,參考文獻(xiàn)[17]中將排序結(jié)果中前20個(gè)標(biāo)簽作為用戶相關(guān)的標(biāo)簽。

步驟2構(gòu)造模型。

本文模型構(gòu)建過(guò)程如圖1所示。

圖1 模型構(gòu)建過(guò)程

模型公式表示為:

(11)

步驟3損失函數(shù)計(jì)算。

類似于SVD++模型,需要求得式(11),通過(guò)用戶實(shí)際評(píng)分和預(yù)測(cè)評(píng)分之間損失函數(shù)的最小值來(lái)找到最合適的參數(shù)。

(12)

步驟4使用隨機(jī)梯度下降法[18]求損失函數(shù)最小值。

最小化上述的損失函數(shù),利用隨機(jī)梯度下降模型來(lái)計(jì)算。該模型是最優(yōu)化理論里最基礎(chǔ)的優(yōu)化模

型,通過(guò)求參數(shù)的偏導(dǎo)數(shù)找到最速下降的方向,然后通過(guò)迭代法不斷地優(yōu)化參數(shù)。根據(jù)隨機(jī)梯度下降法,需要將參數(shù)沿著最速下降方向向前推進(jìn),因此,得到如式(13)～式(16)所示的遞推公式。

(13)

(14)

(15)

(16)

(17)

(18)

(19)

(20)

利用遞推公式進(jìn)行迭代直至值不再發(fā)生變化則迭代結(jié)束,從而利用隨機(jī)梯度下降法求得使損失函數(shù)最小的各個(gè)參數(shù):學(xué)習(xí)速率α和正則化參數(shù)λ。表1列出了跨域模型對(duì)標(biāo)簽信息的利用情況,其中√代表包括,×表示不包括。

表1 跨域模型比較

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)及預(yù)處理

3.1.1 數(shù)據(jù)集

為了模擬跨域數(shù)據(jù)集,本文使用2個(gè)來(lái)自不同領(lǐng)域公開(kāi)可下載的數(shù)據(jù)集:MovieLens數(shù)據(jù)集和LibraryThings數(shù)據(jù)集。2個(gè)數(shù)據(jù)集評(píng)分范圍均為1分～5分,每0.5分為一級(jí),評(píng)分代表用戶的偏好程度。實(shí)驗(yàn)數(shù)據(jù)集規(guī)模如表2所示,原始數(shù)據(jù)集的典型示例如表3和表4所示。

表2 實(shí)驗(yàn)數(shù)據(jù)集規(guī)模

表3 MovieLens數(shù)據(jù)集典型示例

表4 LibraryThings原始數(shù)據(jù)集典型示例

3.1.2 標(biāo)簽剪修

對(duì)標(biāo)簽進(jìn)行修剪:1)去除用戶對(duì)項(xiàng)目添加的表示情緒的標(biāo)簽,比如“不好笑”,但是“不好笑”不能認(rèn)為是用戶的興趣;2)去除詞頻很高的停止詞;3)去除因詞根不同造成的同義詞;4)去除因分隔符造成的同義詞。

3.2 評(píng)估方法

評(píng)估模型模型時(shí),首先將MovieLens作為源數(shù)據(jù)域,LibraryThings作為目標(biāo)數(shù)據(jù)域,然后反之也是如此。將目標(biāo)數(shù)據(jù)域平均分為沒(méi)有重疊的10份,在每一份數(shù)據(jù)中,10%的數(shù)據(jù)為測(cè)試集來(lái)評(píng)估方法的性能。剩下的90%數(shù)據(jù)做為訓(xùn)練數(shù)據(jù)集,在訓(xùn)練數(shù)據(jù)集中有20%的驗(yàn)證數(shù)據(jù)集,用來(lái)尋找模型的最優(yōu)參數(shù),其中包括學(xué)習(xí)速率α、正則化參數(shù)λ和隱特征個(gè)數(shù)k。而訓(xùn)練數(shù)據(jù)中剩下的80%數(shù)據(jù)結(jié)合源數(shù)據(jù)域來(lái)建立模型。為了測(cè)評(píng)目標(biāo)數(shù)據(jù)域中用戶評(píng)分的稀疏程度對(duì)模型性能的影響,將訓(xùn)練數(shù)據(jù)平均分為10份,依次取1份,2份,……,10份作為訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練模型以此來(lái)模擬用戶評(píng)分?jǐn)?shù)據(jù)不同的稀疏程度[15]。因?yàn)閿?shù)據(jù)集中整個(gè)評(píng)分系統(tǒng)是以0.5分為一等級(jí)建立的,所以采用平均絕對(duì)誤差(Mean Absolute Error,MAE)即來(lái)進(jìn)行預(yù)測(cè)可以降低預(yù)測(cè)結(jié)果的誤差[15]。MAE采用絕對(duì)值計(jì)算預(yù)測(cè)誤差,其定義為:

(21)

3.3 實(shí)驗(yàn)結(jié)果與分析

各模型的平均最優(yōu)參數(shù)如表5和表6所示。

表5 LibraryThings(源數(shù)據(jù)域)各模型平均最優(yōu)參數(shù)

表6 MovieLens(源數(shù)據(jù)域)各模型平均最優(yōu)參數(shù)

將LibraryThings數(shù)據(jù)集作為源數(shù)據(jù)集,將MovieLens數(shù)據(jù)集作為目標(biāo)數(shù)據(jù)集,實(shí)驗(yàn)結(jié)果如圖2所示。可以看出,LFM、SVD++單領(lǐng)域推薦模型的誤差遠(yuǎn)遠(yuǎn)大于跨領(lǐng)域的推薦模型,而在跨域推薦模型中TagSVD++模型的預(yù)測(cè)誤差都遠(yuǎn)小于其他幾個(gè)模型,即使只有10%的評(píng)分?jǐn)?shù)據(jù)(冷啟動(dòng))存在的情況下。隨著目標(biāo)域評(píng)分量的增多平均絕對(duì)誤差也在不斷變小。

圖2 平均絕對(duì)誤差比較1

將MovieLens數(shù)據(jù)集作為源數(shù)據(jù)集,將LibraryThings數(shù)據(jù)集作為目標(biāo)數(shù)據(jù)集,實(shí)驗(yàn)結(jié)果如圖3所示。與前一種情況類似,跨域推薦模型推薦誤差遠(yuǎn)遠(yuǎn)小于單域推薦模型,而在跨域推薦模型中TagSVD++推薦準(zhǔn)確度又遠(yuǎn)遠(yuǎn)高于另外4個(gè)模型。而由圖2和圖1可以看出,第2種情況下所有的模型的預(yù)測(cè)誤差都大于第1種情況,這是因?yàn)镸ovieLens數(shù)據(jù)域數(shù)據(jù)量大于LibraryThings數(shù)據(jù)域的數(shù)據(jù)量。因此,較少的訓(xùn)練數(shù)據(jù)會(huì)導(dǎo)致預(yù)測(cè)精準(zhǔn)度的下降。

圖3 平均絕對(duì)誤差比較2

經(jīng)過(guò)20次重復(fù)試驗(yàn)求得到的每組結(jié)果的標(biāo)準(zhǔn)差,如表7和表8所示。可以看出,TagSVD++在各個(gè)數(shù)據(jù)稀疏度下標(biāo)準(zhǔn)差都小于其他模型。這說(shuō)明TagSVD++模型的預(yù)測(cè)結(jié)果不僅誤差較其他算法小,而且預(yù)測(cè)結(jié)果穩(wěn)定,可以被用來(lái)很好地預(yù)測(cè)用戶的評(píng)分。

表7 LibraryThings(源數(shù)據(jù)域)各模型標(biāo)準(zhǔn)差

表8 MovieLens(源數(shù)據(jù)域)各模型標(biāo)準(zhǔn)差

4 結(jié)束語(yǔ)

目前利用標(biāo)簽信息來(lái)連接2個(gè)不同領(lǐng)域已經(jīng)成為一種可靠有效的方式,即使在冷啟動(dòng)的情況下,本文建立的TagSVD++模型也能把源數(shù)據(jù)域中的信息更有效地傳遞給目標(biāo)域。實(shí)驗(yàn)結(jié)果表明,該模型利用標(biāo)簽信息與用戶和項(xiàng)目的融合,可有效提高用戶興趣和項(xiàng)目特征的預(yù)測(cè)精度。下一步將在不同領(lǐng)域中存在相同標(biāo)簽數(shù)量較少或者沒(méi)有的條件下連接2個(gè)領(lǐng)域,并研究不同領(lǐng)域中相同標(biāo)簽存在語(yǔ)義差異的情況。

[1] ADOMAVICIUS G,TUZHILIN A.Toward the next generation of recommender systems:a survey of the state of-the-art and possible[J].IEEE Transactions on Knowledge and Data Engineering,2005,17(6):734-749.

[2] LI B.Cross-domain collaborative filtering:a brief survey[C]//Proceedings of IEEE International Conference on Tools with Artificial Intelligence.Washington D.C.,USA:IEEE Press,2011:1085-1086.

[3] GAO S,LUO H,CHEN D,et al.Cross-domain recom-mendation via cluster-level latent factor model[C]//Proceedings of European Conference on Machine Learning and Knowledge Discovery in Databases.Berlin,Germany:Springer,2013:161-176.

[4] LI B,YANG Q,XUE X.Can movies and books collaborate? cross-domain collaborative for sparsity reduction[C]//Proceedings of the 21st International Joint Conference on Artificial Intelligence.Berlin,Germany:Springer,2009:2052-2057.

[5] CREMONESI P,TRIPODI A,TURRIN R.Cross-domain recommender systems[C]//Proceedings of IEEE International Conference on Data Mining Workshops.Washington D.C.,USA:IEEE Press,2011:496-503.

[6] ENRICH M,BRAUNHOFER M,RICCI F.Cold-start management with cross-domain collaborative filtering and tags[C]//Proceedings of the 14th International Conference on E-commerce and Web Technologies.Berlin,Germany:Springer,2013:101-112.

[7] SHI Y,LARSON M,HANJALIC A.Tags as bridges between domains:improving recommendation with tag induced cross-domain collaborative filtering[C]//Proceedings of the 19th International Conference on User Modeling Adaption and Personalization.Berlin,Germany:Springer,2011:305-316.

[8] ENRICH M,BRAUNHOFER M,RICCI F.Cold-start management with cross-domain collaborative filtering and tags[M].Berlin,Germany:Springer,2014:36-37.

[9] FUNK S.Netflix update:try this at home[EB/OL].(2006-12-11).http://sifter.org/～simon/journal/20061211.html.

[10] KOREN Y,BELL R,VOLINSKY C.Matrix factorization techniques for recommender systems[J].IEEE Computer,2009,43(8):30-37.

[11] KOREN Y.Factorization meets the neighborhood :a multifaceted collaborative filtering model[C]//Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York,USA:ACM Press,2008:426-434.

[12] KOREN Y,BELL R.Advances in collaborative filtering[M]//RICCI F,ROKACH L,SHAPIRA B.Recommender Systems Handbook.Berlin,Germany:Springer,2011:145-186.

[13] GREG L,BRENT S,JEREMY Y.Amazon.com recommenda-tions:item-to-item collaborative filtering[J].IEEE Internet Computing,2003,7(1):76-79.

[14] 張 斌,張 引,高克寧.融合關(guān)系與內(nèi)容分析的社會(huì)標(biāo)簽推薦[J].軟件學(xué)報(bào),2012,23(3):476-488.

[15] CANTADOR F I.Cross-domain recommender systems:a survey of the state of the art[C]//Proceedings of the 2nd Spanish Conference on Information Retrieval.Washington D.C.,USA:IEEE Press,2012:187-198.

[16] SHI Y,LARSON M,HANJALIC A.Exploiting social tags for cross-domain collaborative filtering[C]//Proceedings of UMAP’11.Berlin,Germany:Springer,2011:2-18.

[17] 項(xiàng) 亮.推薦系統(tǒng)實(shí)踐[M].北京:人民郵電出版社,2012:108-109.

[18] WANG B B,WANG Y X.Some properties relating to stochastic gradient descent methods[J].Journal of Mathematics,2011,31(6):1041-1044.