基于知識圖譜表示學習的推薦算法優(yōu)化

郝 衛(wèi)， 魏 赟

（上海理工大學 光電信息與計算機工程學院， 上海200093）

0 引 言

近年來隨著信息技術的迅速發(fā)展，互聯(lián)網(wǎng)數(shù)據(jù)量呈指數(shù)型增長，給我們生活方式帶來便利的同時也明顯的帶來了信息過載問題［1］。 在巨大的數(shù)據(jù)量和復雜的信息面前，用戶如何得到自身感興趣或自身需要的信息成了當前研究的熱點問題，具有代表性的解決方案包括搜索引擎和推薦系統(tǒng)的研究［2－3］。 相比于搜索引擎只能被動的為用戶提供篩選和過濾的功能，推薦系統(tǒng)可以主動的為更多的用戶服務千人千面的需求。 當前推薦系統(tǒng)已經(jīng)運用在電子商務，新聞媒體等領域。 具有代表性的應用包括淘寶、京東等電子商務平臺；今日頭條、趣頭條等新聞媒體；Netfli、YouTube 等視頻軟件。

2012 年谷歌正式將知識圖譜應用于應用谷歌搜索中，用來提高搜索引擎展示答案的質量和用戶查詢的效率。 知識圖譜的概念最早可以引申到上個世紀五十年代提出的語義網(wǎng)絡［4］，區(qū)別在于知識圖譜側重于實體間關系的描述，語義網(wǎng)絡側重于本體與本體間關系的描述。 知識圖譜包含了大量的實體間關聯(lián)關系，可以融合多種數(shù)據(jù)源和大量的數(shù)據(jù)來豐富物品／項目的語義信息，在眾多的場景中都可以與推薦系統(tǒng)相結合，包括電影推薦，購物推薦等等。通過將知識圖譜與推薦系統(tǒng)相結合，可以有效的提高推薦結果的準確性、可解釋性等評估指標。

一種基于表示學習的推薦算法，以此來提高推薦算法的推薦效果：通過知識圖譜表示學習方法計算不同電影之間的語義相似度，使用加權型混合方法中的線性模型方法與改進后的協(xié)同過濾［5］計算出的電影相似度結果進行融合，得到最終的推薦結果，推薦給用戶。

1 理論介紹

1.1 協(xié)同過濾推薦算法

目前協(xié)同過濾算法廣泛地運用在電子商務，新聞媒體，視頻軟件等領域。 協(xié)同過濾算法主要包括基于用戶，基于物品和基于模型三種類型。 基于用戶的協(xié)同過濾算法是利用相似統(tǒng)計的方法找到具有相似愛好的用戶，再將這些用戶感興趣的物品／項目推薦給目標用戶；基于物品的協(xié)同過濾算法是通過計算物品／項目間的相似度，并結合用戶的歷史行為，生成推薦列表，將結果推薦給用戶；基于模型的協(xié)同過濾算法是采用數(shù)據(jù)挖掘和機器學習的方法，對物品的評分矩陣樣本集訓練學習，建立合適的推薦模型，生成推薦列表，將結果推薦給用戶。

1.2 知識圖譜

知識圖譜是結構化的語義知識庫，通過將關鍵詞映射到語義知識庫，準確的匹配到庫中的實體，從而將用戶需要的答案反饋給用戶。 通常用實體來表示人，公司，概念等現(xiàn)實中的實體，用關系來描述實體間的聯(lián)系。 三元組基本形式是“實體（entity）－關系（relation）－實體（entity）” 或“實體（entity）－屬性（attribute）－屬性值（value）”，通過這樣的三元組可以表示庫中各實體間的關系和實體的的屬性。 通過多個三元組之間的關聯(lián)關系，可以生成特定領域內的知識圖譜，知識圖譜可以更加直接形象的描述實體之間的關聯(lián)關系，當兩個實體在知識圖譜中很相似，就意味著二者在語義上十分接近，就可以判定二者是近鄰。

1.3 知識圖譜在推薦系統(tǒng)中應用介紹

隨著知識圖譜研究的興起，依靠知識圖譜較強的可解釋性以及語義相似度計算，一些學者試著將知識圖譜與協(xié)同過濾算法進行融合，以此來提高推薦系統(tǒng)的準確性等參數(shù)：Dodwad 提出基于本體的層次結構對概念進行加權的應用方法，可以將用戶的偏好分析的粒度劃分的更細，使得結果更加的精準；Noia 通過利用基于開放鏈接數(shù)據(jù)語義豐富的特點，效的提高電影推薦的準確率；László 提出把電影數(shù)據(jù)集與用戶信息嵌入到同一個向量空間內，計算電影與用戶之間的空間距離，使得電影推薦的結果更準確，解釋性更高。

目前常用的通過知識圖譜中的表示學習方法，利用知識圖譜將三元組嵌入低維空間進行向量化，可以進行實體間語義相似度計算。 表示學習實現(xiàn)了實體和關系的分布式表示，可以顯著提高計算效率，有效的緩解數(shù)據(jù)稀疏性等。 目前表示學習主要運用在語義相似度計算，知識圖譜補全，關系抽取和自動問答等方面［6］。

目前知識圖譜表示學習實現(xiàn)方法較多，考慮到構建的電影知識圖譜電影數(shù)量眾多并且評分矩陣具有一定的稀疏性，所以選擇了翻譯模型［7］作為本算法的實現(xiàn)方法。

2 基于知識圖譜表示學習的推薦算法

2.1 基于TransH 算法的知識圖譜表示學習

運用較為廣泛的翻譯模型主要包括TransE，TransH，TransR 等模型；最為基礎的TransE 算法使用（h，r，t） 來表示知識圖譜的三元組，h 表示頭實體，r 表示關系，t 表示尾實體。 通過TransE 模型計算出實體間的語義信息，與協(xié)同過濾算法融合后進行推薦，混合推薦效果得到了一定的提升，如圖1 所示。

TransE 算法的缺陷在于不能很好的解決一對多，多對一，多對多關系建模的難題。 本文選用的TransH 算法可以很好的解決上述問題。 與TransE不同的是，TransH 引入了兩個新的定義：超平面和關系向量，對于超平面W，可以用法向量Wr來表示，用dr來表示h⊥、t⊥的間距。。 關系向量h⊥是h 向量在超平面上的投影，t⊥是t 向量在超平面上的投影。 通過此操作可以在保證復雜度與TransE 算法相近的前提下，

保留復雜的關系映射屬性，如圖2 所示。

圖1 TransE 模型Fig.1 TransE model

圖2 TransH 模型Fig.2 TransH model

為了滿足任一實體在不同的關系中的意義不同，與此同時不同實體在相同關系中的意義相同，三元組需要滿足h⊥＋dr＝t⊥。 對于超平面W，可以用法向量Wr來表示可以得到頭實體和尾實體映射到超平面的公式（1）和公式（2）：

TransH 模型訓練的核心思想是采用最大間距。

2.2 TransH－CF 混合過濾推薦算法

結合知識圖譜和協(xié)同過濾算法的各自的優(yōu)勢，本文提出一種基于知識圖譜表示學習的協(xié)同過濾算法：通過分析處理已經(jīng)成熟的數(shù)據(jù)集，得到用戶對電影的評分矩陣，利用協(xié)同過濾算法計算出電影的相似度；將構建電影知識圖譜中的電影實體嵌入到低維空間中進行向量化，計算電影實體之間的語義相似度，最后將二者計算出的相似度融合，生成最終的推薦列表推薦給用戶。 考慮到電影領域內影片的數(shù)量遠遠小于用戶數(shù)量，且具有更好的解釋性，所以選擇基于物品的協(xié)同過濾算法進行算法實現(xiàn)。

本文提出的TransH－CF 算法流程如圖3 所示。

圖3 TransH－CF 算法流程圖Fig.3 TransH－CF Algorithm Flow Chart

算法描述：

input：電影－用戶評分矩陣和電影知識圖譜

output：基于知識圖譜表示學習的推薦算法TransH－CF

（1）根據(jù)電影－用戶評分矩陣Rm×n， 通過協(xié)同過濾算法計算電影之間的相似度；

（2）將電影與電影知識圖譜中的實體一一對應，得到實體對應列表；

（3）通過TransH 模型計算電影之間的語義相似度；

（4）算法融合，選擇合適的兩種算法融合比例，并確定近鄰數(shù)K 的數(shù)值和嵌入的維度；

（5）生成推薦列表推薦，推薦給用戶。

2.3 基于知識圖譜的語義相似度計算

表示學習目的在于將語義信息表示為低維向量。 在低維向量空間中，兩個實體距離越近，說明兩個實體的語義相似度越高。 本文采用較為常用歐式距離對于電影實體進行相似度計算。 對于A，B 兩個實體向量，相似性度量公式（4）：

從公式（4）可以得出，當計算結果數(shù)值越接近1，實體向量電影A 和電影B 越相似，在構建出的電影知識圖譜中兩者語義相似度越高；當數(shù)值越接近0，表示在構建出的電影知識圖譜中兩者語義相似度越低。

2.4 改進后的基于物品的協(xié)同過濾及其相似度計算

戶觀看完電影后，會根據(jù)自己的喜好對電影進行打分評價，通過數(shù)據(jù)處理可以得到一個用戶－電影的評分數(shù)據(jù)集，評分的高低代表用戶對于電影的喜好程度。 將用戶－電影的評分數(shù)據(jù)集作為協(xié)同過濾算法的輸入，計算電影的相似度，根據(jù)得出的電影相似度生成電影推薦列表，推薦給用戶。

假設數(shù)據(jù)集中有n 個用戶I ＝（I1， I2，…In），共有m 部電影U ＝（U1，U2，…Um），用戶－電影的評分矩陣為Rm×n，評分矩陣Rm×n可以表示為：

評分矩陣中，每個R 代表某用戶對某部電影的喜好程度即評分。 例如：分數(shù)Rij表示是用戶Ii對于電影Uj的評分，評分區(qū)間為［1，5］。 當同一用戶對于不同電影評分相近時，則判定他們?yōu)榻彙?/p>

目前比較多用的相似度計算方法包括歐幾里得距離，皮爾遜相關系數(shù)，余弦相似度計算等。 由于評分矩陣的稀疏性，所以采用余弦相似度計算方法。余弦相似度計算方法是計算出兩個評分向量之間的夾角余弦值，計算公式（5）：

余弦值的范圍為［0，1］，計算出的余弦值越接近0 時，表明評分差異越大；計算出的余弦值越接近1 時，表明評分差異越小。

傳統(tǒng)的協(xié)同過濾算法通過比較用戶共同評分過的電影，根據(jù)電影的評分差值進行相似度計算。 這種相似度計算模型沒有考慮到電影的熱門程度對相似度的影響，某些熱門電影無法體現(xiàn)或者較少地體現(xiàn)用戶的個性和潛在的興趣愛好，也就無法表現(xiàn)出用戶間的強相似性，這時應該弱化它們對相似度計算的影響。 所以有研究人員推出了物品的熱門程度計算公式（6）：

其中，p fc是為電影c 的熱門因子，代表電影c 熱門程度對相似度的貢獻；α 參數(shù)稱之為平衡參數(shù)，其取值范圍為α＞0，表示電影的熱門程度對熱門因子的影響因數(shù)。fc是電影的熱門程度，計算公式（7）：

其中mc代表對電影進行評分的用戶數(shù)量， M 代表用戶總數(shù)量。

改進后的余弦相似度計算公式（8）：

可見，當電影熱門程度越高時， p fc越小，對于相似度計算的影響越小；反之當電影越冷門，p fc越大，相似度則會得到加強。

2.5 相似度融合

目前在推薦系統(tǒng)中使用較多的相似度融合方法包括加權型混合推薦中的線性模型，回歸模型（ Logistic Regression）， GBDT （ Gradient Boosted Decision Trees）等方法，本文使用加權型混合的線性模型方法。 通過設置參數(shù)，將兩種算法進行混合，在數(shù)據(jù)集上反復測試，最終得到最合適的參數(shù)值，使得推薦結果最為準確。 計算公式如式（9）所示：

其中，sinC 為經(jīng)過算法混合后的最終電影相似度，sinC 為基于物品的協(xié)同過濾計算出的電影相似度，sinsem(A，B) 為基于知識圖譜表示學習計算出的語義相似度。 α 為比例參數(shù)，代表基于物品的協(xié)同過濾算法計算出的電影相似度在融合算法計算出的電影相似度占比，α 的范圍設定為［0，1］。

3 實驗結果及分析

3.1 數(shù)據(jù)集

本文實驗使用Amazon 的電影評分數(shù)據(jù)集，數(shù)據(jù)集記錄了用戶對電影的評價，評分范圍從1 分到5 分， 1 代表用戶對于電影喜好程度最低，5 代表用戶對于電影喜好程度最高。 使用metadata 將數(shù)據(jù)集中電影的編號與該電影所在知識圖譜中的實體一一對應。 本文選用了Freebase 中的電影本體作為本實驗的知識圖譜數(shù)據(jù)集，版本號為2012－11－9。 數(shù)據(jù)集中包括了導演，演員等本體對象。 用實體的名稱來代替數(shù)據(jù)集中電影的id，提取出所需要的電影實體和電影實體之間的關系。 最終得到共計20 個知識圖譜的語義關系。 對于數(shù)據(jù)集采用了字符串規(guī)則匹配的方法進行數(shù)據(jù)清理，使得Amazon 評分數(shù)據(jù)和Freebase 數(shù)據(jù)集可以更好地匹配。

3.2 實驗結果評價指標

評估推薦系統(tǒng)的指標包括準確率（precision），F(xiàn)值（F － measure），召回率（recall）。 準確率體現(xiàn)了推薦給用戶喜歡的電影占總推薦電影數(shù)量的比例，召回率體現(xiàn)了推薦的電影占用戶喜歡電影的比例，F(xiàn) 值是二者的調和平均值，能夠更加合理的評估推薦算法。

3.3 算法結果分析

3.3.1 兩種算法混合比例以及嵌入維度的確定

本文使用加權型混合方法中的線性模型方法與協(xié)同過濾的推薦算法進行融合，在實驗中首先確定融合比例，比例不同，電影推薦的效果也有所不同。本實驗中Top－K 近鄰數(shù)K 選取100，表示學習嵌入維度選取200。 兩種推薦算法混合的比例從0 ∶10到10 ∶0 分別取整數(shù)值進行計算。 圖為實驗結果中的準確率、召回率和F 值的曲線。 每組實驗同數(shù)據(jù)同時測10 次，得出的結果取平均值，結果如圖4－5 所示。

圖4 K＝100 時的準確率和F 值Fig 4 Precision and F－measure at K＝100

圖5 K＝100 時的召回率Fig.5 Recall at K＝100

從實驗結果分析得到：在一定范圍內準確率、召回率和F 值隨著協(xié)同過濾算法的占比增加而增加，超過了準確率、召回率和F 值會逐漸下降，效果較差。 對于本實驗結果，采取表示學習和協(xié)同過濾算法融合比例為5 ∶5。

表示學習方法選擇嵌入的維度不同也會影響最終推薦結果的評估。 本實驗選取100，200，300，400，500 這5 個維度進行試驗，分別比較不同維度下的召回率、準確率和F 值。 每組實驗相同數(shù)據(jù)測試10 次，實驗結果如6－圖7 所示。

圖6 不同維度的準確率和F 值Fig.6 Precision and F－measurein different dimension

圖7 不同維度的召回率Fig.7 ecall in different dimension

從實驗結果分析得到：當嵌入維度為200 時，得到的三個評價指標最優(yōu)，因此表示學習嵌入維度選定為200。

3.3.2 算法結果對比

本文將提出的TransH－CF 算法與知識圖譜表示學習與協(xié)同過濾融合的TransE－CF 算法，改進后的協(xié)同過濾算法：Cosine－CF 算法、Adjust Cosine－CF算法、Pearson－CF 算法進行比較。 在對比實驗中，選擇的四組近鄰數(shù)分別為60，80，100，120。 每組實驗做10 次后取均值。 結果如圖8～圖10 所示：

圖8 不同近鄰數(shù)的準確率Fig.8 Precision in different K

圖9 不同近鄰數(shù)的召回率Fig.9 Recall in different K

圖10 不同近鄰數(shù)的F 值Fig.10 F－measure in different K

從實驗結果分析得到：當選取嵌入維度為200，近鄰數(shù)為60 到120 之間時，TransH－CF 算法在準確率、召回率和F 值3 個評估參數(shù)均為最優(yōu)。

4 結束語

本文提出了融合表示學習方法和改進后的協(xié)同過濾算法TransH－CF：通過表示學習方法計算電影的語義相似度，與改進后的協(xié)同過濾算法計算出的電影相似度混合，得出最終的推薦結果，表示學習模型使用了TransH 模型。 實驗數(shù)據(jù)表明TransH－CF算法可以有效的提高電影推薦的準確率、召回率以及F 值等指標，TransH 算法與協(xié)同過濾混合推薦的結果也要優(yōu)于TransE 與協(xié)同過濾混合推薦的結果。利用實體的語義信息增強了推薦結果的可解釋性。下一步將嘗試將知識圖譜運用到用戶畫像構建中，與協(xié)同過濾的結果進行混合推薦，進一步的優(yōu)化推薦結果。