基于深度學習的推薦系統應用綜述

呂剛 張偉

摘 ?要：隨著互聯網上信息量呈指數增長，用戶從大量信息中挑選目標信息變成了一種復雜且耗時的作業。為用戶解決因信息量爆炸而不能快速獲得目標信息的方法就是構建推薦系統。深度學習作為當前熱門的研究話題，在許多領域都取得了突破性的成就。利用深度學習挖掘用戶和物品的隱含屬性，構建用戶和物品的關系模型，可以提高個性化推薦的精確度。本文介紹了推薦系統和深度學習，分析了深度學習在推薦領域的應用現狀并做出了展望。

關鍵詞：推薦系統;深度學習;協同過濾;內容推薦

中圖分類號：TP301 ? ? 文獻標識碼：A

1 ? 引 言（Introduction）

以往，人們對自己的需求非常簡單明確，滿足他們的基本需求即可。例如在線購物時，商城展現出的精細化分類就能滿足用戶希望快速找到他們希望的物品要求。在如今的互聯網時代，人們在選購商品，挑選喜歡的音樂或者觀賞喜歡的電影時，原有的搜索引擎已經滿足不了用戶的個性化需求。例如商城希望能夠在首頁就展示用戶偏好的物品，誘發用戶購買;或者當用戶并未有明確目標，隨意瀏覽購物、電影、旅行等網站時，網站希望能夠為用戶推薦與他興趣相關聯的項目。個性化的推薦系統不僅為用戶個人定制出了屬于他們自己的興趣清單，還能增加用戶的黏性，提高網站的流量與效益。

近年來，由于芯片處理能力的大力加強，計算機硬件的造價成本降低以及機器學習和信息處理研究取得了顯著的成果，深度學習再次進入研究人員的視野并引領了機器學習朝著多方向發展。深度學習[1]在圖像識別，語言即時翻譯，汽車自動駕駛等領域得到了廣泛應用并取得了一系列卓越的成果。例如科大訊飛翻譯機，特斯拉無人駕駛汽車橫穿美國，大疆無人機等。深度學習技術也已經擴展到了推薦系統領域。

2 ?推薦系統概述（Overview of recommendation system）

如今，我們處于檢索和使用信息量迅速增加的時代，要從巨大的數據集中提取有用的信息，并且轉化為可使用的結構，變得紛繁復雜。研究人員希望能有一種工具或者方法，能自動地為目標人群提供他們想要的信息，這就誕生了推薦系統。推薦系統可以根據用戶過去的歷史記錄和個人資料來判斷目標用戶喜歡該商品的程度，根據排名判斷是否為用戶推薦商品。目前已經針對不同的應用開發了許多推薦系統。推薦系統的核心部分就是推薦算法[2]，它主要分為三類：基于內容的推薦、協同過濾推薦以及混合推薦。

基于內容的推薦算法[3]，僅通過單個用戶的行為記錄和數據來向用戶推薦，即首先分析特定用戶喜愛的商品特征，以確定可以用來描述這些商品的偏好，這些首選項存儲在用戶配置文件中，其次是將每個項目屬性與用戶個人資料進行比較，以便僅將與用戶個人資料具有高度相似性的相關項目推薦給該特定用戶。常用的基于內容的推薦應用如網頁，新聞，文章和餐館之類的文檔。

協同過濾推薦算法深受各領域喜愛，因此是一種最常用的算法[4]。協同過濾推薦算法的應用程序中包含了非常大的數據集，這里面記錄了用戶的歷史行為，比如用戶對商品的點擊率，用戶對商品的評分，用戶曾購買過該商品記錄等等。通過這些數據集，能夠預測出與用戶最相關聯的物品內容并推薦給他。協同過濾可以進一步分為基于用戶協同過濾，基于項目協同過濾和基于模型的協同過濾。

基于用戶的協同過濾算法先找到和目標用戶愛好相似的用戶團體，然后從用戶團體中推薦目標用戶未接觸過的商品。基于物品的協同過濾則給用戶推薦他們曾喜歡過的類似商品。基于模型的協同過濾，是通過深層隱含關系建立用戶物品模型。例如矩陣分解，它將用戶和項目都表示成為潛在的矢量特征，投影到某個共享領域中，接著就能根據用戶的行為記錄建模為向量內積。模型學習的方法還可以使用數據挖掘技術或機器學習技術來完成，比如奇異值分解、降維技術、聚類、決策樹和關聯規則等。

各種算法都有優缺點?；谟脩舻膮f同過濾側重于對用戶基數小的團體進行推薦?；谖锲返膮f同過濾展現出的是用戶對自己歷史愛好的繼承，因此它的內在含義是物品之間的聯系。基于模型的協同過濾推薦技術無法使用整個數據集，但可以從數據集中生成模型，并根據此模型推薦給用戶，同時它又能夠很好地節省離線計算的內存。協同過濾算法在進行推薦前會收集用戶的一些有關數據，例如網頁點擊數，視頻觀看時長，聽歌類型等，而有些用戶剛注冊，系統無法找到與他們匹配的數據，那么就產生了冷啟動問題?；趦热莸耐扑]，考慮的是物品的特征屬性，是通過物品之間的本質屬性達到推薦目的。因此，與協同過濾推薦算法相比，基于內容的推薦算法用戶間依賴性少，并且由于根據商品屬性進行推薦，那么它的可解釋性更強。各種推薦算法組成的混合推薦算法[5]可以彌補單一推薦算法的短板，達到揚長避短的效果。由于混合推薦系統能夠較好地發揮綜合能力，研究人員已將深度學習應用到了混合推薦系統中。

3 ? 深度學習概述（Overview of deep learning）

深度學習源自人工神經網絡，然后成為一門新學科[6]。深度學習與互聯網時代同步發展，互聯網的發展，使得世界各地的數據緊密地連在了一起，并且以驚人的速度遞增，提取數據中的有用信息具有難以估計的潛力，深度學習只需極短的時間就能夠快速準確地從這些數據中提取有用信息。深度學習是一個學習過程，它包括估計模型參數，以便學習到的模型可以執行特定任務。傳統程序以線性方式實現數據構建分析，它們雖然可以有效地解決許多簡單或受約束的問題，但是它們的建模和表示性有限。深度學習是由形成層次結構的幾層處理組成的，第一層處理原始數據輸入，并將其作為輸出傳遞到下一層，第二層通過包含的附加信息來處理前一層的信息，并傳遞其結果，下一層獲取第二層的信息，以此類推，通過對每層數據的學習，深度學習能夠發現數據之間的聯系和規律。

對于結構化的數據，傳統的機器學習就能夠處理得很好，但是對于非結構化的數據，機器難以理解。比如人類可以輕松地判別出一張圖片里的男性和女性，但是計算機卻不能有效區分出來，隨著深度學習的研究，它使計算機能夠在這方面表現強勁。對于機器學習使用手工特征提取而言，深度學習的特征是自動學習的，它能夠自動學習用戶的任務，并且學習的過程能夠在數據變化中保持健壯性。深度學習是一種數據驅動的技術，它具有高度的可擴展性。在傳統的機器學習中，對于常規的數據量而言，它的性能表現良好，但當數據不斷地增加時，機器學習的性能就顯得疲軟了，但深度學習卻能夠處理較多的數據量。

一般而言，深度架構模型由多層組成，可以學習從低級功能到高級功能的層次結構。深度學習架構，根據體系結構和技術的使用方式，可分為生成性深層體系結構和判別性深層結構兩類，前者意在表現數據的高階相關屬性，以進行模式分析或展現數據的聯合統計分布，后者意在直接為模式分類提供判別力。

4 ? 基于深度學習的推薦系統應用（Application of recommendation system based on deep learning）

深度學習在推薦系統中的應用最早是由Hinton和他學生Salakhutdinov發表的一篇關于受限玻爾茲曼機應用于推薦系統的論文[7]，后來不斷地涌現出學者及企業員工將深度學習應用到推薦業務中去。深度學習在推薦系統中的應用可分為：深度學習分別在基于內容，協同過濾和混合推薦系統中的應用。

4.1 ? 深度學習在基于內容推薦系統中的應用

在協同過濾推薦算法中，人們僅依靠用戶的評分對用戶和物品建模，而忽視了項目中的大量評論信息，合理利用這些評論信息則可以提高推薦質量。文獻[8]使用評論信息，通過稱為“深度合作神經網絡”的深度神經網絡模型對用戶和物品共同建模。它通過利用文本評論來學習用戶和商品的潛在隱性因素，從而使學習的因素可以估計用戶給出的評分。該模型由兩個并排的神經網絡組成，彼此耦合，頂部有一個共享層，這個共享層是由矩陣分解技術推動的，以使用戶和項目的潛在因素互通。作者提出的該模型是第一個使用評論聯合表示用戶和物品的深度模型，該模型具有可伸縮性并且適用于一些需要在線連續更新數據的方案模型。文獻[8]的另一個特點是，模型使用預訓練的詞嵌入技術表示評論文本，以從評論中提取語義信息。實驗結果顯示，該表示形式中評論的語義和情感態度可以提高評分預測的準確性。作者還進一步驗證了該模型是否能解決冷啟動問題。在實驗數據集上，作者根據用戶和項目的評論數對其進行分類，并分別為用戶和項目組繪制均方誤差的減少量。實驗結果顯示，全部數據集中，均方差減少量都是正的，并且該模型可以在幾乎沒有任何評分的所有用戶和項目組上實現均方差減少。該模型的一個更重要的優點是，對于評分較低的組，均方誤差減少的比例更高。這表明該模型可以緩解稀疏性問題并有助于解決冷啟動問題。對于評分等級較低的用戶或項目，該模型的均方誤差降低幅度更大，它表示評論文本可能是有價值的信息，尤其是當我們掌握的用戶或項目的信息有限時。

文獻[9]開發了一種使用動態關注深度模型的新聞文章推薦模型，以解決編輯為沒有明確選擇標準的目標用戶推薦新聞文章的問題。新聞推薦的這一階段是針對最終向目標用戶進行新聞推薦之前的一個步驟，在此階段，編輯者需要從不斷變化的各種新聞文章庫中選擇新聞文章的子集。文獻[9]通過自動表示學習及其與元數據的交互來學習編輯者對動態文章的選擇標準，以此自動地從資源庫中選擇文章的子集。由于編輯者的選擇標準不明確并且編輯者的偏好也可能不同，那么這種問題就不能通過常規的詞袋方法直接解決。因此，深度學習注意力模型用于生成復雜的功能來表示文章樣式，然后對編輯者是否喜歡該文章進行分類。

4.2 ? 深度學習在基于協同過濾的推薦系統中的應用

文獻[10]改進了變分自動編碼器，用于對隱式反饋數據進行協同過濾。以往協同過濾的研究模型主要使用的是線性因子模型，這種模型建模能力有限，文獻[10]提出了一種具有神經網絡參數化的多項式似然函數的生成模型，并使用貝葉斯推理進行參數估計，這種非線性的概率模型建模能力大大加強，并且結果顯示多項式似然函數特別適合對用戶項隱式反饋數據進行建模。在改進變分自動編碼器的方法中，作者針對學習目標引入了不同的正則化參數，并使用退火算法調參。經過不同的數據集，實驗后得出，改進的方法較最常用的幾種推薦方法有了明顯的優勢。在擴展實驗中，作者將潛在性協同過濾文獻中的多項式似然與其他常用似然函數進行了比較，實驗結果表明前者的效果極大地優于后者。

文獻[11]提出了一種具有隱式反饋的協同排名的新神經架構，稱作潛在關系度量學習模型（LRML），它是一種基于注意力的新型記憶增強神經體系結構，這是一種新穎的推薦度量方法。該模型使用潛在關系向量對度量空間中用戶與項目之間的潛在關系進行建模，有助于減輕現有度量學習方法的潛在幾何不靈活性，實現更好的性能，而且還可以更大程度的提高建模能力，從而使模型可以擴展到更多的交互。為了實現這個模型，作者采用了增強的內存模塊，并學習如何參與這些內存模塊來構建內存關系?；趦却娴淖⒁饬δK由用戶-項目交互控制，使學習到的關系向量特定于每個用戶項對。實驗結果顯示LRML優于其他度量學習模型，并且LRML具有揭示隱式數據集中的隱藏關系結構的能力。

4.3 ? 深度學習在混合推薦系統中的應用

在協同過濾中，造成推薦結果不精準的主要原因之一是用戶對項目評分數據的稀疏性，而混合推薦算法卻能夠很好的解決這個問題。最近興起的基于文檔建模的混合推薦方法，利用項目的描述文檔，例如評論，摘要或概要，以提高評分預測的準確性。為了利用推薦系統中的項目描述文檔，文檔建模方法（例如潛在狄利克雷分配（LDA）和堆疊降噪自動編碼器（SDAE）被用于混合推薦模型。但是，這存在兩個缺陷：（1）文檔建模使用的是詞袋模型，忽略了上下文信息例如句子之間的關系。（2）在基于文檔和項目的潛在因子建模中未明確地考慮高斯噪聲。文獻[12]為了解決第一個缺陷，作者開發了一個文檔上下文感知模型：卷積矩陣分解（ConvMF）。它利用卷積神經網絡（CNN）能夠有效地捕獲文檔的上下文信息這一特點，提出了一種基于文檔上下文感知混合推薦方法，該方法將CNN集成到基于矩陣的協同過濾中，以將CNN應用于推薦任務。這樣即使數據集非常稀疏，ConvMF仍可以準確地預測未知評級。在以上的基礎上，為了解決缺陷二，作者開發了健壯的卷積矩陣分解模型（R-ConvMF），通過引入新的項目潛在因素建模方法，提出了一種健壯的文檔上下文感知混合方法，為了明確地以不同的方式考慮高斯噪聲，新的潛在因子建模方法從概率角度使用帶有說明文件的項的評級數，因此，通過更準確地構造項目的潛在因子，作者使初步模型不僅對稀疏而且對偏斜的數據集也更加健壯。結果顯示，該模型有效地解決了稀疏性問題。另外，作者提出的方法僅使用用戶到項目的評級數據和項目的描述文件，因此該方法可以實時的應用于互聯網公司（例如淘寶和豆瓣等）的推薦系統。

在新聞推薦中，用戶都希望獲得最新資訊，因此他們的關注點都在新聞內容的新鮮度上面，但是用戶的關注方向不是一成不變的，他們可能呈現出階段性的變化，比如常關注籃球咨詢的NBA球迷，突然對足球產生了興趣。因此，新聞推薦中考慮用戶的動態變化變得至關重要。文獻[13]提出了一種用于新聞推薦的深層神經體系結構，利用用戶與項目的交互，以及新聞（項目）的內容來對用戶和項目的潛在特征進行建模。論文中，作者僅關注用戶否閱讀了給定的文章，以及用戶閱讀文章的順序這些隱式反饋（閱讀順序則反映了用戶的興趣度）。為了方便對用戶的潛在特征進行建模，作者使用雙向LSTM[14]，從用戶閱讀文章序列中獲取用戶隨著時間變化的靜態和動態興趣。然后將用戶的閱讀歷史記錄作為LSTM的輸入，使用神經網絡中的注意力機制獲得用戶的興趣程度，使用深度結構化語義模型（DSSM）捕獲用戶和項目之間的相似性，最后使用用戶和項目之間的潛在向量計算內積，向用戶推薦新聞。結果顯示，模型解決了用戶閱讀興趣變化，多樣化和冷啟動的問題。

5 ? 結論（Conclusion）

綜上所述，基于深度學習的推薦算法在個新性推薦領域展現出了優異的成果，但是稀疏性和冷啟動仍存在改善的空間，預計未來能夠誕生更多的深度學習推薦模型。開發人員也正研究用于描述文檔的卷積自動編碼器，當評分數據極為稀疏時，自動編碼器的這種無監督預訓練會大大提高推薦的性能。

參考文獻（References）

[1] Lecun Y，Bengio Y，Hinton G.Deep learning[J].Nature，2015，

521（7553）：436-444.

[2] Adomavicius G，Tuzhilin.Towards the Next Generation of Recommender Systems：A Survey of the State-of-the-Art and Possible Extensions[J].IEEE Transactions on Knowledge and Data Engineering，2005，17（6）：734-749.

[3] Mooney R J，Roy L.Content-based book recommending using learning for text categorization[C].Proceedings of the fifth ACM conference on Digital libraries，2000：195-204.

[4] Breese J S，Heckerman D，Kadie C.Empirical analysis of predictive algorithms for collaborative filtering[C].Proceedings of the Fourteenth conference on Uncertainty in artificial intelligence，1998：43-52.

[5] Balabanovic M，Shoham Y.Fab：content-based，collaborative recommendation[J].Communications of the ACM，1997，40（3）：66-72.

[6] Jurgen S.Deep learning in neural networks：An overview[J].Neural networksm，2015（61）：85-117.

[7] Ruslan S，Andriy M，Geoffrey H.Restricted Boltzmann Machines for Collaborative Filtering[C].Proceedings of the 24th International Conference on Machine Learning，2007：791-798.

[8] Lei Z，Vahid N，Philip S.Joint Deep Modeling of Users and Items Using Reviews for Recommendation[C].Proceedings of the Tenth ACM International Conference on Web Search and Data Mining，2017：425-434.

[9] Xuejian W，Lantao Y，Kan R，et al.Dynamic Attention Deep Model for Article Recommendation by Learning Human Editors' Demonstration[C].Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，2017：2051-2059.

[10] Dawen L，Rahul G K，Matthew D H，et al.Variational Autoencoders for Collaborative Filtering[C].Proceedings of the 2018 World Wide Web Conference，2018：689-698.

[11] Yi Tay，Luu A T，Siu C H.Latent relational metric learning via memory-based attention for collaborative ranking[C].Proceedings of the 2018 World Wide Web Conference，2018：729-739.

[12] Donghyun K，Chanyoung P，Jinoh O，et al.Deep hybrid recommender systems via exploiting document context and statistics of items[J].Information Sciences，2017（417）：72-87.

[13] Vaibhav K，Dhruv K，Shashank G，et al.Deep Neural Architecture for News Recommendation[C].in Working Notes of the 8th International Conference of the CLEF Initiative，2017：142-162.

[14] Mike S，Kuldip K P.Bidirectional recurrent neural networks[J].IEEE Transactions on Signal Processing，1997，45（11）：

2673-2681.

作者簡介：

呂 ? 剛（1992-），男，碩士生.研究領域：推薦系統.

張 ? 偉（1964-），女，碩士，副教授.研究領域：數據挖掘.