基于強化學習的推薦算法綜述

白 玉 馬 然

(北京物資學院 北京 101149)

一、目前推薦的研究現狀與問題

面對互聯網上眼花繚亂的海量信息，通常會讓用戶感到無所適從，每個用戶都希望通過互聯網快速的得到有用的信息。基于市場的需求，許多算法都被采用。比如深度學習以及隱語義方法[1]。但傳統的推薦算法有許多缺點，比如內容過于相似等等。因此，為了解決此類問題，產生了強化學習算法。

二、強化學習與推薦算法研究

(一)協同過濾算法

在中國有句古話叫“物以類聚，人以群分”，就很好的詮釋了協同過濾[2-3]的基本思想。比如，你現在想買一本書，但你不知道買哪一本，你就會去問和你興趣類似的人，將他喜歡的書籍推薦給你。

(二)基于內容的推薦

基于內容的算法[4-5]應用的時間最早。從字面理解就是，依照用戶的喜好來尋找興趣相似的用戶，將物品作為推薦。例如：在京東購物的小伙伴都知道，每當你瀏覽完一個界面時，重新在打開瀏覽時，都會出現“猜你喜歡”欄目。它會根據你之前購買的物品，來為你推薦你可能喜歡的物品。

(三)強化學習

強化學習[6-7]與監督學習的區別是，沒有已經準備好的訓練數據輸出值，強化學習只有獎勵值。與非監督學習的區別，在非監督學習中即沒有輸出值也沒有獎勵值，只有數據特征，而強化學習有獎勵值。強化學習的特點是沒有監督數據，只有獎勵信號、獎勵信號不一定是實時的、時間序列是一個很重要的因素。強化學習在推薦系統中的算法有DQN算法、A2C算法以及DDPG和PPO算法。

三、小結

當今時代，面對海量的信息，人們要想快速找到自己所需要的信息，是離不開推薦算法的。基于本文，主要講述了傳統的推薦算法以及新興的強化學習算法。無論哪一種，都有自己的優點以及缺點。在合適的應用場景選擇合適的推薦算法尤為重要。