基于注意力機制的深度學習推薦模型研究

賴穎婕

(桂林理工大學 商學院,廣西 桂林 541004)

0 引言

深度學習[1](Deep Learning,DL)在諸多領域中得到廣泛應用,同時也對冷啟動、數據稀疏等問題有所緩解。基于深度學習的黑盒特性,在利用深度學習提升性能的同時增強模型可解釋性成為研究熱點。注意力機制[2](Attention Mechanism,AM)來源于人類視覺變化的區(qū)分性能,它可以篩選出有效信息[3]。因此在推薦模型中引入AM可以增強模型的性能和可解釋性。本文歸納梳理了基于注意力機制的深度學習的推薦模型,并對其進行分析,最后探討在推薦領域中進一步研究問題。

1 基于注意力機制的卷積神經網絡推薦模型

卷積神經網絡[2](Convolution Neural Network,CNN)是前饋神經網絡(Feedforward Nueral Network)中的一類,它可以利用其獨有的卷積層和池化層對項目特征的全面和局部進行捕捉,實現(xiàn)提升識別的效率和精準度的目標[2]。基于CNN的特點,它在諸如神經語言、文本分類等自然語言處理(Natural Language Processing,NLP)領域中顯示出強大的優(yōu)勢。

1.1 標簽推薦

大數據時代的爆炸式信息對系統(tǒng)的搜索、導航和組織的能力要求日漸增加,因此標簽推薦(Label Recommendation)越來越受到了學術界和業(yè)界的諸多關注。CNN在NLP領域以及機器翻譯中AM的突出表現(xiàn),Gong等[4]提出了新的標簽推薦模型,該模型充分利用AM和CNN,避免了手工操作,實現(xiàn)微博標簽推薦。Lei等[5]通過對標簽推薦中的capsule network的進行研究提出一種基于文本分類的新模型,模型利用AM和CNN來提取重要內容和對應特征來進行標簽推薦。雖然現(xiàn)有標簽推薦模型,可以有效緩解傳統(tǒng)標簽推薦中手工標記文本耗時和勞動力密集的特點,但是在標簽數據缺乏的情況下,上述模型的推薦效果不理想。因此,之后的研究會針對跨域的標簽推薦和語法相關但詞意上相差很大的內容建模上進行研究。

1.2 社交推薦

隨著社交網絡數據的日益增長,用戶的決策和社交推薦的性能會受到用戶注意力變化的影響。針對傳統(tǒng)社交推薦較少考慮靜態(tài)屬性、動態(tài)行為和網絡結構等問題,Gong等[6]提出一個結合屬性關注和網絡嵌入的混合深度神經網絡框架——DFRec++。它利用CNN和AM提取出動態(tài)和靜態(tài)特征來完成推薦,但模型稍顯復雜。針對用戶和物品間的差異常被忽略的問題,Cai等[7]提出了好友的多層次推薦模型。該模型利用AM和CNN的相關特性來實現(xiàn)好友的多層精準推薦。當前社交推薦模型相較于傳統(tǒng)模型在推薦性能上有顯著提升,之后會關注社交網絡中弱聯(lián)系以及設計出更簡單和通用的推薦模型結構。

2 基于注意力機制的循環(huán)神經網絡推薦模型

循環(huán)神經網絡(Recurrent Neural Network,RNN)是一類深度學習技術,是處理序列模式的時間動態(tài)選擇以及具有序列信號的側面信息等問題的首要選擇[8]。文中主要介紹長短期記憶網絡(Long Short-Term Memory,LSTM)和門限循環(huán)單元(Gated RecCurent Unit,GRU)這兩種RNN在推薦中的應用。LSTM是一類時間循環(huán)神經網絡,擅長處理間隔大和延遲多的時間序列問題[8]。GRU是一種特別的隱結構,可以保存長期狀態(tài)和建模長期依賴關系[9]。因此,上述兩種RNN經常用來處理梯度消失[2]。

2.1 序列推薦

由于用戶興趣偏好呈現(xiàn)出動態(tài)性和演化性變化,序列信息在用戶動態(tài)偏好的建模中扮演著越來越重要的角色,序列推薦應運而生。由于RNN處理序列信息的優(yōu)秀表現(xiàn),基于RNN的序列推薦得到了廣泛應用。基于此,Luo等[10]提出了一種名為3AGRU新的序列推薦模型。3AGRU利用GRU和自適應注意力機制捕捉用戶多樣興趣和提升序列推薦性能。隨后,針對以往研究中從左到右處理用戶的長期序列信息會忽略一些有用信息的問題,Zhang等[11]提出一種面向序列推薦的注意力混合遞歸神經網絡——AHRNNs。AHRNNs利用基于注意力機制的GRU和LSTM把握用戶序列給出推薦。現(xiàn)有序列推薦模型在推薦性能上有大幅提升,未來研究中考慮將其他注意力機制(例如硬注意力)引入到序列推薦模型中來緩解用戶行為稀疏的問題以及運用其他技術(例如知識圖譜和強化學習)改善用戶的體驗,增加用戶的購買欲。

2.2 一籃子推薦

用戶在線購物時一次購入多種商品的現(xiàn)象,令預測用戶的下一次購物列表成為熱門研究趨勢。Pan等[12]

針對以往購物籃推薦忽略用戶長期偏好中隱藏的內在偏好和不能準確對購物籃中物品的重要性進行區(qū)分的問題,引入了一種混合偏好神經模型——HPNM。HPMN建模用戶偏好和計算項目,實現(xiàn)一籃子推薦的有效性。隨后,面對當前一籃子推薦研究中對籃子中物品間關系考慮甚少的問題,Liu等[13]提出一種新模型,該模型采用Bi-LSTM和AM建模偏好和預測意圖,實現(xiàn)精準的下一籃子推薦。上述模型對當前一籃子推薦模型中部分存在的問題進行了有效解決,但是一籃子推薦中仍然存在著解釋性不足、缺乏多樣化等問題,之后研究中會考慮興趣的融合等因素來提升一籃子推薦精度。

3 結論與啟示

3.1 提升推薦模型可解釋性

注意力機制引入深度學習模型中,緩解了以往深度學習模型可解釋性差的問題,并為之后具有更好可解釋能力的深度學習模型奠定了基礎。之后的相關研究會集中在兩個層面:一是面向用戶的解釋,推薦結果便于讓用戶理解、用戶擁有更高的滿意度和接受度。二是面向從業(yè)者的解釋,讓模型對項目的權重做出更進一步的研究,實現(xiàn)模型的深入理解。

3.2 多任務學習

數據的稀疏性是推薦系統(tǒng)面臨的重要難題,本文提及的推薦模型從某種程度上緩解了此問題,但是數據的稀疏仍然在某種程度上對推薦模型的精度造成了影響。多任務學習(Muliti-Task Learning)可以通過對相關的數據信息進行利用來提升模型的性能,因此之后的相關研究會考慮在模型中引入多任務學習,以此增強隱式數據實現(xiàn)減少數據稀疏的問題和簡化隱藏表示解決過擬合問題。