融合上下文和視覺信息的多模態電影推薦模型

朱昆 劉姜 倪楓 朱佳怡

摘?要：

針對傳統的上下文電影推薦模型只采用文本數據，從單模態數據獲取的信息有限，無法充分解決數據稀疏性帶來的問題，提出了一種融合文本和圖像數據的多模態電影推薦模型（VLPMF）。首先，VLPMF集成了長短期記憶網絡（LSTM）和概率矩陣分解（PMF）。其次，將VGG16提取的圖像特征以概率的角度結合到PMF中并構建融合層，將文本特征和圖像特征融合后得出預測評分。最后，在Movielens＼|1M、Movielens＼|10M和亞馬孫AIV數據集上進行對比實驗，結果表明，VLPMF模型的均方根誤差比對比實驗中最優模型的均方根誤差分別降低了1.26百分點、1.51百分點和4.30百分點。

關鍵詞：推薦系統；圖像內容；深度卷積神經網絡；概率矩陣分解模型

中圖分類號：TP391??文獻標志碼：A

0?引言（Introduction）

在互聯網時代，為了有效地為用戶挖掘有用的信息，推薦系統被普遍應用在多個領域［1＼|4］，同時也成為緩解信息過載問題的研究熱點。由于數據稀疏，傳統推薦算法的性能受到很大的限制［5］。因此，解決評分數據稀疏性問題對于提高推薦系統的性能具有重要意義。

傳統的推薦算法通常只考慮評分，若評分矩陣稀疏，則會對算法的性能造成負面影響［6］。為了提高推薦算法的性能，部分研究在推薦系統的推薦模型中使用電影屬性、電影評論等輔助信息［7］。但是，單模態文本數據所含信息有限，無法有效應對數據稀疏帶來的問題。

實際上，圖像信息對于用戶偏好具有巨大的影響力，對于推薦系統的性能提升起著至關重要的作用。本文提出的VLPMF，將文本和圖像特征進行了充分融合，為推薦系統準確度的提升帶來了顯著的效果。

1?相關研究（Related?research）

隨著深度學習的迅速發展，深度學習算法可以有效獲取輔助信息的深度表示，提高推薦評分預測的準確率，因此被廣泛應用于推薦系統［8］。WANG等［9］提出一種利用協同主題建模的方法（Collaborative?Topic?Regression，CTR），利用文本信息和評分信息對傳統的矩陣分解模型（Probabilistic?Matrix?Factorization，PMF）［10］進行改進，有效地提高了推薦的精度和覆蓋率。WANG等［11］提出了一種基于協同深度學習的推薦模型（Collaborative?Deep?Learning，?CDL），采用多層神經網絡對用戶和物品的特征進行建模，將PMF與堆疊去噪自編碼器SDAE結合起來提高推薦性能。KIM等［12］提出了卷積矩陣因子分解模型ConvMF?（Convolution?Matrix?Factorization），將CNN（Convolutional?Neural?Network）和PMF相結合，以提取文本的上下文信息特征，從而解決了CNN無法直接應用于推薦算法的問題。然而，上述上下文感知推薦算法只能實現有限的性能改進，因為它們只考慮了文本信息。

深度學習在計算機視覺領域（Computer?Vision，?CV）的快速發展，解決了圖像和電影視覺特征提取的問題，利用CNN可以從圖像和電影視覺中提取深度特征，例如經典的深度網絡模型AlexNet、VGG等。因此，本文提出一種基于概率矩陣分解的推薦算法模型VLPMF，分別利用LSTM和VGG16對電影描述文本和電影海報進行特征提取，然后基于PMF模型將提取的文本和視覺特征融合到推薦系統中，提高評分預測精度。然后，在3個真實的數據集上以均方根平均誤差為指標，驗證了VLPMF模型的性能。結果表明，VLPMF在評分預測精度方面明顯優于CDL、ConvMF等模型，并且信息越稀疏，模型的優勢越明顯。因此，本文的研究為電影推薦系統中利用視覺內容信息提升推薦性能提供了一種有效的方案。

2?多模態推薦模型設計（Multimodal?recommendation?model?design）

2.1?LPMF文本提取模型

本文提出的矩陣分解方法LPMF模型（圖1），采用了用于文本分類的LSTM模型進行文本特征提取，為了獲得更完整的文本上下文信息，將結構整合到卷積層中，進一步提高詞表示的質量。提取的特征作為項目潛在模型中高斯分布均值的一部分，綜合了LSTM和PMF的優點。

在LPMF模型中，LSTM結構是在項目的描述文檔中生成項目的特征隱向量。項目描述文檔先經過詞嵌入模型如Glove預處理，將其轉變為詞向量矩陣。將項目描述文檔的長度看作l，用向量維度為p的不同向量表示每個單詞。這樣，描述文檔矩陣[WTHX]D[WTBX]=Euclid?Math?TwoRA@

p×l可以用不同的單詞向量拼接得到：

把嵌入層的描述文檔矩陣[WTHX]D[WTBX]當作輸入，經過LSTM后得到上下文特征信息，i時刻的上下文特征信息ci的提取公式如下：

其中：wi是i時刻的輸入，b是偏置項。描述文檔的特征向量可由[WTHX]C[WTBX]表示：

首先經過連接層輸出：

其次接入Dropot層對部分神經單元的輸出進行丟棄處理，最后得到輸出y，經過輸出層后得到項目的隱語義特征向量[WTHX]v：

其中：Wv為輸出層權重，bv為偏置值。最終經過LSTM結構將項目描述文檔轉化為每個項目文檔的隱向量，對于文本特征提取，LSTM體系結構可以表示如下：

其中：W表示所有權重，Xj是項目j的描述文檔，φj是電影j的文檔隱向量。

2.2?LPMF的概率模型

本文提出的LPMF的概率模型通過連接LSTM和PMF可以充分利用項目描述文檔和進行評分，從概率的角度看，觀測得分矩陣的條件分布如下：

其中：?X[WTBZ]為電影的描述文檔集（如用戶評論或電影描述），LSTM網絡將在?X[WTBZ]中提取到的文檔隱向量替換PMF中高斯分布的均值，Xj代表電影j的描述。

2.3?視覺特征提取

本文采用VGG16模型進行海報的視覺特征提取。VGG16模型由13個卷積層、5個池化層、3個全連接層和1個Softmax層組成，?VGG16模型的架構如圖2所示。

為了提高視覺特征提取的性能，采用遷移學習技術將VGG16模型應用在ImageNet數據集上進行預訓練，將其訓練得到的原始參數應用到海報的視覺特征提取中。為了將視覺特征應用于本文研究的電影推薦問題中，將這些特征納入電影推薦系統中，以提高推薦系統的準確性和推薦效果。本文將VGG16模型提取的視覺特征歸納為

其中：Yj表示電影j的圖像（海報），j表示電影j的視覺特征。

2.4?VLPMF模型

為了進一步提高推薦算法的性能，本文提出VLPMF模型，旨在融合文本類型和圖像類型的數據，該模型包括3個核心部分：LSTM文本提取模塊、基于VGG16模型的圖像提取模塊及PMF模塊。VLPMF模型在LPMF模型的基礎上結合了圖像特征提取模塊，其模型框架如圖3所示。

在上述模塊中，分別介紹了文本特征和視覺特征的提取，VLPMF模型將電影的文本特征和相應的視覺特征分別融合為綜合特征，并通過投影層將綜合特征投射到特定的維度，隨后采用一種概率角度的方法將綜合特征向量連接到PMF中，從而得到項目特征向量的條件分布。具體來說，在PMF的基礎上，針對項目特征向量的條件分布，通過以下方法強化條件分布。

3?實驗分析（Experimental?analysis）

3.1?數據集

為了驗證本文提出的推薦系統模型的性能，在常用的Movielens＼|1M（ML＼|1M）、Movielens＼|10M（ML＼|10M）和亞馬孫AIV數據集上對其進行了實驗。由于這些數據集缺乏輔助信息，因此本文在IMBD網站利用網絡爬蟲分別獲取Movielens的電影描述文檔、AIV的用戶評論和對應的電影海報。表1給出了數據集的具體情況，表明每個數據集的稀疏性問題都是極其嚴重的。

3.2?實驗設置

在文本特征提取方面，首先采用先前訓練完畢的Glove預訓練詞向量模型，設置其詞嵌入維度為200，為了避免過擬合，將Dropout設置為0.5時，效果較佳。在視覺特征提取方面，將VGG16模型應用在ImageNet數據集上進行預訓練。將預訓練中批量大小和丟失率分別設置為128和0.5。其次將VGG16提取的圖像數據特征與獲得的文本特征向量進行融合，因此每部電影j的綜合特征都是由文本特征和視覺特征組成的。最后將綜合特征向量放入投影層，并將其維數固定為50，再選擇維數相同的用戶潛在向量。使用網格搜尋法求出每個模型的超參數（λ?U[WTBX]，λ?V[WTBZ]）的最佳值，表2展示了在ML＼|1M、ML＼|10M和AIV數據集上，在不同模型性能最優時參數λ?U[WTBX]和λ?V[WTBZ]的取值。

3.3?評估標準

為了評估本文提出模型在不同數據集上的表現，隨機將3個數據集劃分為3個部分：80%的訓練集、10%的驗證集和10%的測試集，使用測試集評估模型的性能和泛化能力，并計算測試集上的均方根誤差（RMSE），將其作為模型性能的最終評估指標。

3.4?對比實驗

為了驗證實驗模型的推薦性能，本文選用以下模型進行性能對比。

（1）PMF［10］：一種基于概率模型的推薦算法，只應用到評分數據，通過分解用戶＼|物品評分矩陣為兩個低維度潛在特征向量，學習用戶和物品的潛在特征向量，并通過最大似然估計方法優化模型的參數。

（2）CTR［9］：一種利用協同主題建模的方法，采用文本信息和評分信息對PMF進行改進，有效地提高模型的推薦精度和覆蓋率。

（3）CDL［11］：一種基于協同深度學習的推薦算法，采用多層神經網絡對用戶和物品的特征進行建模，將PMF與堆疊去噪自編碼器SDAE結合。

（4）ConvMF［12］：一種基于卷積神經網絡的推薦算法，采用CNN學習用戶和物品的特征表示，同時將特征表示集成到PMF中進行推薦。

（5）LPMF：本文提出的一種結合長短期記憶網絡LSTM和概率矩陣分解PMF的模型，能夠深度提取文本隱語義特征。

（6）VLPMF：本文提出的一種基于概率矩陣分解的推薦算法模型，分別利用LSTM和CNN對描述文本和海報進行特征提取，然后基于PMF模型將提取的文本和多級視覺特征融合到推薦系統中，提高了評分預測精度。

3.5?實驗結果及分析

3.5.1?模型性能分析

表3顯示了LPMF、VLPMF和其他對比模型在3個測試集上的RMSE。從表3中可以看出，相比最優基準模型ConvMF，結合了文本和圖像特征的VLPMF，其RMSE指標在ML＼|1M數據集上提高了1.26百分點、在ML＼|10M數據集上提高了1.51百分點，在AIV數據集上提高了4.30百分點。

通過進一步觀察可以得到，在評分數據相對密集的ML＼|1M數據集（密度為4.641?0%）上，相比于僅利用評分數據的PMF，CTR和CDL模型的RMSE提升效果并不明顯，然而與使用CNN結構提取上下文信息的ConvMF模型相比，RMSE大幅降低，說明在評分數據密集的情況下，能夠提升上下文信息的捕獲性能，就能大幅提升推薦的精確度。

隨后，通過將LPMF和ConvMF對比可知，LPMF的性能表現更加優異，說明LSTM模型在文本信息提取方面更有效。從LPMF和VLPMF模型的實驗結果來看，由于VLPMF考慮了視覺特征，豐富了核心信息，因此表現出更優越的性能，表明將視覺特征集成到推薦系統中，可以在上下文推薦方面發揮積極作用。

3.5.2?稀疏度分析

在評價評分數據集時，數據密度是一個很重要的指標。本文研究了密度較小的AIV數據集（密度為0.030?0%）上VLPMF模型的改進結果，發現其優于在ML＼|1M和ML＼|10M數據集上的表現。此外，數據密度越小，VLPMF模型性能提升效果越明顯，說明VLPMF模型結合了文本特征和視覺特征，有效緩解了數據稀疏的問題。為了進一步驗證VLPMF模型在不同的數據稀疏情況下的優越性，以ML＼|1M數據集為例，將其隨機劃分為不同稀疏度的訓練集做進一步的實驗，實驗結果如表4所示。

從表4中可以得出，VLPMF模型在不同的數據稀疏度條件下的表現均優于其他模型，特別是當數據稀疏度從3.98%下降到0.95%的過程中，VLPMF模型相比于最優基準模型ConvMF，性能提升率從1.2%提升到2.97%，表明數據特別稀疏時，能同時提取文檔信息和圖像信息的VLPMF模型的均方根誤差比僅提取文本信息的ConvMF模型要小。此外，數據越稀疏，VLPMF模型的性能提升越大。圖4展現出不同模型在不同的數據稀疏度條件下的實驗結果。

4?結論（Conclusion）

本文通過結合文本信息和圖片信息提高推薦數算法的穩定性，探究了如何在保持推薦精度的前提下，利用描述文本信息（例如評論、電影描述等）和海報信息解決數據稀疏的問題，提出了基于概率矩陣分解的推薦模型VLPMF。該模型利用LSTM結構捕獲文本模態信息的上下文的語義信息；對于圖像數據，使用VGG16模型對電影海報進行特征提取，然后將兩個模塊中所獲得的特征信息統一為綜合特征向量，并從概率的角度將其應用到概率矩陣分解模型PMF中。在3種常用數據集上的實驗結果發現，VLPMF的RMSR優于對比模型，并且數據越稀疏，模型的優越性更突出。

參考文獻（References）

［1］?賈凡，康舒雅，江為強，等.?基于相似性的多用戶漏洞推薦算法［J］.?清華大學學報（自然科學版），2023，63（9）：1399＼|1407.

［2］?李樹青，黃金旺，馬丹丹，等.?基于顯隱式信息融合和單類協同過濾方法的主題詞推薦［J］.?圖書情報工作，2023，67（3）：72＼|84.

［3］?HWANGBO?H，KIM?Y?S，CHA?K?J.?Recommendation?system?development?for?fashion?retail?e＼|commerce［J］.?Electronic?commerce?research?and?applications，2018，28（C）：94＼|101.

［4］?張明星，張驍雄，劉姍姍，等.?利用知識圖譜的推薦系統研究綜述［J］.?計算機工程與應用，2023，59（4）：30＼|42.

［5］?劉會，張璇，楊兵，等.?用于社交推薦的增強影響擴散模型［J］.?計算機學報，2023，46（3）：626＼|642.

［6］?趙夢媛，黃曉雯，桑基韜，等.?對話推薦算法研究綜述［J］.?軟件學報，2022，33（12）：4616＼|4643.

［7］?WANG?J?Z，HUANG?P?P，ZHAO?H，et?al.?Billion＼|scale?commodity?embedding?for?E＼|commerce?recommendation?in?alibaba［C］∥GUO?Y，FAROOQ?F.?Proceedings?of?the?24th?ACM?SIGKDD?International?Conference?on?Knowledge?Discovery?&?Data?Mining.?New?York：ACM，2018：839＼|848.

［8］?李浩君，呂韻，汪旭輝，等.?融入情感分析的多層交互深度推薦模型研究［J］.?數據分析與知識發現，2023，7（3）：43＼|57.

［9］?WANG?C，BLEI?D?M.?Collaborative?topic?modeling?for?recommending?scientific?articles［C］∥APTE?C，GHOSH?J，SMYTH?P.?Proceedings?of?the?17th?ACM?SIGKDD?International?Conference?on?Knowledge?Discovery?and?Data?Mining.?New?York：ACM，2011：448＼|456.

［10］?SALAKHUTDINOV?R，MNIH?A.?Probabilistic?matrix?factorization［C］∥PLATT?J?C，KOLLER?D，SINGER?Y，ROWEIS?S?T.?Proceedings?of?the?20th?International?Conference?on?Neural?Information?Processing?Systems.?New?York：ACM，2008：1257＼|1264.

［11］?WANG?H，WANG?N，YEUNG?D.?Collaborative?deep?learning?for?recommender?systems［C］∥CAO?L?B，ZHANG?C?Q.?Proceedings?of?the?21th?ACM?SIGKDD?International?Conference?on?Knowledge?Discovery?and?Data?Mining.?New?York：ACM，2015：1235＼|1244.

［12］?KIM?D，PARK?C，OH?J，et?al.?Convolutional?matrix?factorization?for?document?context＼|aware?recommendation［C］∥SEN?S，GEYER?W.?Proceedings?of?the?10th?ACM?Conference?on?Recommender?Systems.?New?York：ACM，2016：233＼|240.

作者簡介：

朱?昆（1997＼|），男，碩士。研究領域：推薦系統，深度學習。

劉?姜（1983＼|），女，博士。副教授，研究領域：符號計算，機器學習。

倪?楓（1982＼|），男，博士。副教授，研究領域：系統分析與集成。

朱佳怡（2000＼|），女，本科生。研究領域：機器學習。