基于張量分解的跨領域推薦方法?

孫華成 王永利 趙 亮 陳廣生

（1.南京理工大學計算機科學與工程學院 南京 210094）（2.華電能源股份有限公司佳木斯熱電廠 佳木斯 154000）

1 引言

推薦系統越來越受歡迎，因為可以幫助用戶找到感興趣的項目（比如電影、書籍、音樂等）所以可以緩解信息過載問題。一些通用的推薦系統比如Amazon，LastFm，MovieLens。這些系統推薦在線商品，電影和音樂給用戶。在過去的十幾年，很多研究人員開發了一些推薦系統［1～2］，但是仍然有些挑戰比如冷啟動［3～5］和數據稀疏性問題［6］。

大量推薦系統提供的推薦結果只是單領域的，事實上，在不同的領域之間存在很多依賴和相關關系。一個領域的信息可以通過轉化到其他領域提高推薦效果，而不是單純的獨立考慮。比如，如果一些用戶喜歡歌手的歌（音樂作為源領域），一些電影（作為目標領域）由該歌手出演的可以推薦該用戶。這樣，可以解決目標領域冷啟動問題［7］，和數據稀疏性問題［8］。因此，跨領域推薦最近在推薦系統領域成為熱門研究。

目前相關的跨領域推薦通常需要不同領域的評分信息共享用戶和項目，現實場景中很少存在。本文專注于沒有共同用戶和項目的跨領域推薦系統研究。本文提出了一種跨領域推薦方法，可以利用不同領域之間用戶對項目的偏好即評分模式構建關聯。本文首先從輔助領域進行聚類取出冗余信息，利用聚類后的信息構建張量，提取評分模式。下一步，將從源領域獲取的評分模式遷移到目標領域，填補目標領域空缺值。最終，本文利用填補空缺值后的評分張量推薦。

本文的主要貢獻如下:

1）在聚類基礎上進行張量分解提取評分模式。

2）提出了一種推薦方法利用輔助領域評分模式遷移學習至目標領域。

3）使用相關實驗驗證方法的可行性。

2 相關工作

跨領域推薦已經成為解決冷啟動和減輕稀疏性問題的重要手段。一些研究人員調研了跨領域的相關工作如文獻［9］中定義的，這里有兩個跨領域推薦的任務。

第一個任務就是利用源領域的知識提高目標領域項目推薦質量。Li［10］等提出了一種跨領域協同濾波降低稀疏性。他們通過聚類壓縮得到用戶項目間的評分模式，然后他們以codebook的形式將其他領域的知識轉移到目標領域。Kumar［11～12］等提出了一種跨領域話題模型來緩解數據稀疏性問題。他們假設每個領域有N個不同的話題，每個用戶在這些話題服從某種分布。利用話題匹配進行跨領域協同推薦而不是傳統的根據共享作者匹配。Karatzoglou［13］等提出了一種使用機器學習的方法將稠密的源領域知識遷移到稀疏的目標領域用來解決數據稀疏問題的方法。他們開發了一種遷移學習技術從包含豐富數據的多個領域提取知識，然后對稀疏目標領域生成推薦。這項技術學習了相關性和線性整合所有源領域的評分模式到一個模型中使得可以預測目標領域未知的評分模式。Enrich［14］等提出了使用用戶標簽作為不同領域之間的橋梁，他們從源領域中學習用戶的評分模式（例如，用戶如何在源領域進行評分，這些標簽和評分之間的關系）來提高目標領域的預測表現。

第二個任務就是對不同領域的項目進行聯合推薦。Li［15］等提出了一種通過將多任務的評分數據池化的方式共享知識。他們創建了一種多領域共享隱含評分因子聚類評分矩陣，然后這個共享評分矩陣被擴展為通用聚類評分模型，稱為評分矩陣生成模型。任何相關用戶的評分矩陣可以通過這個生成模型和user-item 聯合混合模型進行生成或者預測。Shi［16］等提出了一種標簽推導的協同濾波跨領域推薦。他們利用用戶產生的標簽作為跨領域的紐帶。這些標簽可以用來計算跨領域用戶之間的相似性和項目之間的相似性，并且這種相似性被整合到一個矩陣分解模型可用于矩陣分解過程從而提高推薦的效果。Gao［17］等提出了一種聚類的潛在因子模型（CLFM）基于聯合非負矩陣框架。跟文獻［10］不同的是，他們使用CLFM 不只是學習多領域的共享評分模式，還從每個包含重要信息的領域學習特定領域聚類評分模式。Hu［18］提出了對于user-item-domain進行建模三元關系作為一個三階張量。然后，他們利用標準的CANDECOMP/PARAFAC（CP）張量分解模型來提取不同領域用戶因子和項目因子之間的關系，這樣就可以預測每個領域的評分了。

本文專注于第一種跨領域推薦任務。通過跨領域遷移多維評分模式來解決第一個任務。

2.1 問題與定義

跨領域推薦目前主要解決的問題就是沒有共享覆蓋信息如文獻［19］的情況，本文借助于張量分解提取兩個領域的評分模式再結合遷移模式的跨領域方法來解決稀疏性問題和冷啟動問題［20］。本節主要介紹張量分解和跨領域遷移學習的相關定義［21～23］。

2.2 張量基礎知識

形式上，張量是個多維矩陣。一個張量的階數就是維度的數目，也稱為模式。本文中張量用粗體腳本字母表示，比如X 。矩陣使用粗體大寫字母表示，如X 。向量使用粗體小寫字母表示，比如x 。元素使用小寫字母下標表示，比如xi,j,k。矩陣 X 的第i 行表示為 Xi,*，第 j 列表示為 X*,j，元素(i,j)表示為 Xi,j。

定義 1（矩陣展開，matrix unfolding）張量的模展開操作就是將張量映射成矩陣形式，比如X(2)表示 將 XI×J×K→ XJ×(IK)。 一 個 N 階 張 量 A 設 為A ? RI1…IN，擁有元素a，以三階張量為例就需i1,…,iN要在三個方向上模展卡 A?RI1×(I2I3),A? RI2×( I2I3),(1)(2)A(3)?R( I1I2)×I3這 里 的 A(1),A(2),A(3)就 是 A 的mode-1,mod e-2,mode-3 展開。

圖1 張量mode-n矩陣展開

定義 2（模式乘積，mode product）n 模式乘積為張量 A ? RI1×I2×…×IN，與矩陣 U ? RJn×In在第n 模式上的乘積，表示為 A×nU ，結果大小為RI1×…×Jn×…×IN，簡稱模乘。并且模乘滿足交換律和結合律［23］:

2.3 張量分解

張量分解有很多種方式，本文使用的是HOSVD。高階奇異值分解（HOSVD）是在矩陣奇異值分解（SVD）的概念上的延伸。對于一個mode-n 展開式，二維上的奇異值分解可以重寫如下:

通過擴展，三階的張量HOSVD可以寫成如下:

HOSVD 分解可以將N 階張量分解為一個核心張量和N 個因子矩陣乘積的形式如圖1。圖1 中是一個三階張量分解一個張量核和三個因子矩陣，這個張量核心S 可以看作是對原始張量A 的壓縮。

圖2 三階張量的HOSVD分解圖示

當因子矩陣確定時，核心張量可以通過張量和因子矩陣計算得到:

再使用式（1）可以得到張量A 的低秩近似，達到填補空缺值和數據壓縮的效果。

2.4 張量分解用于推薦

對于含有標簽的評分預測系統，可以定義為如下關系結構F ?(U ,I,T,Y )。

1）U,I,T 非空有限集合，元素分別稱為用戶，項目，標簽。

2）Y 是三元組的可觀測關系，Y ?U×I×T 。

3）三元組(u,i,Tu,i)表示一個用戶對于一個項目的標簽這里的 u ?U,i ?I 和一個非空集合Tu,i?{t ? T|(u ,i,t )?Y}。

Y 表示用戶，項目與標簽的三元關系，可以用二值張量表示A=(au,i,t) ? R|U|×|I|×|T|，這里有標簽的值為1缺失值為0。

此時，張量分解表示為

HOSVD［22］的基礎思想就是最小化估計誤差，可以利用均方差做為優化函數:

當參數優化后，可以利用下面公式進行預測推薦:

2.5 跨領域基礎知識

表2 本節用到的符號表

在跨領域遷移學習方面目前公認的有四種不同的跨領域情景，如圖3。

圖3 跨領域情景

1）用戶重疊。這里有一些用戶跨越不同領域而且這些用戶在兩個領域都有評分，比如UST≠?。

2）項目重疊。這里有一些項目跨越不同領域而且這些項目在兩個領域都被評分過如IST≠?。

3）全重疊。這兩個領域同時有重疊的用戶和項目，如UST≠? and IST≠? 。

4）無重疊。就是在兩個領域中既沒有用戶重疊也沒有項目重疊如，UST=? and IST=?。

任何的協同濾波算法可以應用在前三個場景來解決跨領域問題。大體上這些場景下的跨領域問題通過將兩個領域的評分信息整合到統一的數據集使其轉化為單領域。但是，最后一個場景由于缺少共有用戶和項目所以很少被解決。下一步，我們將主要集中在最后一種情境下的跨領域推薦，跨領域的推薦目前公認的分為兩類:

1）整合知識。知識從多個源領域被整合到目標領域。

合并用戶偏好。將用戶的偏好進行整合，如評分、標簽、交易記錄等。

調和用戶建模數據。整合的知識來自用戶建模數據如用戶相似性和用戶領域。

組合推薦。整合的知識是由單領域推薦組合，如評分評估和評分概率分布。

2）知識遷移與關聯，知識通過關聯或者遷移來進行推薦。

關聯領域。通過共享知識關聯領域。如項目屬性、關聯規則、語義網絡和領域間相關性。

共享潛在特征。源領域和目標領域通過潛在的特征進行關聯。

遷移評分模式。源領域顯式或隱式的評分模式用于目標領域。

圖4 跨領域推薦分類

當和矩陣分解或張量分解結合時一般使用共享潛在特征或遷移評分模式。

2.6 跨領域知識遷移

潛在因子模型是協同濾波（CF）領域比較流行的方法。這些模型中的用戶偏好和項目屬性通常都非常的稀疏，可以通過數據中潛在因子進行壓縮表示。在基于潛在因子分析的協同濾波系統中，潛在的用戶偏好和項目屬性可以更好地捕捉和匹配。在潛在因子遷移學習方面有兩種方法:適應模型和聯合模型。前者是將源領域學習到的潛在因子，整合到目標領域的推薦模型中。后者是將兩個領域整合來學習出潛在因子。

除了通過共享用戶或項目的潛在因子還有另一種主流的方式用于知識遷移。在很多現實場景中，即使用戶和項目不同，相近的領域也會有相似的用戶偏好與流行度。因此潛在關聯可以是一組用戶對一組項目的偏好，稱為評分模式。可以將這個評分模式里結果兩個領域間的橋梁，這樣知識的遷移可以不需要適配或整合。本文提出的方法就是基于從源領域提取出評分模式遷移至目標領域進行推薦。如圖6 所示，圖中展示的源領域和目標領域對應的是用戶項目的評分矩陣，模式提取是通過張量分解完成的，對應本文的方法就是利用張量分解提取三元關系模式，保留更多的信息達到提高準確率的效果。

圖5 共享評分模式的跨領域推薦

3 基于張量分解跨領域推薦算法

本文提出的方法張量評分模式跨領域遷移主要分為兩個階段，第一階段從輔助領域提取出聚類后評分模式，第二階段將第一階段的評分模式遷移到目標領域填補目標領域的空缺值。

3.1 評分模式提取

在協同過濾系統中，相同偏好的用戶和擁有相似屬性的項目行為表現上是相似的。因此可以將用戶和項目進行聚類分組，聚類后的評分張量只包含了用戶和項目的簇信息很好地去除原評分張量的冗余信息。在此基礎上，只需要保留聚類的ID無需考慮其他信息就可以表示原評分張量。

定義3（評分模式，RatingKernel）。RatingKernel 是一個大小為kU×kI×kT的張量，壓縮表示原評分張量上kU個用戶聚類和kI個項目聚類和kT個標簽聚類上的聚類層次上的評分模式。類比文獻［10］中的codebook，不同的是本文的評分模式基于張量核，保留更多信息，并且在模式提取和遷移方面適用范圍更廣。

理想情況下，如果user/item/tag 在同一個簇中是相同的，只需要從user/item/tag 簇中選擇一個user/item/tag 對即可構建RatingKernel。但是，在現實情況下，同一個簇中的user/item/tag 不可能完全相同。普遍的做法是選擇每個簇的聚類中心來表示該簇。這種情況下，需要同時對評分張量中的第一維（user）、第二維（item）和第三維（tag）進行聚類。對于RatingKernel 的構建，只需要保留用戶和項目的聚類編號，這種情況下就可以選擇任意的聚類算法。輔助評分張量Xaux可以分解如下:

當前用戶/項目的聚類編號表示形式，U、I和T不能表示user/item/tag 的字面意思。為了簡化，本文中使用二值數據表示U,I,T ，通過設置每行非負元素為1其余為0。這些來自輔助評分矩陣的二值user/item/tag 聚類編號記為Uaux、Iaux和Taux。

構建評分模式S 的方式如下:

算法1 提取評分模式

Input:The initial tensor Xaux? RI1×I2×I3with user，tag，and item dimensions.

kU,kIand kT:The approximate tensor X?auxleft leading eigenvectors of each dimension，respectively。

Output:S

1:Initialize core tensor S and left singular vectorsof A1,A2andA3，respectively。

2:repeat

3:S=Xaux×

9:return S

算法1 第3 行張量核與第4 行計算近似張量的的復雜度相同為O(I )。算法 1 第 5、6、7 行為i每次循環過程中SVD 展開，復雜度為O(I1+I2+I3) ，所以整體復雜度為O(T (2Π1Ii+I1+I2+I3) )，T 表示迭代次數，幾次迭代即可收斂。因此可以多次隨機初始化獲取更優的局部最小值。由于張量維度遠遠大于共享模式的維度，近似記為O(TIi)，取決于張量維度。

剩余的任務是選擇user/item/tag 的聚類數目kU、kI和kT。聚類數目即隱藏因子數目過多會包含冗余信息容易產生過擬合，較高的特征維度會增加計算復雜度。聚類的數目過少時，構建user/item/tag 數據不足，導致算法丟失過多有效信息。因此選擇合適的RatingKernel大小不僅需要充分壓縮以便計算也能充分表示大部分原信息，實驗部分會針對實驗場景驗證聚類數目即隱藏因子數目的影響。

3.2 評分模式遷移

在獲取評分模式S 之后，可以將評分模式從Xaux遷移到Xtgt假設輔助領域任務中的user/item/tag 類簇與目標領域任務之間存在隱含關系，Xtgt可以通過擴展評分模式重構出來，例如，通過評分模式中3 維矩陣因子作為基底組合。評分模式中，表示 Xtgt中的user/item/tag 組合行為類似Xaux中 user/item/tag 類簇原型。

Xtgt的重構過程就是將RatingKernel 擴展，因為這樣可以減少觀察評分Xtgt與重構評分張量之間在損失函數上（本文使用的平方損失函數）的差異。這里，我們應用大小等同于Xtgt的二值權重矩陣W 來遮蓋未觀察到的元素，當[ ]Xtgtijk已評分Wijk=1，否則Wijk=0 。最后，目標函數中只包括Xtgt中觀察到的元素的平方差。

類比 MF（Matrix Factorization）方法，定義損失函數如下:

直接最小化損失函數會導致過擬合，因此考慮目標函數中添加正則項，對于給定的矩陣因子Utgt,Itgt,Ttgt的F范數正則項表示如下:

添加正則項后的目標函數為

算法2 遷移評分模式

Input Xtgt? Rp×q×r, kU,kI,kT,S

對于目標函數的優化，為了面對不斷增長的數據集時能盡快收斂使用隨機梯度下降（SGD）進行優化。

算法2 中第5 行求解近似張量復雜度近似為O( )

pqr ，第6、7、8 行使用的是隨機梯度下降方法，每遍歷一個元素更新一次復雜度為O( )pkU+qkI+rkT，所以可以在一次元素遍歷的過程中完成。 因此總體的計算復雜度O( )pqr(pqr+pkU+qkI+rkT) ，因為算法一次遍歷即可完成，所以多次實驗取均值。

目標函數的值表示的是目標領域和輔助領域相關性。值越小，兩者的評分模式越相關。相比較而言，較大的值以為弱相關性導致了負遷移。獲取填補空缺值后的推薦函數利用填補空缺值后的評分張量進行推薦。

對于目標函數的優化，為了面對不斷增長的數據集時能盡快收斂使用隨機梯度下降（SGD）進行優化。

算法2 中第5 行求解近似張量復雜度近似為O(p qr )，第6、7、8 行使用的是隨機梯度下降方法，每遍歷一個元素更新一次復雜度為O(p kU+qkI+rkT)，所以可以在一次元素遍歷的過程中完成。 因此總體的計算復雜度O(p qr(pqr+pkU+qkI+rkT)) ，因為算法一次遍歷即可完成，所以多次實驗取均值。

目標函數的值表示的是目標領域和輔助領域相關性。值越小，兩者的評分模式越相關。相比較而言，較大的值意味著弱相關性導致了負遷移。獲取填補空缺值后的推薦函數利用填補空缺值后的評分張量進行推薦。

4 實驗

為了驗證本文所提出的張量分解評分模式遷移模型的高效性，將進行一組大范圍實驗，驗證在三個數據集上的表現，同時與幾個先進的推薦方法進行比較。本實驗擬從MAE（Mean Absolute Error，平均絕對誤差）作為衡量標準來評估算法的性能。我們利用Matlab語言實現了本文算法，實驗使用的是實驗室集群環境如表3所示。

表3 集群實驗環境

4.1 數據集

我們基于下面三個公用的真實數據集進行試驗評估:MovieLens 數據集，含有 270，000 個用戶、45，000 部電影和超過26，000，000 個評分數據（取值范圍 1～5 分），750，000 個標簽；EachMovie 數據集，含有 72916 個用戶、1628 部電影和超過 2，811，983 個評分數據（取值范圍1～6 分，本文將其映射到 1～5 分）；Book-Crossing 數據集，含有 278858 個用戶、271379 本書和 1，149，780 個評分數據（取值范圍0～9分，本文將其映射到1～5分）。實驗中將上述數據集中70%的用戶及其評分作為訓練數據樣本，剩余部分作為測試樣本。針對跨領域實驗，設定 EachMovie 作為源領域，MovieLens 與Book-Crossing作為目標領域的測試環境，驗證跨領域推薦算法，在每個測試環境下重復實驗10 次并計算其平均值作為實驗結果。

本文選擇了其他3 中相關算法與本文算法進行比較:

UPCC 算法，通過皮爾森相關系數對相似的用戶進行推薦；

RMGM（rating-matrix generative model，評分矩陣生成模型）算法，作為當前跨領域推薦的最好算法來測試跨領域的推薦性能。

CBT（codebook transfer，密碼本遷移模型）算法，一種先進的跨領域協同過濾模型，假設領域間完全共享一個評分模式，并利用聚類層次的密碼本描述共享的評分模式，然后基于密碼本進行跨領域的信息遷移。

TKT（Tensor kernel transfer，張量模式遷移）本文提出的方法，利用聚類層次的張量核作為共享模式進行跨領域遷移。

所有的實驗測試均采用MAE（mean absolute error，平均絕對誤差）作為衡量標準，MAE 的值越小，算法的性能越好。MAE的計算方式如下:

4.2 實驗結果

本文通過實驗對比驗證本文算法在跨領域推薦中的效果。隨機從每個數據集中選取300 個用戶和評分作為訓練集（ML300 表示從MovieLens 數據集中取300，BC300表示從Book-Crossing取300），再選200 個作為測試集。對于每個測試用戶，初始化時考慮不同的評分數量，比如5、10、15 個評分記為（Given5、Given10、Given15），其他的評分用來評估。參考RMGM，CBT 等實驗隱藏因子空間（即聚類數目）的設置為50，在本文中為了簡化實驗過程，實驗中聚類后隱藏因子空間設置相同，R=kU=kI=kT=50。后面將進行實驗分析R的取值。

表4 10次實驗不同目標領域的MAE平均值

通過表4 結果可以看出，本文的方法效果在所有目標數據測試集上效果好于其他對比的方法。由CBT，RMGM 效果優于UPCC 可見，跨領域知識遷移可以提高推薦準確率，RMGM、CBT 提取不同領域中二維矩陣評分模式分別進行整合與遷移推薦。TKT 充分利用標簽信息和用戶項目的三元關系，從源領域學習到的模式在目標領域上進行學習，使其適應目標領域的一些特殊性。從試驗結果可知，通過增加共享模式的隱藏因子維度可以提高推薦準確率，緩解目標領域稀疏性等問題。

R 的取值不同對算法影響不同。本文針對不同的隱藏特征空間選取進行了試驗結果如圖7。

圖6 隱藏因子數目對MAE的影響

圖7 超參數λ 對MAE影響

從圖7 可以看出，推薦結果的平均絕對誤差MAE 隨著隱藏因子數目先減少后增加，在因子數在50 左右達到最優效果，后面隨著因子數目增多，MAE 上升可能原因是產生了過擬合導致推薦效果下降。

λ 的取值，反映了目標領域的特殊性，選取合適的λ 避免過擬合或者欠擬合。圖7 是以Eachmovie 為源領域 MovieLens 為目標領域，R=50，選取Given10的實驗結果。從圖中可以看出較λ 越大則弱化了源領域的模式，λ 越小便會產生較大的誤差，在此實驗設定中，λ 取15 可以取得良好的實驗結果。

5 結語

在本文中，我們提出了一種新穎的跨領域協同過濾方法，通過共享張量的評分模式進行推薦系統，可以從輔助評分張量中傳遞有用的知識，以補充其他一些評分稀疏的目標域。知識以評分模式的形式轉移，評分模式則是通過從輔助領域中學習聚類后的用戶評分模式壓縮為信息豐富且緊湊的表示。因此，可以通過擴展評分模式來重構稀疏目標領域。實驗結果表明，評分模式遷移可以明顯優于許多最先進的方法。這可以證實，在協同過濾中，確實可以從其他域中的輔助領域獲得額外的有用信息來幫助目標領域。

在未來的工作中可以使用多種優化技術優化聚類過程和張量分解的過程。可以嘗試使用不同的相似性度量方法來提高推薦結果。