基于神經網絡嵌入和動態社交的新聞推薦算法

2021-07-16 08:02:58萬梅曹琳

計算機應用與軟件 2021年7期

萬梅曹琳

1(廣州工商學院計算科學與工程系廣東廣州 510850) 2(南方醫科大學基礎醫學院廣東廣州 510515)

0 引言

隨著移動互聯網的普及，人們在許多平臺均成為了社交網絡的一個成員，并且許多人在多個不同類型的平臺均建立了社交關系[1]。目前含有社交網絡的應用平臺包括網易云音樂、淘寶網、豆瓣電影和抖音短視頻等[2]。近期網紅經濟的發展也十分迅速，一部分流量明星和網紅擁有巨大的“帶貨”能力，對潛在消費者的購買決定具有極大的影響力。人們在社交網絡上所表現出的社群特點和興趣聚合特點，促使專家學者研究利用社交網絡提高推薦系統的效果，最終最大化商品的銷售量以及服務的滿意度[3]。

國內外的專家學者已經提出了諸多社交網絡和推薦系統結合的成功方案。文獻[4]提出了企業間供應關系和推薦系統的結合方法，通過分析企業間的聯系促進推薦系統的推薦多樣性。文獻[5]首先提取用戶的社交檔案和社區標簽，再結合新聞的語義空間向量預測相似用戶的偏好，該算法在新聞推薦問題上取得了較好的推薦準確率。文獻[6]圍繞社交推薦的特點，設計實現了一種社交網絡評分預測方法，解決了評分預測中用戶評分主觀性及評分數據稀疏帶來的預測不準確問題。文獻[7]將傳統聚類方法與蛋白質網絡的新特性相結合，提出了一種競爭-抑制節點模型，該模型通過數據預處理和特征值競爭抑制機制較好地完成數據過濾，從而提高數據處理效率并提升最終推薦結果的精度。文獻[4-7]均基于社交網絡的靜態拓撲結構，并未考慮社交網絡動態演化對用戶偏好的影響。然而，社交網絡上的信息來源日益增多，且傳播速度極快，因此需要對社交網絡信息進行實時地動態分析，才能最大化社交網絡信息的價值。

考慮社交網絡動態演化對用戶偏好的影響，提出一種基于神經網絡嵌入和動態社交網絡拓撲結構的新聞推薦系統。首先使用神經網絡嵌入學習方法來學習用戶的時域行為特征，使用無監督的圖上隨機游走方法學習社交網絡拓撲的結構信息，利用插值法將兩個嵌入向量融合成一個用戶表示向量。然后，利用核映射方法將用戶表示向量映射至低維空間，從而提高相似性計算的效率。基于新浪微博數據完成了新聞推薦實驗，結果表明引入用戶時域的行為信息能夠增強推薦系統的性能，并且采用神經網絡嵌入學習的效果好于傳統基于概率的表示方法。

1 問題模型

本文的第一個目標是將社交網絡的用戶分成不重疊的社群，同一個社群內的用戶應當對相似的項目內容(電影、商品、新聞等)表現出相似的時域行為，并且用戶間存在密集的社交連接。

問題模型可描述為：給定一個用戶集U，問題目標是將U分成不重疊的子集，每個用戶u∈U屬于唯一的子集。將社群分組結果表示為P={C:C?U,|C|>1}，其中?Ci,Cj≠i∈P:Ci∩Cj=?。本文的目標是識別出目標P，P的每個成員Ci對目標項目的時域行為相似。

2 方法設計

本文通過三個階段尋找目標P：(1) 基于時域行為的社交網絡表示學習；(2) 神經網絡嵌入；(3) 檢測目標社群。

用戶時域行為設為D=(U,M,T)，其中U為用戶集，M為用戶產生的內容，例如：商品評價、評分等，T為一個時間段。將社交網絡的拓撲結構建模為有向圖，記為Γ=(Y,A)，其節點為Y中的用戶，邊為每對用戶的社交關系，如：(u,v)∈A表示u“關注”v的關系。

從兩個信息源建立用戶表示：(1) 基于時域社交行為D=(U,M,T)的時域信息嵌入;(2) 基于社交網絡拓撲結構Γ=(Y,A)的社交連接嵌入。首先，從用戶的時域行為學習用戶的向量表示WD，時域行為相似的用戶在向量空間應當更加靠近。提出一種嵌入學習方法，通過最大化兩個用戶間相似性，保證兩個用戶在向量空間內靠近。然后，從社交網絡的鄰居節點學習用戶的網絡拓撲表示WG，采用無監督的圖上隨機游走[8]方法學習拓撲結構，學習的向量空間幾何關系反映了原社交網絡的拓撲結構。從時域社交行為和社交網絡拓撲結構所學習的向量表示之間彼此獨立，然后將這兩個單模表示通過線性插值結合成一個多模表示。

2.1 基于時域行為的嵌入學習

將用戶時域行為表示為三元組格式D=(U,M,T)，其中U為用戶集，M為U產生的內容，T為一個時間段。從M中檢測出時間段T內的偏好項目集Z，將用戶u∈U在時間段1≤t≤T內對項目z∈Z的偏好表示為一個時間序列，記為Xuz=[xuz,1,xuz,2,…,xuz,T]，其中xuz,t∈P表示用戶u在時間t對項目z的偏好。將所有用戶的項目偏好時間序列組成一個三維結構，記為Ξ={xuz,t:u∈U,z∈Z, 1≤t≤T}。

圖1給出了3個用戶對于5個項目的興趣度演化實例圖，圖中用戶2和用戶1在第1～10天對項目4表現出相似的時域行為，用戶2和用戶3在第5～7天對項目3表現出相似的時域行為。

圖1 3個用戶對于5個項目的興趣度演化實例

本文的多元時間序列能夠準確捕捉用戶對指定項目的興趣演化過程。該方法包含兩個步驟：(1) 使用LDA[9]搜索時間段T內的項目集Z；(2) 使用文獻[10]的偏好模型計算每個用戶在時間t對項目z∈Z的偏好，記為xuz,t。具體處理方法為：將指定用戶發布的所有評價收集到一個文檔中，所有用戶的評價集合組成文檔語料庫。采用LDA主題模型技術處理該語料庫，獲得一個主題集Z。在本文的推薦系統中，LDA模型的主題對應推薦系統的項目，主題z∈Z是一個多項式分布，描述了每個項對主題z的貢獻程度。

1) 時域行為模型。為了學習所有用戶的神經嵌入表示，每個用戶需要被定義在其他用戶的上下文。首先將評分、評價內容以及時域行為上相似的用戶作為一對用戶，然后通過嵌入方法維持每對用戶的相似性信息，使兩個偏好相似的用戶在向量空間內靠近。

根據兩個用戶之間的同質性和偏好相似區域的數量定義嵌入學習的目標函數，目標函數將偏好相似區域多的用戶分入一個社群，將偏好相似區域少的用戶分為不同的社群。將兩個用戶間的偏好相似區域作為神經嵌入學習的上下文。

定義1偏好相似區域。將偏好時間序列X的子空間R定義為偏好相似區域，需滿足以下兩個條件：(1) 子空間內的每個值具有相等的同質性；(2) 不存在其他的相似區域R′，使R?R′，即R為最大化的相似區域。將滿足條件的子空間R記為P。

搜索偏好相似區域P的步驟為如下：(1) 搜索用戶在時間t的偏好項目，獲得一個二維的向量Pt, 1≤t≤T;(2) 合并所有時間t的向量，產生最終的P。

2) 基于時域行為的嵌入學習。將嵌入學習問題建模為基于用戶上下文的相似用戶最大似然問題，將與目標用戶偏好相似區域Ρ相似的用戶集作為目標用戶的上下文。因此，兩個用戶在彼此上下文出現次數越多，那么他們之間相似度越高。采用連續詞袋模型(CBOW)[11]對用戶進行嵌入學習。

定義2基于時間行為的嵌入學習。假設偏好相似區域的集合為P，嵌入函數f:Y→Pd將每個用戶u∈Y映射到一個d維空間[0,1]d，其中d<<|Y|。映射的目標是優化以下表達式：

(1)

為了簡化分析，假設用戶在偏好相似區域內是條件獨立的，可得以下關系：

(2)

采用圖2所示的網絡結構對用戶進行嵌入學習。

圖2 嵌入學習用戶表示的網絡結構

相似偏好區域的計算式為：

R={u,v,…}×{zi,zj,…}×{i,j,…}

(3)

式中：R為相似偏好區域；u為目標用戶；v表示用戶上下文；z表示項目；i和j為項目編號。

(4)

結合式(2)和式(3)可將式(1)簡化為：

(5)

(6)

使用反向傳播和梯度下降法訓練神經網絡。訓練達到收斂之后獲得一對偏好相似的用戶，設為u,v∈U，這兩個用戶的嵌入向量表示Vu和Vv在時域空間D=(U,M,T)內相似。

2.2 基于社交網絡拓撲的嵌入學習

設社交網絡的拓撲結構為Γ=(Y,A)，其中Y為用戶集，A為用戶間的連接集，通過嵌入學習獲得用戶在社交網絡中的局部結構表示。

(1) 鄰居上下文模型。如果兩個用戶的相似鄰居越多，那么這兩個用戶屬于同一個社區的可能性越大，因此這兩個用戶在嵌入空間內也應當靠近。實際社交網絡的社區內存在一些等價結構，因此采用隨機游走對目標用戶的鄰居進行隨機采樣，提高搜索過程的效率。

定義3網絡鄰居。用戶u∈U的鄰居集設為Nu。從根節點u開始在網絡Γ=(Y,A)進行長度為l的隨機游走，隨機變量為[x1:l]，如果(v,w)∈A，那么根據概率分布Pr(xl=w|xl-1=v)從xl-1的鄰居中選擇一個用戶xl；否則將隨機變量置0。

采用二階隨機游走方法，其返回參數為p，進出參數為q，偏游走方法定義為：

(7)

式中：d()表示加權圖中兩個用戶間最短路徑的距離。p值越高，更傾向于探索未知區域，q值越高，更傾向于局部開發。

(2) 基于網絡拓撲的嵌入學習。獲得所有用戶的鄰居之后，通過優化相同游走用戶的條件概率，對每個用戶進行嵌入學習。

定義4基于網絡拓撲的嵌入學習。設鄰居集為N=Uu∈YNu，嵌入函數g:U→Rd將每個用戶v∈U映射到d維空間[0, 1]d，d<<|U|，對以下的目標函數進行優化：

(8)

采用圖2所示的神經網絡結構。隱藏層H的大小為d，輸入層到隱藏層的連接表示為矩陣Wg，矩陣大小為|Y|×d，每行表示一個用戶向量。輸入層I為獨熱編碼的向量，隱藏層神經元為線性映射函數；H=WTI。給定一個用戶v，H是Wg中v行的轉置向量，表示為Vv。隱藏層到輸出層的連接矩陣W′g大小為d×|Y|。通過Softmax函數近似用戶u的概率，其計算式為：

(9)

式中：V′u為u在矩陣W′g中的列。采用隨機梯度下降法和反向傳播訓練神經網絡，網絡輸出基于社交網絡拓撲的嵌入向量表示Wg。

2.3 插值處理

上文從時域社交行為D=(U,M,T)和網絡拓撲結構Γ=(Y,A)分別獲得嵌入學習表示WD和Wg，然后通過插值函數h(WD,Wg)將兩個向量融合為一個向量。本文的插值函數定義為：

h(WD,Wg)=αWD+(1+α)Wg

(10)

式中：α表示權重系數，用于控制不同向量的重要性。

3 子空間核心識別方法

基于嵌入學習的用戶表示屬于高維向量，因此需要將表示向量映射至低維空間。首先計算兩個表示向量之間的最短路徑，然后運用高斯核將向量映射到一個全局的相似性空間內。

3.1 子空間映射

使用稀疏線性編碼將嵌入向量映射到低維空間。首先，計算每對向量幾何距離Gvi，將每個用戶的距離集表示為一個向量G∈Rn×n，G=[Gv1,Gv2,…,Gvn]，其中n為節點數量。然后，運用以下的高斯核函數將映射距離向量，其結果作為相似性評分：

(11)

式中：σs為衰減率;⊙為一個點積運算。假設每個社群的內部連接密集，外部連接稀疏，所以社群內的最短路徑數量應當少于不同社群內的最短路徑。假設節點vi和其他節點的相似性為：

(12)

式中：αi=[αi(1),αi(2),…,αi(n)]為相似性系數向量，αi(j)是節點vi到節點vj的相似性;sj為式(11)計算的相似性向量。

然后使用l1正則項的稀疏線性分解尋找最優的相似性系數向量，其目標函數為：

(13)

(14)

式中：D為線性系數的低維映射結果。

3.2 識別社群核心

假設局部高密度區域的中心是每個區域的核心。首先，計算每個節點的全局影響值，然后，基于影響值識別社群的意見領袖。節點vi的影響值計算式為：

(15)

式中：di為D的第i行。式(15)同時考慮了網絡的密度和幾何距離，從時域和網絡拓撲兩個上下文識別局部的核心。將子空間內影響值最大的節點作為候選核心，節點vi的子空間定義為：

sub(vi)={vj|?j=1，2，…，n,j≠i,D(i,j)>β}

(16)

式中：β定義了每個節點的影響范圍。

算法1所示是子空間核心的識別算法，每個核心均為該子空間內影響值最高的節點。然后利用每個子空間的核心進行協同過濾推薦處理。

算法1子空間核心的識別算法

輸入：β,D,S。

輸出：子空間核心cc。

1.Pt= 計算節點的全局影響值;

//式(15)

2.cc= NULL;

//初始化cc變量

3.for eachifrom 1 toN

4.subspace(vi)=vi的節點；

//式(16)

5. for each 節點vjinsubspace(vi)

6.tag=TRUE;

7. ifinfluence(vj)>influence(vi) then

//影響力比較

8.tag=FALSE;

9. end if

10. if (tag== TRUE) then

11.cc=cc∪{vi};

12. end if

13.end for

4 實驗與結果分析

4.1 實驗準備

1) 實驗數據集采集。利用公開的新浪微博數據集MicroblogPCU(下載網址：archive.ics.uci.edu/ml/datasets/microblogPCU)采集實驗的數據集，原MicroblogPCU的目標是探索微博中的spammers(發送垃圾信息的人)，對該程序進行修改，忽略MicroblogPCU程序中數據集屬性列表(weibo_user.csv)的屬性“is_spammer”，利用關鍵詞搜索屬性“topic”相同的用戶列表，采集本文實驗所需的benchmark數據集。

Benchmark數據集的采集方法為：利用LDA算法[9]搜索用戶的偏好項目，將LDA算法的偏好項目數量設為30。為每個用戶計算每日的項目偏好時間序列，過濾其中值始終小于0.1的用戶。最終的Benchmark數據集共包含140 000個用戶在2019.7.20—2019.8.20期間發布的3 000 000條微博。每條微博的信息包括微博內容、用戶ID和發布時間。圖3提取了三個微博用戶對國產動畫電影《哪吒之魔童降世》的熱度變化情況。

圖3 三個用戶對項目的興趣變化曲線

2) 模型建立和參數設置。在時域行為的嵌入學習中，訓練神經網絡的學習率設為0.025，每個epoch衰減為0.002，共設200個epoch。訓練的窗口大小為2，設置三個向量大小：d={100,200,300}。

在社交網絡拓撲的嵌入學習中，因為圖卷積網絡(Graph Convolutional Networks, GCN)具有較低的時間復雜度O(|A|)，并且能夠處理冷啟動的用戶，所以選擇GCN作為嵌入學習的神經網絡。每個節點完成5個長度分別為40和80的隨機游走，訓練的窗口大小為5。學習率和epoch數量分別為0.002和200，隨機游走的參數p和q均設為缺省值1。

插值嵌入程序的參數α設為0.1,0.2,…,1。通過試錯實驗決定子空間核心識別程序的β參數，發現β<0.3的性能差于β≥0.3，并且β≥0.3時性能差異較小，因此將子空間核心識別程序的參數β設為0.3。

3) 對比方法選擇。本文算法的特點包括：① 引入用戶時域行為增強推薦系統的性能；② 通過神經網絡嵌入學習用戶的表示。為了驗證上述兩點的有效性，選擇了以下的對比方法。

(1) 基于社交網絡拓撲結構的推薦系統[14]。該方法不包含對用戶時域行為的分析和利用，將其簡記為LDA。該方法可驗證第①個特點的有效性。

(2) 基于多元時間序列的推薦系統[15]。該方法利用概率模型將用戶的時域行為建模為多元時間序列，將其簡記為TLUCI。該方法可驗證第②個特點的有效性。

(3) 基于用戶時域演化和社交網絡拓撲結構的推薦系統[16]。該方法利用概率模型建模用戶的行為歷史，將其簡記為MFG，其參數候選項目數量分別設為10、20、30。該方法可綜合驗證本文方法的有效性。

4.2 實驗方法

新聞推薦實驗的步驟為：(1) 分割每個時間t(0～32)的社群，搜索每個時間的總項目列表；(2) 通過協同過濾為每個用戶產生相應的推薦列表。

采用兩個常用指標評價新聞排列系統的推薦性能，分別為精度P-k和平均倒數排名(Mean Reciprocal Rank, MRR)[17]。P-k評估了推薦項目的準確性，MRR評估了推薦列表的排列效果。

P-k的計算式為：

(17)

式中：tu為top-k推薦列表中用戶u相關的新聞數量，P-1表示top-1列表的推薦精度，P-10表示top-10列表的推薦精度。

MRR的計算式為：

(18)

式中：ranku是用戶u第1個相關新聞內容的排列位置。

4.3 結果分析

圖4是不同推薦系統的平均推薦結果，圖中NR(News Recommendation)為本文算法的簡稱。LDA的推薦精度和MRR均較低，可看出用戶的時域信息對于推薦性能具有較大的貢獻。MFG在候選項目數量為20時獲得了較高的推薦性能，其效果好于TLUCI，但是當候選項目數量為10和30時，其性能衰減的幅度較大，因此該算法受參數影響較大。NR系統在向量長度為200時取得了最佳的推薦效果，而且向量長度為100和300時也并未出現大幅度的性能衰減。

(a) P-1精度結果

(b) P-10精度結果

隨之測試了圖上隨機游走對于NR推薦性能的影響，將游走長度l分別設為40和80，嵌入學習的向量長度設為200。圖5是不同推薦模型的性能關于插值嵌入程序參數α的變化曲線，圖中NR40和NR80分別對應l為40和80的推薦系統，NR0為僅包含時域行為(不包含社交網絡拓撲結構信息)的NR推薦系統。從結果發現隨機游走的長度越長，所提取的社交網絡拓撲信息越準確，其推薦性能越好。通過設置合適的α值，NR40和NR80的推薦性能均能夠明顯好于NR0，因此，驗證了結合時域行為信息和社交網絡拓撲結構信息的效果好于單獨采用時域行為信息的模型。