標題與正文語義融合的新聞向量表示方法

連曉穎，薛源海，劉 悅，沈華偉

1.中國科學院 計算技術研究所 數據智能系統研究中心，北京 100190

2.中國科學院大學，北京 101408

隨著信息過載問題的日益加劇[1]，Google News、MSN News、Yahoo!、今日頭條等在線新聞資訊平臺均通過推薦系統挖掘用戶興趣、擴大新聞媒體的影響力并為企業帶來盈利。為應對海量數據和實時性的挑戰，新聞推薦系統采用向量召回的方式快速篩選出新聞候選集，使得如何構建高質量的新聞、用戶向量表示成為推薦系統的核心問題[2]。

新聞的標題和正文里都蘊含著豐富的文本語義信息，這也是新聞推薦系統有別于其他音樂、時裝等推薦系統的主要特征。新聞標題往往簡明扼要，而新聞正文則蘊含著更為豐富的語義信息，能夠進一步補充標題的上下文語境。由于新聞正文在詞數上遠遠大于標題，擁有文本長度長和語義信息復雜的特點，直接對正文全篇編碼將耗時耗力。事實上，用戶總是先根據新聞標題判斷是否瀏覽正文，在看正文時也會希望看到和標題相關的補充信息。

本文將以新聞標題為查詢，從新聞正文的頭、尾、中間等各個部分獲取新聞標題的補充信息，致力于在僅使用部分正文編碼的情況下，生成語義信息更豐富、質量更優的新聞向量表示。

1 相關工作

傳統的新聞推薦方法采用協同過濾和內容過濾的方式來生成新聞和用戶的表示[3]。協同過濾方法以評分矩陣作為新聞和用戶的特征，是一種基于ID 特征的表示方法，存在著嚴重的冷啟動問題[4]。內容過濾方法則依賴于傳統自然語言處理模型，如詞頻統計模型[2]、貝葉斯模型[5]、主題模型[6]等，容易忽視詞序和上下文語義，對新聞文本語義的理解不夠充分。

隨著深度學習技術的發展，生成高質量的新聞、用戶向量表示逐漸成為新聞推薦系統的熱點研究方向。深度特征融合模型方法將人工構造的各類特征同時輸入到模型中，采用淺層網絡與深層網絡混合的方式提取出這些特征的向量表示，主要代表模型有DFM（deep fusion model）[7]、Wide&Deep[8]、DeepFM[9]。由于依賴手工構造的特征，這類方法在應用時不僅需要大量的領域知識，還忽視了新聞的文本語義信息。

因為新聞的標題和正文里都蘊含著豐富的文本語義信息，所以充分理解這些文本語義變得格外重要。雙塔模型方法向新聞塔中輸入新聞標題得到新聞的向量表示，向用戶塔中輸入用戶歷史瀏覽的新聞標題得到用戶的向量表示，最后把兩者向量做內積計算出用戶對新聞的評分。Yahoo! Japan[2]率先將雙塔模型應用在了新聞推薦領域，而后Wu 等人提出的NRMS（neural news recommendation with multi-head self-attention）模型[1]用多頭注意力機制[10]改進了新聞編碼器，使得雙塔模型結構逐漸成為新聞推薦領域的主流框架。后續的個性化注意力模型如DAN（deep attention neural network）[11]、NPA（neural news recommendation with personalized attention）[12]等也是在這一主流框架的基礎上增添了交叉特征，加強雙塔間的依賴性，但這些模型都僅注重挖掘新聞標題中蘊含的語義信息。同樣是在雙塔模型框架的基礎上，NAML模型[13]采用截取正文開頭的方式編碼新聞正文，生成了更高質量的新聞向量表示，驗證了新聞正文語義信息的重要性。但這類方法的主要不足在于忽視了正文的后文語義，容易對前文過擬合，未能充分利用新聞正文中蘊含的語義信息。

針對新聞正文語義利用不充分的問題，本文以新聞標題為查詢，從新聞正文的多個區域中聚合標題的補充信息，生成語義信息更豐富的新聞向量表示。

2 標題與正文語義融合的新聞向量表示方法

本文提出了標題與正文語義融合的新聞向量表示方法（news recommendation with title attention，NRTA），先將新聞正文分詞后，劃分為P個互不重疊、長度為L個詞的區域，然后計算新聞正文各區域與新聞標題的相關性，以此加權聚合新聞正文各區域的語義，使新聞正文的頭、尾、中間等各個部分均有機會成為新聞標題的補充信息。

本文接下來將分別從NRTA 模型結構、新聞編碼器、用戶編碼器以及模型訓練方法四方面進行詳細闡述。

2.1 NRTA模型結構

NRTA 的模型結構如圖1 所示，沿用了NAML 模型的雙塔結構，由新聞塔和用戶塔組成，主要改動在于新聞塔的正文編碼器和文本編碼器。

圖1 NRTA模型結構示意圖Fig.1 Structure of NRTA model

正文編碼器以新聞標題為查詢，計算正文各區域應分配的注意力權重，加權聚合正文各區域的向量表示從而獲得新聞正文的向量表示。文本編碼器則是正文編碼器的基礎模塊，不僅用于新聞標題編碼，還用于新聞正文各區域的編碼。本文為建模跨區域的詞相關性，在Transformer文本編碼器的基礎上設計了記憶單元，以更加準確地理解正文各區域的語義信息。

用注意力池化層加權聚合新聞標題和正文的向量表示，即可得到候選新聞的最終向量表示rc；通過歷史瀏覽新聞的向量表示獲得目標用戶的向量表示ru；在NRTA 模型的輸出端依舊是將目標用戶的向量表示ru和候選新聞的向量表示rc做內積，得到目標用戶對候選新聞的評分，如式（1）所示。

2.2 新聞編碼器

2.2.1 正文編碼器

本文采用基于標題的注意力池化層聚合出新聞正文的向量表示rb，在進行正文編碼前，需要先用文本編碼器獲取新聞標題的向量表示rt。在聚合每個區域的向量表示時，各區域的注意力權重依賴于該區域向量表示與新聞標題向量表示的相關性。正文編碼器的模型結構如圖2所示。

圖2 NRTA模型正文編碼器結構示意圖Fig.2 Structure of body encoder in NRTA model

2.2.2 文本編碼器

文本編碼器不僅參與了新聞標題的編碼過程，還參與了新聞正文每一個區域文本的編碼過程，是整個NRTA 模型的基礎模塊。為了探究不同神經網絡層對NRTA模型表現的影響，本文分別采用Transformer多頭注意力機制[10]和CNN卷積層[14]設計了兩種文本編碼器，模型結構如圖3所示。

圖3 文本編碼器Fig.3 Structure of text encoder

圖3中，左側是采用了Transformer多頭注意力機制的文本編碼器，簡稱為Transformer文本編碼器；右側是采用了CNN卷積層的文本編碼器，簡稱為CNN文本編碼器。這兩種文本編碼器的編碼過程完全一致，首先輸入文本詞序列[w1,w2,…,wL]；通過詞嵌入層獲得詞向量序列；再由Transformer 的多頭注意力機制或者CNN卷積層將詞向量重新映射成隱層表示序列；最后用注意力池化層加權求和每個詞的隱層向量表示，獲得文本最終的向量表示rT。注意力池化層的公式如式（3）所示。

（1）Transformer文本編碼器

為了能更充分地理解新聞正文里每一個區域蘊含的語義信息，在Transformer文本編碼器的設計上，本文參考TransformerXL 模型[15]的思想，設計了擁有記憶單元的文本編碼器建模跨區域的詞相關性，使得文本編碼器不僅適用于新聞標題編碼，還能適用于新聞正文各區域編碼。與原先NRMS模型中使用的Transformer多頭注意力機制相比，主要區別如圖4所示。

圖4 Transformer文本編碼器跨區域詞相關性示意圖Fig.4 Diagram of cross-region word correlation of Transformer text encoder

圖4（a）展示的是原先的Transformer模型在多區域文本編碼時的詞注意力分布情況。圖中共有兩個待編碼的文本區域，在對這兩個區域編碼時，多頭注意力機制僅專注于建模各區域內部的詞相關性，沒有考慮到跨區域的詞相關性。事實上，在對正文多區域編碼的情況下，每段文本區域的語義與其前文關系密不可分，若能考慮到區域間的詞相關性則能更全面地理解該區域文本蘊含的語義信息。

圖4（b）展示的是擁有記憶單元的Transformer模型在多區域文本編碼時的詞注意力分布情況。在對區域內的文本編碼時，會將上一個區域的詞向量序列同時輸入到Transformer多頭注意力機制中，從而使得區域不僅能關注到區域內的詞相關性，還能建模與上一區域內的詞的相關性，具體計算公式如式（4）所示。

上述是根據圖中描繪的情況介紹的擁有一個記憶單元的Transformer 模型，因為只輸入了待編碼區域的前一個區域的詞向量序列。可以很容易地把上述方法推廣到擁有C個記憶單元的Transformer 模型的情況，只需要把前C個區域的詞向量序列和待編碼區域詞向量序列在序列長度的維度上拼接起來，作為Transformer多頭注意力機制的Key和Value即可。這樣就能在內存允許的條件下，盡可能多地建模當前區域內的詞與前文區域內的詞的相關性，以此增強模型對當前區域文本的理解能力，生成語義信息更為準確的文本向量表示。

Transformer 文本編碼器在編碼新聞標題時可以看作記憶單元C=0 的情況；編碼新聞正文的每個區域時則依據參數C和前文區域數量自適應調整。

（2）CNN文本編碼器

CNN文本編碼器和NAML模型的標題編碼器結構相同，CNN卷積層的計算公式如式（5）所示。其中Fw和bw是CNN 卷積層的參數，則是由位置i-O到i+O的詞向量序列拼接而成，O是CNN 卷積核的大小。CNN卷積層采用Same-Padding的方式保證輸入序列長度和輸出序列長度一致。

2.2.3 注意力池化層

由文本編碼器和正文編碼器得到新聞標題的向量表示rt以及新聞正文的向量表示rb后，通過新聞編碼器的最后一層注意力池化層加權聚合標題和正文的向量表示，得到新聞的最終向量表示rc，具體計算公式如式（6）所示。

2.3 用戶編碼器

用戶編碼器和NRMS模型保持一致。首先，輸入目標用戶的歷史瀏覽新聞序列[n1,n2,…,nD]，通過新聞編碼器獲得每條歷史瀏覽新聞的向量表示序列，由多頭注意力機制層將歷史瀏覽新聞的隱層表示重新映射為序列，計算公式如式（7）所示。最后由注意力池化層加權求和歷史瀏覽新聞的向量表示，獲得最終的用戶向量表示ru，計算公式如式（8）所示。

2.4 模型訓練

NRTA模型在訓練時會同時輸入一個目標用戶、一條該用戶點擊過的新聞y+以及一條該用戶未點擊過的新聞y-。在輸出時將用戶向量表示和兩條候選新聞向量表示做內積，得到用戶對每條候選新聞的評分pi。最后采用softmax函數歸一化用戶對兩條候選新聞的評分，計算公式如式（9）所示。

通過上述轉換，用戶點擊率預測問題轉變成了二分類問題，因此NRTA模型在訓練時可以采用分類問題中常用的負對數似然損失函數，具體計算公式如式（10）所示。

3 實驗結果與分析

3.1 數據集

本文在MIND-Small[16]和Adressa-10 weeks[17]兩個來源于線上應用的開源新聞推薦數據集上進行實驗。其中MIND-Small是2020年微軟發布的新聞數據集，數據主要來源于MSN News，提供了劃分好的訓練集和測試集，NRMS、NAML 等論文均基于MSN News 數據集開展實驗。Adressa-10 weeks是挪威科技大學（NTNU）和Adressavisen 合作發布的新聞推薦數據集，包含三個月的日志數據，需要自行構建訓練集和測試集。兩數據集的統計信息見表1。

表1 MIND和Adressa數據集統計信息Table 1 Statistics of MIND and Adressa datasets

本文根據Adressa-10 weeks 數據集里的用戶日志構建了訓練集、驗證集和測試集。首先將Adressa-10 weeks 數據集里的event 按session 起止標記串聯起來獲得session，取前50 天的點擊日志作為訓練集用戶的瀏覽歷史；前60 天的點擊日志作為驗證集和測試集用戶的瀏覽歷史；50～60天的點擊日志作為訓練集；60～70天的點擊日志按照2∶8 的比例隨機劃分為驗證集和測試集。由于Adressa-10 week數據集提供的是用戶點擊日志，只有正樣本，本文從每個用戶用不到的那部分瀏覽歷史中采樣了等量的負樣本。

3.2 評價指標

本文采用了搜索推薦場景下常用的排序、分類評價指標，分別是AUC、MRR、nDCG和F1[2]。在MIND數據集上采用AUC、MRR、nDCG@5、nDCG@10 四項指標；在Adressa數據集上采用AUC、F1兩項指標。

3.3 基線方法

本文采用基于標題語義信息的NRMS 模型和基于正文語義信息的NAML模型兩種方法作為基準。

NRMS[1]采用多頭注意力機制生成新聞和用戶的向量表示，注重于挖掘新聞中詞與詞之間的相關性以及用戶歷史瀏覽新聞間的相關性。僅使用新聞標題信息，是新聞推薦領域的重要基線模型。

NAML[3]基于CNN 生成新聞標題和新聞正文的向量表示，在NRMS 模型的基礎上加入新聞正文信息，采用注意力機制聚合新聞標題和新聞正文的向量表示。在對新聞正文編碼時僅截取正文的開頭一段，也是新聞推薦領域中重要的基線模型。

3.4 實驗設置

本文基于Pytorch 實現上述所有模型，在Tesla k80 GPU（顯存11 GB）上進行模型的訓練和測試。為保證實驗環境的一致性，表2給出了在MIND和Adressa數據集上各模型實驗時的通用參數設置。

表2 通用參數設置Table 2 General parameter settings

3.5 實驗結果與分析

3.5.1 基線對比實驗

本文分別在MIND 和Adressa 兩個數據集上，進行了NRMS、NAML、NRTA 三個模型的多組實驗。由于NAML 原文用CNN 作為文本編碼器，而NRMS 原文用Transformer 作為文本編碼器，因此本文分別采用Transformer 和CNN 兩種文本編碼器對比NRTA 模型以及基線方法NAML 模型，選出各模型在不同指標下的幾組最優結果進行對比。設NAML模型正文開頭截取長度為W個詞，NRTA 模型選取區域個數為P=η+μ+τ，每個區域長度為L個詞，其中從正文開頭連續選取η個區域，從正文中部連續選取μ個區域，從正文末尾連續選取τ個區域，記憶單元的數量為C。表中各模型在各指標上的最高分已用粗體標出，具體結果如表3和表4所示。

表3 MIND數據集上與基線模型對比的實驗結果Table 3 Experimental results compared with baseline model on MIND dataset

表4 Adressa數據集上與基線模型對比的實驗結果Table 4 Experimental results compared with baseline model on Adressa dataset

在MIND數據集上，與用Transformer文本編碼器的NAML模型各項指標的最優值相比，NRTA模型的AUC指標高出0.86%，MRR 指標高出0.87%，nDCG@5 指標高出1.11%，nDCG@10 指標高出0.89%。若與用CNN文本編碼器的NAML 模型相比，NRTA 模型的AUC 指標高出1.65%，MRR 指標高出2.82%，nDCG@5 指標高出3.20%，nDCG@10 指標高出2.25%。NRTA 模型與NAML 模型在MIND 數據集上的各指標最優值對比如圖5所示。

圖5 NRTA與NAML在MIND數據集上的各指標最優值對比Fig.5 Comparison of optimal values of various indicators between NRTA and NAML on MIND dataset

在Adressa 數據集上，與用Transformer 文本編碼器的NAML 模型各項指標的最優值對比，NRTA 模型的AUC指標高出3.95%，F1指標高出3.75%。若與用CNN文本編碼器的NAML模型相比，NRTA模型的AUC指標高出2.18%，F1指標高出2.12%。NRTA模型與NAML模型在Adressa數據集上的各指標最優值對比如圖6所示。

從圖5 和圖6 可以看出，本文提出的NRTA 模型在MIND和Adressa兩個數據集的各個指標上都取得了最優效果。無論NRTA 模型采用CNN 文本編碼器還是Transformer 文本編碼器，其中總有一個能達到最優效果，而另一個文本編碼器在表現上則與NAML 模型的最優效果近似持平甚至略高于NAML模型的最優效果。

圖6 NRTA與NAML在Adressa數據集上的各指標最優值對比Fig.6 Comparison of optimal values of various indicators between NRTA and NAML on Adressa dataset

3.5.2 區域數量選取實驗

為了探究NRTA 模型在正文區域選取上的相關問題，本文做了區域數量選取的相關實驗。在做實驗時采用的是各數據集上NRTA模型最優表現的參數配置，固定區域長度L=50。

圖7 和圖8 分別展示了MIND 數據集和Adressa 數據集上NRTA 模型各指標隨著區域數量變化的情況。圖中橫軸是不同的區域數量，縱軸是各指標上模型得分。紅色虛線標出的是用CNN文本編碼器的NAML模型最優值，綠色虛線標出的是用Transformer 文本編碼器的NAML模型最優值。橙色折線NRTA-H代表P個區域全部從正文開頭連續選取，即η=P,μ=0,τ=0 時NRTA 模型的表現；藍色折線NRTA-HT 代表從正文開頭選取η個區域，余下P-η個區域全部從正文末尾選取時NRTA 模型的表現；紫色折線NRTA-HM 代表從正文開頭選取η個區域，余下P-η個區域全部從正文中部選取時NRTA模型的表現。其中，從正文開頭選取的區域數量0＜η≤2 約有50到100個詞，這是參照NAML模型最佳表現時開頭選取詞數設定的，在此基礎上將余下的P-η個區域從正文的中部或結尾選取，更能體現正文后文語義的價值。

圖7 MIND數據集上NRTA各指標隨區域數量變化的情況Fig.7 Change of various indicators of NRTA with different numbers of regions on MIND dataset

圖8 Adressa數據集上NRTA各指標隨區域數量變化的情況Fig.8 Change of various indicators of NRTA with different numbers of regions on Adressa dataset

從折線圖可以看出，在MIND 數據集上，NRTA-HT總能在各項指標上取得最優效果；NRTA-H和NRTA-HM的效果則有明顯下降。在Adressa 數據集上，NRTA-H和NRTA-HM 總能在各項指標上取得最優效果，NRTAHT也能明顯優于基線方法。

本文對上述現象分析如下：首先，在兩個數據集上，從正文的開頭和結尾部分選取區域都能優于基線模型方法，這進一步印證了后文語義信息的重要性。其次，在MIND 數據集上選取正文的開頭和結尾要優于選取正文的中間部分，而在Adressa 數據集上選取正文的開頭和中間要優于選取正文的結尾部分，這一現象很可能是由數據集本身造成的。其中，MIND數據集里的正負樣本來源于真實的會話場景，正負樣本新聞的相似度較高，需要更具總結性的語義特征才能增強正負樣本的區分性。直觀上理解，一篇新聞正文的開頭和結尾多是對新聞內容進行概括總結的表述，而正文的中間部分則多是敘述事情的經過，因此在MIND數據集上選取更具總結性的正文開頭和結尾部分效果要更好。相比之下，Adressa 數據集里的負樣本來源于隨機采樣，正負樣本新聞的相似度較低，從而連貫的語義表述也能具有很強的區分性，因此在Adressa 數據集上選取正文的開頭和中間部分效果也很好。最后，隨著正文區域數量變化，在兩個數據集的各指標上NRTA 模型總能取得最優效果，說明NRTA 模型對區域數量這一超參的變化足夠穩定。

總體來說，選取新聞正文的開頭和結尾部分在兩個數據集上都能使NRTA 模型取得不錯的效果，且MIND數據集里的正負樣本也要更加貼近真實的新聞推薦場景，因此在應用NRTA模型時推薦選取區域覆蓋在正文開頭的前50～100詞，以及正文結尾的100～200詞。

3.5.3 區域長度實驗

在確定了如何選取區域數量與區域位置之后，區域長度又會對NRTA 模型的表現帶來怎樣的影響呢?對此，本文對比了不同區域長度下NRTA 模型的表現，在對比時依舊采用NRTA 模型的最優參數配置和最優區域選取方法。

圖9和圖10分別展示了MIND數據集和Adressa數據集上NRTA 模型各指標隨著區域長度變化的情況。圖中橫軸是不同的區域長度，縱軸是各指標上模型得分。紅色虛線標出的是用CNN文本編碼器的NAML模型最優值，綠色虛線標出的是用Transformer 文本編碼器的NAML模型最優值。

圖9 MIND數據集上NRTA各指標隨區域長度變化的情況Fig.9 Change of various indicators of NRTA with different region sizes on MIND dataset

圖10 Adressa數據集上NRTA各指標隨區域長度變化的情況Fig.10 Change of various indicators of NRTA with different region sizes on Adressa dataset

從柱狀圖可以看出，當NRTA模型采用最優的區域選取方法時，在兩個數據集的各個指標上區域長度無論是20 詞、50 詞還是100 詞均能明顯優于基線方法。其中，區域長度為50 詞時在兩個數據集上的效果都是最優的，因此在應用NRTA模型時推薦正文區域長度在50詞左右。

4 總結與展望

本文針對新聞正文文本長度大、語義信息復雜的問題提出了NRTA模型，從新聞正文的多個區域里挖掘新聞標題的補充信息，關注正文前文語義的同時也關注后文語義，進一步豐富了新聞向量表示。在MIND和Adressa兩個新聞推薦領域的開源數據集上開展實驗，通過基線對比實驗驗證了本文方法的有效性；通過區域數量選取實驗和區域長度實驗給出了NRTA模型的應用建議，充分檢驗了本文方法的實用性。

隨著研究工作的深入，仍有一些問題有待解決。新聞正文的多個區域之間在語義上是互相關聯的，要充分理解一個區域的語義信息只看前文是遠遠不夠的，如何更好地建模正文多區域之間的相關性，更準確地理解每個區域的語義信息，對充分理解新聞語義非常重要，將針對這一問題做進一步研究。