結(jié)合主題和位置信息的兩階段文本摘要模型

任淑霞， 張 靖， 趙宗現(xiàn)， 饒冬章

（1 天津工業(yè)大學(xué)軟件學(xué)院， 天津 300387； 2 天津工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 天津 300387）

0 引 言

文本摘要生成是從輸入文檔中有效地壓縮和提取信息，同時(shí)保留其關(guān)鍵內(nèi)容的過程。 典型的摘要生成方法包括抽取式和生成式。 抽取式摘要技術(shù)通過在原文中選擇一個(gè)句子子集來生成摘要，方法簡單且內(nèi)容與語法更準(zhǔn)確，但存在著內(nèi)容冗余、語義不一致以及信息缺失等問題；生成式摘要通過使用自然語言生成（NLP）方法產(chǎn)生具有理解力的新詞或短語生成摘要，可以更好的理解文檔，生成更符合人類所能理解的摘要。

Rush 等［1］受到神經(jīng)機(jī)器翻譯成功的啟發(fā)，在2015 年首次將seq2seq 和注意力機(jī)制結(jié)合起來應(yīng)用于文本摘要任務(wù)中；Chopra 等［2］提出模型編碼器，同樣使用卷積模型構(gòu)造，但添加了輸入單詞的位置信息，而解碼器則基于循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)造。 以上方法相比于傳統(tǒng)的方法，效果有了極大的提升，但仍存在著未登錄詞（Out-Of Vocabulary，OOV）、生成重復(fù)以及長程依賴的問題。 2017 年，See 等［3］提出了一種帶有覆蓋的混合指針生成器架構(gòu)（PTGEN）。 首先使用混合指針生成器網(wǎng)絡(luò)，通過指向從源文檔復(fù)制單詞，有助于信息的準(zhǔn)確再現(xiàn)，緩解OOV 問題，同時(shí)保留通過生成器生成新單詞的能力；其次，使用一個(gè)覆蓋機(jī)制來跟蹤總結(jié)的內(nèi)容，從而避免生成重復(fù)問題。 同年，Paulus 等［4］提出了一種用于生成式摘要的深度強(qiáng)化模型（DRM），該模型是對(duì)PTGEN 的改進(jìn)，通過一個(gè)內(nèi)注意力機(jī)制和一個(gè)新的學(xué)習(xí)目標(biāo)來進(jìn)一步解決生成重復(fù)的問題；2018 年，Narayan等［5］為了解決長程依賴問題，提出了一個(gè)完全基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的主題條件神經(jīng)模型，與循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）相比，CNN 能夠捕獲文檔中的長距離依賴關(guān)系并識(shí)別相關(guān)內(nèi)容。

隨著預(yù)訓(xùn)練語言模型在NLP 領(lǐng)域的快速發(fā)展，其在文本摘要任務(wù)中的應(yīng)用也有極大的進(jìn)展。 Liu 等［6］在2019 年提出了一種新的基于BERT 的文檔級(jí)編碼器（BERTSUM），該編碼器能夠?qū)ξ臋n進(jìn)行編碼，并獲得其句子的表示，同時(shí)提出了一種通用的抽取式摘要和生成式摘要框架，性能有了極大的提升。 然而，其模型編碼器只嵌入了句子的相對(duì)位置信息，而沒有嵌入絕對(duì)位置信息，對(duì)抽取摘要的結(jié)果造成影響。 除此之外，BERTSUM 模型更善于探索局部標(biāo)記之間的關(guān)系，而對(duì)于更高層次（如句子、主題）的語義理解并不充分。 近年來，預(yù)訓(xùn)練模型在文本摘要領(lǐng)域的發(fā)展主要在提升缺少標(biāo)簽數(shù)據(jù)情況下的模型性能，而對(duì)于如何解決預(yù)訓(xùn)練框架中的全局語義問題并沒有過多的研究。

為了進(jìn)一步提升文本摘要生成的性能，本文采用了抽取-生成兩階段混合式摘要生成方法。 首先，對(duì)源文檔的重要信息進(jìn)行選擇、合并、壓縮或刪除；其次，將提取得到的重要信息當(dāng)作新的源文檔，利用生成式摘要技術(shù)進(jìn)行摘要生成。 混合式方法結(jié)構(gòu)非常清晰，只需將抽取階段的結(jié)果當(dāng)作生成階段的輸入，而不需要從根本上改變其架構(gòu)。

本文構(gòu)建了抽取-生成兩階段的摘要框架，對(duì)抽取的句子進(jìn)行摘要生成，在兩階段間傳遞信息的同時(shí)大大減少句子冗余。 首先，在兩個(gè)階段同時(shí)引入主題嵌入形成雙主題嵌入，融合了豐富的語義特征，以捕獲更準(zhǔn)確的全局語義表示，從而提升生成摘要的質(zhì)量；其次，在抽取式階段引入句子絕對(duì)位置嵌入，將句子位置信息進(jìn)行完全整合，獲得更全面的摘要抽取輔助信息，從而提取更加重要的句子以進(jìn)行摘要生成。 實(shí)驗(yàn)結(jié)果表明，本文提出的模型在CNN／Daily Mail 數(shù)據(jù)集上取得了較好的結(jié)果。 本文還進(jìn)行了人工評(píng)估實(shí)驗(yàn)，其結(jié)果也優(yōu)于其他對(duì)比模型。

1 本文模型研究

本文模型的體系結(jié)構(gòu)如圖1 所示。 本文的模型是抽取-生成兩階段的微調(diào)模型，通過將抽取式摘要生成和生成式摘要生成技術(shù)結(jié)合起來以幫助生成更高質(zhì)量的摘要。 模型兩個(gè)階段都在編碼器中添加主題嵌入以捕獲更豐富的全局語義信息，并且在抽取式階段添加句子絕對(duì)位置嵌入來完全利用句子位置信息，提取高質(zhì)量的摘要信息。

圖1 模型的體系結(jié)構(gòu)Fig. 1 The architecture of model

模型將源文檔D表示成一個(gè)包含n個(gè)句子的文檔｛s1，s2，…，sn｝，其中si表示第i句在文檔中的文本順序。 兩個(gè)階段的編碼器都是采用類似BERT 的結(jié)構(gòu)。

首先，插入兩個(gè)特殊標(biāo)記對(duì)輸入文本進(jìn)行預(yù)處理，在每個(gè)句子的開頭插入標(biāo)記［CLS］，利用該標(biāo)記計(jì)算出的輸出來整合每個(gè)序列中的信息，在每個(gè)句子的結(jié)尾插入標(biāo)記［SEP］，作為句子邊界的指示符；其次，利用分段嵌入來區(qū)分句子，達(dá)到在不同層次學(xué)習(xí)相鄰句子特征或段落句子特征的目的。 由于Transformer 的自我注意層處于不同位置的相同單詞具有相同的輸出表示，因此需要引入位置嵌入來恢復(fù)位置信息，本文使用正弦位置嵌入來允許模型學(xué)習(xí)給定序列中標(biāo)記的相對(duì)位置。 為了全面準(zhǔn)確地表達(dá)每個(gè)序列的上下文信息，本文添加了主題嵌入。

對(duì)于每個(gè)輸入句子，本文通過4 種嵌入類型即標(biāo)記嵌入、分割嵌入、位置嵌入和主題嵌入的總和輸出，以充分表達(dá)句子的語義特征；將前面的輸出結(jié)果h0通過一個(gè)多層的雙向transformer 進(jìn)行處理，得到上下文嵌入向量，式（1）和式（2）：

其中，LN 為層歸一化操作；MHAtt 為多頭注意操作；FFN 為兩層前饋網(wǎng)絡(luò)操作；上標(biāo)l表示堆疊層的深度。

最終輸出的上下文嵌入表示為c［c1，c2，…，cn］，其中ci為第i個(gè)［CLS］標(biāo)記對(duì)應(yīng)的向量，可以被看作是第i個(gè)句子si的向量表式。

1.1 雙主題嵌入

預(yù)訓(xùn)練語言模型主要針對(duì)詞或句子級(jí)別進(jìn)行設(shè)計(jì)，因此在捕獲整個(gè)文檔的語義方面表現(xiàn)不佳。 比如，BERTSUM 模型更善于探索局部標(biāo)記之間的關(guān)系，而在更高層次，如句子、主題的語義理解方面做的并不好。 因此，本文添加主題信息嵌入來解決全局語義缺失問題，模型采用雙主題嵌入，即在抽取和生成兩個(gè)階段同時(shí)引入主題嵌入，雙主題嵌入降低了源文檔無關(guān)信息的干擾，更準(zhǔn)確的捕獲全局語義信息。 主題模型擅長捕獲文本的全局語義，本文使用潛在的狄利克雷分配（LDA）來獲得文檔和單詞的主題分布。

讓表 示 一 個(gè) 由 一 系 列 文 檔{D1，D2，…，Dm} 組成的文檔集，每個(gè)文檔D由一系列單詞 {w1，w2，…，wn} 組成。 LDA 的生成過程：

其中，α0是狄利克雷先驗(yàn)的超參數(shù)，βzn表示給定主題分配的單詞的主題分布zn。

抽取階段引入的主題嵌入T主要依賴源文檔的文檔主題分布zn和單詞主題分布wn，而在生成階段引入的主題嵌入T′主要依賴源文檔的文檔主題分布zn以及抽取后文檔單詞的主題分布。 式（3）和式（4）：

本文通過雙主題嵌入降低了文檔冗余信息的影響，更準(zhǔn)確的捕獲文檔的全局語義信息，進(jìn)一步提高了生成摘要的質(zhì)量。

1.2 絕對(duì)位置嵌入

為了捕獲文檔級(jí)特征以提取摘要，BERTSUM模型在 BERT 輸出的頂部構(gòu)建了句子間的Transformer 層，但Transformer 并沒有對(duì)其輸入句子的絕對(duì)位置信息進(jìn)行編碼，且BERT 中的位置嵌入層也不能提供文檔級(jí)的句子位置信息。 但對(duì)抽取式摘要來說，句子位置信息對(duì)于文檔重要信息的提取十分重要。 因此，本文通過句子的絕對(duì)位置嵌入來合并句子位置信息，解決了BERT 中的位置嵌入層不能在文檔級(jí)別提供句子位置信息的問題。

假設(shè)摘要生成句代表源文檔的主要內(nèi)容，抽取式摘要可以定義為源文檔中的每個(gè)句子分配標(biāo)簽yi∈｛0，1｝ 的任務(wù)，0 或1 代表著當(dāng)前句子是否作為摘要提取的句子。 抽取式階段的流程如圖2 所示。

圖2 抽取式階段流程Fig. 2 The process in extractive stage

通過編碼器編碼獲得句子向量ci后，引入句子絕對(duì)位置嵌入p［p1，p2，…，pn］，pi代表著第i個(gè)句子在文檔中的絕對(duì)位置，最后通過摘要判斷層來獲得最終的標(biāo)簽以提取摘要。 本文的摘要判斷層使用兩個(gè)句子間Transformer 層和簡單分類器的組合，即式（5）和式（6）：

其中， PosEmb（） 表示絕對(duì)位置嵌入，Transformer（） 表示句子間Transformer 層。

在Transformer 的輸出上添加一個(gè)線性全連接層，并使用一個(gè)sigmoid 函數(shù)進(jìn)行二分類，獲得預(yù)測(cè)標(biāo)簽Yi，式（7）：

其中，σ表示sigmoid 函數(shù)；表示Transformer的頂層的第i個(gè)句子si的向量；L表示二分類之前堆疊了Transformer 層數(shù)。

如果標(biāo)簽結(jié)果為0，則將該句子歸為背景知識(shí)，用于生成式階段編碼器的預(yù)訓(xùn)練任務(wù)；如果標(biāo)簽結(jié)果為1，則將該句作為抽取式階段的抽取結(jié)果，用于生成式階段的摘要生成。

本文通過句子的絕對(duì)位置嵌入來將句子位置信息進(jìn)行完全整合，解決了BERT 中的位置嵌入層不能在文檔級(jí)別提供句子位置信息的問題，獲得更全面的摘要抽取輔助信息。

1.3 抽取-生成兩階段模型

抽取-生成兩階段混合式摘要方法首先通過抽取式技術(shù)對(duì)源文檔中的重要信息進(jìn)行提取，然后將其作為新的文檔通過生成式技術(shù)進(jìn)行摘要生成。 其將兩種方法結(jié)合起來生成摘要，取長補(bǔ)短，進(jìn)一步提升模型的性能。 但傳統(tǒng)的混合式摘要方法只是簡單的將抽取式方法和生成式方法結(jié)合起來，對(duì)于輸入的源文檔內(nèi)容的利用并不是很充分。

而本文使用的抽取-生成兩階段的框架，將源文檔內(nèi)容分為兩大類，一類是抽取式階段作為摘要結(jié)果的句子，用于下一階段的摘要生成任務(wù)；另一類是其余不作為抽取摘要結(jié)果的句子，用于下一階段編碼器的預(yù)訓(xùn)練任務(wù)。 這種改進(jìn)降低生成摘要冗余的同時(shí)不丟失源文檔的其他背景知識(shí)，使得最終生成的摘要對(duì)于源文檔的概括更加全面。

本文將源文檔D通過抽取式階段得到每個(gè)句子的預(yù)測(cè)標(biāo)簽yi， 再將標(biāo)簽為1 的句子提取出來，作為一個(gè)新的源文檔D′，輸入至生成式階段。 對(duì)新的源文檔D′進(jìn)行預(yù)處理，再次通過4 種嵌入來捕獲豐富的語義特征，得到嵌入后的結(jié)果E′，其過程如式（8）：

將詞嵌入的結(jié)果通過Transformer 層得到新的上下文嵌入向量C′， 再將其傳入解碼器進(jìn)行解碼，最終輸出生成的摘要。

本文的編碼器是預(yù)處理的BERT 模型的變體，解碼器是隨機(jī)初始化的6 層Transformer。 為了避免編碼器和解碼器之間存在的不匹配問題，本文編碼器和解碼器使用兩種不同的Adam 優(yōu)化器。 兩個(gè)優(yōu)化器的β1和β2設(shè)置相同，都使用β1＝0.9 和β2＝0.999， 而warmup 和學(xué)習(xí)率則不同， 式（9） 和式（10）：

其中，和分別是每個(gè)step 的編碼器和解碼器的學(xué)習(xí)率。

因?yàn)榻?jīng)過預(yù)處理的編碼器應(yīng)該以較小的學(xué)習(xí)速率和更平滑的衰減進(jìn)行微調(diào)。 這樣，當(dāng)解碼器變得穩(wěn)定時(shí)，編碼器可以以更精確的梯度進(jìn)行訓(xùn)練。 因此本文的參數(shù)設(shè)置：編碼器的學(xué)習(xí)率為0.002，warmup 為20 000，解碼器的學(xué)習(xí)率為0.1，warmup為10 000。

本文使用抽取-生成兩階段框架，不僅降低了生成摘要的冗余，而且利用文檔的背景知識(shí)減少了摘要內(nèi)容的缺失，進(jìn)一步提升了模型的性能。

2 實(shí)驗(yàn)測(cè)試與分析

2.1 數(shù)據(jù)集

本文實(shí)驗(yàn)使用的數(shù)據(jù)集是CNN／Daily Mail，由CNN 和Daily Mail 的新聞文章和文章的簡要概述組成。 本文使用常用的標(biāo)準(zhǔn)分割方法進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試。 具體將數(shù)據(jù)集分割為90，266／1，220／1，093個(gè)CNN 文檔和196，961／12，148／10，397 個(gè)Daily Mail 文檔。 在CNN 的參考摘要中有52.90%的二元組，在Daily Mail 中有52.16%的二元組。 該數(shù)據(jù)集由于語料庫大、文本長而被廣泛應(yīng)用于自動(dòng)文本摘要任務(wù)，適用于抽取式模型和生成式模型。

2.2 實(shí)驗(yàn)設(shè)置

所有模型都在OpenNMT 的PyTorch 版本上實(shí)現(xiàn)，同時(shí)本文選擇了“BERTbase”對(duì)模型進(jìn)行微調(diào)，共有110 M 的參數(shù)。 詞匯量為30 522，詞嵌入維度為768。 對(duì)于主題的數(shù)量，本文設(shè)置為1。 當(dāng)主題數(shù)量為1 時(shí)，摘要生成的指導(dǎo)效果最好。 本文的Transformer 解碼器有768 個(gè)隱藏單元，所有前饋層的隱藏大小為2 048，模型在Tesla P100 GPU 上訓(xùn)練200 000步，每5 步進(jìn)行梯度積累，模型檢查點(diǎn)每隔5 000步在驗(yàn)證集上保存并評(píng)估。 本文根據(jù)驗(yàn)證集上的評(píng)估損失來選擇前3 個(gè)檢查點(diǎn)，并報(bào)告測(cè)試集上的平均結(jié)果。 本文使用Adam 優(yōu)化器，并以0.002和0.1 的學(xué)習(xí)率來訓(xùn)練編碼器和解碼器。 此外還對(duì)編碼器和解碼器設(shè)置了兩個(gè)Adam 優(yōu)化器，分別為β1＝0.9，β2＝0.999， 摘要的最大句子長度設(shè)置為512。 為了正則化，本文使用dropout 并將dropout 率設(shè)置為0.1。

2.3 實(shí)驗(yàn)結(jié)果及分析

本文將提出的模型與下面幾種模型進(jìn)行了比較：

（1） TransformerABS：其編碼器是有6 層的Transformer，具有768 個(gè)隱藏單元，前饋層的隱藏大小為2 048，而其解碼器與BERTSUM 模型相同。 本文將此模型作為基準(zhǔn)。

（2）PTGEN-COV：該模型通過指針直接從原始文本中復(fù)制單詞，并保留通過生成器生成新單詞的能力［5］。

（3）BERTSum：該模型使用預(yù)訓(xùn)練語言模型進(jìn)行摘要生成，是一個(gè)經(jīng)過微調(diào)的BERT 變體［6］。

（4）T-BERTSum：該模型基于BERT 強(qiáng)大的體系結(jié)構(gòu)和額外的主題嵌入信息來指導(dǎo)上下文信息的獲取［7］。

本文對(duì)于實(shí)驗(yàn)結(jié)果的評(píng)估分為兩種方式。 為了確保公平的比較，本文使用完全相同的實(shí)驗(yàn)設(shè)置來進(jìn)行對(duì)比模型的結(jié)果呈現(xiàn)。

實(shí)驗(yàn)結(jié)果的評(píng)估分為自動(dòng)評(píng)估和人工評(píng)估兩種方式。

2.3.1 自動(dòng)評(píng)估

本文 使 用 ROUGE （ Recall - Oriented Understanding for Gisting Evaluation）度量來自動(dòng)評(píng)估生成摘要的質(zhì)量。 ROUGE 是一組用于評(píng)估自動(dòng)摘要的度量標(biāo)準(zhǔn)，其將自動(dòng)生成的摘要與參考版本（通常手動(dòng)生成）之間的重疊數(shù)量進(jìn)行比較，以計(jì)算相應(yīng)的分?jǐn)?shù)［8］。 其基本思想是將模型生成的摘要與參考摘要的n元組貢獻(xiàn)統(tǒng)計(jì)量作為評(píng)判依據(jù)。 本文使用ROUGE-1 和ROUGE-2 作為評(píng)估信息量的標(biāo)準(zhǔn)，ROUGE-L 作為評(píng)估流利性的標(biāo)準(zhǔn)。 本文將每個(gè)ROUGE 評(píng)分的精確度和召回率的調(diào)和平均值（即F1 分）作為評(píng)價(jià)標(biāo)準(zhǔn)。 本文的模型和比較模型在CNN／Daily Mail 數(shù)據(jù)集上的自動(dòng)評(píng)價(jià)結(jié)果見表1。

表1 在CNN／DailyMail 數(shù)據(jù)集上的ROUGE 評(píng)分Tab. 1 ROUGE scores on the CNN／DailyMail dataset

由表1 可知基于BERT 的預(yù)訓(xùn)練模型在很大程度上優(yōu)于其他模型，這說明使用預(yù)訓(xùn)練模型對(duì)于模型的評(píng)估結(jié)果會(huì)有顯著的提升。 除此之外，本文的模型評(píng)分總體上優(yōu)于實(shí)驗(yàn)對(duì)比的其他模型，這說明本文提出的模型對(duì)于生成摘要的質(zhì)量有一定的提升。

同時(shí)，本文對(duì)模型的學(xué)習(xí)位置嵌入和主題模型兩個(gè)模塊分別進(jìn)行了消融實(shí)驗(yàn)來檢驗(yàn)是否對(duì)模型具有優(yōu)化效果。 由表1 可知，添加了學(xué)習(xí)位置嵌入模塊沒有加入主題嵌入模塊的效果好，這主要是因?yàn)閷W(xué)習(xí)位置嵌入模塊主要是對(duì)抽取式摘要的結(jié)果進(jìn)行了優(yōu)化，相比于加入主題信息提升全局語義來說效果沒有那么明顯。 但兩者相結(jié)合之后，最終結(jié)果都比兩者單獨(dú)使用效果要好。

2.3.2 人工評(píng)估

本文還通過人工判斷來評(píng)估生成的摘要。 從測(cè)試集中選取100 篇文章，對(duì)模型進(jìn)行匿名實(shí)驗(yàn)，并隨機(jī)選取3 名志愿者，將實(shí)驗(yàn)?zāi)Ｐ蜕傻恼M(jìn)行匿名評(píng)分，評(píng)分范圍從1 ～5，分?jǐn)?shù)越高，說明模型能力越強(qiáng)。

評(píng)估包括以下內(nèi)容：

（1）突出性：生成的摘要再現(xiàn)原始信息或觀點(diǎn)的能力；

（2）連貫性：生成的摘要與文章主題是否一致，即生成的內(nèi)容是否混亂；

（3）冗余性：生成的摘要中冗余詞多少。

對(duì)CNN／Daily Mail 數(shù)據(jù)集進(jìn)行人工評(píng)估的結(jié)果，見表2。 與自動(dòng)評(píng)價(jià)結(jié)果一致，本文的模型取得了較好的成績，進(jìn)一步證明本文的模型能夠很好地對(duì)原始文檔進(jìn)行建模，并準(zhǔn)確地捕獲關(guān)鍵信息。 在突出性和連貫性方面，本文模型都比其他模型分?jǐn)?shù)高。 在冗余度評(píng)價(jià)上，PTGEN-COV 與本文的模型獲得了相同的分?jǐn)?shù)。 PTGEN-COV 引入了基于指針網(wǎng)絡(luò)的復(fù)制機(jī)制，避免了重疊詞的產(chǎn)生。 而本文的模型結(jié)合了主題嵌入和絕對(duì)句子位置嵌入，更好的利用了上下文，同時(shí)抽取-生成模型相結(jié)合共享信息，減少冗余。

表2 模型人工評(píng)價(jià)的得分Tab. 2 The score of manual evaluation of model

2.3.3 其他實(shí)驗(yàn)

本文對(duì)于不同主題數(shù)量對(duì)于模型結(jié)果的影響在CNN／DM 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖3 所示。 可以看出，當(dāng)主題數(shù)量為1 時(shí)，摘要生成的效果最好；當(dāng)主題數(shù)量大于1 時(shí)，模型生成摘要效果會(huì)逐漸降低，說明過多的主題對(duì)語義的表達(dá)是多余的。

圖3 在CNN／DailyMail 數(shù)據(jù)集上不同主題數(shù)量的ROUGE 評(píng)分Fig. 3 ROUGE scores for different number of topics on the CNN／DailyMail dataset

除此之外，本文還進(jìn)行了超參數(shù)的相關(guān)實(shí)驗(yàn)，對(duì)不同編碼器和解碼器學(xué)習(xí)率組合方案下的困惑度（Perplexity）進(jìn)行評(píng)估，實(shí)驗(yàn)結(jié)果見表3，可見當(dāng)組合方案為lrE＝0.002，lrD＝0.1 時(shí)，困惑度最小，因此選取此方案為模型參數(shù)。

3 結(jié)束語

本文提出了一種結(jié)合雙主題嵌入和句子位置嵌入的抽取-生成兩階段自動(dòng)摘要生成模型。 該模型通過引入雙主題嵌入來捕獲更準(zhǔn)確的全局語義信息，并且通過在抽取階段引入句子絕對(duì)位置嵌入將句子位置信息進(jìn)行完全整合，獲得更全面的摘要抽取輔助信息。 同時(shí)兩階段框架的使用不僅降低了生成摘要的冗余，還利用文檔的背景知識(shí)減少了摘要內(nèi)容的缺失，進(jìn)一步提升了模型的性能。 實(shí)驗(yàn)結(jié)果表明，本文提出的模型在CNN／Daily Mail 數(shù)據(jù)集上取得了較好的結(jié)果。