AM-BRNN:一種基于深度學習的文本摘要自動抽取模型

沈華東,彭敦陸

(上海理工大學 光電信息與計算機工程學院,上海 200093)

1 引 言

近年來,隨著互聯網技術的不斷發展以及用戶規模的爆發式增長,互聯網已經進入了“大數據”的時代.在復雜多樣的各類信息數據組成形式中,文本作為當下主流的數據存在形式,其數量呈指數級快速增長.如何從海量文本數據中獲取有用信息已經成為文本信息抽取領域一個亟待解決的問題.

文本摘要自動抽取是文本信息抽取的主要任務之一,也是自然語言處理NLP(Nature Language Process)的領域的主要研究方向,它是指利用計算機自動從文本中抽取重要信息,形成摘要的方式表達原文.理想的文本摘要能使用簡潔連貫短語,準確全面地揭示某一文本的主要內容.通過閱讀簡短的文本摘要,能讓讀者較快地了解文本的主要內容,幫助其快速判斷是否有進一步閱讀原文本的需要,以此提高讀者的閱讀效率.

自動生成文本摘要已經得到國內外學者的廣泛重視,并取得一定的研究成果.根據對信息的抽取方式的不同,可將文本自動摘要抽取技術主要分為兩大類:抽取式文本摘要生成方式和理解式文本摘要生成方式[1].前者指統計文本中各個句子的權重,根據權值進行排序選取重要的句子作為文本摘要;后者指根據文章的篇章結構、句法形式和語法來進行解析文本的中心內容,再通過自然語言的方式生成文本摘要.可見,相對理解式文本摘要生成方式而言,抽取式文本摘要生成方式是淺義上的方式,通常生成的文本文摘不夠精煉和連貫.盡管在英文文本中理解式文摘抽取方式得到的文本摘要比較精煉和連貫,但在中文上的還面臨種種問題.所以,目前針對中文文本主要還是采用抽取式文本摘要生成方式.抽取式文本摘要的核心是找到合適的計算模型,對文本中的句子重要程度進行合理評價.

隨著人工智能技術快速發展,神經網絡和深度學習已廣泛應用于自然語言處理相關應用,如機器翻譯、問答系統以及文本壓縮等都在不同程度上運用了這些知識.本文試圖將循環神經網絡RNN與注意力模型AM(Attention Model)相結合,構建基于深層學習模型的文本摘要生成計算模型——AM-BRNN,通過該模型可以較好地實現文本摘要自動抽取.

2 相關工作

針對文本摘要的自動抽取,人們已開展了大量研究,提出了各種文本摘要自動抽取技術和方法.最早在文獻[2]中,Luhn提出特征詞的概念,并認為當內容詞詞頻超過給定閾值時該詞就能代表文本主題,然后通過特征詞的詞頻和位置來計算句子的重要性.Edmundson 利用線索詞、標題詞、句子位置等多個因素,進行加權來計算句子權重,選文章最高前k個句子作為文本摘要[3].文獻[4]提出基于回歸模型的句子相似度計算,該方法側重于句子中詞語的前后位置關系影響,而忽視句子的位置、句子與標題之間的關系以及句子中關鍵實體名詞等信息.在文獻[5]中,作者將文本以看成圖結構,將句子切分為多個節點,句子與句子之間的相似度作為節點間的有向連接權重,再結合PageRank算法,提出TextRank算法來計算句子的重要程度[6].

另外,隨著機器學習、特別是神經網絡模型的興起,利用神經網絡進行文摘抽取的方法也不斷涌現.Kupiec在1995年提出一種通過樸素貝葉斯分類模型去判定文章句子是否應該抽取為摘要的方法[7].之后,在1999年Lin等假設文本摘要特征是相互關聯的,放棄使用貝葉斯模型而選擇決策樹模型來對句子進行打分,抽取得分高的句子作為摘要句子[8].文獻[9]中,作者基于線性回歸和ELM回歸(Extreme Learning Machine)有監督的機器學習方法,通過計算句子熵、相關度以及特征詞等特征來抽取文本摘要.文獻[10]利用兩層網絡結構、基于多層受限玻爾茲曼機RBM(restricted Boltzmann machine)的神經網絡來進行文本摘要句子的選擇.利用多個RBM在AE(Auto-encoder)架構構建深度學習網絡進行文章主題相關句子排名,從而獲取文摘句子.文獻[11]中,先構建句子的特征向量,再利用RBM網絡增強句子特征向量的每個維度值,以突出摘要特征句子.

本文將注意力模型AM與循環神經網絡RNN相結合通過構建深度學習模型AM-BRNN(Attention Model -Bidirectional Recurrent Neural Network)來抽取文本摘要.模型的計算思想如下:在將文本以句子為單位進行切分之后,把句子之間的相似度、句子與中心句子相關程度、句子中含有特征詞的數量、句子在文本中的位置、關鍵連詞、句子的長度和實體名詞等作為句子特征并對其數值化.然后以各個特征值作為維度,構成句子特征向量.以該方向為輸入,采用雙向循環神經網絡(Bi-directional RNN)對句子特征向量進行編碼,再以單向循環神經網絡RNN解碼中間語義向量,最后生成文本摘要.

論文余下部分的結構如下:第3節給出句子特征向量計算模型;第4節構建基于深度學習網絡模型的文本摘要抽取方法,提出AM-BRNN算法模型;第5節采用真實數據集進行實驗驗證所提算法的計算性能;第6節給出全文的結論.

3 句子向量計算模型

句子向量化是處理文本數據的重要方法.獲得能代表文檔特征的高質量詞向量對文本摘要句子的抽取有十分重大的影響.本節將論述如何構建計算高質量句子特征向量的模型.

3.1 文本預處理及特征詞選取

在進行文本摘要提取時,通常需要對文本進行一些必要的預處理.按在文中的功能,可將文本中的詞分兩類:功能詞和內容詞.功能詞主要對文本內容起修辭的作用,與文本主題關系不大;內容詞則是文本的實詞,起著反映文本主題的作用.因此,要對文本進行分詞處理,需要將文本中一些功能詞進行過濾.功能詞包括一些高頻率、卻不反映文本主題的詞,如“的”“得”“了”等.過濾掉功能之后,對分詞后的文本將用以句子為單位的方式進行合并.

算法:特征詞抽取算法

輸入:文本數據Text

輸出:特征詞特表FWT

圖1 文本特征詞抽取算法Fig.1 Algorithm of text feature′s Word

特征詞的選取通過TF-IDF(Term Frequency-Inverted Document Frequency)權值法的方式來尋找特征詞.具體的特征詞評估函數如下:

(1)

nsi是特征詞i在文檔中的個數;SFi是出現特征詞i的句子數;Ns是文檔的總句子數.根據特征詞的權重進行排序,選取前若干的特征詞作為該文檔的特征詞詞表FWT(Feature Word Table).在實際應用中,根據實驗效果進行選擇詞表的閾值.

由于中文分詞的結果會存在語義上的差異,為了減少這種差異對特征詞抽取的影響,這里利用N-gram的思想對特征詞詞表進行優化[12].假設N=2,將特征詞表的詞兩兩組合構成組合詞(wi,wj),計算組合詞s出現在文本中的頻數.若組合詞頻數F(wi,wj)2=F(wi)F(wj),則將二者組合詞(wi,wj)作為新的特征詞加入到特征詞詞表WT中,同時去除原有的特征詞wi,wj,計算過程見圖1.

3.2 句子特征向量及文本特征向量矩陣

在采用深度學習的方式進行文本摘要抽取時,句子向量化是一個重要環節.綜合文本句子摘要抽取的多種影響因素,本文選取影響效果最好的7種特征進行向量化,以構成句子特征向量.這7種特征如下:

3.2.1 句子間相似度

在TextRank算法中,認為句子與句子都是相鄰的節點,句子的相似度超過給定閾值時,就認為兩句子之間是相似的,用無向邊連接該兩個句子.跟句子連接的邊越多表明該句子的重要性就越高.這樣,本文認為一個句子與其他句子的相似度越大,那么該句子對文本的重要程度也越大.

(2)

其中,Simij指句子i和j之間的相似度;d指句子i中詞的數量;F(wij) 指共生詞的詞頻;k和b是調節因子;IDF(wij) 指共生詞與文本間的相關程度.如果兩個句子不存在共生詞,則認為二者的相似度為0.

(3)

3.2.2 句子與中心句子之間的相關程度

中心句子是包含文本信息最豐富的句子.在文本中,選擇包含最多特征詞的句子為中心句子.若文本中除中心句之外,一個句子與中心句的相似度越高則其包含文本信息也會更豐富,該句子被選取為摘要句子的概率也越高.即 Sen_Centroid_Simi=sim(seni,centroid).

3.2.3 句子中包含的特征詞數

含有一個或多個特征詞的句子對摘要抽取影響大.不含特征詞的句子,其特征權重為1;含有特征詞的句子,將其特征權重增加α1×Nf,即Sen_KeyWord=1+α1×Nf.Nf為特征詞個數,一般α1取0.5.

3.2.4 句子的位置

根據RE.Baxendale的研究表明[13],人工摘要中選取文章段落首句作為摘要的概率為85%,選段尾句作為文章摘要的比例為7%[8].基于此結論,對于首段、尾端以及每段首段句子給予更大的特征權值提升.其中,首段句子中位置越靠前的句子權重越大,末段句子越靠后權值越大.因此,

(4)

m代表句子序號;Fs代表首段包含句子數;Es代表末段句子數;Pm代表每段首句子序號;Ns是文檔中的句子總數;ε0、ε1、ε2為權值調節參數.

3.2.5 句子關鍵連詞特征

根據修辭結構理論RST,文本組織結構存在著局部關聯關系,這種關聯關系可以將文本結構分解成樹結構,樹的節點存在核與衛的關系[14].核的節點承載著文本重要的信息,節點之間關系依賴于揭示的短語.在中文文本中,連詞通常是揭示句子之間關系的重要因素.通過統計連詞在文本中出現的頻率以及連詞對應反映句子間的關系來構建連詞的詞典.由依據句子中的連詞,找到句子關系中的核,給予核句子更大權值.比如“總之”、“可知”、“一般可得”等,包含這類連詞的句子含有文本信息較多,該句子特征的權值應加大.即Sen_Conj=1+α2,α2常取0.8.

算法:文本特征矩陣抽取算法

輸入:預處理后文本數據Text′

輸出:文本特征向量矩陣Text_Matrix

圖2 文本特征矩陣抽取算法Fig.2 Algorithm of text feature′s matrix

3.2.6 句子領域實體名詞

在實際應用中,不同領域的文本信息往往生成各自獨特的格式和領域名詞.在進行文本摘要抽取時,復用文本的領域分類對提升摘要抽取質量有顯著的影響效果.對已知分類文本抽取摘要時,將統計相關領域名詞,對包含這些領域名詞的句子應加大摘要抽取權重.這里,將句子中該特征權重增加α3×Ne,即Sen_Entity=1+α3×Ne,Ne為句子中包含實體名詞的數量,α3一般取0.3.

3.2.7 句子長度

文本摘要候選句子的選取中應該考慮句子長度.一般地,句子如果太短,往往包含的文章特征太少,不具有選取的價值.根據中文的特點,句子若長度小于3字符就將其忽略,不作為文摘句子,設該特征權重值為1.超過3個詞的給予該句子特征權重為1+α4×(Nw-3),即Sen_Length=1+α4×(Nw-3),Nw為句子中詞的個數,α4一般取0.1.

上述句子特征向量的每個維度計算完成后,文本由句子特征向量組成形成2維文本特征向量矩陣.文本由句子構成即Text={s1,s2,…,sn},其中si={f1,f2,…,f7},fi表示每個維度的特征值.計算過程見圖2.

4 摘要抽取的神經網絡模型(AM-BRNN)

句子向量構成文本矩陣,下面利用文本矩陣訓練Encoder-Decoder框架下深度神經網絡模型,學習抽取出高質量的文本摘要.Encoder過程中除了考慮前面句子對當前句子的影響之外,也要考慮后面句子對當前句子的作用.結合前后句子的影響,故采用雙向循環神經網絡BiRNN編碼生成中間語義向量.Decoder 過程采用常規循環神經網絡RNN解碼生成文本摘要.

4.1 注意力模型架構EDA

Encoder-Decoder框架是文本處理領域一種研究模式,其應用場景十分廣闊,這里將其應用于文本摘要抽取.給定一篇文本X,期待Encoder-Decoder框架來生成摘要句子Y.令文本X={x1,x2,…,xm},顧名思義Encoder就是對輸入X進行編碼,將輸入X通過非線性變換轉換中間語義C,C=F(x1,x2,…,xm).對于解碼器Decoder來說,根據生成的中間語義表示C和歷史輸出y1,y2,…,yi-1只生成當前輸出.yi表示如下:

yi=g(C,y1,y2,…,yi-1)

(5)

這里,在除采用Encoder-Decoder框架外,將Attention Model引入到該框架中,給出基于注意力模型的EDA(Encoder-Decoder based Attention)框架來抽取文本摘要.單純的Encoder-Decoder 框架在生成摘要句子時所使用的中間語義C是相同的,這就意味著輸入文本所有句子x1,x2,…,xm對摘要句子的抽取影響是相同的.實際上文本每個句子包含文本信息是不同的,對文摘句子選擇的影響力也是不同的,所以在Encoder-Decoder模型引入注意力模型AM抽取摘要句子.引入注意力模型后,中間語義C={c1,c2,…,cm}.

這樣,文本抽取的摘要句子可表示如下式子:

yi=g(ci,y1,y2,…，yi-1)

(6)

4.2 BiRNN 編碼

BiRNN(Bi-directional Recurrent Neural Network)提出每一個訓練序列采用向前和向后向兩個循環神經網絡,這兩個網絡計算方法相同,方向相反.在向前的循環神經網絡中,每個句子向量的隱藏層狀態都包含了當前句子與之前句子的文本信息;在反向的循環神經網絡中,隱藏層則考慮了當前句子與后續句子的文本信息.這就保證了BiRNN進行編碼生成的中間語義時同時包含了過去與未來兩個時序上文本信息.其中,活躍單元采用LSTM(Long Short-Term Memory)方法,來解決長序列訓練時梯度消失的問題.令文檔D=(s1,s2,…,sn),隱藏層ht在t時刻的權值采用下式更新:

(7)

(8)

ht=Ot⊙tanh(Ct)

(9)

4.3 文摘句子生成

在Encoder-Decoder框架中,AM模型考慮了在Decoder過程編碼時,輸入文本信息對每個句子的解碼輸出的的不同影響.通常使用AM模型時,是將輸入序列對每個輸出不同影響進行加權作為中間變量.在計算下一個輸出時,考慮中間變量和歷史輸出的共同作用.在本文提出的AM-BRNN模型中,直接利用注意力模型AM的中間變量選擇摘要句子.

圖3 AM-BRNN 框架Fig.3 AM-BRNN framework

(10)

(11)

MLP指Encoder中BiRNN前后兩個RNN隱藏層的狀態與Decoder中RNN隱藏層的狀態合并輸入的操作,pt-1指前一個句子被抽取為摘要的概率,當為文本的首個句子時將其值設為1.

5 實 驗

5.1 數據集

為了驗證本文所提計算模型,我們在互聯網上下載各類新聞報道的文章共10000篇為實驗數據,并對收集到的文本進行預處理方便后續計算.由于網絡下載資源的雜亂性,實際能抽取摘要的文檔為8160篇.

5.2 評價指標

實驗采用內部自動評測方法來評價摘要抽取模型性能.以Precision(精確率)、Recall(召回率)、F-Score為評價指標以及Coverage(覆蓋率)對摘要抽取效果進行測評,它們的定義如下:

(12)

(13)

(14)

(15)

其中,Xm表示模型抽取的摘要句子;Yp表示人工摘要抽取句子;Cn表示滿足Xm∩Yp≥n的文檔數量;D是測試文檔集數量.

5.3 實驗結果分析

實驗1.考察AM-BRNN模型的覆蓋率

文中提出的AM-BRNN模型可調節抽取摘要句子數量的閾值.實驗中,可先假設模型抽取的前8個句子作為文本的摘要句子.人工方法抽取文本中4個中心句子作為摘要.分別對模型抽取句子包含人工抽取摘要句子的數目為至少1句、至少2句、至少3句以及包含全部人工句子4種情況進行分析.

圖4 覆蓋比率Fig.4 Ratio of coverage

圖4是實驗結果,橫軸是模型抽取摘要的句子數量,縱軸是對應的覆蓋率.該圖顯示AM-BRNN模型抽取文摘句子數為1時,其覆蓋率為0.45.若抽取句子擴大為2時,其覆蓋率增大為0.652.總體均勢,隨著抽取句子數目不斷增大,其覆蓋率也不斷上升,在句子數到達11時,人工全部被抽取.這表明,當增加模型抽取句子數量的閾值時,使用該模型能抽取出全部人工抽取的摘要句子.可得,AM-BRNN算法能夠抽取出質量較高的摘要句子.另一方面,4種不同的情況下覆蓋率均隨著句子數目增加而穩步上升,說明AM-BRNN對于大規模復雜多樣的文本亦能抽取出較好的摘要句子,具有較好的穩定性.

實驗2.考察AM-BRNN模型的性能

圖5 AM-BRNN的平均準確率和F-ScoreFig.5 Average precision、F-Score of AM-BRNN

實驗選用10折交叉驗證的方法進行驗證AM-BRNN模型的性能.將數據集的90%用于訓練,10%用于測試.選擇Precision和F-Score作為測試指標.

圖5中橫軸K表示10份不同測試數據集,縱軸表示準確率和F-Score的數值.從結果可知,AM-BRNN模型的準確率在0.75左右,F-Score在0.78左右,已經具有較好的摘要抽取結果.

實驗3.AM-BRNN模型與其他模型性能對比

為了考察文中所提出的深層學習模型AM-BRNN的性能隨計算規模的變化情況,實驗分別測試了數據集在500篇、1500篇、2500篇、3500篇、4500篇、5500篇、6500篇以及7500篇時模型的計算性能,并與TF-IDF、TextRank、ENEA進行了比較.

圖6 平均準確率對比Fig.6 Comparison of average precision

圖6、圖7給出了本組實驗結果.在數據集較小時,大約在3500篇以下,TF-IDF和TextRank模型的平均準確率、平均F-Score均優于ENEA和AM-BRNN.這是因為基于神經網絡的ENEA模型和本文提出的AM-BRRN模型在數據集較小時,模型中的神經網絡權重未達到穩定,模型性能未能達到最優.隨著數據集的增大,兩種神經網絡模型性能不斷提升,兩項評價指標均超越了TF-IDF和TextRank模型的對應指標.

圖7 平均F-Score對比Fig.7 Comparison of average F-Score

另外,盡管ENEA模型與AM-BRNN都基于深度神經網絡模型,由于詞向量表示和使用的神經網絡模型不同,使得它們在性能表現上也不相同.從圖6和圖7可以觀察出,AM-BRNN模型在不同的數據集中其平均準確率和平均F-Score均高于ENEA模型.

6 結 論

互聯網提供海量信息的同時,使得如何幫助用戶快速獲取有價值的信息成為一個亟待解決的問題.有效地生成文本摘要,對實現用房所需信息的快速查詢有一定的現實應用意義.本文結合注意力模型AM,對循環神經網絡進行擴展,構建了適用于文本摘要自動抽取的深度學習網絡模型——AM-BRNN.實驗結果表明,AM-BRNN模型處理大規模文本數據集時,具有較好的摘要抽取效果.下一步將研究如何精煉摘要抽取句子內容,使摘要簡潔和易于理解.

：

[1] Alecander M.Rush,Sumit Chopra,Jason Weston.A neural model for abstractive sentence summarization[C].Empirical Methods in Natural Language Processing,EMNLP,2015:379-389.

[2] Luhn H P.The automatic creation of literature abstracts[J]. IBM Journal of Research and Development,1958,2(2):159-165.

[3] Edmundson H P.New methods in automatic extracting[J].Journal of ACM ,1969,16(2): 264-285 .

[4] Zhang Qi,Huang Xuan-jing,Wu Li-de.A new method for calculating similarity between sentence and application in automatic text summarization[J].Journal of Chinese Information Processing,2005,19(2):93-99.

[5] Mihalcea R,Tarau E TextRank.Bringing order into texts[C].Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing,2004:404-4ll.

[6] Page L,Brin S,Motwani R,et al.The PageRank citation ranking:bringing order to the Web[R].Technical Report,Stanford Digital Libraries,1998.

[7] Kupiec J,Pedersen J,Chen F.A trainable document summarizer[C]. ACM SIGIR.New York,USA,1995:68-73.

[8] Lin C Y.Training a selection function for extraction[C]. The Eighth ACM Conference. On Information and Knowledge Management,Kansas, Missouri, USA, 1999: 55-62.

[9] Lou Wen-jun,Ma Hui-fang,He Qing,et al.Leveraging entropy and relevance for document summarization[J].Journal of Chinese Information Processing,2011,25(5):9-16.

[10] Mahmood,Yousefi-Azar,Len Hamey.Text summarization using unsupervised deep learning[C].Expert System with Application,2017,68:93-105.

[11] Shashi Pal Singh,Ajai Kumar,Abhilasha Mangal,Shikha Singhal.Billingual automatic text summarization using unsuper-vised deep learning[C].IEEE &Optimization Techiques,2016,10(1109):1195-1200.

[12] Grigori Sidorov,Francisco Velasquez,Efstathios Stamatatos,Alexander F.Gelbukh,Liliana Chanona-Hernández.Syntactic dependency-based N-grams as classification fetures[C].Advances in Computational Intelligence-11th Mexican International Conference on Artificial Intelligence,MICAI,2012,2:1-11.

[13] Baxendale P E.Machine-made index for technical literature-an experiment[J].IBM Joural of Research and Development,1958,2(4):354-361.

[14] Ahmed Ibrahim,Tarek Elghazaly.Improve the automatic summarization of arabic text depending on rhetorical structure theory[C].12th Mexican International Conference on Artificial Intelligence,MICAI,2013:223-227.

附中文參考文獻：

[4] 張 奇,黃萱菁,吳立德.一種新的句子相似度度量及其在文本自動摘要中的應用[J].中文信息學報,2005,19(2):93-99.

[9] 羅文娟,馬慧芳,何 清,等.權衡熵和相關度的自動摘要術研究[J].中文信息學報,2011,25(5):9-16.