基于深度學習的生成式文本摘要技術綜述

朱永清，趙 鵬，趙菲菲，慕曉冬，白 坤，尤軒昂

（1.火箭軍工程大學 作戰保障學院，西安 710025；2.陸軍邊海防學院，西安 710025）

0 概述

自動文本摘要技術最早應用于加拿大政府的天氣預報工作，后來被應用于金融分析、醫療數據整理、法律文本處理等多個領域進行輔助決策。在神經網絡和深度學習被廣泛使用之前，大部分摘要類實現方法都是以抽取的方式，例如文獻［1-3］利用基于圖排序的摘要方法，文獻［4］利用基于啟發式規則的摘要方法，文獻［5］利用基于有監督學習的摘要方法，文獻［6-8］利用基于神經網絡的摘要方法，文獻［9-10］利用基于次模函數的摘要方法，文獻［11-13］利用基于預訓練模型的摘要方法，等。以上方法均可以理解為序列到序列的抽取式摘要方法，即從原文中分析并提取出最重要的原文完整句子，進行簡單拼接后得到一個抽取式摘要結果。在現實中的人工條件下，摘要更多的是生成式的過程，即在閱讀一段、一篇或多篇文段后，經過腦內抽象分析得到一個抽象理解，之后結合自己的知識結構輸出為一段高度概括的內容。因此，隨著深度學習的快速發展，自動文本摘要的方法逐漸由抽取式向生成式偏移。現已有不少國內［14-15］和國外［16-18］的研究人員對目前的自動文本摘要方法進行了綜述分析，但是針對生成式自動文本摘要的文獻綜述，如文獻［19-20］，在直接將目前生成式自動文本摘要等價于基于深度學習后便不再深入分析，缺乏問題導向和足夠深入的研究，對于目前最新研究成果分析不夠充分。……