面向招標(biāo)文件的半結(jié)構(gòu)化文本自動生成

劉金碩，劉 寧

（武漢大學(xué) 國家網(wǎng)絡(luò)安全學(xué)院 空天信息安全與可信計算教育部重點實驗室，武漢 430079）

0 概述

招標(biāo)文件一般指的是招標(biāo)工程建設(shè)的大綱，是建設(shè)單位實施工程建設(shè)的工作依據(jù)，也是向投標(biāo)單位提供參加投標(biāo)所需要的一切情況。為了做到文件內(nèi)容的規(guī)范統(tǒng)一，招標(biāo)公司通常會邀請專家參考?xì)v年的招標(biāo)文件編寫范本，然而這種方式嚴(yán)重依賴專家的行業(yè)經(jīng)驗與知識水平，自動化程度低，需要花費大量的人力與時間，無法滿足行業(yè)快速發(fā)展的需求。通過對人工編制的范本進(jìn)行分析發(fā)現(xiàn)，其本質(zhì)上是對招標(biāo)文件核心內(nèi)容的匯總。采用形式化定義：給定n個招標(biāo)文件組成的集合D={d1，d2，…，dn}，參考范本的內(nèi)容為Y={y1，y2，…，ym}，其中yi是文檔集D中的核心內(nèi)容。在自然語言處理領(lǐng)域中，自動文摘技術(shù)的目的是對海量數(shù)據(jù)進(jìn)行提煉總結(jié)，以簡潔直觀的摘要來概括原始數(shù)據(jù)［1］。

目前，文本摘要按照研究方法可分為生成式文本摘要與抽取式文本摘要［2］。生成式方法通過理解原始文本，自動生成摘要內(nèi)容。文獻(xiàn)［3］提出基于編碼器-解碼器框架的生成式文本摘要，效果得到顯著提升，成為主流方法。文獻(xiàn)［4］提出復(fù)制和覆蓋機制，改善了生成內(nèi)容重復(fù)及未登錄詞問題。文獻(xiàn)［5］建立謂詞-參數(shù)關(guān)系的語義依賴圖，指導(dǎo)摘要生成過程，以應(yīng)對語義偏差問題。文獻(xiàn)［6］提出復(fù)制結(jié)合重寫機制生成最終摘要。然而，現(xiàn)有生成式文本摘要通常依賴大規(guī)模監(jiān)督語料，無法應(yīng)對真實場景中的資源缺乏問題。抽取式方法通過主題模型、圖模型等實現(xiàn)文本摘要。文獻(xiàn)［7-8］基于主題模型思想，將文檔映射至矢量語義空間，構(gòu)建句子加權(quán)的詞頻向量，選擇排名靠前的句子組成摘要。主題模型能夠挖掘潛在語義信息，但過分依賴數(shù)據(jù)集質(zhì)量，容易發(fā)生過擬合。因此，研究人員將文本構(gòu)建為圖結(jié)構(gòu)，采用圖排序算法選擇靠前的文本語句作為摘要。文獻(xiàn)［9］提出TextRank 方法，采用PageRank［10］算法計算語句得分并排序。文獻(xiàn)［11］采用圖節(jié)點的度作為排序衡量方法。文獻(xiàn)［12］提出句子-實體二分圖表示文檔，實現(xiàn)網(wǎng)頁文本的摘要生成。TextRank［9］等方法簡單有效，但只考慮了句子之間的相似性關(guān)系，忽略了其他因素，而且生成內(nèi)容多樣性較差。文獻(xiàn)［13］將圖卷積網(wǎng)絡(luò)（Graph Convolutional Network，GCN）應(yīng)用在文檔摘要任務(wù)中，取得了不錯的效果。文獻(xiàn)［14-15］利用位置關(guān)系或聚類算法對TextRank 算法進(jìn)行改進(jìn)，但依然存在運行速度較慢，忽略了時間特征等問題。文獻(xiàn)［16］引入文檔節(jié)點、單詞節(jié)點構(gòu)建異質(zhì)圖，實現(xiàn)核心詞句的提取。文獻(xiàn)［17］基于圖卷積網(wǎng)絡(luò)與雙注意力機制實現(xiàn)醫(yī)療文本摘要生成。圖神經(jīng)網(wǎng)絡(luò)能夠捕獲上下文的長依賴關(guān)系，但現(xiàn)有方法需要將所有句子構(gòu)成的圖加載到內(nèi)存以執(zhí)行卷積操作，很難應(yīng)用于當(dāng)前的長文本場景。

綜上，基于圖模型的文本摘要方法作為抽取式文本摘要的主流方法雖然能夠提取核心內(nèi)容，但忽略了文本的主題結(jié)構(gòu)，普遍存在運行速度慢等問題，無法實現(xiàn)篇幅較長且強調(diào)時效性、結(jié)構(gòu)性以及多樣性的招標(biāo)文件范本生成。本文提出一種基于多頭圖注意力網(wǎng)絡(luò)（Graph Attention Network，GAT）［18］的半結(jié)構(gòu)化文本自動生成（Semi-structured automatic text Generation model based on Multi-head GAT，SGMG）模型。將文本內(nèi)容作為輸入，利用異質(zhì)圖對文本、段落及主題之間的語義關(guān)系進(jìn)行建模，采用多頭圖注意力網(wǎng)絡(luò)加強不同節(jié)點之間的交互，從而提取核心主題結(jié)構(gòu)。通過融合時間特征及語義相似關(guān)系的有向圖算法抽取段落中心句，降低計算成本，保證生成文本的時效性與多樣性。

1 面向招標(biāo)文件的半結(jié)構(gòu)化文本自動生成模型

基于多頭圖注意力網(wǎng)絡(luò)的半結(jié)構(gòu)化文本自動生成模型的核心思想是利用圖模型抽象文檔、段落、語句之間的關(guān)系，提取核心主題與中心語句。模型總體框架如圖1 所示，主要包括預(yù)處理層、主題抽取模塊、中心句抽取模塊、句子選擇模塊。將文本集合作為輸入，在預(yù)處理層將文本轉(zhuǎn)化為上下文編碼表示，抽取主題詞。在主題抽取模塊中，基于主題詞構(gòu)建異質(zhì)圖，運用圖注意力網(wǎng)絡(luò)對節(jié)點信息進(jìn)行傳播更新，提取核心主題與段落集合。在中心語句抽取模塊中，根據(jù)語句的時間關(guān)系及相似性構(gòu)建有向圖，抽取核心語句。在句子選擇模塊中，應(yīng)用三元詞過濾法［19］篩選中心句，得到最終的生成文檔。

圖1 模型總體框架Fig.1 Overall framework of the model

1.1 預(yù)處理層

SGMG 模型基于BERT 預(yù)訓(xùn)練模型［20］對文檔集進(jìn)行處理。BERT 預(yù)訓(xùn)練模型是多層雙向的Transformer 編碼器，通過隨機屏蔽預(yù)測以及下一句預(yù)測任務(wù)對模型進(jìn)行預(yù)訓(xùn)練，在自然語言處理領(lǐng)域的文本分類、對話系統(tǒng)等多項任務(wù)中具有優(yōu)越性能。

給定輸入文本詞序列W={w1，w2，…，wn}，經(jīng) 過BERT 模型的詞嵌入層，將文本中的n個字符轉(zhuǎn)為固定維度d的向量表示VT。本文采用的BERT 模型向量維度為768。段嵌入層的作用是區(qū)分輸入文本，本文中段嵌入向量VS都為0。經(jīng)過位置嵌入層，學(xué)習(xí)輸入文本的位置表示VP。經(jīng)過3 個嵌入層，得到BERT 的最終嵌入表示V=VT+VS+VP，V∈Rnxd。之后，將嵌入向量V送入12 層Transformer 單元，其中多頭注意力層選擇12 個頭，得到最終的編碼輸出矩陣H={h1，h2，…，hn}，hi∈R768，將第一層token 向量h1與最后一層token 向量hn按照式（1）計算得到BERT編碼向量Vo：

文獻(xiàn)［21-22］在實驗中證明直接使用BERT 模型得到的句向量在語句相似任務(wù)上的效果并不理想。受到以上工作的啟發(fā)，對編碼向量執(zhí)行如式（2）所示的白化操作得到Xw，其中T表示單個章節(jié)中句向量的總數(shù)，使句向量之間滿足各向同性，并通過前饋神經(jīng)網(wǎng)絡(luò)得到最終的向量表示XS。

平均池化能夠考慮每個詞的語義信息，最大池化能夠提取顯著特征。由于語料文本中噪聲信息密度較大，采用最大池化能夠聚焦關(guān)鍵信息，因此對句向量XS采取如式（3）、式（4）所示的最大池化操作，生成段落表示Xsec以及文檔的編碼表示Xd：

其中：n、m分別表示構(gòu)成段落、文檔的句子數(shù)量。

通過文本處理工具PyPDF 得到原始文檔集的標(biāo)題信息，由LDA 模型［23］生成段落及文檔主題，綜合兩者得到最終的待選主題集合ttheme={t1，t2，…，tk}，其中k為主題數(shù)量，通過BERT 預(yù)訓(xùn)練模型將主題詞映射為向量表示T。

1.2 主題抽取模塊

現(xiàn)有自動摘要算法解決了核心內(nèi)容提取問題，但無法提取文本的主題結(jié)構(gòu)。文獻(xiàn)［16］通過共現(xiàn)詞建立文檔與句子的關(guān)系，實現(xiàn)了核心詞的提取。受到該工作啟發(fā)，設(shè)計由主題、文檔、段落組成的異質(zhì)圖，結(jié)合多頭圖注意力網(wǎng)絡(luò)提取文檔的核心主題。

1.2.1 異質(zhì)圖模型結(jié)構(gòu)

給定文檔集D={d1，d2，…，dn}，文 檔di={ssecj}由段落ssecj組成。異質(zhì)圖包含中心節(jié)點與邊緣節(jié)點，邊緣節(jié)點之間通過中心節(jié)點建立語義連接關(guān)系。如圖2 所示，采取主題節(jié)點Vt={Vt1，Vt2，…，Vtk}作為中心節(jié)點，文檔節(jié)點Vd={Vd1，Vd2，…，Vdn}及段落節(jié)點Vsec={Vsec1，Vsec2，…，Vsecm}作為邊緣節(jié)點構(gòu)建圖G，圖節(jié)點集合V=Vt∪Vd∪Vsec。

圖2 主題抽取模塊結(jié)構(gòu)Fig.2 Structure of topic extraction module

將段落、文檔與相關(guān)的主題之間建立連接，得到圖的邊集合E={eij}，eij表示節(jié)點Vi與Vj之間存在邊。圖節(jié)點通過多頭圖注意力網(wǎng)絡(luò)層進(jìn)行消息傳播與聚合更新，并通過分類輸出層預(yù)測主題節(jié)點是否為范本中采用的真實主題。

1.2.2 圖初始化

采用段落、文檔及主題詞的上下文表示作為圖節(jié)點的初始化特征向量{hi}。Xdi初始化文檔節(jié)點Vdi，Tj初始化主題節(jié)點Vtj，Xseck初始化段落節(jié)點Vseck。計算主題詞在文檔與段落中的TF-IDF 值作為邊eij的權(quán)值。

1.2.3 圖更新

在建立異質(zhì)圖并初始化后，采用多頭圖注意力機制對節(jié)點信息進(jìn)行消息傳播與聚合更新。圖注意力層使用注意力機制聚合鄰近節(jié)點特征，如式（5）～式（7）所示：

其中：eij表示節(jié)點之間邊的權(quán)重值；Wa、Wq、Wk、Wv是待訓(xùn)練的權(quán)重向量；αij是兩個節(jié)點之間的注意力權(quán)重值。

為了進(jìn)一步提高表達(dá)能力，采用多頭自注意力機制，設(shè)置多個Wk并對結(jié)果求取均值，如式（8）所示：

其中：Ni表示節(jié)點Vi的鄰近節(jié)點集；K表示自注意層的數(shù)量。

在節(jié)點狀態(tài)聚合更新階段，主題節(jié)點首先通過圖注意力層與前饋神經(jīng)網(wǎng)絡(luò)層對文檔節(jié)點、段落節(jié)點進(jìn)行傳播更新，再由更新過后的文檔節(jié)點、段落節(jié)點對主題節(jié)點進(jìn)行反向更新。經(jīng)過L輪次迭代，得到最終的主題節(jié)點表示。

分類輸出層包括兩層前饋神經(jīng)網(wǎng)絡(luò)（Feed Forward Network，F(xiàn)FN）［24］，采用Softmax 作為激活函數(shù)，對主題節(jié)點進(jìn)行二分類，預(yù)測主題詞屬于真實主題的概率p，p∈[0，1]。在訓(xùn)練階段，采用交叉熵?fù)p失函數(shù)。

在主題抽取模塊中，異質(zhì)圖每輪次傳播與更新的計算復(fù)雜度為O（|V|+|E|），其中|V|、|E|分別表示圖中節(jié)點和邊的數(shù)量。由于采用文檔與段落級別進(jìn)行建模，因此相較于直接對句子建模的方法，降低了時空復(fù)雜度。經(jīng)過計算，最終得到k個核心主題及其相關(guān)的t個段落組成的集合P={ssec1，ssec2，…，ssect}。

1.3 中心句抽取模塊

現(xiàn)有文本摘要模型在提取核心內(nèi)容時，忽略了時間特征對語句中心性的影響，無法保證內(nèi)容的時效性。因此，設(shè)計中心句抽取模塊，如圖3 所示。融合時間特征及語句相似性對段落集合P構(gòu)建語句關(guān)系有向圖。在提取核心語句的同時，保證了內(nèi)容的時效性。

圖3 中心句抽取模塊結(jié)構(gòu)Fig.3 Structure of central sentence extraction module

節(jié)點S={S1，S2，…，Sn}表示句子節(jié)點，采用語句向量表示XS進(jìn)行初始化，邊集合E={eij}，eij表示Si指向Sj的有向邊，Si的時間信息晚于Sj。根據(jù)式（9）計算語句向量之間的相似度，作為關(guān)系圖邊eij的權(quán)重：

根據(jù)式（10）定義節(jié)點中心性的計算方法：

其中：S={S1，S2，…，Sn}表示節(jié) 點集合；time(Si)表示節(jié)點Si的時間特征信息；λ1與λ2是超參數(shù)，分別代表入邊與出邊的權(quán)重，并且滿足式（11），λ2通常小于0，表示相似句子中，越晚出現(xiàn)的句子中心性越低，目的是使模型傾向于輸出較新內(nèi)容。

中心句抽取模塊計算每個段落集合P中句子的中心性，時間復(fù)雜度為O(|S|2)，空間復(fù)雜度為O（|S|），其中|S|表示句子節(jié)點的數(shù)量。由于不同主題之間可以并行計算，因此最終的時間復(fù)雜度仍為O(|S|2)。

現(xiàn)有文本摘要方法通常選擇對文本中所有句子進(jìn)行建模［9，11-17］。與這些方法相比，本文提出的模型先對主題信息進(jìn)行粗粒度篩選，主題之間再采取并行的方式選擇中心句，降低了時空復(fù)雜度。當(dāng)數(shù)據(jù)規(guī)模較大時，利用節(jié)點中心性計算過程的獨立性，對節(jié)點采取組內(nèi)串行、組間并行的計算方式，進(jìn)一步提高模型效率。

1.4 句子選擇模塊

文獻(xiàn)［25］采用最大邊緣相關(guān)性（Maximal Marginal Relevance，MMR）算法提高推薦結(jié)果的多樣性。文獻(xiàn)［19］將MMR 算法應(yīng)用在文本摘要任務(wù)中也取得了相同的效果。受到以上工作的啟發(fā)，采用一種改進(jìn)的MMR 算法——三元詞過濾法篩選最終輸出的內(nèi)容，給定已選內(nèi)容S和候選句c，ncountmatch(gram3)表示c與S之間共有的三元詞數(shù)量，當(dāng)數(shù)量大于等于1 時，舍棄候選句c（t=0），否則將其保留（t=1），如式（12）所示：

2 實驗與結(jié)果分析

2.1 實驗語料庫

實驗語料采集自國家能源集團(tuán)2016 年至2020 年度招投標(biāo)過程中積累的招標(biāo)技術(shù)文件。文件所屬類型分為貨物類、服務(wù)類和工程類。按照文本數(shù)量以及語料質(zhì)量，選取其中120 類標(biāo)的物對應(yīng)的共計8 012 件文件作為實驗的數(shù)據(jù)集，按照8∶1∶1 的比例，劃分出訓(xùn)練集、驗證集和測試集。

原始語料文件數(shù)據(jù)清洗包括：提取文件的發(fā)布日期，清理文件內(nèi)容中頁碼等無效成分，按照文檔、段落、語句的層級整理主體內(nèi)容，提取當(dāng)前文件標(biāo)題等工作。清洗后的語料結(jié)構(gòu)如表1 所示。

表1 數(shù)據(jù)清洗后的語料結(jié)構(gòu)Table 1 Corpus structure after data cleaning

2.2 實驗評價指標(biāo)

采用ROUGE 作為評估指標(biāo)，如式（13）所示：

其中：Rd表示人工編制的參考范本；S表示人工范本中的句子；表示人工范本與生成文本共有的N元詞個數(shù)；表示人工范本中N 元詞的總數(shù)。

采用ROUGE-1、ROUGE-2 指標(biāo)對生成文本與人工范本進(jìn)行對比，采用ROUGE-L 指標(biāo)對比最長公共子序列，評價生成文本內(nèi)容的流暢性。為了驗證本文模型中主題抽取模塊的有效性，采用F1 分?jǐn)?shù)（F）對主題抽取效果進(jìn)行評價，計算公式如式（14）～式（16）所示：

其中：P表示預(yù)測精確率；R表示召回率；TTP表示預(yù)測的主題為真實主題的數(shù)據(jù)數(shù)量；FFP表示預(yù)測為非真實主題而實際為真實主題的數(shù)據(jù)數(shù)量；TTN表示預(yù)測為真實主題而實際為非真實主題的數(shù)據(jù)數(shù)量；FFN表示預(yù)測為非真實主題而實際也為非真實主題的數(shù)據(jù)數(shù)量。

2.3 實驗參數(shù)

采用base 版本的BERT 預(yù)訓(xùn)練模型，文本向量特征維度為256。為了捕捉更加豐富的語義特征，使用8 個自注意力層求取均值，圖注意力網(wǎng)絡(luò)隱藏層狀態(tài)向量維度為64。實驗過程表明，當(dāng)圖節(jié)點消息傳播及更新的迭代次數(shù)設(shè)置為2 時能夠充分進(jìn)行節(jié)點交互且避免過擬合。選擇得分前M的句子作為中心句，M采用段落集合句子數(shù)的平均值。

在訓(xùn)練過程中，采用Adam 優(yōu)化函數(shù)尋找模型最優(yōu)參數(shù)。實驗設(shè)置的批處理大小為32，學(xué)習(xí)率為5e-4，為了防止過擬合，模型在驗證集的連續(xù)10 次迭代中，如果誤差不再下降，則停止訓(xùn)練。

2.4 有效性驗證

選取TextRank［9］、LexRank［11］、PacSum［14］、Seq2Seq+Attention［27］等4 種常用的文本 摘要方法驗證SGMG模型的有效性，并與PacSum、Seq2seq+Attention 方法進(jìn)行對比以驗證SGMG 模型的先進(jìn)性。

1）TextRank［9］，基于PageRank 算法實現(xiàn)抽取式文本摘要，被廣泛應(yīng)用于文本生成任務(wù)［26］。

2）LexRank［11］，基于節(jié)點度的定義實現(xiàn)抽取 式文本摘要，常被應(yīng)用于多文檔文本生成任務(wù)。

3）PacSum［14］，重新定義了句子中心性，在無監(jiān)督文本摘要任務(wù)中取得了較好的效果。

4）Seq2Seq+Attention［27］，目前主流的生成式摘要方法，采用編碼器-解碼器結(jié)合注意力機制實現(xiàn)，實驗中采用RNN 作為神經(jīng)元。

為了比較不同輸入方式對基準(zhǔn)模型的影響，對平滑連接（Flat Concatenation，F(xiàn)C）與分層連接（Hierarchical Concatenation，HC）［28］方式進(jìn)行對比實驗，其中：平滑連接將文檔集整體拼接在一起得到D={d1；d2；…；dn}；分層連接將文檔集中每篇文檔獨立地輸入模型D=[d1，d2，…，dn]，得到的結(jié)果采用投票法進(jìn)行融合。本文提出的SGMG 模型采用多文檔同時輸入的方式。

2.5 結(jié)果分析

實驗結(jié)果如表2 所示，其中最優(yōu)指標(biāo)值用加粗字體標(biāo)示。

表2 文本摘要生成的ROUGE 值對比Table 2 Comparison of ROUGE value of text summarization generation %

由表1 可以看出：本文提出的SGMG 模型在面向招標(biāo)文本的半結(jié)構(gòu)化文本自動生成任務(wù)上的效果要明顯優(yōu)于基線方法。具體分析為：在招標(biāo)文本數(shù)據(jù)集上，采用分層連接的基準(zhǔn)方法優(yōu)于采用平滑連接的基準(zhǔn)方法，TextRank、LexRank 以及PacSum 模型的ROUGE-1 指標(biāo)分別提升了1.9、1.0、5.2 個百分點，實驗結(jié)果表明分層連接能夠提高當(dāng)前任務(wù)下的文本生成效果；PacSum 模型相較于TextRank、LexRank 模型在ROUGE-1、ROUGE-2 及ROUGE-L 指標(biāo)上平均提升了約6.45、9.35、7.35 個百分點；SGMG 模型相較于PacSum+HC 模型在ROUGE-1、ROUGE-2 及ROUGE-L 指標(biāo)上分別提升了3.3、5.2、4.3 個百分點，原因為融合時間特征及多樣性選擇能夠明顯改善文本生成效果；Seq2Seq+Attention+FC 相比于其他基線方法在ROUGE-2、ROUGE-L 指標(biāo)下取得了最低的分?jǐn)?shù)，原因為生成式文本摘要依賴大規(guī)模數(shù)據(jù)，不適用于當(dāng)前的低資源場景；SGMG 模型相比于Seq2Seq+Attention+FC 方法，在ROUGE-1、ROUGE-2、ROUGE-L指標(biāo)上分別提升了12.4、17.2、14.7個百分點。

驗證SGMG 主題抽取模塊的有效性，實驗結(jié)果如表3 所示。由表3 可以看出，貨物類、服務(wù)類招標(biāo)文件主題抽取結(jié)果的精確率、召回率及F1 分?jǐn)?shù)整體在75%以上，貨物類招標(biāo)文件主題抽取結(jié)果的精確率最高達(dá)到82.3%，工程類招標(biāo)文件主題抽取結(jié)果的精確率、召回率及F1 分?jǐn)?shù)整體取得了73%以上的結(jié)果。實驗結(jié)果驗證了SGMG 模型主題抽取模塊的有效性。

表3 主題抽取模塊的實驗結(jié)果Table 3 Experimental results of subject extraction module %

3 結(jié)束語

針對現(xiàn)有文本摘要方法無法提取文本主題結(jié)構(gòu)、忽略時間特征對文本重要性的影響等問題，本文提出一種基于多頭圖注意力網(wǎng)絡(luò)的半結(jié)構(gòu)化文本自動生成模型（SGMG）。利用異質(zhì)圖提取核心主題，通過多頭圖注意力網(wǎng)絡(luò)加強不同節(jié)點之間的交互，結(jié)合時間特征與語義相似度提取中心句確保生成文本的時效性，利用三元詞過濾法提升生成文本的多樣性。實驗結(jié)果表明，在面向招標(biāo)文件的半結(jié)構(gòu)化文本自動生成任務(wù)中，SGMG 模型的ROUGE-L 相比于TextRank、LexRank、PacSum、Seq2Seq+Attention等現(xiàn)有文本摘要方法提升了4.3 個百分點以上，主題提取的F1 分?jǐn)?shù)達(dá)到74.9%以上。下一步將融合主題抽取與中心語句選擇模塊，縮短鏈路生成時間，降低語義丟失風(fēng)險。