基于協(xié)同注意力和自適應(yīng)調(diào)整的閱讀理解模型

曹衛(wèi)東，李宏偉，王懷超

(中國(guó)民航大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300300)

0 引 言

在自然語言處理和人工智能研究中，機(jī)器閱讀理解注重考察對(duì)自然語言的理解能力和推理能力，是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。近年來，已經(jīng)開發(fā)了一些基準(zhǔn)數(shù)據(jù)集來測(cè)量和加速閱讀理解技術(shù)的進(jìn)步[1-3]。SQuAD數(shù)據(jù)集是目前最流行的問答式數(shù)據(jù)集。針對(duì)SQuAD數(shù)據(jù)集，基于注意力的神經(jīng)網(wǎng)絡(luò)模型已經(jīng)成為閱讀理解自動(dòng)問答的一項(xiàng)普遍的研究課題。Vinyals等[4]使用指針網(wǎng)絡(luò)調(diào)整輸出序列的長(zhǎng)度，以此高效地預(yù)測(cè)文檔中的答案邊界。Wang和Jiang[5]使用匹配注意力建立帶有問題查詢感知的文檔向量表示，匯總關(guān)于問題的文檔表示。Microsoft Asia Natural Language Computing Group[6]使用門控注意力獲取更多與文檔相關(guān)的問題信息，忽略無關(guān)信息。但是這些模型無法利用單向注意力將上下文信息融入問題中。Xiong等[7]提出的動(dòng)態(tài)協(xié)調(diào)網(wǎng)絡(luò)可以同時(shí)為文檔和問題生成注意力，實(shí)現(xiàn)問題和文檔信息的交互。Seo等[8]使用雙向注意流對(duì)多粒度的問題-文檔對(duì)進(jìn)行建模，增強(qiáng)模型的語義表示能力。然而，這些模型忽略了使用循環(huán)神經(jīng)網(wǎng)絡(luò)聚合長(zhǎng)文本序列導(dǎo)致的信息丟失問題，影響了模型的性能。Clark等[9]通過從文檔中抽取多個(gè)段落進(jìn)行閱讀的方式獲取答案，縮短了訓(xùn)練時(shí)間，但是可能導(dǎo)致文檔中的重要信息未能被機(jī)器讀取，從而降低準(zhǔn)確率。

針對(duì)以上問題，本文借助自適應(yīng)調(diào)整和多級(jí)注意力機(jī)制，充分模擬人類進(jìn)行閱讀理解時(shí)帶著問題讀文檔、帶著文檔讀問題的閱讀方式，提出了一種基于協(xié)同注意力和自適應(yīng)調(diào)整的閱讀理解模型。該模型具有3點(diǎn)創(chuàng)新之處：

(1)計(jì)算余弦相似度找出文檔詞語與問題的關(guān)聯(lián)度，利用關(guān)聯(lián)度調(diào)整文檔向量，加強(qiáng)重要信息表示，捕捉與問題相關(guān)的文檔信息；

(2)利用協(xié)同注意力機(jī)制，融合問題和文檔的相互依賴的表示，以便將重點(diǎn)放在兩者的相關(guān)部分；

(3)使用自注意力機(jī)制分別將文檔和問題與其上下文信息進(jìn)行交互，并通過循環(huán)神經(jīng)網(wǎng)絡(luò)生成聚合向量。

1 問題定義

機(jī)器閱讀理解是指以自然語言的形式給出文檔和問題，機(jī)器通過對(duì)自然語言的理解和推理返回正確答案。通常，閱讀理解包含問題、文檔以及正確答案。根據(jù)SQuAD數(shù)據(jù)集中答案是原文檔中的一個(gè)單詞或者一個(gè)連續(xù)序列的特點(diǎn)，可以將閱讀理解任務(wù)描述為：根據(jù)所提問題閱讀給定的文檔，推理后預(yù)測(cè)答案的開始點(diǎn)和結(jié)束點(diǎn)，通過答案跨度抽取正確答案。為了完成這項(xiàng)任務(wù)，將閱讀理解定義為<文檔，問題，答案跨度>的三元組形式，用表示。其中，P={P1,P2,…，PT}表示長(zhǎng)度為T的文檔序列；Q={Q1,Q2,…,QL}表示長(zhǎng)度為L(zhǎng)的問題序列；A={astart,aend}表示答案跨度，astart是答案的開始位置，aend是答案的結(jié)束位置，并且滿足：1≤astart≤aend≤T。

根據(jù)訓(xùn)練集評(píng)估p(A|Q,P)的條件概率，并在測(cè)試集上預(yù)測(cè)答案

(1)

式中：A(P)是P中的一組候選答案，包含T2個(gè)選項(xiàng)。

為簡(jiǎn)化模型，根據(jù)條件1≤astart≤aend≤T，求取預(yù)測(cè)的開始點(diǎn)和結(jié)束點(diǎn)概率之積的最大值，公式如下

(2)

式中：p(astart|Q,P)(或p(aend|Q,P))表示P中的第astart(或aend)個(gè)位置作為答案開始(或結(jié)束)的概率。

2 閱讀理解模型設(shè)計(jì)

為有效地融合文檔和問題的信息，增強(qiáng)模型的語義表示能力，提高答案預(yù)測(cè)的準(zhǔn)確率，本文提出了一種(rea-ding comprehension model based on coattention and adaptive adjustment，CARC)。該模型包含6部分：選取向量的多粒度表示作為輸入，提取上下文特征信息；使用余弦相似度計(jì)算文檔與問題的相關(guān)性，根據(jù)相關(guān)性對(duì)文檔向量進(jìn)行自適應(yīng)調(diào)整，篩選文檔中的冗余信息；通過多層雙向門控循環(huán)單元(BiGRU)對(duì)文檔和問題進(jìn)行編碼；引入基于協(xié)同注意力的網(wǎng)絡(luò)分別獲得帶有問題感知的文檔向量表示(query-aware)和帶有文檔感知的問題向量表示(para-aware)；利用自注意力機(jī)制學(xué)習(xí)句子內(nèi)部的依賴關(guān)系，融合句子間的語義信息，獲取新的語義向量表示；借助指針網(wǎng)絡(luò)預(yù)測(cè)答案跨度。基于協(xié)同注意力和自適應(yīng)調(diào)整的閱讀理解模型的框架結(jié)構(gòu)如圖1所示。

圖1 基于協(xié)同注意力和自適應(yīng)調(diào)整的閱讀理解模型框架

2.1 輸入層

該層的目的是將自然語言轉(zhuǎn)化為機(jī)器可以理解的向量矩陣，捕獲語義特征。本文的輸入包含文檔詞向量和問題詞向量?jī)刹糠帧?/p>

該層的目標(biāo)是將單詞轉(zhuǎn)換成一個(gè)d維的向量，該向量包括詞嵌入和字符級(jí)嵌入兩個(gè)粒度。詞嵌入是固定的單一向量，由預(yù)訓(xùn)練好的GloVe模型[10]訓(xùn)練而成；字符級(jí)嵌入通過將單詞中的字符輸入到BiGRU中計(jì)算得到，添加字符級(jí)嵌入可以有效地解決詞庫(kù)外單詞(OOV)問題。因此，本層輸出文檔詞向量表示為：p={p1,p2,…,pT}，問題詞向量表示為：q={q1,q2,…,qL}。對(duì)于單詞X，其向量形式為：[Xw;Xc]∈Rd。其中Xw表示詞嵌入，Xc表示字符級(jí)嵌入，符號(hào)[a;b]表示將向量a和向量b水平連接。

2.2 過濾層

一般情況下，問題的答案只與文檔中的一小段篇幅相關(guān)。如果文檔中的某個(gè)詞與問題相關(guān)，那么在接下來的步驟中應(yīng)該更多地考慮關(guān)于這個(gè)詞的信息。本文通過計(jì)算文檔與問題的相關(guān)權(quán)重來過濾文檔中冗余的信息。

首先利用余弦相似度計(jì)算<文檔,問題>單詞對(duì)的相關(guān)性概率分布矩陣

(3)

式中：pt∈p，ql∈q。

2.3 編碼層

循環(huán)神經(jīng)網(wǎng)絡(luò)通過對(duì)上下文進(jìn)行學(xué)習(xí)和歸納，主要用于對(duì)時(shí)間序列的分類和預(yù)測(cè)[11,12]。為捕獲時(shí)間序列上的特征信息，本文使用BiGRU將上下文信息融合到每個(gè)時(shí)間步驟的表示上。

2.4 協(xié)同注意力層

協(xié)同注意力機(jī)制可以同時(shí)為文檔和問題生成注意力權(quán)重，高效模擬人類進(jìn)行閱讀理解時(shí)先讀取問題、然后有目標(biāo)地閱讀文檔、最后根據(jù)文檔的核心思想分析問題并回答問題的技巧，實(shí)現(xiàn)兩者的信息交互。引入?yún)f(xié)同注意力機(jī)制可以更好捕捉文檔與問題中的重要信息，以便將注意力集中在兩者的相關(guān)部分。

(4)

將O按行進(jìn)行歸一化，以針對(duì)問題中的每個(gè)單詞在文檔中生成注意力權(quán)重Oq；按列進(jìn)行歸一化，以針對(duì)文檔中的每個(gè)單詞在問題中生成注意力權(quán)重Op

Oq=softmax(ro w(O))∈RT×L

(5)

Op=softmax(co l(O))∈RL×T

(6)

根據(jù)問題中的每個(gè)單詞計(jì)算基于注意力的文檔向量表示

(7)

使用加入了注意力信息的問題矩陣替換原向量矩陣，再次對(duì)文檔進(jìn)行注意力計(jì)算

(8)

2.5 自注意力層

針對(duì)使用注意力機(jī)制會(huì)覆蓋原始關(guān)鍵信息、GRU在處理長(zhǎng)文本時(shí)信息大量丟失影響模型對(duì)上下文的理解能力、詞匯或句法差異降低模型性能等問題，本文添加自注意力機(jī)制(self-attention)將query-aware和para-aware與自身進(jìn)行匹配。

self-attention可以動(dòng)態(tài)地收集序列內(nèi)部的信息，聚合匹配向量，使得序列的每個(gè)時(shí)間步長(zhǎng)可以與段內(nèi)其它位置實(shí)現(xiàn)信息交互，如式(9)～式(11)所示

(9)

(10)

(11)

(12)

2.6 輸出層

該層通過指針網(wǎng)絡(luò)預(yù)測(cè)文檔中每個(gè)位置作為答案范圍的開始或結(jié)束的概率，從而抽取答案序列。

(13)

(14)

pstart=max(a1,a2,…,aT)

(15)

將當(dāng)前預(yù)測(cè)概率的注意力加權(quán)向量作為輸入，使用BiGRU學(xué)習(xí)新的帶有答案開始位置信息的上下文語境向量作為預(yù)測(cè)答案結(jié)束位置的初始隱藏狀態(tài)

(16)

(17)

采用同樣地計(jì)算方式選擇答案的結(jié)束位置。在預(yù)測(cè)答案時(shí)，選取開始點(diǎn)到結(jié)束點(diǎn)的最佳跨度，從而保證pstart×pend取得最大值。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)采用的是SQuAD數(shù)據(jù)集。該數(shù)據(jù)集包含107.7 K個(gè)(文檔，問題，答案)三元組。其中，87.5 K個(gè)問答對(duì)作為訓(xùn)練集，10.1 K個(gè)問答對(duì)作為驗(yàn)證集，10.1 K個(gè)問答對(duì)作為測(cè)試集。該數(shù)據(jù)集從維基百科中隨機(jī)選取了536篇文檔，采用眾包的方式，工作人員對(duì)每篇文檔提出問題，并標(biāo)記正確答案。每篇文檔平均包含250個(gè)單詞，每個(gè)問題平均含有10個(gè)單詞，問題的答案是原文檔中的一個(gè)單詞或者一個(gè)連續(xù)片段。相比于CNN/DailyMail數(shù)據(jù)集，SQuAD數(shù)據(jù)集更有挑戰(zhàn)性。表1是SQuAD數(shù)據(jù)集的一個(gè)樣例展示。

表1 SQuAD數(shù)據(jù)集樣例展示

3.2 實(shí)驗(yàn)參數(shù)設(shè)置與環(huán)境

在實(shí)驗(yàn)中，使用Stanford CoreNLP工具對(duì)數(shù)據(jù)進(jìn)行分詞處理。訓(xùn)練數(shù)據(jù)中段落的限制長(zhǎng)度para_limit設(shè)為400，問題的限制長(zhǎng)度ques_limit設(shè)為50，測(cè)試數(shù)據(jù)中段落的最大長(zhǎng)度test_para_limit設(shè)為1000，問題的最大長(zhǎng)度test_ques_limit設(shè)為100。對(duì)于詞向量，初始詞向量設(shè)為300維，字符級(jí)向量設(shè)為8維。編碼層使用的雙向GRU層數(shù)設(shè)為3，其余層使用的雙向GRU層數(shù)設(shè)為1。隱藏單元數(shù)hidden設(shè)為75，訓(xùn)練字符級(jí)詞嵌入使用的隱藏單元數(shù)char_hidden設(shè)為100，batch_size設(shè)為50，隨機(jī)失活dropout設(shè)為0.6，學(xué)習(xí)率learning_rate設(shè)為0.001，優(yōu)化器使用adadelta優(yōu)化器，迭代次數(shù)num-steps設(shè)為50 000次，整個(gè)模型經(jīng)過10個(gè)小時(shí)完成訓(xùn)練。

本文的實(shí)驗(yàn)硬件要求與運(yùn)行環(huán)境如下：操作系統(tǒng)為ubuntu 16，處理器為INTEL E5，顯存為GTX 1080TI 11G，開發(fā)語言為Python 3.5，開發(fā)環(huán)境為Tensorflow-gpu 1.5.0。

3.3 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)以精確匹配(exact match，EM)、模糊匹配(F1)作為評(píng)價(jià)模型性能精度的指標(biāo)。EM用于測(cè)量預(yù)測(cè)答案與正確答案是否完全匹配。EM值的計(jì)算公式如式(18)所示

(18)

F1用于衡量預(yù)測(cè)答案與正確答案在最長(zhǎng)公共子序列上的召回率和準(zhǔn)確率，是召回率(Recall)和準(zhǔn)確率(Precision)的平均加權(quán)。F1值的計(jì)算公式如式(19)～式(22)所示

C=G∩PA

(19)

(20)

(21)

(22)

其中，G表示正確答案序列，PA表示預(yù)測(cè)答案序列，|C|表示正確答案與預(yù)測(cè)答案的公共子序列長(zhǎng)度，|G|表示正確答案序列長(zhǎng)度，|PA|表示預(yù)測(cè)答案序列長(zhǎng)度。

3.4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文提出的CARC模型答案預(yù)測(cè)的有效性，在SQuAD數(shù)據(jù)集的驗(yàn)證集和測(cè)試集上進(jìn)行實(shí)驗(yàn)，與基于匹配長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)和應(yīng)答指針的端到端神經(jīng)網(wǎng)絡(luò)(Match-LSTM)、基于自匹配網(wǎng)絡(luò)的閱讀理解模型(R-Net)、動(dòng)態(tài)協(xié)調(diào)網(wǎng)絡(luò)(DCN)、雙向注意流神經(jīng)網(wǎng)絡(luò)模型(BiDAF)、簡(jiǎn)單有效的多段落閱讀理解模型(S-Norm)進(jìn)行了對(duì)比。為了對(duì)語義向量表示不準(zhǔn)確、信息冗余、長(zhǎng)距離依賴等問題的解決提供驗(yàn)證，本文通過設(shè)計(jì)實(shí)驗(yàn)，驗(yàn)證了添加不同模塊對(duì)模型性能的影響。同時(shí)，為了驗(yàn)證不同參數(shù)對(duì)模型準(zhǔn)確率的影響，實(shí)驗(yàn)過程從學(xué)習(xí)率和隨機(jī)失活兩個(gè)角度考慮，設(shè)計(jì)了兩組對(duì)比實(shí)驗(yàn)。

3.4.1 不同模型對(duì)比實(shí)驗(yàn)分析

本組實(shí)驗(yàn)為了驗(yàn)證基于協(xié)調(diào)注意力和自適應(yīng)調(diào)整閱讀理解模型的有效性。為保證對(duì)比結(jié)果的準(zhǔn)確性，本文模型的實(shí)驗(yàn)數(shù)據(jù)根據(jù)實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置運(yùn)行得出，其它對(duì)比模型的實(shí)驗(yàn)結(jié)果均來源于對(duì)應(yīng)的論文。各對(duì)比模型的性能見表2。

表2 在SQuAD數(shù)據(jù)集上CARC模型與其它對(duì)比模型性能

根據(jù)表2可以看出，本文提出的CARC模型的性能最好，在驗(yàn)證集和測(cè)試集均有所提升，精確匹配率達(dá)到72.9%，模糊匹配率高達(dá)81.8%。Match-LSTM模型的性能最差，它通過軟注意力(soft-attention)對(duì)問題和文檔內(nèi)容進(jìn)行交互，語義表示能力較差。它利用序列(Sequence)模型和邊界(Boundary)模型兩種方式生成答案，驗(yàn)證了Boundary模型的預(yù)測(cè)能力相對(duì)較好。R-Net模型比Match-LSTM模型表現(xiàn)優(yōu)異，因?yàn)樗谑褂米⒁饬Φ幕A(chǔ)上添加門控機(jī)制，加強(qiáng)了問題與文檔的關(guān)聯(lián)度。而本文提出的CARC模型通過使用協(xié)同注意力機(jī)制，分別從問題角度和文檔角度重點(diǎn)關(guān)注重要信息，進(jìn)一步增強(qiáng)了文檔和問題的相互聯(lián)系，在測(cè)試集上比R-Net模型的精確匹配率提高了0.6%，模糊匹配率提高了1.1%，驗(yàn)證了本文提出的CARC模型的有效性。DCN模型和BiDAF模型均使用了雙向注意力。DCN模型采用動(dòng)態(tài)迭代的方式反復(fù)思考問題提升模型預(yù)測(cè)能力。BiDAF模型通過多階段、層次化的方式獲取多粒度的文檔特征，增強(qiáng)文檔的語義表示。但是，它們僅使用雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(BiLSTM)對(duì)文檔信息進(jìn)行聚合，降低了模型的表示能力，所以它們的性能一般。而本文通過對(duì)文檔和問題使用自注意力機(jī)制，減少了文檔長(zhǎng)度對(duì)模型的影響，很好地表示了自匹配向量，在測(cè)試集上比DCN模型精確匹配率提高了6.7%，模糊匹配率提高了5.9%，比BiDAF模型精確匹配率提高了4.9%，模糊匹配率提高了4.5%，驗(yàn)證了CARC模型的有效性。S-Norm模型為了增強(qiáng)文檔與問題的相關(guān)度，抽取多個(gè)相關(guān)段落完成閱讀理解任務(wù)，但是被忽略的段落中可能與文檔上下文或問題存在潛在的關(guān)聯(lián)，導(dǎo)致模型性能下降。而本文利用自適應(yīng)調(diào)整加強(qiáng)文檔中重要信息的特征，比S-Norm模型精確匹配率提高了6.7%，模糊匹配率提高了5.9%。

3.4.2 各個(gè)模塊性能實(shí)驗(yàn)分析

本組實(shí)驗(yàn)為了驗(yàn)證本文模型CARC中不同模塊對(duì)模型準(zhǔn)確率的影響。實(shí)驗(yàn)以BiDAF模型為基準(zhǔn)模型，分別對(duì)自適應(yīng)調(diào)整、協(xié)同注意力、自注意力3個(gè)模塊的性能進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果見表3。

表3 各個(gè)模塊對(duì)模型性能的影響

根據(jù)表3可以看出，3個(gè)模塊都提升了模型的性能。協(xié)同注意力機(jī)制通過融合文檔和問題信息，幫助模型準(zhǔn)確定位文檔和問題中的重要位置，對(duì)模型性能的影響最大，精確匹配率提高了2.3%，模糊匹配率提高了2.2%。自注意力機(jī)制通過學(xué)習(xí)序列上下文信息，解決了長(zhǎng)距離依賴的問題，對(duì)模型性能有積極的影響。自適應(yīng)調(diào)整解決了文檔信息冗余的問題，在兩個(gè)指標(biāo)中都略有提升。添加3個(gè)主要?jiǎng)?chuàng)新模塊后模型精確匹配率提高了4.1%，模糊匹配率提高了3.9%。

3.4.3 不同參數(shù)對(duì)比實(shí)驗(yàn)分析

(1)學(xué)習(xí)率對(duì)模型性能的影響

學(xué)習(xí)率在深度學(xué)習(xí)中起著重要的作用，決定了目標(biāo)函數(shù)收斂到局部最小值的能力與速度。若學(xué)習(xí)率設(shè)置的過小，會(huì)導(dǎo)致收斂過程緩慢。若學(xué)習(xí)率設(shè)置的過大，會(huì)導(dǎo)致梯度來回震蕩，甚至無法收斂，降低模型性能。合適的學(xué)習(xí)率可以幫助目標(biāo)函數(shù)快速的收斂到局部最小值。實(shí)驗(yàn)中學(xué)習(xí)率的大小分別設(shè)置為：0.01，0.001，0.0001，迭代次數(shù)設(shè)為5萬次，實(shí)驗(yàn)數(shù)據(jù)使用SQuAD中的測(cè)試集。圖2、圖3展示了不同學(xué)習(xí)率取值對(duì)EM值和F1值的影響。

圖2 不同學(xué)習(xí)率下的EM值

圖3 不同學(xué)習(xí)率下的F1值

根據(jù)圖2可得，橫坐標(biāo)表示迭代次數(shù)，縱坐標(biāo)表示答案預(yù)測(cè)的精確匹配能力。根據(jù)曲線可以看出，當(dāng)learning_rate=0.01時(shí)，迭代2.5萬次時(shí)EM值達(dá)到71.3%，但是2.5萬次以后曲線不穩(wěn)定，模型性能一般。當(dāng)learning_rate=0.0001時(shí)，迭代5萬次曲線一直處于上升階段，仍未收斂，模型性能最差。當(dāng)learning_rate=0.001時(shí)，迭代4萬次時(shí)EM值達(dá)到72.7%，最先收斂，模型精確匹配率最高。根據(jù)圖3可得，橫坐標(biāo)表示迭代次數(shù)，縱坐標(biāo)表示答案預(yù)測(cè)的模糊匹配能力。可以看出，當(dāng)learning_rate=0.001時(shí)收斂速度最快，F(xiàn)1值取得最大值，模糊匹配能力最好。綜合圖2、圖3可以得出，學(xué)習(xí)率取0.001時(shí)模型的理解和推理能力最好。

(2)隨機(jī)失活對(duì)模型性能的影響

為了防止過擬合的發(fā)生，設(shè)置合適的隨機(jī)失活值至關(guān)重要。隨機(jī)失活值設(shè)置過高或過低都會(huì)影響模型的性能。合適的隨機(jī)失活值可以控制訓(xùn)練集的訓(xùn)練精度，提高模型精度。實(shí)驗(yàn)在訓(xùn)練集和測(cè)試集上進(jìn)行驗(yàn)證，迭代次數(shù)為5萬次，隨機(jī)失活選取了0.5，0.6，0.65，0.7，0.8這5個(gè)不同的數(shù)值進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果見表4。

表4 隨機(jī)失活對(duì)模型性能的影響

根據(jù)表4可以看出，當(dāng)隨機(jī)失活值取0.8時(shí)，訓(xùn)練集和測(cè)試集的損失函數(shù)值相差最大，模型的表現(xiàn)較差。隨著隨機(jī)失活的減小，損失函數(shù)的差距減小，模型的性能逐漸提升。當(dāng)隨機(jī)失活值降低到0.6時(shí)，準(zhǔn)確率達(dá)到最高值。當(dāng)隨機(jī)失活值取0.5時(shí)，在訓(xùn)練集和測(cè)試集上模型的性能都表現(xiàn)的最差。實(shí)驗(yàn)結(jié)果表明，當(dāng)隨機(jī)失活值取0.6時(shí)，協(xié)同注意力機(jī)器閱讀理解模型具有最好的答案預(yù)測(cè)效果。

通過全面對(duì)比不同參數(shù)對(duì)模型指標(biāo)以及收斂時(shí)間的影響，選取了最優(yōu)參數(shù)設(shè)置。實(shí)驗(yàn)結(jié)果表明，本文提出的基于協(xié)同注意力和自適應(yīng)調(diào)整的閱讀理解模型在閱讀理解任務(wù)中具有相對(duì)較好的性能。

4 結(jié)束語

機(jī)器閱讀理解任務(wù)旨在讓計(jì)算機(jī)能夠理解文檔的內(nèi)容以便回答問題。為解決語義表示能力差、信息冗余、信息丟失等問題，提出了一種基于協(xié)同注意力和自適應(yīng)調(diào)整的閱讀理解模型。模型利用余弦相似度加強(qiáng)與問題相關(guān)文本的特征表示，借助協(xié)同注意力機(jī)制捕獲文檔和問題中的相關(guān)信息，使用自注意力機(jī)制學(xué)習(xí)當(dāng)前時(shí)間步驟與上下文的關(guān)系，獲取問題和文檔的自匹配向量表示。實(shí)驗(yàn)結(jié)果表明,本文提出的模型對(duì)于精確匹配和模糊匹配均具有較高性能，具有一定的應(yīng)用價(jià)值。在未來的研究任務(wù)中，將添加快讀功能，縮短收斂時(shí)間，提升閱讀速度。此外，設(shè)計(jì)新的模型以應(yīng)對(duì)更復(fù)雜的問答型閱讀理解任務(wù)。