基于注意力混合模型的中文醫療問答匹配

賈麗娜 陳 恒,2 李冠宇

1(大連海事大學計算機科學與技術系 遼寧 大連 116026) 2(大連外國語大學語言智能研究中心 遼寧 大連 116044)

0 引 言

隨著互聯網的發展及應用，線上醫療咨詢越來越受歡迎，如尋醫問藥、好大夫和求醫等平臺。此類平臺可以實現用戶和專家無掛號交流。用戶可以向專家發送病情，并得到專家回復。但是隨著用戶數量的增加，待解決的問題增加，難以保證24小時高質量服務。這為醫生回復帶來了負擔，也降低了用戶體驗。為了解決等待時間延長的問題，設計了一個將問句與答案相匹配、自動選出最合適的答案自動問答系統。

在醫療問答服務中，存在著許多對于同一癥狀使用相似卻不同的單詞和句子進行描述，這些描述為實現醫療問答系統提供了可能。傳統的問答系統采用信息檢索[1-2]、手工規則[3-4]和淺層機器學習[5-6]等方法，這些方法只能獲取淺層的特征和語句關系，深層特征仍需要人工獲取，因此機器模型缺乏泛化能力。

近年來，最流行的方法是使用深度學習進行問答對匹配，其關鍵是如何有效地獲取句子中重要的特征信息和關系。卷積神經網絡CNN模型能夠通過卷積層和池化層獲取句子中局部位置不變的特征信息[7,21]。在CNN上改進的多尺度卷積神經網絡(Multiscale Convolutional Neural Network, Multi-CNN)和堆棧卷積神經網絡(stack Convolutional Neural Network,stack-CNN)等模型也在應用上取得了顯著的效果。循環神經網絡RNN[8]以及其變體長短期記憶網絡(Long Short-Term Memory, LSTM)[9,22-23]和門控網絡(Gated Recurrent Unit, GRU)[10]模型在考慮句子長距離依賴關系問題上被廣泛應用。然而這些方法通常只使用一個單一神經網絡結構對問答對進行嵌入表示，沒有捕捉到問答對之間更復雜的語義關系和特征信息，改進程度有限。

為了盡可能多地獲取問答對之間的內在語義特征，本文采用Multi-CNN和雙循環門控網絡(Bidirectional Gated Recurrent Unit, BiGRU)相結合，并引入注意力機制的混合模型(Attention-based BiGRU-CNN, ABiGRU-CNN)來對問答對進行處理。該模型不僅能獲取問答對的局部特征信息和長距離依賴關系，還能結合注意力機制為問答對匹配中的重要信息賦予更高的權重。在cMedQA數據集上的實驗表明，ABiGRU-CNN模型在醫學問答匹配上明顯優于現有方法。

1 相關工作

1.1 傳統方法

Cairns等[1]提出了一個具有查詢公式和自動問答注釋等功能集成的MiPACQ系統來檢索候選答案段落。Li等[18]使用BM25算法檢索包含問題及其答案的語料庫并將候選答案進行排序，用于問答匹配。這類方法屬于傳統手法中信息檢索，包括查詢擴展和候選答案重排序操作，但其匹配采用的關鍵詞搜索策略對語義的分析和匹配效果不夠好。

Athenikos等[3]提出了一個基于規則的醫學領域問答系統的框架，以邏輯推理方式獲得問題的正確答案。Jain等[4]提出了一種基于規則的問答系統的體系結構來對問題操作和答案檢索方法進行描述。這類手工設計方法在面對多樣的問答對時，缺少靈活性。

Moschitti等[12]提出了有監督的判別模型，該模型包括支持向量機、字符串核和語法樹核等方法，能通過對答案進行排序選擇得到與問題相匹配的正確答案。Lecun等[13]提供了一種基于支持向量機的基于上下文的問題解答模型，該模型具有問題分類和文檔檢索等功能。然而，淺層機器學習方法仍需要人工進行深層特征分類。

1.2 深度學習方法

近年來，深度學習被廣泛用于問答領域中。例如RNN模型經常被用于獲取句子序列和長距離依賴關系信息，CNN模型用于獲取句子局部置不變特征信息。

Xu等[8]提出一種基于全時監控的雙向RNN模型，該模型可以在每一個時刻進行監督。Qiu等[14]提出一種用于社區問答的卷積神經張量網絡，它將句子建模語義匹配集成到一個基于卷積層和和流層組合的模型中，可以學習問題與答案之間的匹配度量。Zhang等[15]提出了Multi-CNN框架，利用多尺度卷積核獲取問答對特征信息。

深度學習雖然在獲取信息方面具有很好的效果，但上述的方法都是基于單一的神經網絡建模，只能獲取句子單側信息。而在問答對匹配中需要更多具有代表意義的特征，因此有必要設計和實現更加復雜的神經網絡。

2 基于注意力BiGRU-CNN模型

2.1 ABiGRU-CNN總體框架

圖1 ABiGRU-CNN總體框架

2.2 Multi-CNN模型

單尺度卷積神經網絡(Single Convolutional Neural Network, Single-CNN)通過大小被固定的卷積核獲取句子的單詞特征。由于卷積核的大小不變，該模型只能獲取句子的一部分(單側)特征信息，這對于醫療問答中所要求的精準匹配顯然是不合適的。針對這一問題，多尺度卷積神經網絡(Multi-CNN)[16]使用一系列大小不同的卷積核對輸入語句進行卷積，以彌補了單尺度卷積神經網絡的不足。圖2為Multi-CNN的網絡架構獲取上下文信息過程。輸入到Multi-CNN模型中的語句被不同尺度卷積核進行卷積，再被最大池化以獲取最重要的特征信息。

圖2 Mutli-CNN網絡框架

(1)

在句子匹配中，經卷積所提取的特征還需要通過池化層處理，以獲得句子中最重要的特征信息。常用的池化處理方法有最大池化(max-pooling)和平均池化(mean-pooling)，本文對Oq選擇最大池化獲取最大特征值獲取問句的嵌入表示。其公式為：

(2)

(3)

Multi-CNN通過不同尺度的卷積能夠有效獲取句子的局部位置不變特征，但是CNN不能通過卷積獲取句子的長距離依賴關系，因此Multi-CNN的能力和性能是有限的。

2.3 BiGRU模型

由2.2節可知Multi-CNN對獲取句子中的局部位置不變特征信息有顯著的效果，卻不能獲取序列中長距離依賴關系。在RNN中，當前隱藏層的輸出不僅取決于當前輸入值還與上一個隱藏層輸出值有關，這使得RNN具有長期記憶功能，可以有效地獲取句子序列中的語序信息和長距離依賴關系。而RNN長期依賴學習容易出現梯度消失和爆炸問題，因此GRU和LSTM等變體被提出。GRU和LSTM性能相當，但GRU更容易訓練，圖3為雙向循環門控神經網絡(BiGRU)的結構。

圖3 BiGRU網絡框架

(4)

(5)

(6)

(7)

2.4 BiGRU-CNN模型

如2.2節和2.3節所述，BiGRU可以通過更新門和重置門獲取句子全局依賴關系信息，而Multi-CNN則可以通過多尺度卷積神經網絡獲取句子局部特征信息。為了同時獲得長距離相關性和位置不變特征信息，提出了一個基于BiGRU和Multi-CNN疊加的神經網絡模型(BiGRU-CNN)，其結構如圖4所示。在模型中BiGRU的前向和后向輸出連接成Multi-CNN的輸入，而Multi-CNN則利用多個不同大小的卷積核獲取句子特征信息。

圖4 Multi-CNN網絡框架

BiGRU-CNN模型結合BiGRU和Multi-CNN的優點，能夠獲取到更豐富的問答對關系和特征。但堆疊神經網絡獲取的問答對特征在結果匹配中會失去重點性，使得問答對的匹配結果并不理想。

2.5 ABiGRU-CNN模型

MA=(Hq)Τ·Ha

(8)

式中：MA∈Rn×m為所求的語義矩陣。

計算問句的權重公式：

Up=tanh(Wp·MΤ)

(9)

αp=softmax((wp)Τ·Up)

(10)

式中：Wp和wp表示參數；Up為隨機初始化的權重矩陣；αp為歸一化注意力權重矩陣。

Xp=Hqαp

(11)

式中：Xr為加入權重后的問句表示。

相同的步驟，獲得答案的權重公式：

Us=tanh(Ws·M)

(12)

αs=softmax((ws)Τ·Us)

(13)

式中：Ws和ws表示參數；Us為隨機初始化的權重矩陣；αs為歸一化注意力權重矩陣。

Xs=Haαs

(14)

式中：Xc為加入權重后的句子表示。

之后，將加權后的問答句表示輸入CNN進行多尺度卷積和最大池化處理，如圖2所示。最后將問答句進行相似度計算，得到最終匹配結果。

2.6 目標函數

l=max{0,Mr-sim(rqiw,rai w+)+sim(rqiw,raiw-)}

(15)

3 實驗與結果分析

3.1 數據處理

表1 cMedQA數據集

3.2 評價指標

模型性能將采用top-k(ACC@k)作為衡量的指標。其定義如下：

(16)

3.3 基線模型

(1) Random Selection：問題的正確答案將從候選答案集中隨機選擇生成[15]。

(2) Matching：通過計算問答句之間相似字符的個數，查找正確答案。

(3) BM 25：一種排序功能，應用于問答匹配[17]。

(4) Single-CNN：只使用一個固定卷積核來處理問答語句。

(5) Multi-CNN：在捕獲問答對之間的局部不變低級別特征方面是具有很好的效果。

(6) Stack-CNN：與Multi-CNN不同，該模型可以獲得句子高級別的語義信息。

(7) Multi-stack-CNN：Multi-CNN模型與stack-CNN模型結合生成，可以獲取句子不同級別的信息。

(8) BiGRU：RNN的進化，可以獲取句子的全局依賴關系信息。

(9) BiGRU-CNN：結合BiGRU和CNN優點，可以獲取序列中長距離依賴關系以及局部位置不變特征信息。

3.4 實驗參數

將使用文獻[18]的方法把句子中的字符轉換為向量表示實現漢字的嵌入，向量的維數為300。問答嵌入層之間共享相同的權重矩陣。Multi-CNN架構使用四種不同大小的卷積核，分別為1、2、3、5。stack-CNN架構使用兩種不同大小卷積核，分別為3、4。兩個模型特征映射數量均為500個。BiGRU架構在隱藏狀態下使用200個特征。BiGRU-CNN架構和ABiGRU-CNN架構使用大小分別為1、2、3和5的卷積核，使用200個BiGRU隱藏狀態的特征。

3.5 結果分析

(1) 各模型的ACC@1對比。如表2所示，可以看出混合模型ABiGRU-CNN在測試數據集上精度最高，性能明顯優于其他模型表明ABiGRU-CNN在問答匹配中對句子關鍵信息的提取和匹配是合理有效的。

表2 模型ACC@1結果(%)

J行明顯優于A、B和C行的模型，說明在問答對匹配上，神經網絡比傳統方法更適合于問答對之間的關系建模。

D到G行都是CNN模型的變體，表中可以看出模型Multi-CNN、stack-CNN 和Multi-stack-CNN的結果優于Single-CNN。這是因為Multi-CNN和stack-CNN都使用了不同尺度大小的卷積核對句子進行卷積，能夠提取更多的句子信息。G行Multi-CNN的性能最高，它同時繼承了Multi-CNN和stack-CNN的優勢，提高了模型性能。G行和H行比較，BiGRU比Multi-stack-CNN結果有提高，說明在問答對匹配中BiGRU獲取的特征信息和遠距離依賴性在構建問答對表示中的重要性。

比較G行和J行、H行和J行，J行效果明顯最優，可知BiGRU-CNN結合了BiGRU和CNN兩種模式的優點，使其具有更強的功能。

比較I行和J行，可以看出ABiGRU-CNN的性能優于BiGRU-CNN。這說明ABiGRU-CNN不僅具有BiGRU和CNN兩種模型的優點，且與注意力機制相結合為問答對重要特征賦予更高權值，使重要特征不被忽視，提高模型的性能。如表3所示,為問句的特征提取。在沒有注意力的BiGRU-CNN模型中，斗雞眼和雙眼向內斜視都會被被提取出來，而且由于斗雞眼出現了兩次，再加上近視和散光，這些干擾項對答案匹配會起反作用。而加了注意力的ABiGRU-CNN模型，可以把斗雞眼統一成雙眼向內斜視，排除了斗雞眼這個干擾項。近視和散光會被注意力機制過濾掉，剩下的特征也會被注意力進行篩選，從而提高比配效率。

表3 典型問句特征提取

(2) 各模型的ACC@3對比。如表4所示，可以看出ABiGRU-CNN模型具有較高的準確率。在實際的醫療問答系統中，有些用戶往往不滿足一個檢索結果，他們希望了解更多的治療手段，此時可以設置三個候選答案來滿足用戶的需求。

表4 模型的ACC@3結果(%)

4 結 語

與現有只利用一種模型獲取句子的單側特征和關系的醫療問答不同，BiGRU-CNN混合模型可以獲取句子的局部位置不變特征以及全局順序信息。但是隨著網絡模型的堆疊過深，模型無法獲取對問答對匹配產生重要影響的特征。ABiGRU-CNN模型將BiGRU-CNN與注意力機制結合，通過注意力為重要的特征賦予更高的權重，提高了問答對匹配效率。實驗表明，模型在ACC@1和ACC@3中都有較好的表現。但如果問句使用漢語，答案使用英語，模型不一定取到好的效果。為此，本文未來的工作是將外部人類知識融入ABiGRU-CNN模型中，增加模型的泛化能力，使其在跨語言數據集上也取得良好效果。