嵌入知識語義的醫療領域對話系統

呂學強，張 劍，穆天楊，李寶安，游新冬

(北京信息科技大學 網絡文化與數字傳播北京市重點實驗室，北京 100101)

0 引 言

智能人機交互系統可以對話系統的方式實現[1]。對話系統的類別按照輸入數據可分為基于機器視覺的對話、基于知識圖譜的對話和推理型對話等不同類型的對話系統[2]。

按照對話系統的功能類型，目前的對話系統可以分成兩類。第一類是面向任務的對話系統[3]，第二類是非面向任務的對話系統。面向任務的對話系統旨在幫助用戶完成某些特定場景下的對話任務，如京東的售前售后咨詢等[4]。非面向任務的對話系統大部分都是給用戶提供閑聊服務，如微軟中國團隊推出的娛樂聊天機器人小冰[5]。小冰是一個基于搜索的回復檢索系統，她通過融合各種基于深度學習的語義匹配算法，從海量語料中返回最佳回復。

知識圖譜是一種新型的知識語義存儲方式，將帶有聯系的信息使用三元組(實體，關系，實體)的方式進行存儲。作為一個常識庫，知識圖譜對對話系統有著很好的指導作用。為將知識語義的圖譜信息融入對話系統，本文使用TransE方法將圖譜信息進行編碼，使用深度學習模型分析多輪對話中的信息，并在編碼好的知識圖譜中進行搜索。

1 相關工作

近幾年對話系統發展迅速，眾多學者提出提高對話系統效果的模型方法。早期的知識庫對話系統是基于檢索與匹配的，Junyu Lu等[6]通過加入時序和空間上的特征，解決對話系統中回復句子的選擇問題。方法分兩步，第一步是通過軟對齊獲取上下文和回復之間的關聯信息；第二步是在時間維度聚合注意力的映像，并用3D卷積和池化來抽取匹配信息。也有部分學者將文檔信息應用到多輪對話。Zekang Li等[7]提出在有文檔背景信息的多輪對話中基于Transformer的對話生成模型。該任務需要解決的問題有兩個：一是需要挖掘文檔中和對話相關的部分；二是將多輪對話的語句和文檔缺點及在中文語料下的表現進行改進，提出基于注意力和跨步融合機制與HRED模型結合的方案。王孟宇等[8]對HRED模型的實驗結果表明，該方案取得了較大的性能提升。隨著知識圖譜技術的快速發展與預訓練模型的廣泛應用，張家培等[9]提出一種基于BERT的對話狀態跟蹤算法Q2SM(query to state model)。該模型的上游使用基于BERT的句子表征與相似度交互的槽判定模塊，下游使用一種面向對話狀態跟蹤任務的自定義RNN：DST-RNN。

進入大數據時代之后，基于知識圖譜的問答系統[10]已經成為一種訪問大型知識圖譜的流行方式。如何根據知識圖譜在領域不可知的前提下保證對話系統的參與性和有效性是一個很重要的問題。基于此，Moon S等[11]將一段對話模擬為知識圖譜上的路徑(可能是多條)，以此使得對話系統具有可解釋性。該模型是根據當前對話、以前的所有對話和當前對話中的實體預測回答語句的實體，然后開放式對話系統便可以以該實體為核心組織對應的回復。Luyang Huang等[12]提出一種知識圖譜增強摘要生成框架和用于強化學習的多項選擇完形填空獎勵。該模型能夠從輸入文本中捕捉實體的局部特征和全局交互信息，從而生成高質量的回復信息。在專業領域的對話系統研究方面，代文韜等[13]利用知識圖譜的信息，在保險領域上構建了專業的數據集，按照預處理、匹配、檢索、后處理、對話管理的順序進行保險領域專業型對話系統的構建，且具有一定的推廣性和擴展性。

通過國內外的相關工作進行分析可以發現，對于如何將知識圖譜信息應用到對話系統中依舊處于起步階段。各種添加圖譜信息的方法還不夠成熟，仍有著較大的發展空間。

2 模型與方法

本文整體的模型架構如圖1所示，整個模型分為5個部分，分別是圖嵌入、預訓練、BERT(Bidirectional Encoder Representations for Transformers)&GPT2(Gene-rative Pre-Training2)、BiLSTM(Bi-directional Long-short Memory neural network)+Attention、OutPut。其中圖嵌入是將知識圖譜進行向量化的表示，然后使用BERT[14]或者GPT2[15]加上BiLSTM[16]以及Attention[17]進行關鍵信息的提取生成，最后由OutPut模塊聯合。

圖1 模型結構

先前建立好的圖嵌入模型進行對話的答案生成。為了對比BERT模型和GPT2模型在我們的模塊流程中的效果，分別使用這兩個預訓練模型進行了訓練。

2.1 圖嵌入知識表示模型

圖嵌入是表示學習的一種，模型的基本想法是想要使得頭實體向量表示h與關系的向量表示r之和與尾實體的向量表示t盡量接近，即h+r≈t。本方法中選用TransE模型是因為此圖譜編碼方法實現簡單且大部分的圖嵌入方法都是基于此思想演變而來，而且經過測試TransE模型足夠解決本文問題。訓練過程為首先確定訓練集、超參數、學習率，歸一化所有的初始化向量，在進入循環時采用minibatch加快訓練速度，并對每批進行負采樣，同時初始化T_batch為一個空列表，然后向T_batch中添加由元組對組成層的列表T_batch=[([h，r，t]，[h，r，t])，([])，…]。 拿到T_batch后進行訓練，采用梯度下降進行調參。其中在初始化向量的時候我們選擇了BERT模型，用BERT-base-chinese進行向量初始化。

2.2 BERT模型輸入模塊

在BERT中，模型使用Transformer[18]模型來實現上下文全向預測。本文提出的方法將對話的話輪信息以及當前對話信息拼接后輸入到BERT模型中去，經由BERT模型的輸出提取出關鍵信息并傳遞到雙向LSTM模型中。處理對話信息的輸入時，我們首先將之前的話輪信息以及當前的對話拼接后輸入到BERT模型中去。對于過長的對話信息，將之前的對話歷史進行截取，保證不會超過BERT模型對于輸入長度的要求。整個模型的輸入是字符集的。

對于一個輸入序列X=(x1，x2，x3，…，xn) 來說，在對話信息的開始部分添加[CLS]標記，在每一輪對話的結尾處添加[SEP]標記。對于超過BERT輸入要求的對話信息，我們從后到前截取了不超過512的最長話輪。對過短的數據進行補0操作，從而保證輸入數據長度一致。BERT模型如圖2所示。

圖2 BERT模型

2.3 GPT2模型輸入模塊

GPT是“Generative Pre-Training”的簡稱，第一個階段是利用語言模型進行預訓練，第二階段通過Fine-tuning的模式解決下游任務。這樣的模型結構相較于BERT在生成形式的任務上有著更好的表現效果。GPT2模型是GPT的改進版，訓練過程中使用了更多的訓練數據并且有了更多的模型參數，所以我們在預訓練模型上選擇GPT2模型。本文提出的方法將對話的話輪信息以及當前對話信息拼接后輸入到GPT2模型中去，經由GPT2模型的輸出提取出關鍵信息并傳遞到雙向LSTM模型中。在輸入方面依舊是字符集的數據，我們對數據的處理與BERT的輸入相同，同樣是一個輸入序列X=(x1，x2，x3，…，xn)。 并對過長的輸入數據進行截取操作，對過短的數據進行補0操作，從而保證輸入數據長度一致。

2.4 BiLSTM轉換模塊

雙向長短記憶神經網絡——通常稱作BiLSTM，是一種特殊的RNN，能夠學習長的依賴關系。他們由Hochreiter&Schmidhuber提出，并被許多人進行了改進和普及。在本文提出的模型結構中，將BERT或者GPT2的輸出傳遞給BiLSTM模塊，在BiLSTM模型結構中捕捉話輪的重要信息，然后傳遞給Attention結構進行最后的向量轉換。BiLSTM模型結構如圖3所示。

圖3 BiLSTM模型結構

2.5 Attention轉換模塊

我們在模型中應用Attention結構能夠更好捕捉問題和話論中的關鍵信息，能夠較為準確的在預先訓練好的TransE模型中搜索到回復信息。Attention結構的輸出是兩個向量，這兩個向量就對應了知識嵌入中一個實體和一個關系。Attention結構如圖4所示。

圖4 Attention結構

2.6 Output模塊

對于整個模型的輸出，我們的模型從知識嵌入中去搜索答案，因為經過了Attention結構的轉換，用兩個輸出向量相加的結果去知識嵌入中搜索答案。在這一部分中，我們使用曼哈頓空間距離算法作為度量標準。最接近的空間距離是預測實體。曼哈頓空間距離的計算公式如下

(1)

式中：x和y是兩個實體向量，xi和yi是向量中的值，c是兩個向量的曼哈頓空間距離。該公式預測的實體是對話模型的最終輸出。

3 實 驗

3.1 實驗數據以及測評指標

本文的實驗數據選用公開的MIE[18]醫療對話數據集，我們添加了自己的醫療圖譜數據，豐富其數據內容。在表1中列出了幾個簡單的對話數據樣例。話輪信息為當前的對話信息，標簽中的內容為對話信息中提到的相關實體關系等。醫療圖譜信息來源于之前的項目，我們從39健康網，快速問醫生等醫療網站上爬取了結構化數據，并通過人工校驗的方式對其中不同命名方式的相同實體進行合并。在表2中列出了添加的圖譜中檢驗指標、疾病和癥狀3類實體的具體數目。為了驗證訓練之后TransE模型的搜索效果，本文中使用Mean rank和Hit@10兩個評價指標。

Mean rank：首先對于每個測試三元組，以預測尾實體為例，將 (h，r，t) 實體-關系-實體三元組中的t用知識圖譜中的每個實體來代替，然后通過f(h，t) 函數來計算分數，這樣我們可以得到一系列的分數，之后按照升序將這些分數排列。從而得到一個正確實體的排列得分，最終的Mean rank越小則證明TransE模型的效果越好。

Hit@10：對應于上面的方法，對于每一組測試數據中的 (h，r，t) 關系三元組，查看正確的結果是否在搜索到結果的前十中，如果在，則計數加一，排在前十的個數/總個數就是Hit@10，如式(2)所示

表1 對話數據樣例

表2 圖譜信息統計

(2)

為了驗證本文提出的對話方法的有效性將F1值、準確率(P)和召回率(R)作為驗證的評價標準。如式(3)～式(5)所示

(3)

(4)

(5)

3.2 實驗環境

通過實驗可以發現，實驗環境及模型參數會對實驗結果造成影響，因此分別列舉出實驗環境和部分模型參數。本實驗采用的是深度學習中的tensorflow框架，以及pytorch框架。具體實驗環境見表3。

表3 訓練環境參數

在訓練模型的過程中通過調整預訓練模型的參數對整體的模型進行微調，最終效果最好的模型參數見表4。

表4 模型參數

3.3 實驗結果

3.3.1 TransE實驗結果

本文使用TransE模型對知識圖譜的數據進行訓練后得到了新的向量，每個向量代表一個實體或者是一個關系。為了驗證TransE的訓練效果，本文中對其進行了測試，使用了Mean rank和Hit@10兩個評價指標，具體的實驗結果見表5。

表5 TransE實驗結果

3.3.2 模型及對比實驗結果

本文在MIE醫療對話數據集上進行實驗，共進行了5組對比實驗：

實驗1：BiLSTM：使用BiLSTM進行意圖識別提取出問句中的實體和關系，然后在圖譜中進行檢索，這種是最簡單的對話模型。

實驗2：BiLSTM+Attention：使用BiLSTM+Attention進行意圖識別提取出問句中的實體和關系，然后在圖譜中進行檢索。在BiLSTM的基礎上添加了Attention操作，提高了回復的準確率。

實驗3：MIE：一個面向醫學對話的醫學信息抽取器，可以抽取出對話信息中的實體和關系再進行查詢。

實驗4：BERT+BiLSTM+Attention：使用BERT+BiLSTM+Attention進行意圖識別提取出多輪對話中的信息，然后在圖譜中進行檢索生成。

實驗5：GPT2+BiLSTM+Attention：使用GPT2+BiLSTM+Attention進行意圖識別提取出多輪對話中的信息，然后在圖譜中進行檢索生成。

具體的實驗結果見表6。

表6 對話模型實驗結果

3.4 結果分析

從表5可以看出，本文中使用的TransE模型的擁有較好的查詢效果。所有的數據信息都在前10條輸出結果中，即Hit@10的統計結果為1。這說明了訓練好的TransE模型能夠根據輸入的信息較為準確查詢到正確的目標實體。Mean rank評價指標的結果為2.227，這也說明了正確的目標實體在使用此模型的輸出中有著較高的優先級，即正確目標實體的rank排序等級很高。使用TransE模型訓練得到的信息能夠滿足本文中模型的準確性要求。

對話模型的實驗結果見表6，首先對比實驗1和實驗2，實驗2在BiLSTM的基礎上加入了Attention的結構反而會使得模型的效果變差，Attention機制在BILSTM的輸出上給出了錯誤的信息。對比實驗1和實驗3，MIE模型能夠很較為準確的識別出對話中的話輪信息，然后在知識庫中進行查詢。在準確率、召回率以及F1值上面有顯著的提升，分別提高了28.75%、25.82%、25.59%。這說明簡單的模型結構不足以很好的支撐完整對話系統的實現任務。對比實驗3，實驗4和實驗5雖然在準確率上面有所下降但是在R和F1上面有了明顯的提高，分別提高了5.66%和1.92%。本文中的方法學習到了醫療領域對話語義中的信息，因為答案的搜索對應于知識圖譜，所以擴大知識圖譜的規模就能提高回復信息的適用范圍。對比于實驗4和實驗5，兩個模型結構差異只是預訓練模型不同，BERT相對于GPT2分別有2.87%、2.3%和3.84%的提高，這表明了BERT模型在此任務中擁有更好的效果。

在圖5所示的實驗結果直方圖中，可以明顯的觀察到，模型3、模型4、模型5的效果相對于模型1、模型2的效果有著明顯的提高，傳統的序列生成模型不足以滿足對話系統的要求。從直方圖中觀察，模型3、模型4、模型5在整體效果上差異不大，以F1值為評價指標時，模型4的效果最好。

圖5 實驗結果直方圖

經過上面的分析可得出結論，本文提出的模型方法相對于經典的方法，有著更強的對話回復能力。在本文提出的模型中，BERT預訓練模型相比于GPT2有著更好的作用，能夠提高對話系統匹配到的搜索結果的F1值。

為了展示對話系統的效果，表7列舉了部分實驗樣例。從結果中可以看出實驗1在第一輪對話就出錯。而實驗2在第二輪出現錯誤。綜合幾個實驗結果可以看出實驗3、實驗4、實驗5的模型具有較好的效果。綜合之前的實驗結果可以得出實驗4和實驗5的方法能夠較為準確的在已有圖譜中搜索到相應的實體或者屬性。

4 結束語

本文提出的方法旨在提高多輪對話的表現效果，能夠應用知識圖譜的相關信息進行多輪對話。首先在MIE數據集上添加自己構建的知識圖譜信息，然后對比使用BERT和GPT2預訓練模型，模型的下層結構為BiLSTM和Attention，經實驗驗證，我們提出的方法具有較好的效果，基本能夠滿足醫療領域對話系統的需求。在未來的研究中，會將知識圖譜的信息融入到模型的Embedding過程中，而不僅僅是使用在模型的回復搜索部分，此外預訓練模型的使用也可以在一定程上增強對話系統的效果。