基于癥狀權(quán)重自適應(yīng)調(diào)整機(jī)制的醫(yī)學(xué)領(lǐng)域問(wèn)答技術(shù)研究

摘 要：在線醫(yī)學(xué)智能問(wèn)答系統(tǒng)技術(shù)挑戰(zhàn)主要在于癥狀語(yǔ)義理解和用戶描述表示。本文提出了癥狀權(quán)重自適應(yīng)調(diào)整機(jī)制的注意力模型（SFA）。使得注意力權(quán)重可以根據(jù)歷史病例庫(kù)的更新而自適應(yīng)調(diào)整，集成了本文提出的問(wèn)答模型的醫(yī)學(xué)領(lǐng)域的問(wèn)答系統(tǒng)性能也得到了顯著的提升。

關(guān)鍵詞：?jiǎn)柎鹣到y(tǒng);注意力機(jī)制;權(quán)重自適應(yīng)調(diào)整機(jī)制

DOI：10.16640/j.cnki.37-1222/t.2019.04.202

1 引言

調(diào)查顯示，35%的人表示在去看臨床醫(yī)生之前他們會(huì)選擇上網(wǎng)來(lái)試圖找出他們或他人可能擁有的醫(yī)療狀況[1]?？梢娚鐓^(qū)問(wèn)答系統(tǒng)為患者和醫(yī)生提供了一個(gè)便利的方式去交流。然而，與搜索引擎相比，盡管傳統(tǒng)的社區(qū)問(wèn)答能夠?yàn)橛脩籼峁I(yè)簡(jiǎn)潔的遠(yuǎn)程醫(yī)療問(wèn)診服務(wù)，但是由于平臺(tái)上的醫(yī)生大多利用業(yè)余時(shí)間參與問(wèn)診工作，無(wú)法進(jìn)行實(shí)時(shí)回復(fù)。因此一個(gè)實(shí)時(shí)且高質(zhì)量的醫(yī)學(xué)領(lǐng)域智能問(wèn)答系統(tǒng)對(duì)于用戶來(lái)說(shuō)是必要的。

2 相關(guān)工作

隨著自然語(yǔ)言技術(shù)與深度學(xué)習(xí)的快速發(fā)展，對(duì)QA的研究已經(jīng)變得活躍而富有成效。智能問(wèn)答系統(tǒng)作為一種便利的交互方式替代了人工已經(jīng)被應(yīng)用到各大領(lǐng)域，例如IBM研發(fā)的智能認(rèn)知系統(tǒng)Watson幫助一位在日本東京大學(xué)醫(yī)學(xué)院治療的60歲女性患者診斷出了罕見的白血病類型。商業(yè)的QA產(chǎn)品例如 Google Assistant， Apple Siri， Amazon Alexa， Facebook M， Microso Cortana， Xiaobing in Chinese， Rinna in Japanese， and MedWhat 已經(jīng)在過(guò)去幾年中發(fā)布[2]。

在QA系統(tǒng)中，關(guān)鍵步驟是如何表示和理解自然語(yǔ)言查詢[3]。 本文將針對(duì)詞匯差距和句子向量化代表的問(wèn)題展開深入探討。主要有以下兩個(gè)方面的研究。（1）將基于中文詞林的近義詞主詞替換的機(jī)制應(yīng)用于核心詞和相應(yīng)主詞之間的映射。（2）對(duì)目前最先進(jìn)的注意力機(jī)制進(jìn)行優(yōu)化。采用自適應(yīng)權(quán)重分配技術(shù)，增強(qiáng)對(duì)疾病典型癥狀的關(guān)注，構(gòu)建基于癥狀頻率的注意力模型。

3 模型描述

3.1 基于核心詞-普通詞替換的語(yǔ)義歸一化

大多數(shù)以前的研究采用單詞或單詞嵌入（如word2vec）作為模型的輸入。 這些模型可以被視為“字級(jí)”語(yǔ)義模型。 然而，單詞級(jí)模型可能會(huì)導(dǎo)致語(yǔ)義損失，因?yàn)楫?dāng)這些單詞組合為短語(yǔ)時(shí)，某些單詞具有不同的含義。為了解決“字級(jí)”無(wú)法全面理解語(yǔ)義的缺陷，研究者將語(yǔ)義模型擴(kuò)展到“短語(yǔ)級(jí)”。在這項(xiàng)研究中，我們以“短語(yǔ)級(jí)”語(yǔ)義模型為基礎(chǔ)，結(jié)合漢語(yǔ)語(yǔ)言特性，利用word2vec和語(yǔ)義詞林相結(jié)合的方法提出語(yǔ)義歸一化表示方法（領(lǐng)域核心詞和領(lǐng)域一般詞匯）。具體來(lái)說(shuō)，我們將問(wèn)答對(duì)中的所有詞按照語(yǔ)義進(jìn)行分組劃分，并在每一組中選取一個(gè)核心詞，其余詞為普通詞，提出核心詞與普通詞之間的語(yǔ)義映射機(jī)制，并用此語(yǔ)義映射機(jī)制將所有問(wèn)答中的普通詞替換為語(yǔ)義核心詞，實(shí)現(xiàn)了語(yǔ)義表示的歸一化。同時(shí)，利用該機(jī)制建立了疾病和癥狀的模型，并確立疾病與癥狀之間的對(duì)應(yīng)關(guān)系。

3.2 模型構(gòu)建

我們所提出的醫(yī)學(xué)領(lǐng)域的智能問(wèn)答系統(tǒng)（CQA），可以看作為（在線描述）-（歷史描述）-（歷史診斷）三元組的形式，分別表示用戶通過(guò)系統(tǒng)進(jìn)行的癥狀描述或提問(wèn)，歷史病例中的用戶描述以及相應(yīng)的來(lái)自醫(yī)生的診斷結(jié)果。框架分為兩個(gè)階段，第一階段利用傳統(tǒng)的注意力機(jī)制生成初始的新描述代表（rnd）、歷史病例描述代表（rhd）以及歷史病例診斷結(jié)果（rha）代表。第二階段利用我們提出的SFA生成最終的代表，分別為rnd， rhd， rha。為了有一個(gè)更好的比較，我們將基于傳統(tǒng)的注意力機(jī)制用來(lái)生成rhd。由于問(wèn)答系統(tǒng)要求對(duì)用戶的提問(wèn)做出快速的反應(yīng)，在保證效果的前提下，線上程序中盡可能使用相對(duì)快捷的算法。因此我們采用LSTM模型對(duì)用戶提交的新的癥狀描述句子建模，將訓(xùn)練好的詞嵌入作為輸入，并且生成隱含層的向量。

3.3 基于歷史病例的癥狀權(quán)重列表生成策略

在本小節(jié)中，我們將詳細(xì)介紹SFA模型。同時(shí)我們將說(shuō)明提出的CQA系統(tǒng)的線下程序以及系統(tǒng)的問(wèn)答匹配機(jī)制。

我們開發(fā)的CQA系統(tǒng)主要目的是對(duì)用戶提出的疾病癥狀描述做出準(zhǔn)確快速的診斷回答或診斷建議。我們提出了一個(gè)基于（在線描述）-（歷史描述）的兩階段匹配策略。

具體來(lái)說(shuō)，第一階段為線下程序：（1）利用傳統(tǒng)的注意力機(jī)制得到歷史用戶描述和相應(yīng)的診斷答案的句子代表rhd，rha。其中rhd的注意力只關(guān)注癥狀名稱和疾病名稱，而rha的注意力只關(guān)注疾病名稱。（2）計(jì)算相似度，將具有相同rha的歷史病例分為一組。（3）統(tǒng)計(jì)并生成各組的癥狀單詞列表。（4）定位癥狀單詞在歷史描述句中的位置。（5）運(yùn)用我們提出的位置感知影響的傳播策略來(lái)傳播癥狀單詞對(duì)其他單詞的影響（利用所在疾病組的癥狀列表）。（6）通過(guò)傳播影響生成每一個(gè)單詞的基于位置感知影響的向量。（7）將這些基于位置感知影響的向量與傳統(tǒng)的注意力機(jī)制相結(jié)合得到最終的歷史描述代表rhd。

第二階段為線上程序：（1）利用與rhd相同的注意力機(jī)制得到用戶提交的在線描述句子代表rnd。（2）計(jì)算rnd與rhd的相似度，從匹配分?jǐn)?shù)最高的疾病分組中獲得SFA。（3）利用與rhd相同的SFA機(jī)制得到最終的在線句子代表rnd。（4）計(jì)算rnd與匹配組中各rhd的相似度，分?jǐn)?shù)最高的rhd所對(duì)應(yīng)的rha即為最佳答案。

有很多的相似度函數(shù)可以被利用來(lái)測(cè)量句子之間的相關(guān)性，在這項(xiàng)研究中我們利用L1-范數(shù)的曼哈頓距離相似度函數(shù) （見公式1）， 它比其他替代方法（如余弦相似性）略勝一籌。

4 結(jié)論

在這篇論文中，我們提出了一個(gè)基于癥狀權(quán)重自適應(yīng)調(diào)整機(jī)制的注意力模型，該模型將癥狀單詞的位置上下文包含在用戶描述的注意力表示中;同時(shí)，通過(guò)將近義詞映射為主詞的近義詞主詞替換機(jī)制有效的為詞匯差距建立了橋梁。集成了本文提出的問(wèn)答模型的醫(yī)學(xué)領(lǐng)域的問(wèn)答系統(tǒng)性能也得到了顯著的提升。證明我們提出的SFA機(jī)制具有更高的性能比起那些傳統(tǒng)的注意力機(jī)制。在未來(lái)的研究中，我們想要在不同的任務(wù)中評(píng)估我們的模型并且試著去改善我們的模型。

參考文獻(xiàn)：

[1]Abacha A B，Zweigenbaum P.MEANS：A medical question-answering system combining NLP techniques and semantic Web technologies[J].Information Processing & Management，2015， 51（05）：570-594.

[2]Li H，Min M R，Ge Y，et al.A Context-aware Attention Network for Interactive Question Answering[J].2016.

[3]Yin J，Zhao W X，Li X M.Type-Aware Question Answering over Knowledge Base with Attention-Based Tree-Structured Neural Networks[J].Journal of Computer Science and Technology，2017，32（04）：805-813.

作者簡(jiǎn)介：畢銘文（1994-），男，山東威海人，碩士研究生，主要研究方向：自然語(yǔ)言處理、人工智能。