基于TextRNN的醫(yī)療導(dǎo)診模型設(shè)計

葉郅弈 蔡莉莉

摘要：隨著經(jīng)濟的發(fā)展和生活水平的提高，人們對自身健康的需求日益關(guān)注。長期壓力及不健康的生活習慣使得亞健康人群比例連年攀升。當身體出現(xiàn)某些不適癥狀時，人們迫切想要了解癥狀對應(yīng)的疾病原因，以便盡快就醫(yī)。為方便人們的線上導(dǎo)診，該文提出基于TextRNN的醫(yī)療導(dǎo)診設(shè)計，使用預(yù)訓(xùn)練模型將患者的自述病情逐詞映射為詞向量并輸入模型，通過雙向長短時記憶網(wǎng)絡(luò)提取病情中的特征并學習，預(yù)測出患者需要就診的科室，實現(xiàn)了智能導(dǎo)診的功能。

關(guān)鍵詞： 智能醫(yī)療導(dǎo)診; TextRNN; 雙向長短時記憶網(wǎng)絡(luò)；特征學習

中圖分類號：TP311? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2023）31-0082-03

開放科學（資源服務(wù)）標識碼（OSID）

0 引言

就醫(yī)問題一直是民生問題的一大熱點，隨著時代的發(fā)展以及互聯(lián)網(wǎng)技術(shù)的應(yīng)用與普及，線上醫(yī)療服務(wù)逐漸成為新的趨勢，這給人們帶來極大的便利。過去的傳統(tǒng)就醫(yī)模式，患者需要前往導(dǎo)診臺，經(jīng)過護士的分診工作后，才能了解自己所需的掛號科室。但由于疾病種類繁多等問題，醫(yī)護人員可能無法及時分診到每一位患者[1]。為此患者可以選擇各大醫(yī)療網(wǎng)站推出的線上醫(yī)療服務(wù)，使用手機將自己的病情進行簡單自述，然后發(fā)送到網(wǎng)站，具備相應(yīng)醫(yī)療資歷的專業(yè)人員會根據(jù)患者所提供的病情自述推薦就診科室。相比傳統(tǒng)就醫(yī)模式，這種方式使得患者的就醫(yī)效率有了明顯提升，但也存在等候分診的時間差。為了充分利用大數(shù)據(jù)的優(yōu)勢，基于深度學習的智能導(dǎo)診系統(tǒng)可以根據(jù)患者的病情自述，智能地分類預(yù)測出需要就診的科室，在第一時間為患者提供分診信息，幫助患者選擇與其病情對口的專項科室或特色科室，減輕普通科室的醫(yī)生壓力。同時也方便患者進一步了解自身的病情，提前準備相應(yīng)的就診材料，提高患者的就醫(yī)綜合體驗。

智能導(dǎo)診模型的設(shè)計思路屬于自然語言處理領(lǐng)域的文本分類問題。文本分類是指使用計算機學習文本中的特征，并根據(jù)給出的標簽對其進行分類學習，以幫助人們標注分類。文本分類問題中較為重要的工作就是將文字表示為計算機易處理的形式，常見的文字表示方法有詞袋模型、向量空間模型以及詞嵌入等。經(jīng)過文字表示處理后，數(shù)據(jù)將通過分類模型進行分類學習。常見的分類模型有基于機器學習的決策樹、K近鄰、樸素貝葉斯分類器、支持向量機以及基于深度學習的TextRNN、TextCNN、Transformer等。在深度學習模型選擇方面，傳統(tǒng)的RNN模型可以很好的利用其獨特的記憶能力，尋找詞語在上下文的含義，但計算速度較慢。在處理較長文本時，存在有梯度消失問題[2]，改進后的雙向長短時記憶網(wǎng)絡(luò)（BiLSTM） 文本分類模型能有效避免梯度消失問題。

1 數(shù)據(jù)與模型介紹

1.1 數(shù)據(jù)集介紹

先使用beatufulsoup、urlibPython等模塊，爬取各大醫(yī)療網(wǎng)的數(shù)據(jù)。數(shù)據(jù)包括疾病的名稱、疾病的典型癥狀、臨床表現(xiàn)等總計18 886條數(shù)據(jù)，帶有科室信息的醫(yī)療問答信息共計54 000條數(shù)據(jù)。爬取的原始數(shù)據(jù)中存在重復(fù)的問答語句以及與醫(yī)療領(lǐng)域無關(guān)的文本內(nèi)容，因此需要對爬取的數(shù)據(jù)進行清洗，同時去除數(shù)據(jù)中存在的亂碼數(shù)據(jù)和低于5個字符的無效數(shù)據(jù)。

再將患者的自述癥狀以及所攜帶的科室信息分類成27種不同科室，并為其標注上對應(yīng)的0～27標簽。科室分別為肛腸科、普通外科、神經(jīng)腦外科、肝膽科、泌尿科、乳腺科、心血管科、心外科、胸外科、腫瘤科、神經(jīng)科、內(nèi)分泌科、消化科、呼吸科、腎內(nèi)科、感染科、風濕免疫科、普通內(nèi)科、男科、皮膚科、耳鼻喉科、兒科、婦產(chǎn)科、骨科、心理科、血液科、肝病科。每個科室擁有1 500條數(shù)據(jù)樣本，總計4.5萬條數(shù)據(jù)，并將這些數(shù)據(jù)按照1∶1∶8的比例分配成測試集、驗證集、訓(xùn)練集。如圖1為訓(xùn)練集的部分數(shù)據(jù)展示。

1.2 模型介紹

TextRNN模型由嵌入層、LSTM層和輸出層構(gòu)成。

1） 嵌入層

在數(shù)據(jù)輸入模型之前，需要通過嵌入層將詞語用低緯、稠密、連續(xù)的向量來表示，以轉(zhuǎn)化為計算機可以處理的數(shù)據(jù)類型，其中每個緯度表示文本詞語的一個潛在語法或者語法特征。在具體的醫(yī)療領(lǐng)域中，復(fù)雜的病情描述加大了上下文解讀的難度。而預(yù)訓(xùn)練是指通過大量的中文文本數(shù)據(jù)進行預(yù)學習，以此得到能較好表達詞語上下文含義的詞向量，提高模型的上下文理解能力，達到更好的分類效果。本文使用的是LI S等[3]提出的開源預(yù)訓(xùn)練模型，此模型使用MIKOLOV T等[4]提出的Word2vec工具中的Skipgram模型對中文數(shù)據(jù)進行預(yù)訓(xùn)練。

2） LSTM層

LSTM層的作用是捕捉上下文之間隱含的相關(guān)性。常用模型有卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、深層Transformer，本文使用的是基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN） 的拓展模型BiLSTM。在處理文本語句時，傳統(tǒng)的RNN有著天然的優(yōu)勢[5]，它能按照句子的邏輯順序，分別把字輸入對應(yīng)順序的時間節(jié)點，在處理完一個時間節(jié)點后進行下一個時間節(jié)點的計算，當完成所有時間節(jié)點后，模型就能捕捉到上下文之間的相關(guān)性。但當文本語句過長時，RNN模型對上下文理解能力將會變差，同時由于RNN各個時間節(jié)點使用同一個權(quán)值矩陣，導(dǎo)致模型在反向傳播過程中會出現(xiàn)梯度消失或者梯度爆炸等問題。

LSTM在RNN的基礎(chǔ)上進行了改進，通過添加遺忘門、輸入門、輸出門提高了上下文的理解能力。在LSTM的基礎(chǔ)上，BiLSTM通過建立一條反向LSTM，在正向與反向序列處理完后，將正反雙向的LSTM結(jié)果整合起來，得到理解效果更好的輸出結(jié)果[6]。

3） 輸出層

輸出層是模型的最后一層，用于預(yù)測分類結(jié)果，將LSTM層所表現(xiàn)出來的特征進行拼接后作為輸入。常用模型包括：多層感知層（MLP） +Softmax、條件隨機場、遞歸神經(jīng)網(wǎng)絡(luò)和指針網(wǎng)絡(luò)，本文使用Softmax得到分類結(jié)果。圖2是文本分類模型框架圖。

4） 評判指標

常用評估指標包括嚴格匹配指標和寬松匹配指標，本文使用的是嚴格匹配指標，通過假陽性（FP） 、假陰性（FN） 和真陰性（TP） 的數(shù)量來計算精確度、召回率和F1值，如式（1） ～（3） 所示：

[Precision=TPTP+FP] （1）

[Recall=TP（TP+FN）] （2）

[F1-score = 2×Precision×RecallPrecision+Recall]? ?（3）

2 模型測試與模型部署

2.1 模型測試

模型的主要思路是將患者輸入的自述癥狀如“前段時間飲食睡眠不規(guī)律，生活壓力巨大。連續(xù)3～4天肚臍下部隱隱作痛，幾乎直不起腰來，大便正常。好像存在腹脹氣，不確定癥狀”，通過預(yù)訓(xùn)練模型將癥狀映射為300維的詞向量輸入TextRNN網(wǎng)絡(luò)，詞向量經(jīng)過計算和拼接后，經(jīng)Softmax分類后得出預(yù)測的推薦科室。模型的參數(shù)選擇如表1所示，經(jīng)過10輪的迭代，模型的準確度可以達到82.26%，各科室評價指標如表2所示，證明該模型可以較好地將患者的自述病癥進行分類。

根據(jù)表2的分類評估指標，對測試集進行評估，普通內(nèi)科、普通外科、兒科、感染科等科室分類效果相對較差。在檢查數(shù)據(jù)集后發(fā)現(xiàn)，感染科數(shù)據(jù)中存在與其他科室相似的交叉病癥信息，如“被狗咬了一絲絲皮但是沒出血，幾個小時后發(fā)現(xiàn)身體酸痛發(fā)熱”。“狗咬”與“出血”等關(guān)鍵詞屬于感染科范疇，而身體發(fā)熱酸痛這類病癥信息可存在于多個科室中，導(dǎo)致模型在分類時，無法很好地區(qū)分此類交叉多個科室的病癥信息。此外，上述科室的患者自述病癥多樣，確診的疾病類型眾多，導(dǎo)致這類數(shù)據(jù)集出現(xiàn)過多特征，而驗證集中的數(shù)據(jù)過少，存在樣本分布不均等問題。相比分類效果較差的科室，病癥信息較為明顯的科室、數(shù)據(jù)質(zhì)量較好的科室如肛腸科、男科等分類效果較好，f1值均在0.8以上。

2.2 模型部署

智能導(dǎo)診模塊的面向?qū)ο蠖酁槔夏耆巳后w或工作較為繁重的上班族，因此模型的部署需要做到快速、便捷、易上手等特點，并且上述群體對于微信及微信中的附加功能較為熟悉且在日常生活中使用頻率較高。為此，選擇將模型部署到微信小程序平臺，通過小程序與服務(wù)器完成導(dǎo)診工作。

部署模型的方法有很多，其中較為常見的有：通過將模型部署到服務(wù)器或云端上，使用請求和響應(yīng)進行交互的在線部署方法；將模型打包直接部署到手機設(shè)備中的離線部署方法；使用開源的深度學習模型部署工具如 TensorFlow Serving、TorchServe、MMDeploy 等將模型部署到服務(wù)器或云端上的模型部署工具包。

由于模型框架規(guī)模較大，占用資源較多，對患者的設(shè)備要求較高，因此選擇在線部署方式完成智能導(dǎo)診系統(tǒng)設(shè)計較為合適。使用Python編寫的flask框架將模型部署到服務(wù)器中，flask框架具有便捷、靈活、輕量化等特點，非常適合Web服務(wù)的開發(fā)。

微信小程序則用來收集患者的自述癥狀并向服務(wù)器發(fā)送請求，經(jīng)過預(yù)測將推薦科室信息結(jié)果返回小程序界面，因此需要在小程序開發(fā)工具中設(shè)計可以接受患者輸入的對話框，發(fā)送請求的查詢按鍵以及顯示科室信息的文本框。

舉例說明智能導(dǎo)診模塊的使用流程。患者通過點擊簡述病情下的對話框，輸入自己的自述病癥，點擊查詢按鈕，小程序會將自述病癥傳入服務(wù)器并通過詞嵌入輸入模型，經(jīng)過模型預(yù)測后，將與自述病癥最相關(guān)的科室信息返回給小程序并顯示出來，完成導(dǎo)診工作。如圖3所示為小程序?qū)г\界面顯示結(jié)果圖。患者通過在病情簡述框中輸入“膽囊結(jié)石該去哪個科室”“心臟搭橋會影響生命嗎”“常年有甲狀腺功能減退，近期眼睛腫，腿腫”“大便不成形，胃里有氣不消化腸胃有聲”等癥狀分別給出了肝膽科、心外科、內(nèi)分泌科及消化科的導(dǎo)診建議，結(jié)果測試基本是符合預(yù)期的。

3 總結(jié)

導(dǎo)診模塊通過小程序收集患者自述病情，使用TextRNN模型進行科室分類，預(yù)測出推薦科室后，反饋到小程序?qū)崿F(xiàn)患者的自主問診。在模型的建立中，導(dǎo)診模型應(yīng)用了預(yù)訓(xùn)練詞向量模型，經(jīng)過驗證與評估在科室推薦功能上具有一定的準確性。但在部分科室標簽中，數(shù)據(jù)集存在問題。部分科室數(shù)據(jù)較少，病癥特征較多且與其他科室存在相似的交叉病癥信息，導(dǎo)致模型的分類能力較差。在模塊的實際測試中，導(dǎo)診模塊對新型詞匯諸如方言類的關(guān)鍵詞或較為口頭化的疾病癥狀分類不佳。同時，基于Word2vec的預(yù)訓(xùn)練模型無法表達同一詞語在不同語境下的含義。動態(tài)詞向量表示模型ELMO與BERT可以很好地解決此類問題，提升詞語上下文含義的表示能力，提高模型分類的精度。在分類模型選擇方面，GPU的大力發(fā)展提升了大規(guī)模計算的能力，但BiLSTM并未充分地利用GPU的并行計算能力，這使得BiLSTM在處理速度上處于劣勢。隨著深度學習的不斷發(fā)展，添加注意力機制的CNN網(wǎng)絡(luò)以及基于Transformer的深度學習框架能更好地分類出患者的疾病，同時提高模型訓(xùn)練的效率，更利于智能導(dǎo)診系統(tǒng)的科室推薦功能。

參考文獻：

[1] 戴甜甜，金冬.智能醫(yī)療APP導(dǎo)診功能設(shè)計探究[J].設(shè)計，2020，33（5）：137-139.

[2] BENGIO Y，SIMARD P，F(xiàn)RASCONI P.Learning long-term dependencies with gradient descent is difficult[J].IEEE Transactions on Neural Networks，1994，5（2）：157-166.

[3] LI S，ZHAO Z，HU R F，et al.Analogical reasoning on Chinese morphological and semantic relations[EB/OL].[2022-06-20].2018：arXiv：1805.06504.https：//arxiv.org/abs/1805.06504.pdf.

[4] MIKOLOV T，CHEN K，CORRADO G，et al.Efficient estimation of word representations in vector space[EB/OL].[2022-06-20].2013：arXiv：1301.3781.https：//arxiv.org/abs/1301.3781.pdf.

[5] LIU P F，QIU X P，HUANG X J.Recurrent neural network for text classification with multi-task learning[EB/OL].[2022-06-20].2016：arXiv：1605.05101.https：//arxiv.org/abs/1605.05101.pdf.

[6] 陳曉梅，肖徐東.基于集群辨識和卷積神經(jīng)網(wǎng)絡(luò)-雙向長短期記憶-時序模式注意力機制的區(qū)域級短期負荷預(yù)測[J/OL].[2023-04-10].現(xiàn)代電力.https：//kns.cnki.net/kcms2/article/abstract？v=LD-wYsOa3Djuwd0g-g0PymsD26hnTMxfzoGh Z0RMbQ4tG1YCm4VeGuporow3kE11GJ0rc0bJS7IgT6I6JoBYCFBTNJocxQBarj0B0r4cP_AZHNJMviUMTVI36cUUDBqDCk_ Jm4dC8mM=&uniplatform=NZKPT&flag=copy.

【通聯(lián)編輯：代影】