基于深度學(xué)習(xí)的病歷自動(dòng)生成研究

摘要：針對(duì)醫(yī)生高強(qiáng)度的閱片和病歷撰寫工作耗時(shí)費(fèi)力、重復(fù)枯燥，占用大量的工作時(shí)間等問(wèn)題，提出了一種基于深度學(xué)習(xí)的病歷自動(dòng)生成方法。利用預(yù)訓(xùn)練的ResNet-101對(duì)X光影像數(shù)據(jù)的特征進(jìn)行提取，將提取的特征輸入LSTM進(jìn)行相對(duì)應(yīng)的診斷結(jié)果的預(yù)測(cè)，進(jìn)而實(shí)現(xiàn)病歷的自動(dòng)生成。實(shí)驗(yàn)結(jié)果表明，利用深度學(xué)習(xí)技術(shù)能生成較高質(zhì)量的病歷。

關(guān)鍵詞：病歷自動(dòng)生成;ResNet-101;深度學(xué)習(xí);X光影像;LSTM

1引言及背景

隨著社會(huì)的不斷發(fā)展和生活水平的不斷提高，醫(yī)療技術(shù)也不斷發(fā)展豐富，普通 X 線攝影，計(jì)算機(jī)斷層掃描（CT），以及磁共振成像（MRI）的出現(xiàn)，極大提高了疾病的診斷率。但隨著醫(yī)院病人逐年增多，醫(yī)生的數(shù)量遠(yuǎn)遠(yuǎn)不足。如何使相對(duì)匱乏的醫(yī)療資源滿足人們對(duì)健康的需求，是當(dāng)前迫切需要解決的問(wèn)題。

隨著近年來(lái)深度學(xué)習(xí)和計(jì)算機(jī)硬件的飛速發(fā)展，醫(yī)學(xué)病歷的自動(dòng)生成成為了近年來(lái)計(jì)算機(jī)與醫(yī)療圖像新興的交叉方向[1]。因此，通過(guò)深度學(xué)習(xí)的方法，使用計(jì)算機(jī)代替醫(yī)生進(jìn)行機(jī)械的影像報(bào)告撰寫工作，這樣既避免了經(jīng)驗(yàn)不足的醫(yī)生在閱片診斷中產(chǎn)生的誤診情況，又使得更多的資深醫(yī)生可以從繁重的重復(fù)性工作中解脫出來(lái)，將更多的時(shí)間投入病人的診治中去。

2算法設(shè)計(jì)

本文先使用ImageNet預(yù)訓(xùn)練的ResNet-101模型對(duì)病人的X光影像數(shù)據(jù)進(jìn)行圖像特征提取;隨后講與影像對(duì)應(yīng)的病歷進(jìn)行預(yù)處理，包括構(gòu)建字典，數(shù)據(jù)對(duì)齊，字詞向量嵌入等過(guò)程得到文本特征;最后將圖像特征與文本特征一同輸入LSTM網(wǎng)絡(luò)，對(duì)病歷進(jìn)行預(yù)測(cè)。本文算法流程圖如圖1所示。

2.1圖像特征的提取

本文結(jié)合選取ResNet-101的方法來(lái)實(shí)現(xiàn)X光影像的快速特征提取。ResNet網(wǎng)絡(luò)在2015年被提出時(shí)以精妙的殘差連接極大增強(qiáng)了模型的圖像特征提取能力，并在ImageNet分類任務(wù)上獲得第一名。ResNet-101是指卷積層和全連接層合計(jì)101層的ResNet的改進(jìn)網(wǎng)絡(luò)。通過(guò)在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，使得網(wǎng)絡(luò)具有很強(qiáng)的圖像特征提取能力。

2.2文本特征的提取

要對(duì)病歷中的文本進(jìn)行特征提取，首先需要選取合適的詞向量生成模型將文本隱式轉(zhuǎn)換到文本特征空間。不同于經(jīng)典詞向量生成模型，如Word2Vec，Glove，本文直接使用Embedding層進(jìn)行詞向量的生成，這極大降低了詞向量的生成時(shí)間。此外，本文將英文病歷語(yǔ)料分為詞向量粒度和句向量粒度，使用不同的模型進(jìn)行特征提取，隨后將其進(jìn)行拼接，這使得生成得文本特征包含一定的上下文信息。

3實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)計(jì)

為驗(yàn)證本文算法，本文模型采用PaddlePaddle2.0進(jìn)行實(shí)現(xiàn)，運(yùn)行環(huán)境為L(zhǎng)inux系統(tǒng)，V100-32G顯卡，32G內(nèi)存。使用數(shù)據(jù)為印第安納大學(xué)胸部 X 射線數(shù)據(jù)集，該數(shù)據(jù)集包含 7，470 對(duì)X 射線圖像及其相應(yīng)的診斷報(bào)告。訓(xùn)練批次數(shù)量為32，學(xué)習(xí)率為0.001，將模型訓(xùn)練50次，損失函數(shù)采用交叉熵?fù)p失函數(shù)。

3.2 實(shí)驗(yàn)結(jié)果

如圖2所示，將一張X光數(shù)據(jù)送入訓(xùn)練好的模型即得到訓(xùn)練結(jié)果。

通過(guò)對(duì)比輸出結(jié)果與真實(shí)標(biāo)注結(jié)果，不難發(fā)現(xiàn)，模型的輸出結(jié)果與真實(shí)標(biāo)注語(yǔ)義上有所吻合，這說(shuō)明模型學(xué)到了文本特征與圖像特征的映射關(guān)系。生成的文本較短，這可能是由于數(shù)據(jù)量較少使得模型學(xué)習(xí)能力不夠。

4總結(jié)

通過(guò)預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)有效提取圖像特征，應(yīng)用Embedding層快速提取病歷的文本特征，最后通過(guò)LSTM網(wǎng)絡(luò)即能對(duì)病歷進(jìn)行生成。本文論證了利用深度學(xué)習(xí)技術(shù)對(duì)X光圖像進(jìn)行病歷生成的可行性

參考文獻(xiàn)：

[1]姜會(huì)珍，胡海洋，馬璉，趙從樸，張鋒，陳婕卿，曾可，王曉露，朱衛(wèi)國(guó).基于醫(yī)患對(duì)話的病歷自動(dòng)生成技術(shù)研究[J].中國(guó)數(shù)字醫(yī)學(xué)，2021，16（10）：36-40.

作者簡(jiǎn)介：徐鵬（1997-2），性別：男，民族：漢，籍貫：陜西省咸陽(yáng)市，學(xué)歷：碩士研究生，單位：重慶交通大學(xué)信息科學(xué)與工程學(xué)院，研究方向：醫(yī)學(xué)影像處理 ?單位所在地和郵編：重慶市 400074