基于深度殘差網(wǎng)絡(luò)的兒科肺炎輔助診斷算法

張科，張春曉

山東第一醫(yī)科大學(xué)附屬省立醫(yī)院（山東省立醫(yī)院）醫(yī)學(xué)工程管理辦公室，山東 濟(jì)南 250021

引言

世界衛(wèi)生組織報(bào)告指出，兒童肺炎在眾多致命疾病中的致死率仍占據(jù)首位，全球每天至少有2400名兒童死于肺炎引起的并發(fā)癥，據(jù)統(tǒng)計(jì)，2017年，全世界因肺炎死亡的兒童人數(shù)達(dá)到了80萬(wàn)，在5歲以下的死亡兒童中，死于肺炎的比例已經(jīng)達(dá)到15%，超過(guò)瘧疾、艾滋病和麻疹致死人數(shù)的總和[1-5]。值得注意的是，絕大多數(shù)被診斷患有臨床肺炎的兒童主要分布于發(fā)展中國(guó)家[6-8]。X線(xiàn)檢查是目前肺炎診斷的重要輔助手段，且在流行病學(xué)篩查中也占據(jù)重要地位[9-10]。然而與成人不同，患兒在不同的年齡段，其肺炎癥狀在X光胸片上的影像表現(xiàn)呈現(xiàn)多樣化情況。因此，在利用X光片進(jìn)行兒科肺炎診斷時(shí)，對(duì)醫(yī)生的專(zhuān)業(yè)能力具有較高的要求，且往往需要醫(yī)生擁有豐富的經(jīng)驗(yàn)。近年來(lái)，隨著數(shù)字化進(jìn)程的推進(jìn)，計(jì)算機(jī)輔助診斷（Computer-Aided Diagnosis，CAD）在臨床診斷中發(fā)揮越來(lái)越重要的作用，其中深度學(xué)習(xí)在肺炎的輔助診斷中也逐漸引起研究者們的關(guān)注，并取得了一定的研究成果[11-12]。

然而受到兒童肺炎影像數(shù)據(jù)較為稀缺的限制，目前國(guó)內(nèi)對(duì)基于深度學(xué)習(xí)方法仍集中于成人領(lǐng)域[13-17]，兒童肺炎輔助診斷算法的系統(tǒng)性研究相對(duì)較少，因此對(duì)擬采用的深度學(xué)習(xí)方法開(kāi)展進(jìn)一步的研究對(duì)滿(mǎn)足兒科臨床診斷要求具有重要意義。本研究提出了一種深度神經(jīng)網(wǎng)絡(luò)模型，該模型由ResNeXt-50網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)而來(lái)，在構(gòu)建過(guò)程中，將縮聚-激發(fā)網(wǎng)絡(luò)（Squeeze and Excitation Network，SE-Net）融合到ResNeXt中建立特征通道之間的關(guān)聯(lián)，對(duì)醫(yī)學(xué)影像圖像的分類(lèi)具有顯著的效果；同時(shí)，本研究使用Leaky ReLU函數(shù)替代Re LU函數(shù)，組歸一化（Group Normalization，GN）作為歸一化方法，以期提升兒童肺炎圖像識(shí)別的精準(zhǔn)度。

1 資料與方法

1.1 數(shù)據(jù)集

本研究中用于訓(xùn)練和評(píng)估所提方法的數(shù)據(jù)集為Chest X-Ray[18]，該公共數(shù)據(jù)集是基于廣州婦女兒童醫(yī)學(xué)中心1～5歲兒科患者的X射線(xiàn)掃描數(shù)據(jù)庫(kù)制作的（圖1）。Chest X-Ray數(shù)據(jù)集共包含5856張胸部X射線(xiàn)圖像（圖像格式為JPEG）。本研究隨機(jī)抽取5232張兒童的影像圖像，包括3883張肺炎圖像和1349張正常圖像參與深度學(xué)習(xí)算法的訓(xùn)練和驗(yàn)證；在訓(xùn)練完成后，再使用剩余的624張兒童圖像（包括234張正常圖像，390張肺炎圖像）來(lái)測(cè)試所提出模型的性能。

圖1 Chest XRay2017數(shù)據(jù)庫(kù)示例圖

1.2 數(shù)據(jù)預(yù)處理

深度卷積神經(jīng)網(wǎng)絡(luò)因其訓(xùn)練參數(shù)眾多而擁有強(qiáng)大的特征表達(dá)能力。為獲得良好的分類(lèi)效果，往往需要大量甚至海量數(shù)據(jù)來(lái)訓(xùn)練這種深度模型。本研究首先對(duì)圖像進(jìn)行預(yù)處理，將圖像尺寸調(diào)整為224×224，然后在訓(xùn)練中每次對(duì)原始圖像進(jìn)行圖像水平、垂直翻轉(zhuǎn)和隨機(jī)角度的旋轉(zhuǎn)變換等擾動(dòng)處理，經(jīng)過(guò)多輪訓(xùn)練后，數(shù)據(jù)增強(qiáng)，用以增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)對(duì)肺炎影像特征判斷的精確性和魯棒性。數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)的結(jié)果如圖2所示，表明數(shù)據(jù)增強(qiáng)后可有效提高分類(lèi)的準(zhǔn)確性。

圖2 數(shù)據(jù)增強(qiáng)結(jié)果

1.3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

本研究采用ResNeXt-50模型為基礎(chǔ)網(wǎng)絡(luò)，相較于傳統(tǒng)的殘差網(wǎng)絡(luò)，ResNeXt-50不僅具有更高的訓(xùn)練精度，其計(jì)算量也更少。同時(shí)將SE-Net融合到ResNeXt-50中，利用Leaky ReLU函數(shù)的優(yōu)勢(shì)，將組歸一化作為歸一化方法，以小批尺寸實(shí)現(xiàn)快速神經(jīng)網(wǎng)絡(luò)訓(xùn)練，提升分類(lèi)效果。網(wǎng)絡(luò)整體架構(gòu)圖如圖3所示。

圖3 整體架構(gòu)圖

1.3.1 ResNeXt

Xie等[17]的研究中認(rèn)為在提升網(wǎng)絡(luò)性能時(shí)，可采用ResNeXt，而無(wú)須使用傳統(tǒng)加深和加寬網(wǎng)絡(luò)層次的方法，原因?yàn)榕cInception相比，ResNe Xt在設(shè)計(jì)上使用具有相同拓?fù)浣Y(jié)構(gòu)的多條路徑，減少了人工環(huán)節(jié)，不再需要復(fù)雜的Inception細(xì)節(jié)方面設(shè)計(jì)。通過(guò)先拆分，再進(jìn)行轉(zhuǎn)換，最后再合并的過(guò)程，實(shí)現(xiàn)了分支卷積策略大幅度提升的結(jié)果，并且這一方法較為簡(jiǎn)單，整體可近乎無(wú)限擴(kuò)展。ResNeXt（path=32）結(jié)構(gòu)示意圖如圖4所示，圖中分支數(shù)量表示不增加整體模型復(fù)雜度的情況下，對(duì)模型準(zhǔn)確性的提高程度。

圖4 ResNeXt結(jié)構(gòu)示意圖

1.3.2 SE-Net

SE模塊[11]是進(jìn)行特征重調(diào)，即對(duì)每個(gè)特征通道的重要程度進(jìn)行排序的一種機(jī)制，可增強(qiáng)重要的特征，削弱不重要的特征。SE模塊通過(guò)自身的堆疊構(gòu)建SE-Net，還能對(duì)已有的深度網(wǎng)絡(luò)結(jié)構(gòu)中的模塊進(jìn)行替換衍生出新的網(wǎng)絡(luò)。SE模塊功能的充分發(fā)揮，會(huì)經(jīng)歷縮聚操作與激發(fā)操作2個(gè)重要的步驟?？s聚操作用通道描述符號(hào)來(lái)代表各通道的二維特征，以此來(lái)顯示二維特征通道上分布情況；激發(fā)操作則利用學(xué)習(xí)參數(shù)W的方式賦予每個(gè)特征通道一定的權(quán)重，此權(quán)重表示建模時(shí)各參數(shù)之間的相關(guān)性大小。

SE模塊的流程如下：① 對(duì)輸入圖像X，，對(duì)其進(jìn)行卷積，然后進(jìn)行加權(quán)并計(jì)算C個(gè)特征圖U，其中第c個(gè)特征圖為UC，計(jì)算方式如公式（1）所示；② 為縮聚操作，對(duì)輸入的C個(gè)特征圖U，其大小均為H×W，然后進(jìn)行全局平均池化，轉(zhuǎn)化成C個(gè)1×1的特征輸出m，因此，第c個(gè)特征圖UC的全局平均池輸出計(jì)算方式見(jiàn)如公式（2）所示；③ 激發(fā)操作如公式（3）所示，分別用m與網(wǎng)絡(luò)學(xué)習(xí)到的參數(shù)W1和W2進(jìn)行乘法運(yùn)算，這2種運(yùn)算均為全連接操作，可達(dá)成通道維度的變換，得出輸出權(quán)重。

式中，卷積核的權(quán)重組合為V，V=[v1，v2，…vc]，vc為第c個(gè)卷積核，vcl為第c個(gè)卷積核作用于第l個(gè)輸出；xl=xijl為第l個(gè)輸出的特征圖。

式中，δ[ ]為ReLU激活層；σ[ ]為sigmoid激活函數(shù)。

本研究使用的SE-ResNeXt50基本結(jié)構(gòu)如圖4所示，其中C是通道數(shù)，代表輸入特征與輸出特征；C/r則是將特征維度降低到輸入的1/r，并以此種方法來(lái)降低計(jì)算量。SE-ResNeXt結(jié)構(gòu)示意如圖5所示。

圖5 SE-ResNeXt 結(jié)構(gòu)圖

1.3.3 激活函數(shù)

ReLU函數(shù)圖像如圖6a所示，其在深度學(xué)習(xí)算法中應(yīng)用較為廣泛，且ReLU的表達(dá)形式也較為簡(jiǎn)單。在x＞0時(shí)，保持導(dǎo)數(shù)值恒為1的ReLU函數(shù)，可以使深度的神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中得到快速收斂，并可避免在多層神經(jīng)網(wǎng)絡(luò)中常常出現(xiàn)的反向傳播過(guò)程中梯度消失的情況。但該函數(shù)也存在一定的缺點(diǎn)，如在x＜0時(shí)，其函數(shù)值全為0，這會(huì)導(dǎo)致神經(jīng)元的死亡。基于ReLU函數(shù)，Maas等[20]提出了改進(jìn)后的激活函數(shù)Leaky ReLU，其函數(shù)圖像如圖6b所示。該改進(jìn)后的函數(shù)可以有效解決ReLU函數(shù)出現(xiàn)的上述問(wèn)題。本研究在ResNeXt模型中將全連接層激活函數(shù)修改為L(zhǎng)eaky ReLU，將ReLU層修改為L(zhǎng)eaky ReLU激活函數(shù)。

圖6 ReLU（a）和Leaky ReLU（b）激活函數(shù)曲線(xiàn)圖

1.3.4 歸一化方法

本研究中數(shù)據(jù)的輸入早于卷積計(jì)算，因此，在深層網(wǎng)絡(luò)內(nèi)梯度彌散的同時(shí)，還需要加快模型收斂的速度，使用歸一化的方法來(lái)處理不同量綱的實(shí)驗(yàn)數(shù)據(jù)是必不可少的。在常規(guī)深度學(xué)習(xí)研究中，常用的歸一化方法有以下幾種：批歸一化[12]、層歸一化[18]以及實(shí)例歸一化[19]。在ResNeXt模型中，往往采用的數(shù)據(jù)歸一化方法為批歸一化。但在對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，批歸一化層的計(jì)算是存在數(shù)據(jù)偏差的，有些研究則使用組歸一化方法[21]進(jìn)行數(shù)據(jù)的預(yù)處理，該方法將通道分為很多組，然后在各組內(nèi)分別計(jì)算實(shí)驗(yàn)數(shù)據(jù)的均值和方差，以此來(lái)規(guī)避批歸一化導(dǎo)致的數(shù)據(jù)偏差。此外，本研究發(fā)現(xiàn)，致使深層卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與收斂速度變緩的主要原因在批歸一化層，因此本研究將ResNeXt模型中的批歸一化層改為了GN層。

2 結(jié)果

2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)使用Python語(yǔ)言基于Pytorch框架進(jìn)行編程，實(shí)驗(yàn)平臺(tái)為DGX的Ubuntu系統(tǒng) NVIDIAv100。數(shù)據(jù)預(yù)處理環(huán)節(jié)是在CPU環(huán)境下進(jìn)行的，CNN模型在GPU上進(jìn)行訓(xùn)練，以此來(lái)加快數(shù)據(jù)的并行計(jì)算，提高實(shí)驗(yàn)效率。

2.2 訓(xùn)練策略

本研究使用ImageNet上預(yù)訓(xùn)練的權(quán)值初始化改進(jìn)后的網(wǎng)絡(luò)模型，然后在Chest X-Ray數(shù)據(jù)集上進(jìn)行遷移學(xué)習(xí)。在實(shí)驗(yàn)中訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)模型時(shí)采用小批量數(shù)據(jù)（batch_size）的方式，具體的batch_size為16，分類(lèi)函數(shù)使用softmax函數(shù)，損失函數(shù)則采用交叉熵函數(shù)（Cross Entropy Loss），優(yōu)化方法使用的為隨機(jī)梯度下降（Stochastic Gradient Descent）算法，動(dòng)量設(shè)為0.9。將初始學(xué)習(xí)率設(shè)為0.01，并在訓(xùn)練過(guò)程中第20輪和第65輪分別下降10倍。

2.3 評(píng)價(jià)標(biāo)準(zhǔn)

在進(jìn)行模型的性能評(píng)價(jià)時(shí)，本研究選擇準(zhǔn)確率（Accuracy）、召回率（Recall）以及精確率（Precision）作為評(píng)價(jià)指標(biāo)。準(zhǔn)確率表示預(yù)測(cè)患者是否患有肺炎與實(shí)際結(jié)果的一致性，說(shuō)明了模型對(duì)疾病診斷效果的預(yù)測(cè)能力；召回率為實(shí)際肺炎患者預(yù)測(cè)為患有肺炎的概率，召回率越高表示漏診的概率越低；精確率是指正確預(yù)測(cè)為肺炎的患者占全部預(yù)測(cè)為患者的比例。

準(zhǔn)確率、召回率與精確率的計(jì)算方式分別如公式（4）～（6）所示。

式中，TP、TN、FP、FN分別表示真陽(yáng)性、真陰性、假陽(yáng)性、假陰性的數(shù)量。

2.4 實(shí)驗(yàn)結(jié)果

本研究數(shù)據(jù)集準(zhǔn)確率曲線(xiàn)如圖7所示，該訓(xùn)練集的初始準(zhǔn)確率為72.50%，隨后呈現(xiàn)出波動(dòng)上升的趨勢(shì)，該上升趨勢(shì)表示該神經(jīng)卷曲網(wǎng)絡(luò)每次權(quán)重參數(shù)的調(diào)整都對(duì)整體網(wǎng)絡(luò)起到了優(yōu)化作用，使該訓(xùn)練集可以在之后的實(shí)驗(yàn)中獲得更高的準(zhǔn)確率。而從測(cè)試集的曲線(xiàn)中可以看出，該曲線(xiàn)的準(zhǔn)確率從起點(diǎn)即高于訓(xùn)練集數(shù)據(jù)，表明通過(guò)訓(xùn)練集的逐步訓(xùn)練，可以很好地提升整個(gè)網(wǎng)絡(luò)的準(zhǔn)確率。同時(shí)，從圖中可以看出，雖然測(cè)試集的準(zhǔn)確率曲線(xiàn)存在一定幅度的波動(dòng)，但整體看來(lái)上升趨勢(shì)較為明顯，準(zhǔn)確率最高可達(dá)92.18%。

圖7 訓(xùn)練集準(zhǔn)確率曲線(xiàn)

由損失函數(shù)曲線(xiàn)（loss曲線(xiàn)）也可評(píng)估網(wǎng)絡(luò)的可靠性與穩(wěn)定性，如圖8所示，隨著測(cè)試次數(shù)的增加，loss曲線(xiàn)的波動(dòng)幅度逐漸減小，在最后批次的測(cè)試數(shù)據(jù)中，loss值達(dá)到0.171，表明整個(gè)網(wǎng)絡(luò)的可靠性和穩(wěn)定性呈緩慢上升趨勢(shì)。

圖8 損失函數(shù)圖

原始ResNeXt網(wǎng)絡(luò)模型、數(shù)據(jù)增強(qiáng)+ResNeXt網(wǎng)絡(luò)模型、ResNeXt網(wǎng)絡(luò)模型+GN+Leaky ReLU與本研究網(wǎng)絡(luò)模型識(shí)別準(zhǔn)確率、精確率和召回率的對(duì)比情況如表1所示，通過(guò)對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)，本研究網(wǎng)絡(luò)模型的識(shí)別精度最高，準(zhǔn)確率、精確率和召回率分別達(dá)到了91.19%、89.70%和91.39%，表明本研究的網(wǎng)絡(luò)模型具有一定的實(shí)用性，能夠更好地?cái)M合肺炎圖像數(shù)據(jù)集。其中通過(guò)數(shù)據(jù)增強(qiáng)可有效提高肺炎的分類(lèi)準(zhǔn)確率，約提高3%。同時(shí)利用Leaky Re LU和組歸一化的方法，改善了模型的分類(lèi)性能，準(zhǔn)確率約提高2%。

表1 原始ResNeXt網(wǎng)絡(luò)模型與改進(jìn)后網(wǎng)絡(luò)模型對(duì)比（%）

為驗(yàn)證模型的有效性，選擇在Chest X-Ray數(shù)據(jù)集上現(xiàn)有的研究成果進(jìn)行對(duì)比。如表2 所示，DCNET是梁高博[22]提出的引入擴(kuò)張卷積以代替部分普通卷積層的擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)模型的分類(lèi)方法；RES_SE_DCNET[22]是其進(jìn)一步結(jié)合注意力機(jī)制以提升網(wǎng)絡(luò)判別能力的分類(lèi)方法；Finetuning_RES_SE_DCNET[22]則是采用RES_SE_DCNET網(wǎng)絡(luò)遷移學(xué)習(xí)的分類(lèi)方法；Liang等[23]在實(shí)驗(yàn)中也使用了遷移學(xué)習(xí)的策略，提出了ResNet+空洞卷積方法，該方法是以ResNet殘差網(wǎng)絡(luò)為基礎(chǔ)，采用空洞卷積[24]方法，使影像圖片的空間損失率降低為最小。從表2可以看出，與其他深度神經(jīng)網(wǎng)絡(luò)模型相比，從識(shí)別準(zhǔn)確率來(lái)看，本研究提出的計(jì)算模型在該指標(biāo)中最高，這也說(shuō)明了本研究提出模型的有效性，但是由于數(shù)據(jù)量不足且不均衡導(dǎo)致精確率和召回率低于其他模型。

表2 本文計(jì)算模型與現(xiàn)有研究成果的對(duì)比（%）

3 討論

本研究提出了一種改進(jìn)的深度卷積神經(jīng)網(wǎng)絡(luò)模型，能夠應(yīng)用到兒童肺炎圖像的識(shí)別分類(lèi)中，是深度學(xué)習(xí)方法在兒科肺炎中的應(yīng)用的一種新嘗試。早期，大多數(shù)研究采用傳統(tǒng)機(jī)器學(xué)習(xí)的方法來(lái)對(duì)肺炎進(jìn)行識(shí)別[25-26]。目前，關(guān)于醫(yī)學(xué)影像圖像的研究主要集中于圖像處理方法的更新、模式識(shí)別方式、科學(xué)計(jì)算的算法以及可視化處理技術(shù)等方面，關(guān)于肺炎圖像的分類(lèi)方法，越來(lái)越多的研究開(kāi)始集中于深度學(xué)習(xí)[27-29]。潘麗艷等[30]利用深度分析模型聯(lián)合遷移學(xué)習(xí)技術(shù)建立了病原菌自動(dòng)分類(lèi)模型，用以指導(dǎo)小兒肺炎的治療，結(jié)果表明，基于深度卷積神經(jīng)網(wǎng)絡(luò)的肺炎病原二元分類(lèi)模型，準(zhǔn)確率可達(dá)80.48%。Liz等[31]將機(jī)器學(xué)習(xí)應(yīng)用到兒科肺炎X線(xiàn)影響的分類(lèi)中，且開(kāi)發(fā)了新的集成深度學(xué)習(xí)模型來(lái)分類(lèi)胸腔X光片，該模型允許使用小數(shù)據(jù)集進(jìn)行訓(xùn)練，獲得良好的分類(lèi)效果。Siddiqi等[32]通過(guò)提出一種21層卷積神經(jīng)網(wǎng)絡(luò)PneumoniaNet，定制的VGG16最高的測(cè)試集精度達(dá)到95.83%，證明了使用深度可分離卷積可以提供有效的肺炎檢測(cè)模型。曹磊等[33]將深度學(xué)習(xí)應(yīng)用到肺炎的分類(lèi)系統(tǒng)中，通過(guò)對(duì)比隨訪(fǎng)、渲染分割等研究，證實(shí)了結(jié)合遷移學(xué)習(xí)方法訓(xùn)練的融合深度學(xué)習(xí)模型對(duì)肺炎評(píng)價(jià)的有效性。

本研究以?xún)嚎品窝椎挠跋駡D片分類(lèi)為切入點(diǎn)，以ResNeXt網(wǎng)絡(luò)為基礎(chǔ)網(wǎng)絡(luò)，將SE-Net融合到ResNeXt中建立特征通道之間的關(guān)聯(lián)，提升分類(lèi)效果。同時(shí)利用Leaky ReLU函數(shù)替代Re LU，組歸一化作為歸一化方法。在對(duì)比實(shí)驗(yàn)中，本研究所提出的模型在訓(xùn)練集和測(cè)試集上均表現(xiàn)出了比其他已有模型更好的識(shí)別效果。

4 結(jié)論

本研究以ResNeXt網(wǎng)絡(luò)為基礎(chǔ)網(wǎng)絡(luò)，將SE-Net融合到ResNeXt中建立特征通道之間的關(guān)聯(lián)，同時(shí)利用Leaky ReLU函數(shù)替代ReLU，組歸一化作為歸一化方法，對(duì)于計(jì)算機(jī)輔助診斷在臨床中的應(yīng)用是一種新的推進(jìn)，尤其是在兒科肺炎圖像的分類(lèi)中作用尤為明顯，后期該方法還可以應(yīng)用到圖像X線(xiàn)片圖像后處理系統(tǒng)的升級(jí)之中，幫助醫(yī)生進(jìn)行肺炎種類(lèi)的判斷，以減少漏診、誤診現(xiàn)象，加快兒科肺炎對(duì)癥治療的進(jìn)度。此外，本研究精度還需進(jìn)一步提高以應(yīng)用于臨床中，今后考慮到醫(yī)療圖像的特殊性，可利用語(yǔ)義分割技術(shù)對(duì)圖像進(jìn)行預(yù)處理，再利用深度神經(jīng)網(wǎng)絡(luò)對(duì)精確分割得到的圖像進(jìn)行分類(lèi)預(yù)測(cè)，以獲得更好的圖像分類(lèi)效果。