用于新冠肺炎CAR的類殘差CNN-LSTM

呂建東，王新剛

(齊魯工業大學(山東省科學院)計算機科學與技術學院，山東濟南250300)

1 引言

自2019年12月開始，中國湖北武漢市陸續出現了一系列原因不明的肺炎病例[1]。經過中國科學家證實，一種名為嚴重急性呼吸系統綜合癥冠狀病毒(SARSCoV-2)的新型冠狀病毒是引起肺炎暴發的原因?，F在，這種嚴重的急性呼吸系統綜合癥已被世界衛生組織稱為2019年冠狀病毒病(COVID-19[2]。截止到2020年6月16日，受到新冠肺炎疫情影響的人數超過780萬人，其中死亡病例高達477，474人。早期發現和治療患者能夠有效減緩病毒在人群中的傳播速度并降低死亡率，反轉錄·聚合酶鏈反應檢測是檢測新型冠狀病毒肺炎的黃金手段，但其缺點在于其所需檢測時間較長且靈敏度有時不盡如人意[3，4]，并且在疫情爆發初期RT-PCR檢測試劑盒供應相對緊張。而基于圖像識別技術的計算機輔助診斷是另一種有效且快速的檢測手段，例如可通過計算機輔助X光片與計算機斷層掃描(CT)圖像進行新型冠狀病毒肺炎輔助診斷[5，6]。

隨著深度學習的發展與火熱，越來越多的深度學習技術被應用到計算機輔助診斷中來。尤以卷積神經網絡為例，已被成功運用到包括諸如乳腺癌診斷，肺結節檢測和前列腺癌定位等應用[7]。自LeNet-5[8]以來，已經提出了許多基于CNN的經典模型，例如AlexNet[9]，VGG-Net(VGG-16和VGG-19)[10]，GoogLeNet[11]和ResNet[12]，本文通過對上述中的傳統卷積神經網絡進行改進，提出了一種新穎的類殘差CNN-LSTM神經網絡，針對串行堆疊結構的卷積神經網絡結構，使用卷積神經網絡提取圖像的多抽象層次的特征，采用類似于殘差網絡的思想將其輸入到LSTM的各個時間步中，使用LSTM對其進行融合后識別，使得能夠充分提取圖像的多抽象層次特征，采用類似于殘差網絡的思想能夠在一定程度上防止梯度爆炸等問題，并通過LSTM中的門控機制對多級特征進行選擇性記憶，達到特征融合目的的同時降低了各級特征之間的冗余；針對并行的卷積神經網絡結構，使用LSTM融合來自不同結構卷積神經網絡的特征后進行識別。將經過改進后的卷積神經網絡模型在加州大學開源的COVID-19 CT數據集[13]上進行驗證，得到了了Recall為0.9655，F1-score為0.8819，accuracy為87.25%，AUC為90.72的結果，各項性能指標都優于傳統的卷積神經網絡，取得了良好的效果。

2 相關工作

在此之前已有一些有關計算機輔助X射線或CT圖像上自動篩查COVID-19的研究。在這里，簡要回顧一些具有代表性的研究。

Feng等人[14]對于人工智能技術在COVID-19成像數據采集，分割和診斷中的應用進行了綜述；Abraham等人[15]使用預訓練的multi-CNN與Bayesnet分類器在X射線圖像數據集上進行了計算機輔助COVID-19篩選，該方法的AUC為0.911，準確度為97.44%；Tao等人[16]構建了一個包含416例COVID-19陽性患者的CT圖像與412例普通肺炎患者的CT圖像的數據集，并構建了一種新穎的多尺度卷積神經網絡體系結構進行COVID-19的自動篩選，該方法的AUC為0.962；Polsinelli等人[17]構建了基于SqueezeNet模型的輕量化卷積神經網絡用于從胸部CT掃描圖像中檢測COVID-19該方法的準確度為85.03%；Wang等人[18]收集了COVID-19患者以及先前診斷為典型病毒性肺炎患者的胸部CT圖像并使用深度學習算法進行放射學圖像特征提取以用于COVID-19的診斷，總準確度為73.1%。

3 本文方法的貢獻

前述方法已在X射線圖像或CT圖像上使用傳統的或者改進的卷積神經網絡模型進行特征提取與COVID-19的篩選。本文提出了一種新穎的類殘差CNN-LSTM神經網絡，采用類似于殘差網絡的思想進行特征提取與，并使用LSTM中的門控機制來對卷積神經網絡提取的多抽象層次的圖像特征進行融合，最終使用患者與非患者的CT圖像進行實驗驗證。

所提出的方法具有以下貢獻：

1)該方法使用了一種改進結構的新穎的CNN從胸部CT圖像中提取特征以診斷COVID-19，現有的大部分方法則是使用預訓練的或組合的經典CNN模型；

2) 該方法創造性的采用了類似于殘差網絡的思想提取圖像的多抽象層次的特征。

3) 該方法中使用LSTM中的門控機制進行特征融合的做法可延伸至多模態特征融合領域。

4 本文算法及數據集

4.1 數據集

該方法在加州大學開源的COVID-19 CT圖像數據集上進行了實驗驗證[14]，該數據集共包含746張CT圖像，由349張標記為COVID-19陽性和397張標記為COVID-19陰性的CT圖像構成。

其中349張標記為COVID-19陽性的CT圖像來自于216例COVID-19患者，具有不同的圖片尺寸，最小，平均和最大高度為153，491和1853，最小，平均和最大寬度為124，383和1485。

剩余的397張標記為COVID-19陰性的CT圖像分別來自于MedPix數據庫、LUNA數據庫、Radiopaedia和PubMed Central (PMC)。

數據集中的部分CT圖像如圖1所示。

圖1 數據集中的部分圖像

4.2 本文算法

本文所提出的方法中使用的類殘差CNN-LSTM神經網絡是由一個或多個未經預訓練的經典卷積神經網絡作為基準模型構成，通過對其進行分塊劃分并結合類似于殘差網絡的思想，能夠更加有效的提取圖像的多抽象層次特征；并通過LSTM中的門控機制對CNN提取到的各級圖像特征進行長短期記憶以達到特征融合的目的，并能夠通過對各級圖像特征的“選擇性記憶”過程降低特征之間冗余帶來的影響，最終將融合后的特征融入分類器進行分類。

4.2.1 特征提取

本文所提出的方法使用單一或并行卷積神經網絡進行特征提取，卷積神經網絡是一種人工神經網絡，其結構可以分為卷積層、池化層、全連接層三層[19]。

卷積層：用于提取特征，主要包括卷積和激活運算。本文中所采用的線性整流函數(Rectified Linear Unit，ReLU)，又稱修正線性單元，是一種人工神經網絡中常用的激活函數。

池化層：用于下采樣，卻不會損壞識別效果。池化層旨在通過降低特征圖的分辨率來獲得具有空間不變性的特征，起到二次提取特征的作用并進一步減少參數數量，同時還可以提升模型的魯棒性。常用的池化方法有最大池化(max-pooling，即取局部接受域中值最大的點)、均值池化(mean-pooling，即對局部接受域中的所有值求均值)、隨機池化(stachastic-pooling)等。本文模型中所采用的均為最大池化法。

全連接層：用于分類。通過連接所有的特征，將輸出值送給分類器進行分類輸出。在本文中也將其用做整流，對具有不同形狀的特征矩陣進行整流以便下一步融合。

具體的特征提取過程如圖2所示，針對串行堆疊結構的卷積神經網絡，如圖3所示，將其劃分為若干個卷積塊，每個卷積塊中包含若干個卷積層與池化層，對整體的卷積神經網絡進行訓練后以獲取每個卷積塊的輸出，也即圖像的各級特征，設CT圖像Images尺寸為h*w，卷積核K大小為x*y，則特征圖m的卷積運算可通過式(1)中的點積運算定義

(1)

其后對特征圖m進行激活運算，其運算過程如式(2)所示

(2)

此時的各級特征矩陣具有不同的維度，需采用不同的全連接層進行整流，將其轉換為具有相同維度的特征矩陣(Featurei)以便進行融合操作。

針對并行卷積神經網絡，使用不同結構的卷積神經網絡進行特征提取，將各個特征矩陣經由具有同一輸出形狀的全連接層進行整流以便融合。

圖2 特征提取過程示意圖

4.2.2 特征融合

圖3 特征融合過程示意圖

本文所提出的方法采用LSTM中的門控機制對各級圖像特征進行“選擇性記憶”以達到特征融合的目的。LSTM[20]是長短期遞歸神經網絡(RNN)，其執行過程分為以下三個階段：

1)忘記階段。這個階段主要是對上一個節點傳進來的輸入進行選擇性忘記。簡單來說就是會“忘記不重要的，記住重要的”。

2)選擇記憶階段。這個階段將這個階段的輸入有選擇性地進行“記憶”。主要是會對輸入進行選擇記憶。哪些重要則著重記錄下來，哪些不重要，則少記一些。

3)輸出階段。這個階段將決定哪些將會被當成當前狀態的輸出

圖4 總體架構示意圖

It=σ(FtWxi+Ht-1Whi+bi)

(3)

Ft=σ(FtWxf+Ht-1Whf+bf)

(4)

Io=σ(FtWxo+Ht-1Who+bo)

(5)

(6)

其中Wxi，Wxf，Wxo，Wxc∈RD×h和Whi，Whf，Who，Whc∈Rh×h是權重參數，bi，bf，bo，bc∈R1×h是偏差參數。此處通過元素值域在[0，1]的輸入門、遺忘門和輸出門來控制隱藏狀態中信息的流動，當前時間步記憶細胞Ct∈RN×h的計算組合了上一時間步記憶細胞和當前時間步候選記憶細胞的信息，并通過遺忘門和輸入門來控制信息的流動

(7)

其中⊙表示按元素乘法，取最終時間步stepN的記憶細胞CN∈RN×h(包含當前時間步的特征信息與之前時間步的特征信息)作為融合后的特征矩陣。

4.2.3 總體架構

本文采用了一種新穎的方式對COVID-19數據集中的CT圖像進行特征提取與融合，首先使用類似于殘差網絡的思想與卷積神經網絡相結合來提取多抽象層次的圖像特征；其次使用LSTM中的門控機制所提取的多級圖像特征進行“選擇性記憶”以此來達到特征融合的目的，LSTM各個時間步的輸入為CNN所提取的具有相同維度大小的圖像特征矩陣，經過LSTM中的門控機制對多個時間步的輸入進行長短期記憶，取最終時間步的輸出作為融合后的特征，并送入全連接層進行分類。

首先對于串行結構的卷積神經網絡，本文選取了AlexNet、VGG-16與VGG-19作為基準CNN模型，如圖4.(a)所示，將串行結構的卷積神經網絡中的網絡層分為若干個卷積塊(Block-1，…Block-N)，每個卷積塊中又包含若干個卷積層與池化層，整個卷積神經網絡經過訓練后，采用類似于殘差網絡的思想，將逐個卷積塊的輸出(特征矩陣)經過全連接層(FC-1…FC-N)進行整流，轉換為具有相同維度的特征矩陣(Feature1…Feature N)，分別作為LSTM的每個時間步(Step i)的輸入，通過LSTM中的門控機制對逐個時間步的輸入特征矩陣進行長短期記憶，取最后一個時間步的記憶細胞的輸出CN(包含之前時間步的特征信息與當前時間步的特征信息)作為融合后的特征，最終送入全連接層(FC-classifier)進行識別分類。

其次對于并行multi-CNN，本文分別選擇VGG-16+AlexNet與ResNet50+ResNet-18，densenet161+densenet169作為基準multi-CNN模型，如圖4(b)所示。將不同結構的CNN(CNN-1…CNN-N)所提取的特征送入全連接層(FC-1…FC-N)進行整流，將其轉換成具有相同維度的特征矩陣(Feature1…Feature N)，分別作為LSTM的每個時間步(stepi)的輸入，通過LSTM中的門控機制對逐個時間步的輸入特征進行長短期記憶，將最后一個時間步的記憶細胞的輸出CN(包含前時間步的特征信息與當前時間步的特征信息)作為融合后的特征，最終送入全連接層(FC-classifier)進行識別分類。

5 本文方法實驗

5.1 預處理

由于數據集中的圖像尺寸大小不一，因此統一將其尺寸轉換為224×224，以便能夠方便的輸入到神經網絡之中，并采用隨機裁剪、隨機旋轉等操作對圖像進行增廣操作。

5.2 本文方法性能比較

由于本文方法采用的數據集為二分類：是否為COVID-19患者，因此采用recall、Precision、F1-score、accuracy以及AUC作為評測指標。

實驗中采用十折交叉驗證法進行訓練，采用Adam為優化器，設置batchsize為32，每一折訓練300個epoch。

改進的串行結構類殘差CNN-LSTM與其基準模型對比如表1所示，改進的并行CNN-LSTM與其基準模型對比如表2所示，經由本文方法改進的串行結構CNN在各項性能評測指標都有著不錯的表現，對比基準模型各有2%～10%的提升。

表1 串行結構類殘差CNN-LSTM驗證結果表

表2 并行結構CNN-LSTM驗證結果表

5.3 本文方法的局限性

即使該方法已經取得了良好的結果，但也存在一定的局限性，本文方法僅針對COVID-19陽性與陰性進行二分類圖像識別驗證，未在多類分類方案中進行驗證(如區分COVID-19患者與非患者、病毒性肺炎患者與細菌性肺炎患者)。

6 結論

本文提出了一種新穎的類殘差CNN-LSTM用于計算機輔助新冠肺炎識別，通過類似于殘差網絡的思想與卷積神經網絡相結合進行特征提??；通過LSTM對多級圖像特征進行融合，經過驗證，結果要明顯優于基準模型，各項評測指標相較于基準模型提升了2%～10%，證明了本文方法的有效性。