DRT Net：面向特征增強的雙殘差Res-Transformer肺炎識別模型

周 濤，彭彩月*，杜玉虎，黨 培，劉鳳珍，陸惠玲

（1.北方民族大學 計算機科學與工程學院，寧夏 銀川 750021；2.北方民族大學 圖像圖形智能處理國家民委重點實驗室，寧夏 銀川 750021；3.寧夏醫科大學 醫學信息與工程學院，寧夏 銀川 750004）

1 引言

肺炎作為一種常見的胸部疾病，是由微生物和其他環境因素引起的呼吸道感染。它導致肺部積液和呼吸困難，對人體的呼吸系統造成了嚴重的危害。2019 年下半年爆發的新型冠狀病毒感染（Corona Virus Disease2019，COVID-19），已影響全球人口的健康［1］。傳統的肺炎診斷手段主要依賴于醫生多年的臨床經驗，可能存在主觀誤差，且難以大規模實施。胸部影像學在肺部感染性病變的診斷中具有重要的價值，對患者進行療效評價可利用高分辨率胸部CT［2］及X 線檢查［3］。利用深度學習技術對患者肺部影像特征進行分析，從而進行病情評估，能夠降低復雜的醫學數據給醫務人員帶來的負擔，提高診斷效率，輔助醫生盡快形成針對性診療方案［4］。

殘差神經網絡（Residual Neural Network，ResNet）［5］廣泛應用在醫學圖像領域，目前在肺部疾病的臨床輔助診斷方面取得了良好的效果。Zhou 等［6］提出一種基于CT 圖像的改進的注意力ResNet 新冠肺炎識別模型，以適應新冠肺炎病灶區域的特性，實現對于新冠肺炎的識別。Chen等［7］提出一種基于Inception-ResNet的COVID-19診斷三分類模型，在Inception-Resnet 中使用自注意力機制對肺部病變進行分類，進一步提升了卷積神經網絡的分類性能。Huang 等［8］提出了一種名為非局部通道注意力ResNet 的深度學習神經網絡，將ResNet 與非局部模塊和信道注意力機制相結合，用于監測COVID-19 PN 患者的肺水腫程度，幫助臨床醫生為患者制定適當的治療方法。Rajpal 等［9］提出了一種注意力瓶頸殘差網絡（ABResNet）對COVID-19 的正常和異常病例進行分類，并通過提出的基于邊緣的圖切割分割（EGCS）來定位疾病感染區域，在精度更高的同時實現了有效的網絡性能。Chen 等［10］提出雙非對稱特征學習網絡DualCheXNet，用于多標簽胸部疾病分類，通過結合ResNet 和DenseNet，從胸部圖像中捕獲更多的判別特征，提高胸部疾病分類性能。吳宣言等［11］提出一種深層聚合殘差密集網絡（DLA-RDNet），用于超聲圖像左心室分割，在下采樣部分，結合ResNet 與DenseNet 的優勢提出殘差密集網絡（RDNet），充分利用所有卷積層的層次信息，實現了較高的增長率。李鏘等［12］提出一種結合三重注意力機制的雙路徑卷積神經網絡（TADPN），將ResNet 和DenseNet 結合的雙路徑網絡（Double Path Network，DPN）作為骨干網絡，并利用3 種不同形式的注意力機制改進DPN，在維持參數量穩定的同時提高網絡復雜度，進而提升對胸片疾病的分類精度。

肺部X 射線圖像病變區域多樣化，存在分布廣泛、形狀復雜、大小不一等特點，且圖像中病灶區域存在與周圍組織對比度有限、邊界不清晰的問題，肺炎感染癥狀的特異性會導致模型不能很好地關注圖像中的病變區域，難以充分提取病變區域的有效特征進行分類。針對上述問題，本文設計了組注意力雙殘差模塊（Group Attention Dual Residual Module，GADRM），采用通道混洗、通道注意力與空間注意力進行高效的特征提取，融合不同通道之間的特征信息，使用兩個不同操作的殘差連接同時對特征進行重復挖掘利用，增強單個模塊對病變區域特征的提取能力；設計了全局局部特征提取模塊（Global Local Feature Extraction Module，GLFEM），在特征提取網絡末端結合CNN 和Transformer 的優勢，使得網絡同時關注全局以及局部的高語義特征信息，進一步增強網絡的語義特征提取能力；構造了跨層雙注意力特征融合模塊（Cross-layer Dual Attention Feature Fusion Module，CDAFFM），利用空間注意力增強淺層網絡的紋理、形狀等低語義信息，對深層網絡的高語義信息進行通道增強，將二者融合獲得更豐富的上下文信息，對網絡提取到的跨層特征進行增強。

2 整體網絡結構

ResNet 的出現有效緩解了由于網絡深度增加帶來的梯度消失和網絡退化問題，能夠加快神經網絡的訓練速度，并且大幅提升深度網絡的泛化能力和穩定性，常用于醫學圖像的肺部分類。然而，肺部X 射線圖像的病灶區域較小、形狀復雜，與正常組織間的邊界模糊，模型常常無法提取圖像的全局特征和局部特征，且難以聚焦于病灶區域。此外，原始殘差網絡采用卷積操作進行特征提取，無法獲得病灶的全局信息。

為了有效利用X 光圖像中的全局與局部病變區域特征，提高模型對于不同類型肺炎的識別能力，本文提出面向特征增強的雙殘差Res-Transformer 肺炎識別模型DRT Net。該模型的整體結構如圖1 所示，包含GADRM（A）、CDAFFM（B）以及GLFEM（C）。DRT Net 利用Res-Transformer 結構對于肺炎圖像的全局特征提取能力與局部特征提取能力，結合3 種不同的特征增強策略提升模型對于病變區域的感知能力。

圖1 DRT Net 整體框架Fig.1 Overall framework of DRT Net

2.1 組注意力雙殘差模塊

殘差單元通過殘差連接實現恒等映射，避免由于網絡加深而造成的梯度消失問題。殘差連接有Add 型殘差連接和Concat 型殘差連接［13］。其中，Add 型殘差連接將尺寸相同的輸入圖像和輸出圖像進行元素級相加，從而進行特征重用；Concat 操作是在特征圖尺寸相同的情況下進行通道拼接，對特征圖進行通道方向的擴張，將特征信息進行融合。

基礎的殘差網絡性能有限，對于圖像特征感知不充分。本文設計的GADRM 如圖2 所示，首先構造雙殘差結構，該結構結合兩種不同方式的殘差連接對特征進行重復挖掘利用與探索，提高模塊對于病變區域特征的提取能力。其次，利用通道混洗操作將組卷積之后的特征圖之間的通道信息進行融合，將融合后的特征圖組劃分為4個子組，執行不同的特征轉換。然后，使用深度可分離卷積提取各組特征并進行融合，提高組內特征的可識別性。最后，結合擠壓激勵操作與空間注意力操作構造GADRM，增強模塊的特征表達能力。

圖2 組注意力雙殘差模塊Fig.2 Group attention dual residual module

GADRM 模塊的詳細流程包括4 個階段。

階段一：將特征圖M 按通道數劃分為兩組，M1包含四分之三通道數，M2包含四分之一通道數。特征圖M 首先經過1×1 的卷積操作并在通道維度進行分組，得到8 組特征圖Groupi，其中i=1，2，…，8，每組特征圖通道數是輸入特征圖的1/8。

階段二：將每組特征圖Groupi在通道維度平均劃分為4 組，每組特征圖用Xr表示，其中r=1，2，3，4。該階段主要有3 個步驟。

步驟一：首先將輸入特征Xr進行通道混洗，其流程如圖3 所示。首先通過Reshape 操作將輸入通道從一維變成兩維，其中一維表示卷積組數，另一維是每個卷積組包含的通道數；然后，進行Transpose 操作將擴展出的兩維進行置換；最后進行Flatten 展平操作，將置換后的通道展平，完成最后的通道混洗。計算過程如下：

圖3 通道混洗操作Fig.3 Channel shuffle operation

其中r=1，2，3，4。

步驟二：使用DWConv（）表示GADRM 中3×3 深度可分離卷積（圖2 中3×3DWConv），并使用Yr表示DWConv（）的輸出。計算過程如下：

式中r=1，2，3，4。

步驟三：利用通道映射之間的相互依賴性可以改進特定語義的特征表示。將第r組的特征圖Yr輸入到SE 模塊［14］。首先，通過自適應全局平均池化（Global Average Pooling，GAP）將特征層的長寬進行壓縮，只留下通道維度的信息。然后，使用兩個全連接層FCSigmoid和FCRelu對通道信息進行加權，得到各分組通道的權重：

式中r=1，2，3，4。

最后將各通道的權重與各分組特征圖相乘，得到通道加權特征圖：

式中：r=1，2，3，4，i=1，2，…，8。

階段三：利用空間注意模塊來聚合空間關系，使網絡更加關注圖像的病灶區域，如圖4 所示。首先將所有組得到的特征圖Gi進行求和得到：

圖4 擠壓激勵模塊和空間注意力模塊Fig.4 Squeeze excitation module and spatial attention module

式中i=1，2，…，8。

接著對特征圖G使用全局平均池化（Global Average Pooling，GAP）和全局最大池化（Global Max Pooling，GMP）來獲取兩種不同的上下文信息；將兩個特征圖GAP（G）∈R1×H×W和GMP（G）∈R1×H×W拼接起來，再通過一個3×3 的卷積操作獲得特征圖G空間維度的權重：

式中，Concat 表示特征圖拼接操作，Conv 表示一個標準的3×3 卷積操作。

最后在權重W和輸入特征圖G之間進行逐元素乘法運算，得到最終的空間注意力圖：

階段四：最后特征圖N經過一個1×1 卷積層操作后，按通道數將其劃分成兩部分，四分之三個通道的特征圖N1被添加到下方跳躍連接路徑中，與初始特征圖M1相加；另外四分之一個通道的特征圖與上方跳躍連接路徑的初始模塊做拼接操作；最終將通道合并作為輸出。其數學表示如下：

其中：Output 表示該模塊的最終輸出，Concat 表示特征圖沿通道方向的拼接操作。

2.2 全局局部特征提取模塊

CNN 具有平移不變性和局部敏感性等歸納偏置，可以很好地捕捉圖像細粒度特征和局部信息，是計算機視覺領域的主流模型［15］。但是CNN 感受野有限，現有的CNN 方法通常只使用從網絡深層提取的高級語義信息進行分類，不具備獲取全局信息的能力，這會導致有用信息的丟失，使模型的分類效果不佳。Transformer 編碼器解碼器結構使并行計算得以實現，提高了模型的訓練效率，并且利用自注意力機制能夠捕獲數據之間的長距離信息和依賴關系。

本文在網絡深層設計了一個GLFEM 同時提取局部信息和全局信息。該模塊對高層語義信息進行全局建模，同時融合CNN 和Transformer 的優勢，提取更豐富的特征信息，能夠使網絡充分提取病變區域的有效特征，從而提升網絡對于肺炎疾病的分類性能。GLFEM 的具體流程如圖5 所示，該模塊由局部信息編碼模塊、全局信息編碼模塊和特征融合模塊3 個子模塊組成，它們進行的操作分別為圖像局部特征信息提取、圖像全局特征信息提取以及特征信息融合。

圖5 全局局部特征提取模塊Fig.5 Global local feature extraction module

首先特征圖X∈RH×W×C進入局部信息編碼模塊，通過一個卷積核大小為3×3 的卷積層進行局部信息編碼，然后通過一個卷積核大小為1×1 的卷積層進行通道數的調整，通過學習輸入通道的線性組合將張量投影到高維空間，此時X∈RH×W×d。

其次，通過Unfold，Transformer，Fold 結構進行全局的特征建模。為了使網絡能夠學習具有空間歸納偏置的全局表示，先將輸入的特征圖劃分成Patch。此時特征圖表示為XU，且XU∈RP×N×d。其中P=WH，N為Patch 的個數且N=HW/P，H和W分別為Patch 的高度和寬度。如圖5 所示，通過Unfold 操作將相對位置相同的特征圖拼接在一塊，即圖中顏色相同的位置，分別在每個塊內進行自注意力計算，相應地減少計算量。然后將拼成的一個序列輸入到Transformer進行建模。

然后，通過應用Transformer 來編碼patch 間關系，其數學表示如下：

通過Fold 操作將計算完自注意力的特征圖組重新按照相對位置還原為初始形狀。與丟失像素空間順序的視覺Transformer 相比，該模塊同時保留了Patch 的順序與每個Patch 內像素的空間順序。

將全局特征建模后的特征塊XG通過1×1卷積將通道數調整回原始大小，通過一個殘差連接與原始輸入特征圖沿通道方向進行拼接，最后再通過一個3×3 的卷積層進行特征融合得到輸出。

2.3 跨層雙注意力特征融合模塊

CNN 中的卷積操作在提取特征的同時丟失了底層的紋理細節，使得高層次特征和低層次特征分布在網絡兩端。高層次特征具有更強的語義信息，但分辨率低且對細節的感知能力較差；淺層特征分辨率高，包含更多位置細節、邊緣和紋理等信息，但由于特征提取不充分，其語義性低且噪聲多。此外，特征提取網絡中不同層關注的信息也是有差異的，利用不同層的特征融合上下文信息能夠提升網絡的分類性能。然而，簡單的相加易造成信息冗余，并不能充分利用二者的優勢，因此本文設計了CDAFFM，用淺層語義信息彌補深層語義信息的缺失，如圖6 所示。將淺層網絡的紋理、形狀等低語義信息利用空間注意力進行增強，將深層網絡的高語義信息進行通道增強。篩選后的通道和空間信息相加，使圖像淺層上下文信息與深層上下文信息進行高效融合，保留更多有用信息，提升模型的分類性能。

圖6 跨層雙注意力特征融合模塊Fig.6 Cross-layer dual attention feature fusion module

對于原始輸入的低層特征圖A，經過3 個相同的1×1 卷積操作進行特征映射，得到特征圖B，C，D。對于特征圖B和特征圖C，其原始尺寸為C×H×W，將二者從三維特征經Reshape 操作轉換到二維特征，尺寸變為C×N（N=H×W），之后將特征圖B進行轉置，其形狀變為N×C，并與特征圖C相乘，獲得空間注意力值Wspatial；特征圖D同樣經過Reshape 操作變為C×N，將特征圖D與Wspatial相乘獲得空間維度上篩選后的特征圖，最后將特征圖Reshape 為C×H×W。

空間注意特征圖的計算過程如下：

式中：Sji度量第i個位置對第j個位置的影響，即第i個位置和第j個位置之間的關聯程度，其值越大越相似。其輸出為：

其中：α表示尺度系數，初始化為0，通過逐漸地學習分配到更大的權重。在每個位置處得到的結果特征M是所有位置上的特征和原始特征的加權和，它具有全局上下文視圖，并根據空間注意力圖選擇性地聚合上下文，使相似的語義特征相互增益，從而提高類內緊湊性和語義一致性。

對于高語義的特征圖E，則不經過1×1 卷積操作進行特征映射，直接進行Reshape 操作分別獲得二維特征圖F，G，H。將特征圖F進行轉置使得其形狀變為N×C（N=H×W），轉置后的特征圖F與G相乘獲得通道維度的注意力值Wchan-nel，將Wchannel與特征圖H相乘獲得通道維度上篩選后的特征圖，最后將特征圖Reshape 為C×H×W。

通道注意特征圖的計算如下：

式中Xji為第i個通道對第j個通道的影響值。其輸出為：

其中：β表示尺度系數，初始化為0，經過逐漸學習分配到更大的權重。每個通道的結果特征為N，表示所有通道特征和原始特征的加權和。

最后，將高低層篩選后的特征圖相加獲得特征結果圖。

3 實驗及結果分析

3.1 數據集及預處理

本文使用的數據集為公開數據集COVID-19 CHEST X-RAY DATABASE［16-17］，該數據集由來自卡塔爾大學和達卡大學的研究人員以及來自巴基斯坦和馬來西亞的合作者與醫生合作創建。分類實驗選取其中的COVID-19 陽性病例、正常肺部圖像以及病毒性肺炎圖像，如圖7 所示。將數據集經簡單篩選后重新分成訓練集和驗證集。其中，訓練集包括2 893 張COVID-19陽性病例圖像、2 400 張正常肺部圖像以及1 076張病毒性肺炎圖像；測試集包括723 張COVID-19 陽性病例圖像、600 張正常肺部圖像以及269張病毒性肺炎圖像。將所有不同尺寸的原始圖像縮放至224×224 像素，然后轉換為向量格式并進行像素值歸一化處理。

圖7 數據集展示Fig.7 Dataset display

3.2 評價指標

通過對分類模型實驗結果的定量對比，能夠判斷分類模型的優劣。本文主要以準確率（Accuracy，A）、平均精確率（Precision-Macro，P）、平均召回率（Recall-Macro，R）、平均F1 值（F1 score-Macro，F1）和AUC 值為評價指標，分析了改進的網絡模型對肺炎分類效果的影響。

評價指標的數學表達式如下：

其中：TN，TP，TN 和FN 分別表示真陽性、假陽性、真陰性和假陰性的數量，TP 是正確標記為陽性的模型預測結果的數量，FP 是錯誤標記為陽性的模型預測結果的數量，TN 是正確標記為陰性的模型預測結果的數量，FN 是錯誤標記為陰性的模型預測結果的數量。

本文在三分類模型中單獨計算每一類的評價指標，最后求評價指標的算術平均。此外，AUC 被定義為ROC 曲線下與坐標軸圍成的面積，作為數值可以直觀地評價分類器的好壞。AUC 越大，分類器效果越好。

3.3 實驗環境

實驗環境為Windows Server 2019 Datacenter 的64 位系統，搭載Intel Xeon Gold 6154，3.0GHz x36 CPU 處理器，計算機內存為256 GB，采用兩塊并行的TITAN Ⅴ顯卡加速圖像處理，程序編寫采用Python 語言，基于GPU 版本的Pytorch 框架進行網絡搭建和訓練。使用Adam 優化器進行優化，學習率衰減值設置為0.000 1，對于肺部X 射線數據集的訓練周期設為150，訓練批處理大小設置為8。損失函數使用交叉熵損失。

3.4 消融實驗與分析

為了評估模塊的有效性，通過不同的網絡模型來測試各個模塊，評估指標包括準確率（A）、宏平均精確率（P）、宏平均召回率（R）、宏平均F1 值和AUC 值，如表1 所示。本文在DPN92 網絡的基礎上依次進行8 項實驗。Network1：DPN92 網絡；Network2：添加CDAFFM 的DPN92 網絡；Network3：與GLFEM 結合的DPN92 網絡；Network4：將初始特征提取塊改為GADRM 的網絡；Network5：使用 CDAFFM 以及 GLFEM 的DPN92 網絡；Network6：使用GADRM 以及GLFEM 的網絡；Network7：使用GADRM 以及CDAFFM 的網絡；Network8：本文所提出的DRT Net。

表1 消融實驗結果對比Tab.1 Result comparison of ablation experiments

與Network1 相比，Network2 在添加了CDAFFM 模塊后的性能參數均有所提升，準確率、精確率、召回率、F1 值與AUC 值分別提升了0.33%，1.42%，1.29%，1.87%與0.17%，由此證明CDAFFM 模塊能夠將不同階段的特征融合增強，增強了模型對特征的提取能力；Network3 在添加GLFEM 模塊后的準確率、精確率、召回率、F1 值與AUC 值分別提升了0.49%，1.60%，1.79%，2.08%與0.28%，證明了GLFEM 模塊的有效性；Network4 在添加GADRM 模塊后的準確率提升了0.55%，精確率提升了2.35%，召回率提升了4.01%，F1 值提升了3.83%，AUC 值提升了0.44%，由此驗證了GADRM 模塊能夠使網絡具有更好的提取特征。

添加兩個模塊的Network5，6，7 的各項評價指標又高于只添加一個模塊的Network2，3，4；添加GADRM，GLFEM 與CDAFFM 3 個模塊的DRT Net 性能最好，且與初始的Network1 模型相比，肺炎分類的準確率從初始的96.92%上升到 98.41%，精確率從 91.28% 上升到94.42%，召回率從90.26%上升到94.20%，F1值從 90.03% 上升到 94.26%，AUC 值從98.84% 上升到99.65%。由此可知，本文所提出的DRT Net 性能最優，在肺部X 射線圖像數據集上對于肺炎的分類性能最佳。為了更直觀地進行實驗對比，繪制消融實驗結果雷達圖，如圖8 所示。DRT Net 折線位于最外側，模型性能最優。此外，為了考察不同模型對于三類樣本分類預測的標簽（Y-Pre）和真實情況（Y-True）之間的差異，本文采用混淆矩陣對消融實驗測試結果進行可視化，如圖9 所示。通過混淆矩陣對比可以看出，DRT Net 對三類樣本的識別更為均衡且分類效果更優，能夠實現肺炎的準確分類。

圖8 消融實驗結果雷達圖Fig.8 Radar chart of ablation experiment results

圖9 消融實驗中各模型的混淆矩陣Fig.9 Confusion matrix of each model in ablation experiments

3.5 對比實驗與分析

為了驗證本文模型對于肺炎的分類能力，在同一數據集［16-17］上 與 ResNet50［5］，ResNet101［5］，Res2Net50［18］，DenseNet121［19］，Resnext101［20］，MobileNetV2［21］和DPN92［22］等網絡模型進行對比，實驗結果如表2 所示。在經過數據預處理的數據集上訓練網絡，本文模型的準確率為98.41%，精度為94.42%，召回率為94.20%，F1 值為94.26%，AUC 值為99.65%，性能優于其他網絡，具有更好的分類性能。對比實驗結果雷達圖如圖10 所示，DRT Net 折線位于最外側，性能最好。本文采用混淆矩陣對各模型測試集的結果進行可視化，結果如圖11所示。通過混淆矩陣對比可以看出，DRT Net對于三類樣本的識別能力相較其他分類網絡更為均衡且分類效果更優。

圖11 各模型分類結果的混淆矩陣Fig.11 Confusion matrix of classification results for each model

4 結論

本文提出了一種面向特征增強的雙殘差Res-Transformer 肺炎識別模型DRT Net，設計了GADRM，采用雙殘差結構進行高效的特征融合，將通道混洗、通道注意力、空間注意力與雙殘差結構結合，提升模型對病灶區域特征的提取能力；在網絡末端采用GLFEM，結合CNN 和Transformer 的優勢使網絡充分提取圖像的全局特征和局部特征，對高層語義信息進行全局建模，獲得高層語義信息的全局特征；設計了CDAFFM，融合淺層網絡的紋理、邊緣等空間信息以及深層網絡的通道信息，進一步增強網絡的特征提取能力。在COVID-19 CHEST X-RAY數據集上進行相關實驗，實驗結果表明，DRT Net 網絡的準確率、精確率、召回率、F1 值和AUC 值分別為98.41%，94.42%，94.20%，94.26%和99.65%。該模型能夠輔助放射科醫生使用胸部X 光影像診斷肺炎病例，對患者及時展開針對性的治療。