基于雙線性注意力金字塔網絡的壓瘡等級識別

陳昱彤，鄧悟，何小海

（1 四川大學 電子信息學院，成都 610065；2 四川大學 華西天府醫院，成都 610065）

0 引言

壓瘡，又稱壓力性潰瘍（Pressure Ucler，PU），俗稱褥瘡［1］。壓瘡是臨床上常見的一種慢性傷口，所有人都有可能患上壓瘡，且更高概率發生在重病、神經系統疾病、行動不便、姿勢不良或畸形、皮膚受損或營養不良者身上［2］。因為壓瘡具有難以愈合的特性，故將壓瘡視作醫療質量的重要指標，并已成為公共衛生系統和經濟支出上的一個不小負擔［3］。但是目前PU 的管理現狀卻遠遠不能令人滿意，全球護理資源短缺也是不可忽視的事實。目前最普遍使用的PU 風險評估工具是Braden 量表，但是Braden 量表在區分有壓瘡發生風險的重癥監護患者方面表現出預測有效性欠佳和準確性差的問題，可能無法充分反映重癥監護患者的特征［4］。到目前為止，亟需一種能夠幫助醫護人員判別壓瘡分級的工具，以便及時采取治療，預防輕度壓瘡向重度壓瘡的轉變。

隨著人工智能的不斷發展，現已越來越多地被應用在日常生活中。而將人工智能應用在醫療領域的實踐可行性也已獲得了充分有效的驗證。有研究指出，生物醫學大數據（Biomedical Big Data）在學術領域和工業應用領域都是全球范圍內到目前為止發展最快的領域之一［5-6］。本文探究關于PU 智慧數字化的診斷方式，有助于減輕一線臨床醫生的負擔，以及提高對病患的護理質量。

近些年，細粒度視覺分類（Fine-Grained Visual Categorization，FGVC）是計算機視覺領域頗具挑戰的一個方向，細粒度是指類別更加細分、類間差異更加細小的分類任務［7］，符合壓瘡等級分類的需求。美國國家壓瘡咨詢委員會（National Pressure Ulcer Advisory Panel，NPUAP）發布的《國際性壓瘡防治指南》中規定根據局部組織破壞的嚴重程度對壓瘡級別進行Ⅰ～Ⅳ期［3］的劃分，與醫生共同完成壓瘡圖像數據集SCU-PU 的構建。數據集僅包含圖像的類別標簽，不包含額外的人工標注信息（Annotation），因此采用基于弱監督的細粒度圖像分類方法［8］。

目前，主流的基于深度學習的弱監督細粒度圖像分類方法大致可以分為2類［9］：基于特征編碼的方法和基于局部區域定位的方法。對此可做闡述如下。

（1）基于特征編碼的方法。是對特征的高階信息進行編碼，比如Lin 等人［10］提出的B-CNN 網絡使用雙線性池化來聚合2 個獨立卷積網絡中的特征，計算2 個CNN 流輸出特征通道的外積以捕獲二階信息。此外，Yu 等人［11］提出了跨層雙線性池化的方法來捕獲層級間的特征信息。

（2）基于局部區域定位的方法。是通過定位網絡來明確地分離與特定對象局部區域相關聯的細微外觀差異來促進細粒度分類。比如，Yang 等人［8］提出的NTS 網絡將金字塔特征應用于FGVC 任務，在CNN 上應用金字塔網絡（Feature Pyramid Network，FPN）來學習區域定位器［12］，定位可能的信息區域有利于后續的分類任務。此外，Ding 等人［13］提出的APCNN 中包含區域選取網絡（Region Proposal Network，RPN）以弱監督的方式生成金字塔感興趣區域［14］。

綜合上述2 種方式可以看出，高效獲取特征和感興趣區域是細粒度分類的關鍵，本文在APCNN網絡的基礎上優化了注意力特征提取模塊，并且引入了雙線性注意力池化機制，得到了改進的雙線性金字塔網絡BAP-CNN 以此提高模型分類的準確率。實驗結果表明，優化后的模型在自建的壓瘡圖像數據集SCU-PU 上取得了良好的識別率。

1 基礎網絡APCNN

為了能夠使用多尺度的特征［15］，APCNN 提出了一種新的注意力金字塔卷積神經網絡，目的是更有效地集成高層語義和底層細節特征來進行細粒度分類，可以在不使用邊框和其他零件標注的情況下聯合學習多級信息和細化的特征。該網絡與傳統細粒度分類網絡的不同在于將金字塔層級結構引入，圖1 為APCNN 網絡框圖。

圖1 APCNN 網絡示意圖Fig.1 APCNN network diagram

首先，輸入原始圖像進入特征金字塔網絡和注意力金字塔網絡，遵循自上向下的特征路徑和自下而上的注意路徑，生成金字塔特征和金字塔注意。然后，RPN［14］以弱監督的方式生成金字塔感興趣區域（Region of Interest，RoI），使用RoI引導的刪除和縮放對圖進行細化。將細化后的特征圖送入細化階段，已提取更多有利于分類的鑒別信息。每個金字塔級別都設置了單獨的分類器，將特征圖和注意力圖點乘后進行全局平均池化（Global Average Pooling，GAP）［16］，最后取平均得到分類結果。

1.1 注意力金字塔模塊

一般的特征金字塔網絡（Feature Pyramid Network，FPN）利用各個層次的特征定位不同尺度上的樣本，以關注不同尺度上對象的細微差異［12］。APCNN 在一階段通過在金字塔特征上引入額外的注意力機制，形成一個自下而上的注意力金字塔（Attention Pyramid）進一步增強FPN 結構。注意力金字塔包括空間注意和通道注意，生成過程如圖2所示。

圖2 注意力金字塔模塊Fig.2 Attention Pyramid Module

金字塔空間注意模塊里每層將FPN 中的特征映射Fk作為輸入，經過一個3×3 的反卷積層，以壓縮空間信息；最后使用Sigmoid層來調整空間注意力輸出的尺度，按照公式（1）生成空間注意掩碼：

其中，σ表示Sigmoid函數；“ ?”表示反卷積；υc表示的是3 ×3 的卷積核。結果得到了基于多尺度的空間注意力金字塔

金字塔通道注意模塊設計思路基于SE -Net［17］，每層都將FPN 中的特征映射Fk作為輸入，經過GAP層和2 個全連接（FC）層；最后使用Sigmoid層來調整通道注意力輸出的尺度，按照公式（2）生成通道注意掩碼

其中，σ表示Sigmoid函數；ReLU表示ReLU函數；W1和W2是2 個FC 層的權重矩陣；GAP（·）表示的全局平均池化函數，具體如式（3）所示：

其中，W和H表示Fk的空間維度。

GAP［16］的目的是對跨越空間維度，對W ×H的特征映射進行壓縮成一維的并且將感受野擴展到了全局，能夠提取更豐富的特征。2個FC層可以更好地擬合通道間復雜的相關性，自動學習分配特征權重，提升對當前任務有用的特征通道，抑制作用不大的特征通道。結果得到通道注意力金字塔

1.2 感興趣區域引導的細化模塊

細化模塊是指APCNN 在二階段對金字塔底層特征Bn進行RoI引導的細化，包括丟棄和裁剪，從而進一步提高細化階段的性能。

首先將先前模塊得到的注意力映射Ak輸入RPN［14］。RPN 是一種候選框生成網絡，對于每個金字塔級別卷積感受野設計了比例和范圍生成目標候選框，并且對區域建議采用非極大值抑制（Non-Maximum Suppression，NMS）來減少區域冗余［18］，這樣一來就形成了感興趣區域（RoI）金字塔Rall＝｛Rn，Rn+1，…，Rn+N-1｝。

RoI引導的丟棄策略通過在特征圖上隨機刪除連續區域來刪除某些語義信息，從而強制網絡學習剩余區域的信息，有效防止過擬合問題的產生［19］。首先從Rall中隨機選取區域Rs，然后從Rs中以相同概率選取信息區域rs∈Rs，并通過將RoI區域激活設置為0，得到丟棄掩碼M，推導得到的公式可寫為：

通過式（5）在底層特征Bn上應用掩碼M，并進行歸一化得到丟棄的特征映射Dn：

不同于傳統的隨機丟棄，RoI引導的丟棄可以直接擦除信息部分，鼓勵網絡找到更多有區分性的區域，從而提高準確率。

RoI引導的裁剪策略通過合并所有RoI金字塔，以弱監督的方式學習輸入圖像的最小邊界矩形，并得到分別表示合并邊界矩形在x軸和y軸的最小和最大坐標，表示為［tx1，tx2，ty1，ty2］，根據式（6）從之前的丟棄的特征掩碼Dn中提取該區域，得到細化特征Zn，即：

其中，φ指的是雙線性上采樣函數。

需要指出的是，細化操作只在訓練過程中執行，測試過程將跳過這一操作。將細化后的特征Zn發送到細化階段進行下一步預測，再與原始階段的預測進行平均，得到最終預測結果。

2 改進網絡BAP-CNN

細粒度分類任務需要解決的2 個難點在于：

（1）高層次的語義，屬于同一類別的物體圖像呈現出不同的姿勢和視角。

（2）低層次的特征，子類別間的差異通常很細微。

針對以上問題，本文的改進網絡BAP-CNN 主要對基礎網絡APCNN 做了2 方面的改進：

（1）通過改進空間注意力提取的機制對注意力金字塔模塊進行優化。

（2）通過改進池化機制對特征融合部分進行優化。

2.1 優化空間注意力模塊

原始網絡中的注意力金字塔模塊由空間注意力和通道注意力兩部分并聯組成，2 個單獨的注意力分支計算得出了最終的注意力圖。其中，空間注意力模塊采用了一個3×3 的反卷積的方法，反卷積可以增加圖像尺寸，從而實現壓縮空間信息的目的。

但是反卷積有一個不可避免的缺點，輸出的特征圖容易出現棋盤效應［20］。棋盤效應是由于反卷積的“不均勻重疊”而導致的結果，使圖像中某個部位的顏色比其他部位更深。尤其是當卷積核的大小不能被步長整除時，反卷積就會發生不均勻重疊的現象。并且這種棋盤狀的現象會層層遞進，影響此后的注意力圖輸出，最終影響整個網絡的預測效果。

考慮到對空間注意力模塊進行優化，本文參考ResNet［21］提出的Bottleneck 瓶頸結構，改進后的瓶頸注意力模塊（Bottleneck Attention Module，BAM）結構如圖3 所示。在瓶頸注意力模塊中，空間注意力分支生成過程如下。

圖3 瓶頸注意力模塊Fig.3 Bottleneck Attention Module

每層將FPN 中的特征映射Fk作為輸入，使用一個1×1 的卷積將原特征映射降維以整合和壓縮信道維度的特征圖，并通過2 個3×3 的膨脹卷積［22］來聚合具有更大感受野的上下文信息，繼而使用1×1 的卷積再次壓縮空間注意力圖；此后為了調整尺度比例，使用Sigmoid函數將空間注意掩碼的每個元素歸一化壓縮在（0，1）之間，按照公式（7）生成空間注意掩碼

其中，σ指的是Sigmoid函數；f表示卷積運算，其上標為卷積核大小。

利用膨脹卷積來高效地擴大卷積的感受野，可以得到比普通卷積更有效的空間映射，加強模型對圖像每個像素和周圍關系的理解。不僅如此，Bottleneck 瓶頸結構可以減少構造中的參數數量，從而節省計算的開銷，提升了網絡的速度。

2.2 雙線性注意力池化

原始網絡中在特征融合時使用了點乘之后全局平均池化（GAP）的方法［16］，其優勢在于可以減少融合時特征的維度，極大地減少了網絡的參數。但是缺點是GAP操作會造成收斂速度減慢，并且融合后的特征向量會受到注意力圖強度的影響，容易丟失一些紋理信息。

針對細粒度圖像分類的任務，利用雙線性池化操作來融合2 個獨立卷積中的特征是一種經典的基準做法，被廣泛地運用于提取圖像高階信息［10］。本文引入雙線性注意力池化（Bilinear Attention Pooling，BAP）的特征融合方式，通過外積的重組方式，雙線性池化能夠將基礎網絡的一階特征映射成更高階的特征，顯式地表達出更多的圖像細節信息，從而提升分類網絡的準確率。本文模型加入的雙線性注意力池化的過程如圖4 所示。

圖4 雙線性注意力池化過程圖Fig.4 Bilinear attention pooling process diagram

首先把網絡前面階段生成的特征圖Fk和注意力圖Ak進行逐元素相乘計算得到部分特征圖，然后再對部分特征圖進行池化和向量化操作后，得到雙線性向量池P，用于后續的分類和預測，計算過程可表示為：

其中，g（·）表示池化和向量化計算過程，可由如下公式計算求出：

本文使用BAP 對2 種特征進行融合，再用于后續的分類任務，可以提升網絡性能。并且雙線性池化的形式簡單，有利于梯度的反向傳播，從而實現端到端的訓練。

3 實驗結果與分析

3.1 實驗數據集

本文實驗在2 個常用的基準細粒度視覺分類（FGVC）數據集上進行訓練和測試，包括CUB-200-2001［23］和FGVC-Aircraft［24］。所有數據集包含同一類別下的多組子類別。

為了驗證改進后網絡BAP-CNN 的有效性，將改進后的模型在自建的壓瘡傷口圖像數據集SCUPU 中進行訓練和測試。根據美國國家壓瘡咨詢委員 會（National Pressure Ulcer Advisory Panel，NPUAP）發布的《國際性壓瘡防治指南》中規定Ⅰ～Ⅳ期分期標準［3］，增廣前的SCU-PU 數據集包括壓瘡的4 個等級，共140 張圖像。

由于DeiT［25］表明數據增強可以實現高性能模型訓練和測試，根據壓瘡圖像的特征，為了保留更精細的圖像特征信息，不干擾圖像紋理特征，選取特定角度翻轉和旋轉的方式實現數據增強，以擴充壓瘡數據集協助網絡訓練。將SCU-PU 數據集的每一張圖像先進行水平、垂直、主對角線和副對角線四種翻轉，再每45°進行一次旋轉，共旋轉7次，最終擴充40 倍的數據，經過以上數據增廣后的SCU-PU 可以更好地適用于網絡訓練。本文實驗選用的所有數據集的分布情況見表1。

表1 實驗數據集分布Tab.1 The distribution of the dataset used in the experiment

3.2 實驗平臺與實驗細節

本文實驗使用的 GPU 為 Nvidia GeForce GTX1080Ti，操作系統為Ubuntu 16.04，CUDA 版本為10.0，Python 版本為3.6，使用深度學習框架Pytorch 1.3.0，TorchVision 0.4.1。

本文網絡與基礎模型對比，在ResNet50［21］的基礎上實現BAP-CNN。具體來說，金字塔的層級結構選擇ResNet50 中剩余塊conv3、conv4和conv5，分別表示為B3、B4和B5 在最后輸出特征，其中細化模塊在B3 上進行。細化模塊中的drop -out丟棄塊率設置為0.5。關于輸入圖像大小，對于細粒度視覺分類數據集，根據大多數對比文獻中實驗輸入圖像大小為448×448；對于自建壓瘡圖像數據集SCUPU，在采集后，運用圖像處理算法將輸入圖像大小調整為224×224。

訓練過程中batchsize設置為16，epoch為100，初始學習率為0.001，使用隨機梯度下降SGD 進行優化，設置動量為0.9，衰減權重為0.000 01，每隔2次迭代、調整一次學習率。

3.3 評價指標與實驗結果

為了評估BAP-CNN 模型對細粒度分類任務和壓瘡傷口圖像分類的性能，本文采用混淆矩陣來可視化計算準確率，并且將準確率作為本文實驗的評價指標。準確率可以反映訓練網絡準確分類各等級的數量，準確率越大，表明正確分類的數量越多。準確率Accuracy的數學定義公式見如下：

其中，TP、TN、FP、FN分別表示真陽性、真陰性、假陽性和假陰性。

為了驗證改進后的網絡BAP-CNN 的有效性，在2 個基準細粒度視覺分類（FGVC）數據集CUB-200-2001 和FGVC-Aircraft 上進行訓練和測試，并與當前主流代表性的細粒度分類網絡B-CNN［10］、NTS［8］和WSDAN［26］進行比較，定量對比實驗結果見表2。

表2 不同模型在FGVC 數據集上對比Tab.2 Comparison of different models on the FGVC dataset

表2 列出了多個模型與本文中的BAP-CNN 模型在FGVC 數據集中的準確率Accuracy對比。其中，在CUB-200-2001 數據集上，與經典的雙線性卷積網絡B-CNN 模型相比，本文設計出的BAPCNN 模型的準確率從84.1%增長到了90.3%，提升了6.2%，與經典的細粒度網絡NTS 和WSDAN 相比，準確率分別提升了2.8%、0.9%。而在FGVCAircraft 數據集上，與經典網絡B-CNN、NTS 和WSDAN 相比，準確率也均有提升，分別提升了10.4%、3.1%和1.5%。同時，在2 個基準細粒度視覺分類（FGVC）數據集上，本文的改進網絡BAP-CNN與基礎網絡APCNN 相比可知，識別準確率均能提升，分別提升了1.9%和1.1%。說明本文BAP-CNN模型的方法具有較好的分類準確率，驗證了改進網絡的有效性。

本文BAP-CNN 模型對基礎網絡主要進行了2個方面的改進，為了進一步驗證本文改進方法對提升模型識別準確率性能的有效性，在基礎網絡APCNN 上逐一進行模塊的改進，通過消融實驗來分別驗證各個模塊優化的有效性。實驗中網絡的Baseline 均選用ResNet50，實驗結果見表3。

表3 消融實驗在FGVC 數據集上結果Tab.3 Results of ablation experiments on the FGVC dataset

從表3 所列出的消融實驗結果可知，在2 個FGVC 數據集上，對不同模塊改進的2 個網絡在識別準確率上均有提升作用。與基礎網絡APCNN 對比，改進了瓶頸注意力模塊，在FGVC-Aircraft 數據集上的識別準確率提升較大，提升了0.9%；引入了雙線性注意力池化的網絡，在CUB-200-2001 數據集上的識別準確率提升較大，提升了1.0%。而且，根據表3 的實驗結果可知，同時改進了2 個模塊的本文網絡BAP-CNN 與基礎網絡對比在識別效果上有更明顯的改進，分別提升了1.9%和1.1%。

為了驗證改進后網絡BAP-CNN 的有效性，將改進后的模型在自建的壓瘡傷口圖像數據集SCU-PU中進行訓練和測試，并與細粒度分類網絡NTS 和WSDAN 在識別準確率上進行比較，定量對比實驗結果見表4。

表4 不同模型在SCU-PU 數據集上對比Tab.4 Comparison of different models on the SCU-PU dataset

表4 列出了多個模型與本文中的BAP-CNN 模型在自建的壓瘡傷口圖像數據集SCU-PU 中的準確率（Accuracy）對比。由實驗數據可以看出，在壓瘡圖像等級分類任務中相較于傳統的細粒度分類網絡，本文網絡有更高的識別準確率，高于NTS網絡3.9%，高于WSDAN網絡2.3%。和基礎網絡APCNN 對比，識別效果也提升了1.4%，驗證了本文方法有較好的分類準確性和良好的泛化能力。

為了進一步探究壓瘡圖像各個等級分類任務的差異性，使用基礎網絡和本文網絡BAP-CNN 針對壓瘡圖像的Ⅰ期、Ⅱ期、Ⅲ期和Ⅳ期四種等級分別進行對比實驗。實驗中，網絡的Baseline 均選用ResNet50，實驗結果見表5。

表5 SCU-PU 數據集上壓瘡各等級識別率對比Tab.5 Comparison of the recognition rates of pressure ulcers at different levels on the SCU-PU dataset

從表5 所列出的對比實驗結果可以看出，對于不同等級的壓瘡圖像樣本，識別的準確率不同。從Ⅰ期到Ⅳ期壓瘡等級的樣本，識別準確率依次降低。其中，Ⅰ期與Ⅱ期、Ⅲ期的壓瘡等級識別率差異相對較小，而Ⅰ期與Ⅳ期的壓瘡等級識別率相差較大，達到了35%左右。

壓瘡分級是根據局部組織破壞的嚴重程度進行劃分的［3］，上述實驗數據分析說明，不同程度的局部組織破壞會對壓瘡產生不同的影響。這也與實際的臨床觀察結果相對應，越高等級的壓瘡傷口、其局部組織破壞的程度越嚴重，可以提取到的特征差異性較小，所以導致了識別率不高的問題。

4 結束語

為了更好地識別不同等級的壓瘡圖像，本文提出了一種基于雙線性注意力金字塔網絡的壓瘡等級識別方法。首先，輸入原始圖像進入金字塔網絡，生成特征圖和注意力圖；然后，根據注意力圖生成的RoI引導，對金字塔底層特征進行細化；最后，引入雙線性注意力池化對特征圖和注意力圖進行特征融合得到雙線性向量池，輸入線性分類層得到識別結果。改進后的網絡BAP-CNN 在細粒度視覺分類數據集CUB-200-2001 和FGVC-Aircraft 上表現良好，相比基礎網絡和經典細粒度分類取得了更高的準確率，驗證了網絡改進的有效性。并且在自建壓瘡圖像數據集SCU-PU 上測試得到了71.1%的識別準確率，表明BAP-CNN 在識別分類任務上具有較好的泛化能力。

但是在壓瘡圖像數據集上卻仍有不足，采集到的不同等級的壓瘡圖像數量存在差異，數據集構建在未來還有亟待豐富擴充的空間。由于數據集存在不足對壓瘡等級識別準確率有一定影響，所以本文網絡在公開數據集上表現良好，但是在自建數據集中識別準確率卻較低，針對如何提升不同等級的壓瘡的識別率，在下一步工作中可以繼續探索。