結合注意力與批特征擦除的行人重識別模型

郝阿香，賈郭軍

（山西師范大學 數學與計算機科學學院，山西臨汾 041004）

0 概述

行人重識別是指從多個檢測到的行人圖像中識別同一個人，即給定一個攝像機拍攝的行人圖像，從其他非重疊多視角攝像機捕獲的圖像庫中重新識別該行人的過程，屬于計算機視覺領域中的圖像檢索子問題［1-3］，其在公安部門破案、社會安全防護等方面具有廣泛的應用前景。傳統的行人重識別方法通常使用手工制作的低層次鑒別特征，如顏色、紋理信息、局部特征等，然而在現實情境中由于背景噪聲、光照、遮擋、人的姿態變化和攝像機角度不同等因素的影響使手工設計特征的使用受到局限，因此行人重識別算法很難應用到復雜環境中。近年來，深度卷積神經網絡在行人重識別研究上獲得廣泛的應用，主要集中在特征提取和度量學習2 個方面。

深度學習模型提取行人特征時，使用注意力機制可提取具有辨別力的行人特征，它使模型有選擇性地關注圖像中行人部分，忽略其他不感興趣的區域，增強了行人特征的顯著性。目前注意力機制的使用大致可概括為兩種類型：第1 種是基于通道注意力和空間注意力的方法，如文獻［4］利用強化學習的思想，提出基于通道注意力和空間注意力的自判別模型，文獻［5］通過將注意力模塊CBAM 嵌入到殘差網絡中增強網絡特征的學習能力，并結合不同深度的信息提取整個行人的顯著特征；第2 種是基于軟注意力和硬注意力的方法，如文獻［6］提出一種HA-CNN 模型學習軟注意力像素特征和硬注意力區域特征，優化未對齊的行人圖像識別，文獻［7］結合硬注意力機制與軟注意力機制，有效增強特征圖前景信息，抑制背景噪聲，提高了行人再識別的準確性和穩定性。這些工作通過將注意力機制嵌入到行人重識別模型中獲得了較好的實驗效果。

上述方法都試圖挖掘行人整個身體中最顯著的外觀特征，當圖像中行人被其他行人、靜態障礙物如標識牌、墻壁和自行車等遮擋時，注意力獲得的顯著特征無法達到識別要求。因此，找到有效的方法來解決行人重識別中局部遮擋問題至關重要。對于遮擋場景下的行人重識別任務，由于多樣化遮擋物的干擾以及遮擋區域的位置變化使一些具有描述性的身體特征被抑制，從而為獲取魯棒性的行人特征增加了難度。針對這個問題，一些研究人員嘗試利用特征擦除方法來遮擋圖片的部分特征區域，通過學習魯棒性強的局部細粒度特征來改善最終的特征表達能力。特征擦除方法的應用一般有兩種類型：第1種是通過特征擦除對數據預處理增加數據樣本的數量，如文獻［8］提出通過對抗網絡生成擦除特征和變形的訓練樣本來訓練網絡，使網絡更具有魯棒性，解決了圖像遮擋和變形問題，文獻［9］采用隨機擦除法對數據進行預處理，增加數據集的數量，降低過擬合現象同時提高網絡的泛化能力，解決行人重識別中遮擋問題；第2 種是在網絡訓練過程中對圖像隨機擦除，強迫網絡關注其余的特征，如文獻［10］針對弱監督的物體定位，提出了基于注意力的擦除層，使網絡在每次迭代時擦除最具辨別力的信息，文獻［11］提出了批特征擦除方法，在同一個批次中隨機擦除圖像相同的區域，使網絡關注剩余的細粒度特征，然而該方法沒有更好地提取全局特征，對擦除后圖像細粒度特征的學習未做到充分的監督。

上述方法僅使用注意力機制獲得單一的全局特征或使用特征擦除學習圖像細粒度特征，沒有充分發揮兩種方法的優點。為解決行人重識別中圖像的局部遮擋問題，本文在批特征擦除BDB（Batch Drop Block）［11］網絡和高效的注意力通道（Efficient Channel Attention，ECA）［12］模塊的啟發下，提出一種結合注意力和批特征擦除的網絡（Attention and Batch Feature Erasure Network，ABFE-Net）模型。該模型在BDB 網絡的基礎上通過在殘差網絡中嵌入注意力模塊，加權強化關鍵信息獲得更具辨別力的全局特征。考慮到圖像被遮擋會忽略一些非顯著的辨別性特征，因此利用批特征擦除方法獲得行人圖像的局部細粒度特征，共同構成更加全面的、魯棒性更強的行人特征表示，以提高行人重識別的準確率。

1 注意力和批特征擦除結合的行人重識別

1.1 網絡框架

在面對行人圖像局部遮擋問題時，為了提高模型性能，大多數行人重識別模型往往采用更為復雜的局部特征來區分不同的行人，從而忽略了具有辨別力的全局特征的重要性。為了解決這個問題，本文提出一種結合注意力和批特征擦除的網絡（ABFE-Net）模型，旨在學習具有辨別力的全局特征和局部細粒度特征，提高圖像在局部遮擋條件下行人特征的表達能力。由于BDB 網絡沒有更好地提取全局特征，忽略了全局范圍下特征信息對局部特征的監督作用。為此，本文將輕量級注意力模塊嵌入到ResNet-50［13］的殘差模塊中，充分提取行人的關鍵信息，獲取具有辨別力的全局特征。如圖1 所示，ABFE-Net 網絡模型的基本框架由三部分組成，即主干網絡、全局分支和局部分支。

圖1 ABFE-Net 結構Fig.1 ABFE-Net structure

首先以ResNet-50 為主干網絡提取輸入圖片的特征圖，全局分支用于提取具有辨別力的全局特征，由全局平均池化層（Global Average Pool，GAP）、1×1的卷積層、批量歸一化層以及Relu 層的降維模塊組成，局部分支引入批特征擦除方法獲取局部細粒度特征，由瓶頸層（Bottleneck）、掩碼（Mask）、全局最大池化（Global Max Pool，GMP）層以及與全局分支相同的降維模塊組成。在訓練階段，將分類損失［14］和軟間隔的批次硬三元組損失函數［15］應用于降維后的512 維全局特征和1 024 維局部特征，而在測試階段，則是將所有輸出特征拼接起來，通過計算特征間的歐式距離進行排序得到匹配結果。

1.2 主干網絡

主干網絡使用ResNet-50 進行特征提取，并對ResNet-50 進行了調整，沒有采用第4 層中的下采樣操作［16］，從而獲得一個更大的特征圖。本文將注意力模塊ECA 嵌入到ResNet-50 的殘差模塊中，得到一個融合了通道注意力的新的殘差模塊。如圖2 所示，將通道權重加權到原來的特征圖上，使網絡有選擇性地加強關鍵特征，抑制無用特征，目的是提升網絡的辨別能力。

圖2 殘差模塊Fig.2 Residual module

ECA 模塊是在通道維度上添加的注意力機制，通過過濾無關信息和關注有用信息來提取具有辨別力的特征。該模塊是針對SE 模塊［17］中降維操作會對通道注意力的預測產生不利影響并且模型復雜度較高的問題而提出的，是基于SE 模塊改進的輕量級注意力模塊。相較于其他的注意力模塊，該模塊只增加了少量的參數卻獲得了更高的精度，同時具有較低的模型復雜度。如圖3 所示，給定輸入特征圖，首先對每個通道獨立使用全局平均池化，得到一個1×1×C的向量，接著使用一種無降維的局部跨通道交互方法，該方法是通過一維卷積實現的，只涉及少量參數，并且一維卷積核的大小是根據式（1）自適應選擇的，然后通過一個Sigmoid 函數生成每個通道的權重，如式（2）所示，最后將通道的權重通過乘法逐通道加權到原來的特征圖上，得到新的特征圖。

圖3 ECA 模塊Fig.3 ECA module

其中：C1D為1 維卷積；k為一維卷積核的大小；y為通道特征；C為通道數；λ和b為超參數；ω表示通道的權重。

1.3 全局分支

全局分支用于提取行人具有辨別力的全局特征，將輸入的訓練圖像I放入主干網絡，經過前4 層后輸出一個卷積特征FI，全局分支經過全局平均池化獲得2 048 維的特征FG，然后經過1×1 的卷積層、批量歸一化層以及Relu 層得到一個1×1×512 的特征向量YG，如式（3）所示：

其中：WG和bG為卷積層的權重和偏置。

1.4 局部分支

局部分支是通過批特征擦除方法提取局部細粒度特征，在主干網絡的第4 層后加入，首先將第4 層得到的特征圖FI放入到瓶頸層繼續提取深層特征，然后引入隨機擦除部分區域的掩碼，將擦除區域的特征像素設置為0，擦除后的特征圖經過全局最大池化獲得2 048 維的特征FP，和全局分支相似，進行一系列的降維操作最終得到1×1×1 024 的向量YP，如式（4）所示：

其中：WP和bP為卷積層的權重和偏置。

卷積神經網絡通常會將關注點集中在圖像中身體的主要部位，而其他具有描述性的細粒度特征則會受到抑制，批特征擦除方法能夠解決這一問題。所謂批特征擦除，就是在單個迭代過程中擦除同一個批次圖像中的相同區域，擦除的區域通常能夠覆蓋輸入特征圖的大部分語義區間，通過掩碼將要刪除區域的像素值設置為0，使網絡對剩余的細粒度特征更好地學習。假定經過主干網絡獲得的批次中特征圖FI的大小為C×H×W，其中，C為通道數，H和W為特征圖的長和寬，設置一定的長寬擦除比rh和rw，隨機初始化坐標點(xt,yt)。根據式（5）確定要擦除區域M，若隨機擦除的長度，與坐標點xt之和X小于等于原始圖像的長度以及寬度與坐標點yt之和Y小于等于原始圖像的寬度，則將擦除區域的像素賦值為0，最終輸出擦除后的特征圖FI'。否則，重新初始化坐標，重復上述步驟。該方法流程如圖4 所示。

圖4 批特征擦除流程Fig.4 Procedure of batch feature erasure

1.5 特征融合

本文使用雙分支結構分別學習行人圖像的全局特征和局部細粒度特征，為提高行人重識別的準確率，獲取更加全面的行人特征表示，本文采用拼接融合策略對全局特征和局部特征進行融合，即將兩個特征拼接在一起形成行人特征表示向量Ytotal，如式（6）所示：

在測試階段，先對查詢集和候選集中的圖像進行特征提取，將查詢集中每張圖像的特征向量與候選集中所有圖像的特征向量計算歐氏距離并排序從而獲得匹配結果。

1.6 損失函數

為了使模型在訓練過程中獲得較好的表征學習能力，本文使用分類損失函數和軟間隔的批次硬三元組損失函數聯合訓練的方法。分類損失常用于分類任務，將識別任務當作一個多分類問題，如式（7）所示：

其中：s(x)=ln(1+expx)為行人圖片數量；s(x)=ln(1+expx)表示行人類別數；第s(x)=ln(1+expx)個樣本的深度特征為s(x)=ln(1+expx)；s(x)=ln(1+expx)為相應的身份標簽；Wk表示第s(x)=ln(1+expx)類別的權重向量。

三元組損失用于度量學習任務，由錨樣本、正樣本和負樣本構成三元組，目的是使正樣本對的距離小于負樣本對的距離。無論是傳統的三元組損失函數還是批次硬三元組損失函數，其公式中都包含一個求最大值的截斷操作，當正樣本對和負樣本對的距離滿足三元組關系時，則不需要優化，損失為0。然而在行人重識別任務中，處在模糊區域的負樣本對難以分辨，所以采用一種可平滑接近的軟間隔函數代替截斷操作，使同類樣本的距離越近越好，如式（8）所示，最終得到軟間隔的批次硬三元組損失函數，如式（9）和式（10）所示：

其中：p和k表示一個批次中共有p個行人，每個行人有k張圖片分別表示錨樣本、正樣本和負樣本；fθ(x)表示提取的特征；D(?)表示歐式距離。

2 實驗結果與分析

實驗采用的操作系統環境為Windows 10，中央處理器為Intel Xeon W-2123 CPU（3.6 GHz），顯卡為NVIDIA GeForce GTX1080，顯存大小為8 GB。軟件環境采用Python 3.6 和Pytorch1.6 的深度學習框架，使用Adam 優化器，初始學習率設為le?3，在200 個周期后衰減至1e?4，300 個周期后衰減至1e?5，總的迭代次數為500，批量大小為32，在每次迭代中，ECA 模塊中的超參數λ=2，b=1，分別在兩大行人重識別數據集Market1501 和DukeMTMC-reID 上進行實驗。

2.1 數據集與評價指標

實驗在Market1501［18］和DukeMTMC-reID［19］兩個主流公開數據集上進行有效性驗證，Market1501數據集包括由6個攝像頭拍攝到的1 501個行人，總計32 668張圖像，訓練集包含來自751個行人的12 936張圖像，測試集包含來自750 個行人的19 732 張圖像。DukeMTMC-reID 是DukeMTMC 數據集的行人重識別子集，包括8個攝像頭拍攝到1 404個行人的36 411張圖像，訓練集包含來自702 個行人的16 522 張圖像，其他的702 個行人的19 889 張圖片作為測試集。

行人重識別任務中普遍使用首位命中率（Rank-1）和平均精度均值（mAP）兩個評價指標來評價所有數據集上的模型性能的好壞。首位命中率表示在搜索結果中排在第一位的圖像為正確結果的概率。平均精度均值能更加全面地衡量行人重識別算法的性能，它反映了正確的重識別圖像在排序中排在前面的程度，是將平均精度（AP）求和再取平均。AP 和mAP 的計算公式如式（11）和式（12）所示：

其中：i表示檢索圖像的序號；p(i)表示序號為i圖像在所有圖像中的比例；當g(i)=1 時表示i號圖像與待識別圖像匹配，否則為g(i)=0 時，m表示與待識別圖像匹配圖像的個數。

2.2 模型參數分析

在批特征擦除分支中，通過設置不同的長寬擦除比來驗證行人重識別的精確度，在實驗中，將圖片大小設置為384×128 像素，訓練時通過隨機水平翻轉和歸一化進行數據增強，將rw的值設置為1，rh設置為不同的數。圖5 為分別在Market1501 和DukeMTMC-reID數據集上設置不同長寬擦除比的實驗結果，從圖5 可以看出，當長寬擦除比設置為0.5 時，兩個數據集上的Rank-1 和mAP 都達到最佳。

圖5 不同擦除比的實驗結果Fig.5 Experimental results of different erasure ratios

2.3 與其他方法的對比

將本文方法與其他行人重識別方法在Market1501和DukeMTMC-reID 兩個數據集上進行比較，實驗結果如表1 所示。與其他方法相比，本文方法取得了較好的效果，在Market1501 數據集上Rank-1 和mAP 分別達到了94.4%和85.9%，在DukeMTMC-reID 數據集上Rank-1 和mAP 分別達到了88.3%和75.1%。

表1 不同方法在Market1501 和DukeMTMC-reID數據集上的對比結果Table 1 Comparison results with different methods on Market1501 and DukeMTMC-reID datasets %

從表1 實驗結果可知，本文方法與結合全局特征和局部特征的CASN 相比精確度都有一定程度的提升，其中CASN 通過手動分割特征圖來關注局部區域，而本文則通過批特征擦除方法學習局部細粒度特征，提取的特征魯棒性更強，在Market1501 數據集上Rank-1 無明顯提升，mAP 提高了3.1 個百分點，在DukeMTMC-reID 數據集上Rank-1 提高了0.6 個百分點，mAP 提高了1.4 個百分點；與HOReID 和SNR方法相比，本文方法在兩個數據集上的精確度有略微提升；與BDB 相比，本文方法通過添加輕量級的注意力模塊強化了關鍵信息，增強了全局特征的辨別力，一定程度上與擦除后的細粒度特征起到互補作用，在Market1501 數據集上，Rank-1 提高了0.4 個百分點，mAP 提高了2 個百分點，在DukeMTMCreID 數據集上，Rank-1 提高了2.3 個百分點，mAP 提高了2.6 個百分點。

綜上所述，本文通過結合具有辨別力的全局特征和批特征擦除后的局部細粒度特征能夠提升網絡的識別能力，行人重識別的準確率明顯提高。

2.4 消融實驗

為了驗證注意力模塊對行人重識別性能的影響，將ResNet-50 中添加的ECA 模塊使用不同的注意力模塊替換，其他設置保持不變，分別在Market1501 和DukeMTMC-reID 數據集上進行實驗，實驗結果如表2所示。

表2 不同注意力模塊的消融實驗結果Table 2 Ablation experiment results of different attention modules %

從表2的消融實驗結果可知，與主干網絡ResNet-50相比，注意力模塊的加入對行人重識別的準確率都有所提升。在Market1501 數據集上，加入SE 模塊的網絡Rank-1 和mAP 分別提高了0.2 和1.5 個百分點，加入CBAM 模塊［26］的網絡Rank-1 和mAP 分別提高了0.2 和1.6 個百分點，加入了ECA 模塊的網絡Rank-1 和mAP 分別提高了0.4 和2.0 個百分點；在DukeMTMC-reID 數據集上，加入SE 模塊的網絡Rank-1 和mAP 分別提高了2.0 和2.6 個百 分點，加入CBAM 模塊的網絡Rank-1 和mAP 分別提高了1.4 和2.6 個百分點，加入了ECA 模塊的網絡Rank-1 和mAP 分別提高了2.3 和2.6 個百分點。實驗結果表明，加入ECA 模塊的網絡在兩個數據集上的Rank-1和mAP 達到最佳，因此主干網絡中添加注意力模塊ECA 有助于提取顯著性的全局特征，一定程度上增強了模型的檢索性能。

本文研究了不同分支設置下對行人重識別性能的影響，分別在Market1501 和DukeMTMC-reID 數據集上進行實驗，實驗結果如表3 所示。

表3 不同網絡分支的消融實驗結果Table 3 Ablation experiment results of different network branches %

從表3 的消融實驗結果可知，當僅保留全局分支或局部分支時，實驗結果明顯不如本文提出的全局分支和局部分支相結合的方法，因為僅保留單一分支時，網絡學習到行人特征不完整，識別性能有所下降。兩分支結合的網絡相較于ResNet-50 在兩個數據集上Rank-1 分別提高了0.4 和2.3 個百分點，mAP 分別提高了2.0 和2.6 個百分點，這表明全局分支和局部分支之間具有互補作用，將具有辨別力的全局特征和局部細粒度特征聯合能夠學習到更加全面的行人特征表示，進一步提高行人重識別的準確率。

2.5 可視化結果

ABFE-Net 網絡模型以ResNet-50 為基線，將學習到的全局特征和局部細粒度特征相結合獲得更全面的行人特征，可視化特征如圖6 所示。從圖6 可以看出，與基線相比，ABFE-Net 特征圖的響應區域更為廣泛，能夠覆蓋到更多細節特征，這是因為本文通過添加通道注意力機制來挖掘更豐富的全局信息，并結合局部細粒度特征增強行人特征的魯棒性。如圖6（b）中的圖像經過ABFE-Net后行人全局輪廓比較清晰，并且衣服上的條紋可作為具有辨別力的細粒度特征進行重識別，從而更好地區分不同的行人。

圖6 可視化特征示意圖Fig.6 Schematic diagram of visual features

此外，本文還展示了在Market1501 數據集下某些查詢圖像的前5 個排序結果，如圖7 所示。從圖7 中的前兩行圖像可以看出，當不同類別的行人穿著相似時，相較于基線，ABFE-Net通過注意力機制能發現更多具有辨別力的全局特征，因此識別錯誤率較低。圖7 中第三行查詢圖像被背包遮擋時，ABFE-Net相較于基線能夠正確檢索，這是因為ABFE-Net網絡結合了注意力機制和批特征擦除方法，在發生圖像遮擋時能夠提取到局部細粒度特征，使行人特征表示更具魯棒性。

圖7 Market1501 數據集部分圖像查詢結果Fig.7 Market-1501 dataset partial image query results

3 結束語

為解決行人重識別中圖像局部遮擋的問題，本文提出一種結合注意力和批特征擦除的行人重識別模型。基于ResNet-50 的主干網絡，在特征提取時，將輕量級的注意力模塊ECA 嵌入到殘差網絡中挖掘更豐富的全局信息，使提取的特征更具辨別力，同時聯合批特征擦除獲得的局部細粒度特征，增強行人特征的魯棒性和完整性。在兩個大型的行人重識別數據集Market1501 和DukeMTMC-reID 上進行實驗，結果表明，該模型行人重識別性能有明顯提升。后續將考慮從多個尺度提取行人的不變性特征，進一步提高行人重識別模型的準確率。