基于階梯型特征空間分割與局部注意力機制的行人重識別

石躍祥 周 玥

(湘潭大學計算機學院·網絡空間安全學院 湘潭 411105)

1 引言

行人重識別是在跨監控設備下檢索出給定行人圖像目標的技術，廣泛應用于智能安防、人機交互、電子商務等領域。由于監控設備下的行人圖像存在角度變化、光照、遮擋和分辨率低等問題，行人重識別仍然是一項具有挑戰性的任務。早期行人重識別的研究通常是對行人圖像提取顏色直方圖、HOG、紋理等手工特征。但手工設計的特征描述能力有限，傳統算法識別率比較低。此外，許多研究者在距離度量學習方法上進行研究，周智恒等人[1]提出一種等距離度量學習策略，陳瑩等人[2]提出一種雙向參考集矩陣度量學習算法。為克服度量模型的過擬合問題，He等人[3]提出環推度量學習算法。2016年后，隨著深度學習在行人重識別任務中的應用，算法性能大大超過了早期的傳統方法。

基于深度學習的行人重識別主要可以歸納為基于生成對抗網絡[4]、特征空間分割、行人姿勢和注意力機制的方法[5]。研究者利用生成對抗網絡來擴大數據集和增加數據多樣性，如Zheng等人[6]利用生成對抗網絡來生成更多模擬的數據。在全局特征遇到性能瓶頸后，研究者更加注重局部特征的研究。Sun等人[7]提出的PCB模型將所提取的全局特征均勻分成6個水平塊。Wang等人[8]提出了一種整合全局特征和局部特征的多粒度模型。但簡單的分塊可能造成塊與塊間有效信息的丟失，且無法實現水平塊之間的對齊。Zhao等人[9]借助人體的14個姿勢關鍵點生成7個子區域，然后將其與全局特征一起送入特征融合網絡得到最終的行人特征表示。Miao等人[10]利用姿態將有用信息從遮擋中分離出來。結合人體姿勢信息進行預測，能夠有效避免姿態錯位導致的特征對齊困難，但需要大量額外的監督和姿勢預測過程。另一個比較有效的是注意力方法，它可以模仿人類的視覺信號處理機制，并且不需要使用具體的語義特征，相比結合姿勢的方法，能在一定程度上減輕工作。Song等人[11]利用二值掩膜設計了一種對比注意力模型來分別學習身體和背景區域的特征。Li等人[12]提出了注意力融合卷積神經網絡模型，從而優化圖像未對準的情況。注意力機制方法對于行人遮擋和分辨率低等問題有一定的幫助，但在識別的過程中可能丟失一些比較重要的數據。

為了解決上述問題，本文將特征空間分割和注意力機制相結合，提出了更加有效的特征空間分割方式，針對局部分支引入了注意力機制策略。首先，改進了以往空間分割的方法，對切分為多個水平區域的特征圖進行階梯型特征提取，與之前的強制水平分割相比，階梯型特征提取能夠關注更多的邊緣信息，加強局部特征之間的聯系。其次，在多個局部分支中引入了分支注意力，按重要性給每一個局部分支分配相應的權重，從而在更注重包含比較多重要信息的分支同時削弱無關信息的關注程度。最后，在每一個局部分支后引入卷積核注意力、通道注意力和空間注意力，結合多類注意力機制能夠獲得更好的判別特征。

2 特征空間的分割及注意力機制的引入

2.1 網絡結構

本文網絡結構如圖1所示，該網絡以ResNet-50為骨干網絡，且在最后一層卷積conv5_x前劃分成兩個獨立的分支。第1個分支延續原始ResNet-50相同的體系結構，提取行人圖像的全局特征。第2個分支提取多粒度的局部注意力特征。

圖1 階梯型局部分支注意力網絡（Stepped Local Branch Attention Network，SLANet）結構

對于第2個分支，在conv5_x中設置卷積步長為1，從而增大網絡輸出的特征圖來獲得更多的特征信息。隨后又劃分為3個獨立的分支：分支1、分支2、分支3。將調整為384×128大小的圖像輸入到網絡后，在該分支經過conv5_x得到大小為24×8的整體行人特征圖，其維度為2048維。在分支1利用所得的整體行人特征圖來獲取完整圖像特征信息。在分支2將整體行人特征圖輸入到階梯型分支注意力模塊(Stepped Branch Attention Module，SBAM)進行階梯型特征分塊，得到P個不同權重的局部特征。在這里設置P=5，表示劃分得到5個局部區域，其中每一個分塊區域的大小為12×8。在分支3將整體行人特征圖輸入到SBAM模塊進行階梯型特征分塊，得到P個不同權重的局部特征，設置P=9，每一個分塊區域的大小為8×8。對分支2和分支3得到的14個局部特征都單獨送入到多尺度自適應注意力模塊(Multi-scale Adaptive Attention Module， MAAM)，從而得到融合了卷積核注意力、通道注意力和空間注意力的局部特征圖，所有經過MAAM模塊的特征圖尺寸不變。然后對3個分支得到的15個特征圖分別進行最大池化和降維處理，得到15個265維特征向量。

在訓練階段，將所有降至256維的特征分別送入全連接層后使用標簽平滑的交叉熵損失進行分類學習，對全局分支和分支1得到的256維特征使用三元組損失進行度量學習。在測試階段，將所有降至256維的特征連接起來作為最終特征，從而充分結合全局和局部信息來獲得最強大的識別能力。

2.2 階梯型分支注意力模塊

特征空間分割是一種比較有效的局部特征提取方法，但現如今許多特征空間分割的方法都是水平均勻分塊，這種方式能夠學習到人體不同區域的差異，但塊與塊之間的邊緣信息容易被忽略。如圖2所示，對于尺寸調整后的原始行人圖像，若是把它劃分成左側圖中的4個水平塊，第1塊和第2塊會將該行人衣服上的白色標志分離，同時第2塊和第3塊會將紅色斜跨包分成兩部分。這樣則會忽略以及破壞塊與塊邊緣的重要信息，導致在對每一塊進行單獨分類時達不到最終期待的效果。于是本文提出了一種按特定數量以階梯型選取圖像塊從而得到多個分支的方法。對于分支2首先將原始完整行人圖像均勻分成8個水平塊，最初以第1塊為起始塊，每4塊為一個整體作為一個局部區域，隨后以步長為1往下更改起始塊進行階梯型分塊，最終得到5個局部分區。可以看到，局部分區(a)和(b)中都包含有衣服上完整的白色標志，局部分區(b)和(c)中都包含有完整的斜挎包信息。該方法更注重圖像水平塊間的內在聯系，能夠避免特征學習過程中某些重要信息的丟失。

圖2 階梯型分塊方式

2.3 多尺度自適應注意力模塊

注意力機制類似于人類觀察物體時將視線聚焦于重要區域，其目標是增強模型對圖像重要區域的關注從而獲得更有區分力的特征信息。本文結合了SKNet[13]自適應感受野大小和CBAM[14]多注意力融合的思想，在網絡最后一個卷積層和池化層間引入多尺度自適應注意力模塊(MAAM)。

2.4 損失函數

行人重識別網絡使用的損失函數一般分為分類損失和度量損失兩類。本文使用標簽平滑[15]的交叉熵損失對全局和局部特征進行分類，同時使用難樣本采樣三元組損失[16]對全局特征實現度量學習，選擇更難的樣本去訓練網絡能提高網絡的泛化能力，根據全局特征和局部特征的差異性聯合使用兩種損失能夠獲得更優的性能[8]。將行人圖像輸入到網絡后，負交叉熵損失公式可表示為

3 實驗結果與分析

3.1 數據集和評價指標

為了驗證本文方法的有效性，在Market-1501[17]，DukeMTMC-reID[18]和CUHK03[19]3個數據集上進行了驗證。本文使用平均精度均值(mean Average Precision， mAP)和累計匹配特征曲線(Cumulative Match Characteristic， CMC)兩種評價指標來評價算法的性能。

3.2 實驗環境及參數設置

本文實驗在配有硬件Intel(R) Xeon(R) W-2155 CPU@3.30GHz和NVIDIA RTX 2080Ti GPU，操作系統為Ubuntu 19.10的設備上進行，并基于python 3.7.5編程語言和Pytorch 1.3.0深度學習框架來完成算法實現。實驗數據集調整圖像大小為384×128，采用隨機翻轉、隨機裁剪和隨機擦除的數據增強方法。訓練批次大小為N=P×K，其中P為每批次中行人的個數，K為每批次中每個行人的圖像數量。設置P為8，K為4，批次大小為32。在訓練過程中使用Adam優化器來優化網絡參數，選擇Warmup預熱學習率策略，設置初始學習率為0.0004，權重衰減系數為0.0005，網絡迭代次數為400次，且分別在第220次迭代和第320次迭代將學習率降為之前的0.1。

3.3 分塊策略的有效性

在SBAM模塊中，我們將行人圖像均勻分成M個水平塊，最初以第1塊為起始塊，每N塊為一個整體作為一個局部區域，起始塊位置以步長為1向下移動進行階梯型分塊。為了確定M和N的取值，從SLANet網絡中刪去分支3并移除MAAM模塊，在分支2單分支中以控制變量法進行分塊實驗。由于輸入SBAM模塊的特征圖大小為24×8，為了方便實驗，分別以4， 3， 2的高度劃分水平塊，則對應的總塊數分別為6 塊、8 塊和1 2 塊。圖3給出了在3種分塊數量下組成局部區域的塊數取不同值時的實驗結果，該實驗在Market-1501數據集上進行。從實驗數據可以看出，當分塊數分別為6塊、8塊和12塊時，組成局部區域的每組塊數分別為2，3，4時性能較優。且這3種塊數分組方式都比每組塊數為1時效果好，驗證了該方案下的階梯型分塊相比以往普通的分塊方式的有效性。

圖3 不同分塊方式的對比結果

文獻[8]提出了一種多粒度的特征學習策略。在這里，我們將完整圖像作為1級粒度，將尺寸水平裁剪成原來的1/2和1/3的圖像分別作為2級粒度和3級粒度。對于輸入SBAM模塊的大小為24×8的特征圖，粒度等級為2的情況有：(1)將其劃分成6個水平塊，每3個水平塊為一組；(2)將其劃分成8個水平塊，每4個水平塊為一組；(3)將其劃分成12個水平塊，每6個水平塊為一組。粒度等級為3的情況有：(1)將其劃分成6個水平塊，每2個水平塊為一組；(2)將其劃分成12個水平塊，每4個水平塊為一組。同時將劃分成8個水平塊，每3個水平塊為一組得到的9×8的局部區域近似為粒度等級3。最后將全局特征和這兩種粒度作為多分支的方式進行組合實驗，從表1展示的結果可以看出，8_4 + 12_4分塊方式的性能效果最優，mAP和Rank-1分別達到了87.7%和95.3%。表2展示了單獨送入SBAM模塊的局部分支個數對行人重識別任務性能的影響。2個局部分支的效果要比只有全局分支和1個局部分支的效果都要好，表示在一定程度上多粒度局部特征方法能夠提升行人重識別任務性能。但當局部分支個數增加為3個時，不僅計算復雜度增大，效果也沒有明顯增強。這是因為前兩個分支間的相互作用已經對行人圖像達到了一個比較好的局部特征判別能力，并且在分支數過多時，會存在較多的不交叉重疊區域，這些區域單獨計算損失，完成這些額外任務在降低速度的同時對性能不會有顯著提升。

表1 多粒度分塊方法比較(%)

表2 階梯型多分支的有效性(%)

3.4 聯合訓練的有效性

表3展示了是否使用兩個模塊聯合訓練的性能效果對比，該實驗在Market-1501數據集上進行。其中baseline是只使用一個全局分支的情況，在此基礎上增加SBAM模塊可以明顯提高判別性能，mAP和Rank-1分別提升了10.4%和4.8%。將每一個局部區域單獨送入到MAAM模塊后，mAP和Rank-1分別繼續提升了0.4%和0.3%，MAAM模塊只是對每個局部特征進行處理，通過對其融合多類注意力機制來輔助完成局部區域的識別，因此相對提升幅度不大。實驗證明本文提出的模塊在行人重識別任務上能獲得優異的性能。

表3 聯合訓練的有效性(%)

3.5 與現有方法的比較

為了進一步說明本文模型的有效性，將其與多種主流行人重識別算法相比，實驗數據如表4、表5和表6所示。從表中數據可以看出，本文提出的方法在Market-1501數據集上的mAP和Rank-1分別為88.1%和95.6%，在DukeMTMC-reID數據集上的mAP和Rank-1分別為80.0%和88.6%。在DukeMTMC-reID上的相對效果較低，主要因為該數據集中不同行人之間的相似性很高且同一行人會存在遮擋、行人重疊等情況，挑戰難度較大。同時在CUHK03-Labeled數據集上的mAP和Rank-1分別為78.4%和80.7%，在CUHK03-Detected數據集上的mAP和Rank-1分別為75.2%和78.6%，后者使用DPM自動檢測標注方法，存在更多遮擋、錯位和人體部分缺失等問題從而更接近實際情況。另外在Market-1501數據集上使用重排序[24]后，本文方法的mAP可以達到94.6%，Rank-1可以達到96.5%。本文方法在3個數據集上的mAP和Rank-1相比于其他方法均有明顯提升，表明本文方法對行人重識別任務的性能提升是有效的。

表4 在Market-1501數據集上的性能比較(%)

表5 在DukeMTMC-reID數據集上的性能比較(%)

表6 在CUHK03數據集上的性能比較(%)

圖4展示了本文方法SLANet在Market-1501數據集上得到的MAAM模塊后輸出特征的可視化結果，該可視化結果展示了模型對相關區域的關注程度。從圖中可以看出相比CBAM注意力模塊，SBAM和MAAM模塊的聯合更加強調了局部區域的局部注意力，能夠帶來優秀的行人重識別能力。

圖4 可視化結果

4 結束語

對于行人重識別網絡模型，本文提出了有效的階梯型局部分支注意力模塊和多尺度自適應注意力模塊。階梯型分支注意力模塊以階梯型劃分圖像區域從而加強局部特征之間的聯系，同時以分支注意力的方式使網絡關注更重要的分支從而能提高行人重識別的準確度。多尺度自適應注意力模塊對輸入特征進行自適應感受野大小的處理，并對特征融入通道注意力和空間注意力，使網絡提取的局部特征更具有魯棒性。同時設計了合理的多分支網絡結構，使用多粒度的方法將全局特征和局部特征進行融合，得到更具判別能力的融合特征表示。實驗結果表明本文算法在3大主流數據集上均取得了較好的效果。如何高效地提取更有效的局部特征表示并尋求準確率和時間開銷的平衡仍然是今后需要重點研究探討的。