基于深層特征融合的行人重識別方法*

熊 煒，熊子婕，楊荻椿，童 磊，劉 敏，曾春艷

(1.湖北工業大學電氣與電子工程學院，湖北 武漢 430068； 2.美國南卡羅來納大學計算機科學與工程系，南卡 哥倫比亞 29201)

1 引言

行人重識別(Pedestrian Re-identification)，是利用計算機視覺技術檢索出不同攝像頭下相同行人的技術[1]。在監控視頻中，由于相機分辨率和拍攝角度的緣故，通常無法得到質量非常高的人臉圖像，此時行人重識別就成為了一個非常重要的替代技術。由于行人重識別在視頻監控應用中的重要地位，以及越來越多的大規模行人重識別數據集的提出，行人重識別在計算機視覺中越來越受重視。然而由于行人姿態變化、環境光照影響、遮擋等問題，行人重識別是一個相當具有挑戰性的問題。

目前行人重識別方法主要分為2類：基于特征表示的方法和基于度量學習的方法。

基于特征表示的方法主要提取具有魯棒性的鑒別特征來表示行人。Wei等[2]提出采用deeper cut算法估算行人的4個關鍵點，將輸入圖像分成3個部分，然后從全局圖像和部件圖像中學習描述子，以此來學習更加精細的局部特征。Su等[3]為解決行人姿態變化以及視角差異的問題，提出采用姿勢估計的方法對行人圖像分塊，并對不同塊加權來增強行人細節特征。Liu等[4]提出了一種基于注意力機制的深度神經網絡HPNet(HydraPlus Network)，引入來自多層級的多尺度注意力特征，并將行人的全局和局部特征聯合組成新的行人特征。Zhao等[5]為解決人體錯位的問題，提出一種人體區域對齊的方法，利用訓練好的網絡將人體分割成幾個有區分力的區域，分別計算每個區域的特征向量。Yao等[6]提出了部分損失網絡PL-Net(Part Loss Network)，對現有大部分只提取全局特征且容易過擬合而不考慮局部特征的方法做了改進，該網絡可自動檢測人體部件，增加模型的判別性。

基于度量學習的方法主要通過學習一個距離函數，使同一行人的距離小于不同行人的距離[7]。它的目的是尋找一種新的距離度量，將原始的行人特征(如HOG特征[8]和SIFT特征[9])轉換到一個新的度量空間中，在這個度量空間中，具有相同標簽的樣本更近，標簽不同的樣本具有較大的距離?；谏疃葘W習的行人重識別方法中，這種距離度量學習算法被稱為排序損失。其中最典型的排序損失是三元組損失(Triplet Loss)[10]，給定一個目標樣本，其中一個正樣本與目標樣本具有相同的標簽，另一個負樣本具有不同的標簽，通過三元組損失調節使目標樣本正距離小于目標樣本負距離。除了三元組損失外，還有其他類型的度量學習損失，如柱狀圖損失(Histogram Loss)[11]和四元組損失(Quadruplet Loss)[12]。

本文提出了一種深層特征融合的行人重識別網絡模型，從空間維度提升網絡性能。首先，利用卷積層和池化層多次提取網絡深層特征，使用融合后的深層特征作為行人圖像的特征屬性，融合后的特征具有更好的細粒度特征表達能力。其次，為提高模型的泛化能力，在深層融合特征后加入一個批量歸一化層，同時采用標簽平滑損失(Label Smoothing Loss)函數和三元組損失函數對模型進行聯合訓練。與2017和2018年優秀的算法進行對比實驗結果表明，本文所提方法在Market1501、DukeMTMC-reID、CUHK03和MSMT17 4個數據集上都取得了更高的行人重識別率。

2 基于深層特征融合的網絡模型

2.1 網絡結構

目前行人重識別在特征提取部分主要采用殘差卷積網絡Resnet-50[13]作為骨干網絡(Backbone)，然后根據特征映射進行距離度量,計算圖像相似度。考慮到從空間維度提升網絡性能以及提高模型的泛化能力，本文采用Se-resnet50[14]作為骨干網絡，利用卷積層和池化層多次提取網絡深層特征并對融合特征進行批量歸一化BN(Batch Normalization)處理。本文采用的行人重識別網絡結構如圖1所示，網絡結構包括深層特征提取和融合特征批量歸一化2個部分。

在深層特征提取部分，本文采用Se-resnet50網絡提取圖像的全局特征，其網絡內部結構如圖2所示，該網絡是將SENet(Squeeze-and-Excitation Networks)嵌入Resnet-50中，SENet分為壓縮和激勵2個部分。SENet采用“特征重標定”方法進行特征通道間的融合，通過自己學習獲取特征通道的權重并進行分配，提升有用特征通道的權重，同時削弱相關性小的特征通道的權重。在壓縮部分，對Resnet-50輸出的C個空間維度為H×W的特征映射fi，通過全局池化壓縮成C個空間維度為1×1的特征向量。在激勵部分，通過如圖2所示的瓶頸結構(Bottleneck)捕捉信道之間的內部關聯，學習信道的注意力因子。最終將學習到的注意力因子分配到相應的信道上，輸出C個大小為H×W的帶有注意力標注的特征映射f′i。

Figure 1 Structure of pedestrian re-identification network圖1 行人重識別網絡結構

Figure 2 Structure of Se-resnet50圖2 Se-resnet50結構

本文提出將Se-resnet50的2個中間層特征提取出來獲得圖像深層次的全局特征屬性表示，提取的2個中間層特征維度分別為512和1 024，對這2個不同尺度的中間層特征分別采用平均池化方法，獲得2 048維的深層特征f′1,f′2，最后將2個中間層特征與網絡輸出的2 048維的特征映射f′拼接為融合特征f′fusion=[f′,f′1,f′2]，以提高模型對圖像深層特征的描述能力。

在融合特征批量歸一化區域，為提高網絡的泛化能力，在輸出的C個融合特征(即批處理特征值)后面加入一個歸一化層，首先計算批處理特征值的均值，然后計算其方差，對批處理特征值進行歸一化處理，使其均值為0，方差為1。同時，在批量歸一化層中引入了2個可學習參數γ，β，將C個融合特征的特征值作為樣本對參數γ，β進行訓練，對批處理特征值進行尺度變換和偏移。具體過程如圖3所示，其中圖3a為沒經過任何處理的融合特征的sigmoid函數，深層融合特征分布在梯度平滑的區域時，網絡在訓練過程中將很難收斂。圖3b對融合特征進行歸一化處理后，將數據移到sigmoid函數中間區域，該區域具有最大梯度，能更有效地訓練網絡。為保證模型的非線性表達能力，圖3c對歸一化的深層融合特征進行尺度變換和偏移，使其更接近于真實分布。

Figure 3 Batch normalization process of fusion feature圖3 融合特征批量歸一化過程

2.2 損失函數

2.2.1 標簽平滑損失函數

在行人重識別系統中，行人訓練樣本通常會存在少量的錯誤標簽，這些錯誤標簽可能會影響預測結果，標簽平滑損失函數被用來防止模型在訓練過程中過度依賴標簽。

假設輸入行人圖像且其類別為i時，yi為圖像中行人的標簽，若yi屬于類別i，則其值為1，否則為0。本文對行人標簽進行了平滑處理，在每次訓練過程中，給標簽設置一個錯誤率ε，則實際標注的行人標簽y′i如式(1)所示：

(1)

設qi是網絡預測實際標注的行人標簽y′i屬于類別i的概率，如式(2)所示：

(2)

其中，M為數據集中的行人個數。由交叉熵損失函數可得標簽平滑損失如式(3)所示：

(3)

其中，pi為網絡預測標簽yi屬于類別i的概率。

2.2.2 三元組損失函數

本文通過三元組損失訓練模型使得任意目標樣本與正樣本之間的距離最小，與負樣本之間的距離最大。三元組損失函數如式(4)所示：

Ltri=[dp-dn+α]+

(4)

其中，dp為目標樣本與正樣本之間的歐氏距離，dn為目標樣本與負樣本之間的歐氏距離，α為三元組損失的閾值，本文中閾值設為0.3。

2.2.3 聯合損失函數

由于本文采用標簽平滑損失[15]和三元組損失[12]對模型進行聯合訓練，然而這2種損失計算的特征映射是不一致的。標簽平滑損失需要構造多個超平面，將每個類的特征分布在不同的子空間中。在使用標簽平滑損失函數優化模型時，余弦距離更適用于標簽平滑損失函數。但是，三元組損失函數是對歐氏距離中的類內緊密性和類間可分離性進行了增強。如果使用這2個損失函數同時對融合特征映射進行優化，會存在目標不一致的問題，甚至會增加訓練難度。

為聯合標簽平滑損失和三元組損失，本文將批量歸一化層加入到融合特征映射f′fusion和全連接層之間，融合特征映射f′fusion進入批量歸一化層后輸出標準化融合特征映射f′N。由于批量歸一化層將所有特征屬性全部分配給了同一個標簽，故采用f′N計算標簽平滑損失，用f′fusion計算三元組損失。最終，本文模型的損失函數為Lloss=Lid+Ltri。

3 實驗結果及分析

3.1 實驗數據與評估標準

本文在Market1501[16]、CUHK03[17]、DukeMTMC-reID[18]和MSMT17[19]4個數據集上對提出的行人重識別方法進行對比實驗，各數據集的介紹如表1所示。

Table 1 Datasets introduction表1 數據集介紹

Market1501數據集[16]采集于清華大學，包含32 668幅行人圖像，一共有1 501個行人標簽。數據集中包含訓練集以及測試集，訓練集中有751個行人標簽，平均每人約有17.5幅圖像；測試集中有750個行人標簽。

CUHK03數據集[17]采集于香港中文大學，包含13 164幅行人圖像，一共有1 467個行人標簽。該數據集是Matlab數據文件格式，由檢測、標注和測試3個部分組成。

DukeMTMC-reID數據集[18]采集于杜克大學，包含36 441幅行人圖像，一共有 1 812個行人標簽。數據集中包含訓練集以及測試集，訓練集中有702個行人標簽，平均每人約有23.5幅圖像；測試集包含17 661幅圖像。

MSMT17數據集[19]是目前最大且最接近真實場景的數據集，該數據集采集于校園內，通過15個攝像頭采集180小時，最終得到126 441幅行人圖像以及4 101個行人標簽。數據集中包含訓練集以及測試集，測試集中有3 060個行人標簽，平均每人約有30.6幅圖像；測試集中有11 659幅查詢圖像以及82 161幅行人圖像。

實驗中使用第1次命中匹配準確率(Rank-1)以及平均準確率mAP(mean Average Precision)作為評價指標對模型進行評估。

3.2 參數設置與分析

3.2.1 參數設置

本文方法在Pytorch深度學習工具包上實施，實驗平臺是基于64位的Ubuntu16.04操作系統，顯卡型號為iGame GeForce RTX 2070，卷積神經網絡選用的是Se-resnet50，運用隨機遮擋、裁剪和旋轉對訓練數據進行增強，輸入行人圖像大小為224×224。初始學習率設為3.5×10-5，隨著迭代次數逐漸增加到3.5×10-4，然后分別在迭代到40和70次時降到3.5×10-5和3.5×10-6，迭代次數設為120次。訓練時批次大小設為32，優化器為ADAM。采用標簽平滑損失函數與三元組損失函數聯合訓練模型。

3.2.2 骨干網絡的選擇

為驗證Se-resnet50的優越性，本文分別以Resnet-50和Se-resnet50為骨干網絡在Market1501數據集上進行訓練，訓練過程中僅采用softmax損失對骨干網絡進行優化，實驗結果如表2所示。

由表2可知，Se-resnet50網絡相比于Resnet50網絡，雖然在訓練時間上增加了16.11 min，但Se-resnet50在Rank-1上提升了2%，在mAP上提升了3.8%，該結果表明本文采用的Se-resnet50網絡可以更有效地提取行人特征。

Table 2 Experimental results based on Resnet-50 and Se-resnet50 backbone networks on Market1501 dataset表2 Market1501數據集上基于Resnet50和Se-resnet50骨干網絡的實驗結果

3.2.3 深層特征融合模型

本文為提取行人深層特征屬性，將Se-resnet50中間層特征分支提取出來先輸入池化層然后融合，為驗證深層特征屬性的有效性，對只提取中間層特征f′1與原始特征f′融合訓練，提取2個中間層特征f′1、f′2與原始特征f′融合訓練，提取3個中間層特征f′1、f′2、f′3與原始特征f′融合訓練以及原始特征單獨訓練進行實驗，實驗結果如表3所示。本次實驗僅采用三元組損失函數訓練模型，并未在網絡結構中加批量歸一化層。

Table 3 Experimental results of extraction of deep feature fusion on Market1501 dataset表3 Market1501數據集上提取深層特征融合的實驗結果

由表3可知，在Market1501數據集上，提取中間層特征與原始特征融合訓練的方法相較于原始特征單獨訓練方法均有提升，最高可在Rank-1和mAP指標上提升2.2%和4.7%，表明了深層特征提取對模型優化的有效性。

由實驗結果可知，提取2個中間層特征與原始特征融合訓練的方法在Rank-1與mAP指標上，高于提取1個中間層特征與原始特征融合訓練的方法1.3%和3.2%，高于提取3個中間層特征與原始特征融合訓練的方法0.1%和0.2%。雖然提取2個中間層特征與原始特征融合訓練的方法與提取3個中間層特征與原始特征融合訓練的方法結果相差不大，但在提取2個中間層特征與原始特征融合訓練的方法的模型訓練時間更短。與提取3個中間層特征的方法相比，雖然在Rank-1與mAP指標上相差不大，但模型訓練時間減少了30.14 min。綜合行人重識別率與模型訓練時間分析可知，提取2個中間層特征進行融合訓練是最有效的。

為驗證批量歸一化層與聯合損失函數的有效性，本文以Se-resnet50為骨干網絡以及提取2個中間層特征與原始特征融合的方法為基礎模型，對是否加入批量歸一化層在Market1501數據集上進行實驗，實驗結果如表4所示。

Table 4 Experimental results with or without batch normalization layer on Market1501 dataset表4 Market1501數據集上有無批量歸一化層的實驗結果

由表4可知，加入批量歸一化層訓練的方法比未加批量歸一化層訓練的方法在Market1501數據集上有大幅度提升，在Rank-1和mAP指標上分別提升了2.6%和3.0%。雖然在模型訓練時間上與未加批量歸一化層訓練的時間相近，增加了1.17 min，但有效地提高了行人重識別率。

3.3 相關方法比較

為驗證所提行人重識別方法的有效性，分別在Market1501、DukeMTMC-reID、CUHK03和MSMT17 4個數據集上實驗，實驗中未采用Re-ranking對行人重識別率進行提升。通過與2017和2018年優秀的算法進行對比，在4個數據集上本文方法的結果均有顯著提升。圖4是部分實驗的查詢結果圖，第1列為行人查詢圖像，后10列為查詢結果，其中黑框為錯誤結果，無框為正確結果。

Figure 4 Query results of pedestrian re-identification圖4 行人重識別的查詢結果圖

在Market1501數據集上加入深層特征融合以及批標準化處理后，實驗結果如表5所示，對比方法的評估結果分別摘自文獻[20 - 23]。在該數據集上本文方法均優于其他的方法，且在mAP指標上有大幅提升，達到了85.6%，Rank-1達到了95.0%。

Table 5 Performance comparison with mainstream methods on Market1501 dataset表5 Market1501數據集上與主流方法的性能比較

在DukeMTMC-reID數據集上加入深層特征融合以及批標準化處理后，實驗結果如表6所示，對比方法的評估結果分別摘自文獻[20-23]。在該數據集上本文方法在Rank-1以及mAP2個評價指標上均取得了大幅提升，分別提升了2.2%和5.3%，達到了87.1%和77.1%。

Table 6 Performance comparison with mainstream methods on DukeMTMC-reID dataset表6 DukeMTMC-reID數據集上與主流方法的性能比較

在CUHK03數據集上加入深層特征融合以及批標準化處理后，實驗結果如表7所示，對比方法的評估結果分別摘自文獻[20,21,23]。在該數據集上本文方法均優于其他的方法，且在mAP指標上有大幅提升，達到了61.1%，Rank-1達到了62.0%。

Table 7 Performance comparison with mainstream methods on CUHK03 dataset表7 CUHK03數據集上與主流方法的性能比較

針對2018年新提出的數據集，在MSMT17數據集上加入深層特征融合以及批標準化處理后，實驗結果如表8所示，與其對比方法的實驗均來自于文獻[19]。本文方法對該數據集的行人重識別率有顯著提升，在Rank-1以及mAP2個評價指標上均取得了大幅提升，分別提升了13.5%和17.8%，達到了74.9%和51.8%。

Table 8 Performance comparison with mainstream methods on MSMT17 dataset表8 MSMT17數據集上與主流方法的性能比較

4 結束語

本文提出了一種深層特征融合的行人重識別方法，從空間維度提升網絡性能。該方法利用卷積層和池化層多次提取Se-resnet50網絡深層行人特征，使用融合后的深層特征作為行人圖像的特征屬性。在深層融合特征后加入一個批量歸一化層，同時采用標簽平滑損失函數和三元組損失函數對模型進行聯合訓練，提高模型的泛化能力。實驗結果表明，本文所提行人重識別方法在Market1501、DukeMTMC-reID、CUHK03和MSMT17 4個數據集上都取得了更高的行人重識別率。在未來工作中將進一步研究更為有效的特征提取方法，提高行人重識別性能。