雙端可共享網絡的多模態行人重識別方法

羅 琪，焦明海

東北大學 計算機科學與工程學院，沈陽 110000

行人重識別的任務主要是給定一個目標人物的圖像，在已有的圖像集中選出與目標人物身份一致的圖像。行人重識別方法包括表征學習和度量學習，表征學習沒有直接在訓練網絡的時候考慮圖片間的相似度，而把行人重識別任務當作分類問題或者驗證問題來看待。而表征學習在訓練時會考慮到同一行人的不同圖片間的相似度大于不同行人的不同圖片間的相似度，從而學習出兩張圖片的相似度[1-2]。近年來，隨著監控系統的普及，行人重識別技術也取得了很大的進展。為了實現全天候監控，使用可見光攝像頭和紅外攝像頭分別采集白天的可見光圖像和夜晚的紅外圖像。由于不同模態相機的波長范圍不同，造成了較大的模態差異以及類內差異，導致兩種模態之間存在顯著的視覺差異，因此如何減小類內差異與模態差異，成為多模態行人重識別領域的重點和難點。此外，人物圖像通常是在不同的環境下拍攝的，有距離和角度的不同，使得訓練圖像和測試圖像的人物大小以及所占圖像比例不同，進而影響重識別的準確率，因此本文提出了一種新的數據處理的方法，訓練數據集得以增強，使得模型更具有魯棒性[3-4]。

現有的多模態行人重識別研究中，提出了許多方法用于解決模態差異及類內差異。Wu等[5]提出一種域選擇的子網絡，可以自動選擇樣本所對應的模態，該方法將RGB圖像和紅外圖像作為兩個不同域的輸入，使用深度零填充后放入上述網絡中，使得所有輸入都可以用單流結構來表示[5]。Dai 等[6]提出了一種新型的跨模態生成對抗網絡（cross-modality generative adversarial network，cmGAN），利用深度卷積神經網絡作為生成器，生成公共子空間下RGB 和IR 圖像的表示，并利用模態分類器作為鑒別器，對不同的模態進行鑒別。此外，Wang等[7-8]通過模態之間互相轉換的方法，使用生成對抗網絡生成與輸入圖片相反的模態，使得多模態問題轉換為單模態問題。Liu 等[9]提出的方法中將兩個模態的圖片分別輸入到兩個獨立的骨干網絡中，然后利用一些共享層將這些特定于模態的信息嵌入到一個公共空間中[10]。但上述方法對于網絡訓練增加了額外的成本，相比之下，Ye等[11]提出一種模態感知協作的中層可共享的雙端網絡，將Resnet50的第一層卷積層作為各自模態的淺層特征提取器，后四層卷積層作為共享網絡，輸入融合兩個模態的淺層特征后繼續進行特征提取，并使用三元組損失訓練網絡，該方法大大降低了訓練難度，但上述方法魯棒性不高，對于一些姿態不對齊的圖片無法較好的識別。

為了彌補目前網絡識別效率低的問題，本文在基于模態感知協作雙端共享網絡[11-13]的基礎上，將共享特征提取器上的卷積層嵌入非局部注意力塊（non-local attention blocks）[14]，使得特征提取器可以提取到更多有效的特征，然后將兩個特定模態的特征拼接后輸入到共享網絡進行特征提取，在進行距離度量時采用聚類損失函數[15]來代替三元組損失函數，使得網絡在大規模數據集中的識別準確率更高。由于行人重識別的主要任務是識別行人的身份，并不需要關注圖像是何種模態，故本文舍棄了模態識別器以及模態識別損失，使得訓練復雜度降低，減少了額外的成本。同時為了增加模型的魯棒性，提出一種預處理方法，使訓練數據更接近真實數據。

1 基于雙端可共享網絡的多模態行人重識別方法

1.1 數據預處理

在實際場景中，不同的攝像頭由于拍攝的角度和距離不同，導致得到的圖片與真實的行人大小比例不符，且圖片上半部分背景圖像占比較大，成為數據集中的難樣本，如圖1（a）所示，數據集中沒有足夠的該類圖片對網絡進行訓練，會使網絡更多的專注于正常比例的數據，進而降低了重識別的準確率。本文針對上述問題對數據進行處理，使得訓練圖像更貼近實際情況，使樣本更具有差異性，增加網絡訓練難度，使模型具有魯棒性。

圖1 圖像處理前后對比Fig.1 Comparison before and after image processing

本文選擇每個行人身份所對應數據集的1/4作為預處理的數據集，首先將數據集中的圖像大小統一調整為144×288，然后將訓練數據的大小調整為108×216，即長和寬縮小1/4，再將圖像左右兩側各填充18像素，下方填充72像素，使得圖像大小統一為144×288。最后將調整后的圖像與原數據一起作為訓練數據。處理后的圖像如圖1（b）所示。

經過該處理步驟后的圖像很好的模擬了真實監控圖像中行人位置不對齊及大小比例不一致的問題，使用預處理后的數據集增加了網絡訓練的難度，使網絡更能適應真實場景。使用該方法對數據集SYSU-MM01 和RegDB進行重新構建，使用文獻[11]提出的模態感知協作雙端共享網絡在構建的新數據集上進行實驗，實驗表明，在SYSU-MM01的rank-1識別率下降了7.46個百分點（all serach 模式）和7.53 個百分點（indoor serach 模式），在RegDB 的rank-1 識別率下降了5.79 個百分點（visible to thermal 模式）和5.82 個百分點（thermal to visible模式）。

1.2 網絡結構

當前深度神經網絡中的特征提取器都是基于卷積網絡來提取特征，普通的卷積操作屬于局部操作，無法捕獲長范圍的依賴，非局部注意力塊可以將更大范圍內有關聯的樣本點進行融合，有效地捕獲長范圍的依賴，其結構如圖2 所示。本文將Resnet50 網絡的后四層卷積層使用非局部注意力塊代替，同時去除了模態分類器，讓網絡更多的關注于圖像的內容而非模態，降低了訓練復雜度。

圖2 非局部注意力塊網絡結構Fig.2 Network structure of non-local attention blocks

如圖3所示，本文采用改進的Resnet50作為骨干網絡，網絡的前半部分有兩個輸入，分別輸入可見光圖像和紅外圖像，經過各自的卷積網絡提取淺層特征后，將得到的兩個特征進行拼接，輸入共享網絡進行深度特征提取，進行歸一化操作后，使用聚類損失對特征進行距離度量；使用兩個特定模態分類器輔助共享分類器的學習，同時為了便于分類器之間的知識轉移，使用集成學習損失Le和一致性損失Lc來訓練分類器。

圖3 網絡結構Fig.3 Network structure

卷積操作在空間上只能處理一個局部區域，想要捕獲長范圍依賴關系只能依靠重復操作，逐步傳遞信號。非局部操作是以輸入特征圖中所有位置特征的加權和來計算某一位置的響應，以此來捕獲深度神經網絡的長范圍依賴關系。在共享網絡中對多模態圖片進行特征提取，需要關注兩種模態的圖片中有關聯的部分，即多模態圖像的共有特征，使用非局部操作可以更高效地提取兩種圖像的共有特征。在訓練過程中，每個模態輸入相同數量的圖片。首先選擇P個人物身份，每個身份分別選擇K個可見光圖像和K個紅外圖像，不同模態的圖像分別輸入到相對應的網絡通道內。整個訓練過程的batch size大小為2P×K。

1.3 損失函數

1.3.1 聚類損失

目前的行人重識別任務中多使用三元組損失來進行度量學習，然而三元組損失僅考慮三個樣本的距離和標簽，沒有充分利用更多的樣本，同時為了使訓練更有效，必須進行難樣本挖掘，這個過程是耗時的，并且隨著數據集變得更大，選擇出的三元組數量會更多，使得訓練復雜度提高。隨著訓練的進行，網絡更多的關注那些難樣本，而忽略大部分的普通樣本。因此，本文使用聚類損失來替換三元組損失，該聚類損失基于均值來計算距離，使得損失函數不僅最小化難樣本之間的距離，還間接地最小化所有類內圖像之間基于均值的距離，從而提高訓練效率。其原理如圖4所示。

圖4 多模態聚類示意圖Fig.4 Schematic diagram of multimodal clustering

設f v(x) 、f t(x) 分別表示輸入x經過網絡中L2 Norm 層后得到的可見光圖像特征和紅外光圖像特征，對于同一個批次中K個相同模態的樣本，某一身份i的平均特征可表示為：

其中ω(t)是一個逐步上升的S性函數，隨著訓練次數的增加而從0增加到1。

2 實驗結果及分析

2.1 數據集及評價標準

SYSU-MM01數據集[5]是一個大規模的跨模態Re-ID人物數據集，由中山大學校園內的4個普通RGB攝像機和2個近紅外攝像機所采集。SYSU-MM01包含491個身份，每個身份出現在兩個以上不同的相機中。數據集共有287 628 張RGB 圖像和15 792 張紅外圖像。該數據集有固定的訓練集和測試集，訓練集共有32 451張圖像，其中RGB圖像19 659張，紅外圖像12 792張。SYSUMM01 數據集同時包含室內和室外環境下拍攝的圖片，因此使用該數據集進行測試時可分為all serach和indoor search兩種模式。

RegDB[16]是由雙攝像機系統采集的小型數據集，包括1臺可見攝像機和1臺熱敏攝像機。這個數據集總共包含412個身份，其中每個身份有10個可見光圖像和10個紅外圖像。本文實驗中分別將可見光圖像和紅外圖像作為query，同時將另一模態的圖片作為gallary 進行實驗。

本文采用累計匹配特征（CMC）和平均精度（mAP）作為評價指標。CMC測量對應標簽的人物圖像在top-k檢索結果中出現的匹配概率，mAP 用于度量給定查詢圖像在圖像集中出現多個匹配圖像時的檢索性能。

2.2 實驗內容

2.2.1 參數設置

本文實驗的環境為：Intel Core i7-8700 CPU（3.2 GHz），顯卡NVIDIA RTX 2080Ti，顯存11 GB、內存16 GB，64位Ubuntu 16.04系統，Python 3.6、Pytorch 1.0.1。

本文將輸入圖片大小設置為288×144，進行數據增強時對原圖片進行零填充10 個像素，再隨機裁剪為288×144大小的圖片，最后隨機水平翻轉。增強后的數據集大小與2.1節中原數據集大小一致。在每次訓練中隨機選取P=8 個身份標簽，然后在數據集中隨機選取對應身份的K=4 個可見光圖像及K=4 個紅外圖像，即每個批次訓練包含32 張可見光圖像和32 張紅外圖像，總的訓練批次大小為64。訓練迭代次數為60，學習率在前10次迭代中由0.01遞增到0.1，在第10到第30次迭代中保持為0.1，30 次以后為0.01。其余參數設置與文獻[11]保持一致。

2.2.2 實驗結果

本文的特征提取網絡以Resnet50 為Baseline，為驗證非局部注意力塊（non-local）對于特征提取的有效性，使用SYSU-MM01 數據集，在相同Baseline 下進行了有無非局部注意力塊的對比實驗。由表1可知，非局部注意力塊的加入使得網絡在兩種模式下的rank-1 準確率分別提升了0.17 個百分點和0.46 個百分點，mAP 分別提升了1.02個百分點和0.23個百分點，表明非局部注意力塊的加入使得網絡提取到更豐富的特征。

表1 非局部注意力塊驗證實驗（SYSU-MM01）Table 1 Non-local attention block verification experimen（tSYSU-MM01）%

上述實驗使用三元組損失函數訓練網絡，將三元組損失函數替換為聚類損失函數并分別在兩個數據集上進行實驗，實驗結果如表2及表3所示，rank-1和mAP均有所提升，從而證明了聚類損失函數對于特征度量具有更顯著的效果。

表2 聚類損失函數驗證實驗（SYSU-MM01）Table 2 Cluster loss functions verification experiment（SYSU-MM01） %

表3 聚類損失函數驗證實驗（RegDB）Table 3 Cluster loss functions verification experimen（tRegDB）%

2.2.3 算法比較

為驗證本算法對于多模態行人重識別的優越性，本文將所提算法與近幾年該領域的主流算法在SYSUMM01 和RegDB 兩個數據集上進行了比較，其結果如表4 和表5 所示。本文算法的各項指標與對比模型（Zero-Padding[5]、cmGAN[6]、BDTR[17]、MSR[18]、DFE[19]、MACE[11]）都有所提高。相比MACE 算法，在SYSUMM01數據集的all serach模式下，rank-1和mAP 分別提高了2.1 個百分點和3.26 個百分點，indoor search模式下兩者分別提高2.53 個百分點和1.68 個百分點；RegDB 數 據 集 的visible to thermal 模 式 下，rank-1 和mAP 分別提高了1.05 個百分點和2.28 個百分點，thermal to visible 模式下兩者分別提高1.15 個百分點和1.86個百分點。

表4 SYSU-MM01上與主流算法評價指標比較Table 4 Comparison with mainstream algorithm evaluation indicators on SYSU-MM01 %

表5 RegDB上與主流算法評價指標比較Table 4 Comparison with mainstream algorithm evaluation indicators on SYSU-MM01 %

通過以上實驗，證明了非局部注意力塊的加入對于特征提取有更好的效果，聚類損失函數相比于三元組損失函數更有利于行人重識別網絡的訓練，從而驗證了本文所提算法的有效性。

3 結束語

本文提出一種改進的基于雙端可共享網絡的多模態行人重識別算法。該算法使用嵌入非局部注意力塊的Resnet50作為特征提取網絡，有效提高了網絡的特征提取能力。同時該算法使用聚類損失函數代替三元組損失函數進行度量學習，提高網絡的重識別能力。多模態的行人重識別相比于單模態的行人重識別，其準確率較低，未來應在解決跨模態問題的同時尋求更高的準確率。