跨模態行人重識別研究綜述

劉玉林

（昆明理工大學 信息工程與自動化學院，云南 昆明 650500）

0 引 言

行人重識別作為視頻智能監控系統的核心關鍵技術之一，旨在從非重疊相機視角獲得的數據中，正確檢索出相同的目標行人[1-2]。目前，大多數傳統行人重識別方法都專注于解決可見光圖像的跨視角行人匹配任務，不能較好地適應現實世界場景中的光照變化（如夜間的低光照環境）。為此，在可見光圖像和紅外圖像兩種不同模態數據間匹配感興趣的行人目標（即可見光-紅外行人重識別），成為當前行人重識別研究的熱點和關鍵問題之一，引起了研究者們的廣泛關注[3-4]。

除背景雜亂、姿態變化、部分遮擋以及相機視角不同引起的類內變化外，可見光-紅外行人重識別還存在由相機拍攝波長不同引起的模態差異（如顏色等外觀線索不可靠的問題）。這種模態差異加劇了類內變化，使不同模態間的相同身份特征更難對齊。模態差異比模態內變化更能影響跨模態行人重識別的模型性能。這使得跨模態行人重識別必須解決模態差異問題。從模態差異減小角度，可將大多數跨模態行人重識別方法分為基于生成對抗網絡（Generative Adversarial Networks，GANs）的跨模態圖像合成方法[5-8]和基于網絡參數共享的雙流網絡方法。

1 基于GANs 的跨模態行人重識別

為了盡量減小模態差異，WANG G 等人[7]利用GANs 只將紅外圖像的風格屬性遷移到它們的可見圖像對應物，并將紅外圖像和圖像特征聯合輸入鑒別器，以實現像素和特征的對齊。ZHANG Z等人[6]利用合成的紅外圖像以知識蒸餾的思想指導可見圖像的學習。由于在生成圖像的過程中不可避免地丟失一些身份相關的信息，同時保留大量與身份無關的冗余信息，這使得基于GANs 的跨模態合成圖像方法并不能取得理想的性能。為了避免從合成圖像提取判別特征，CHOI S 等人[10-11]利用解糾纏的思想，以圖像的生成和重建實現身份相關特征的提取。但RGB-IR ReID 標準數據集的可見圖像和紅外圖像雖然身份一致但像素并不對齊，導致圖像的生成和重建訓練困難，且可見光-紅外行人重識別的圖像層面解糾纏方法不能取得理想的效果。

2 基于共享特征學習的跨模態行人重識別

可見圖像和紅外圖像以共享網絡參數的方式實現特征對齊[12-16]。一個代表性的模型結構是雙流卷積神經網絡[12]。ResNet50 的前兩層參數獨立，以便網絡從圖像中提取更加豐富的特征。ResNet50的后三層參數共享，以提取模態共有的特征，實現特征對齊。目前基于共享特征學習的方法正在主導可見紅外行人重識別，例如，多項研究[17-18]在雙流網絡的有利基礎上致力于挖掘更加有效的身份損失和排名損失，或利用注意力機制[18]關注圖像的顯著區域，針對類間和類內變化學習更加魯棒的判別特征。但上述方法過于關注行人的外觀特征，忽略了具有模態不變性的行人身體結構信息和體型等全局信息。

3 亟待解決的問題

近年來，隨著深度學習的廣泛應用，跨模態行人重識別的研究也達到了前所未有的高度，識別性能實現了質的飛越。但該技術在實際中推廣應用仍然存在著以下問題。

（1）行人外貌特征受到風格、視角以及遮擋等因素影響，使得相同行人外貌可能存在較大差異，不同行人可能具有較高相似性。由于行人圖像由不同攝像機捕捉得到，且攝像機網絡也遍布各處，因此圖像中的行人外貌會受到相機風格、視角以及遮擋等各種因素的影響。在這些因素影響下，相同身份的不同行人圖像可能存在極大的外貌差異，而不同身份的行人圖像相似度較大，這很大程度上影響了模型所學特征的判別性，影響最終匹配的準確性。因此，如何克服上述這些因素的影響，學習更全面、更具有判別性的特征，仍然是行人識別任務的一個重點。

（2）不能滿足跨模態行人重識別技術發展需求的數據集。目前，跨模態行人重識別只有兩個標準數據集，并且數據集中的圖像大多來源于相似型號以及角度的機位，和實際中多樣化的場景差距較大[19]。

（3）可見光圖像和紅外圖像間存在較大的模態差異。在跨模態行人重識別技術中，可見光圖像與紅外圖像間存在模態差異，這種模態差異不僅帶來顏色等外觀線索不可靠的問題，還加劇了類內變化，使不同模態間的相同身份特征更難對齊。研究發現，在跨模態行人重識別技術中，模態間差異比類內變化更能干擾有效判別特征的提取。因此，如何克服模態間較大差異的影響，提高識別性能，是推廣應用該技術的關鍵問題。

4 展 望

目前，盡管跨模態行人重識別受到越來越多的研究關注，也出現了很多相關的論文，但是跨模態行人重識別仍然處在初級發展階段。想要取得更大的突破，未來的發展方向可以從以下方面考慮。

（1）構建滿足跨模態行人重識別技術發展的數據集。目前跨模態行人重識別只有兩個標準數據集，數據集只有相機標簽和身份標簽，如果能獲得更多標簽和更符合現實場景的數據集，會促進跨模態行人重識別技術的發展。

（2）關注模態轉換的研究。以共享網絡的方式解決模態差異問題，是目前跨模態行人重識別技術的主流網絡，對現有方法的分析發現，采用模態轉換的方法如可見光模態轉換到紅外模態，其識別率明顯優于傳統的方法。但是基于GAN 的模態轉換方法由于在生成圖像的過程中不可避免地丟失一些身份相關的信息，同時保留大量與身份無關的冗余信息，使得基于GAN 的跨模態合成圖像方法并不能取得理想的性能。如果能獲得可見圖像和紅外圖像對齊的跨模態行人重識別數據集，那么利用蒸餾的思想去訓練模型，對于可見光圖像的輸入提取其對應的紅外圖像特征，對跨模態行人重識別的識別率會大大提高。

（3）結合全局特征學習。在行人重識別中，顏色是識別行人身份的有效信息，但是在跨模態行人重識別中，顏色是不可靠的外觀因素，會對行人身份的識別帶來干擾。因此，其他信息如體型信息的提取變得異常關鍵。但是計算機對圖像的紋理信息比較敏感，除非給予模型一定的體型信息約束，否則計算機提取不到行人的體型信息。如何巧妙地約束模型或者提出新的神經網絡結構以提取行人的體型信息，對于提高跨模態行人重識別的識別率有重要意義。

5 結 語

本文對跨模態行人重識別問題進行了研究，基于模態差異減小的角度，將現階段的跨模態行人重識別方法分為基于GANs 的跨模態圖像合成方法和基于網絡參數共享的雙流網絡方法，并對這些方法進行了介紹；對跨模態行人重識別亟待解決的問題進行了整理分類，并討論了未來可能的發展方向。作為智能視頻監控系統的核心關鍵技術之一，跨模態行人重識別會受到越來越廣泛的關注。