基于跨域特征關(guān)聯(lián)與聚類的無監(jiān)督行人重識別

汪榮貴，李 懂，楊 娟，薛麗霞

（合肥工業(yè)大學(xué)計算機(jī)與信息學(xué)院，合肥 230601）

0 概述

隨著深度學(xué)習(xí)的發(fā)展，行人重識別已成為計算機(jī)視覺領(lǐng)域的研究熱點，因其在行人行為分析［1］、行人追蹤［2-4］等方面的廣泛應(yīng)用而備受關(guān)注。行人重識別技術(shù)與行人檢測算法相結(jié)合，普遍適用于智能視頻監(jiān)控系統(tǒng)［5］。

行人重識別的研究面臨行人姿態(tài)變化、圖像分辨率低、行人遮擋姿態(tài)不完整以及由鏡頭切換導(dǎo)致行人視角轉(zhuǎn)變、光照和背景變化等諸多挑戰(zhàn)。由于拍攝場景的多樣性，即使同一行人在不重疊視域的多攝像機(jī)或不同環(huán)境條件下表現(xiàn)的體貌特征也可能存在較大的差異，而不同行人可能因體型或衣著相似導(dǎo)致特征區(qū)分度低。此外，行人重識別數(shù)據(jù)獲取難度較大，雖然通過目標(biāo)檢測方法［6］或基于深度學(xué)習(xí)的行人跟蹤算法能夠自動提取圖像中的行人區(qū)域，但仍需人工標(biāo)注行人身份ID。文獻(xiàn)［7］根據(jù)已標(biāo)注行人數(shù)據(jù)，采用生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［8］快速生成行人樣本，然而生成的圖像分辨率較低，且模型性能提升有限。文獻(xiàn)［9］提出結(jié)合行人外觀和結(jié)構(gòu)空間特征，通過GAN 生成高質(zhì)量的圖像樣本，進(jìn)一步提高模型性能。

雖然數(shù)據(jù)集規(guī)模的擴(kuò)充能夠提高行人重識別模型的準(zhǔn)確率，在一定程度上解決數(shù)據(jù)集規(guī)模過小的問題，但是GAN 網(wǎng)絡(luò)在訓(xùn)練過程中仍需標(biāo)注大量樣本。此外，不同行人重識別數(shù)據(jù)集在樣本量和圖像風(fēng)格上存在較大差異，使得在一個數(shù)據(jù)集上訓(xùn)練的模型直接應(yīng)用到未知數(shù)據(jù)時，會出現(xiàn)準(zhǔn)確率顯著下降的情況。針對該問題，無監(jiān)督行人重識別方法［10-12］將無標(biāo)注或僅部分標(biāo)注的目標(biāo)數(shù)據(jù)集加入到訓(xùn)練中，模型能夠?qū)W習(xí)到目標(biāo)數(shù)據(jù)集的樣本特征，在一定程度上解決行人重識別的跨域問題。然而無監(jiān)督行人重識別方法缺乏足夠的標(biāo)注信息，其與監(jiān)督學(xué)習(xí)模型在準(zhǔn)確率上存在較大差距。為進(jìn)一步提升無監(jiān)督行人重識別的準(zhǔn)確度，文獻(xiàn)［13］利用聚類方法將具有相似視覺特征的圖像分配相同的偽標(biāo)簽，并用此方式獲得的數(shù)據(jù)作為標(biāo)注樣本。文獻(xiàn)［14］通過迭代選擇聚類無標(biāo)記的目標(biāo)域以生成弱標(biāo)簽。文獻(xiàn)［15］提出深度軟多標(biāo)簽參考學(xué)習(xí)網(wǎng)絡(luò)，將每張無標(biāo)注行人圖像與一組輔助參照樣本進(jìn)行對比，使得軟多標(biāo)簽在不同視角相機(jī)下保持一致性。文獻(xiàn)［16］提出一種基于軟化相似度學(xué)習(xí)的無監(jiān)督行人重識別框架，采用重新分配軟標(biāo)簽分布的分類網(wǎng)絡(luò)對約束平滑的相似圖像進(jìn)行學(xué)習(xí)。以上方法未能同時利用已有的標(biāo)注數(shù)據(jù)來探索無標(biāo)注數(shù)據(jù)內(nèi)部特征關(guān)聯(lián)。行人重識別域自適應(yīng)的目標(biāo)是利用有標(biāo)記的源域與未標(biāo)記的目標(biāo)域?qū)W習(xí)一個具有較高泛化能力的行人重識別模型。當(dāng)前主流方法多為減小源域和目標(biāo)域之間的特征分布差異，而忽略了無標(biāo)注目標(biāo)域的域內(nèi)變化。

以上行人重識別算法的無標(biāo)注數(shù)據(jù)檢索準(zhǔn)確度低，為此，本文提出一種域自適應(yīng)無監(jiān)督行人重識別算法。利用跨域特征提取器（CSTE）挖掘不同行人重識別數(shù)據(jù)集間潛在的特征關(guān)聯(lián)，在無任何標(biāo)注信息的情況下，特征庫從一個未知數(shù)據(jù)集中學(xué)習(xí)判別性特征，建立無標(biāo)注目標(biāo)域潛在的內(nèi)部樣本關(guān)聯(lián)，從而提高行人重識別模型在無標(biāo)注目標(biāo)域的泛化能力。

1 域自適應(yīng)無監(jiān)督行人重識別網(wǎng)絡(luò)結(jié)構(gòu)

1.1 模型架構(gòu)

源域和目標(biāo)域分別代表已標(biāo)注與無標(biāo)注的行人重識別數(shù)據(jù)集，給定包括Ns張行人圖像的源域數(shù)據(jù)集{Xs，Ys}，每張行人圖像標(biāo)注有ID 信息；目標(biāo)域數(shù)據(jù)集{Xt}包含Nt張行人圖像，所有行人無ID標(biāo)注信息，其中s、t 分別表示源域與目標(biāo)域。本文將已標(biāo)注源域與無標(biāo)注的目標(biāo)域行人樣本加入訓(xùn)練，學(xué)習(xí)一個在目標(biāo)域具有較強(qiáng)泛化能力的特征表示。

本文所提的域自適應(yīng)無監(jiān)督行人重識別模型架構(gòu)如圖1 所示。

圖1 本文模型架構(gòu)Fig.1 Framework of the proposed model

本文模型架構(gòu)由ResNet-50 骨干網(wǎng)絡(luò)、跨域特征提取器（CSTE）和存儲目標(biāo)域特征的特征庫3 個模塊構(gòu)成。ResNet-50 作為模型骨干網(wǎng)絡(luò)，初步提取輸入圖像特征。CSTE 通過學(xué)習(xí)源域與目標(biāo)域行人的遷移不變性特征以挖掘不同行人重識別數(shù)據(jù)集間潛在的特征關(guān)聯(lián)。特征庫是利用無監(jiān)督學(xué)習(xí)聚類算法從目標(biāo)域中挖掘潛在的內(nèi)部樣本關(guān)聯(lián)，以保存無標(biāo)注目標(biāo)域的樣本特征。

模型的輸入包括標(biāo)注的源域行人數(shù)據(jù)集{Xs，Ys}與無標(biāo)注的目標(biāo)域行人數(shù)據(jù)集{Xt}。對于行人樣本xi，ResNet-50 骨干網(wǎng)絡(luò)提取中間卷積層Layer 3 與Layer 4 的特征，并 對Layer 4 卷積層的輸出用全局平均池化（Global Average Pooling，GAP）提取2 048 維特征向量。模型訓(xùn)練過程分為有監(jiān)督學(xué)習(xí)過程和無監(jiān)督學(xué)習(xí)過程2 個階段，主要包括：1）在ResNet-50 骨干網(wǎng)絡(luò)的分類模塊與CSTE 分類模塊，應(yīng)用ID 分類損失函數(shù)對輸入的已標(biāo)注源域樣更新模型參數(shù)；2）對于無標(biāo)注的目標(biāo)數(shù)據(jù)集，CSTE 模塊對ResNet-50 Layer 3 層的輸出提取2 048 維的特征向量，并與ResNet-50 輸出的同維向量相連，以得到4 096 維特征向量作為訓(xùn)練階段目標(biāo)域行人特征，并將其存入在訓(xùn)練過程中實時更新的特征庫，同時依據(jù)特征庫計算目標(biāo)域損失Ltgt以更新網(wǎng)絡(luò)模型。評估階段是對所有目標(biāo)域輸入圖像進(jìn)行提取，得到4 096 維Eval 特征向量，并作為模型的輸出，將計算得到各行人Eval 特征向量的余弦距離作為其相似度，對相似度進(jìn)行排序并作為行人檢索結(jié)果以評估模型性能。

1.1.1 跨域特征提取器

監(jiān)督行人重識別算法無法利用無標(biāo)注的目標(biāo)域行人樣本來更新模型參數(shù)，使得模型難以有效學(xué)習(xí)目標(biāo)域的行人特征。本文所提CSTE 可以挖掘不同行人重識別數(shù)據(jù)集間潛在的特征關(guān)聯(lián)。CSTE 提取輸入的源域行人樣本的特征向量，通過全連接分類層輸出對應(yīng)于源域行人ID 數(shù)維度的向量，使用分類損失函數(shù)對輸入的源域圖像更新模型參數(shù)。同時，CSTE 提取無標(biāo)注的目標(biāo)域行人樣本的提取2 048 維特征向量，將其與ResNet-50 輸出的同維向量相連并作為訓(xùn)練階段目標(biāo)域行人特征，并將該特征存儲到特征庫的對應(yīng)位置。CSTE 結(jié)構(gòu)如圖2所示。

圖2 跨域特征提取器結(jié)構(gòu)Fig.2 CSTE structure

給定輸入特征X∈RC×H×W，其中C表示輸入特征通道數(shù)，H、W分別表示特征圖高與寬，CSTE 模塊提取流程主要有5 個步驟。

步驟1保持輸入特征圖X通道數(shù)C不變，并在寬和高兩個方向上展開得到矩陣A=[C×N]，AT=[N×C]，如式（1）所示：

其中：n∈{1，2，…，H×W}；w+h×W=n；N=H×W，即將二維特征圖在寬和高兩個維度上展開為特征向量，方便后續(xù)計算。

步驟2將Softmax 函數(shù)應(yīng)用于矩陣A×AT與AT×A以更新參數(shù)，從圖2 可以看出，通過上下兩個通路提取通道與特征圖寬和高兩個方向?qū)?yīng)的特征矩陣，如式（2）、式（3）所示：

其中：aij為矩陣A的第i行、第j列元素。在步驟2 中分別提取了源域與目標(biāo)域在通道與特征圖方向的共性特征，并將其融合以挖掘兩個數(shù)據(jù)域間潛在的特征關(guān)聯(lián)。

步驟3將原始特征圖A分別與第2 步得到的矩陣相乘，如式（4）、式（5）所示：

步驟4將步驟3 的輸出恢復(fù)為原始輸入特征圖X的大小，如式（6）、式（7）所示：

步驟5將Xout1與Xout2分別與原輸入特征圖X對應(yīng)的元素相加，再經(jīng)全局平均池化（GAP）得到2 個大小為1 024 的特征向量，最后將2 個向量直接相連作為CSTE 模塊的最終輸出，如式（8）所示：

其中：⊕為特征按元素求和操作；GGAP為全局平均池化。在無監(jiān)督學(xué)習(xí)設(shè)置下，將2 048 維的特征與ResNet-50 輸出的同維向量相連接，作為目標(biāo)域的樣本特征并存儲在特征庫的相應(yīng)位置。CSTE 利用ID 分類損失對源域行人樣本進(jìn)行監(jiān)督學(xué)習(xí)。

1.1.2 特征庫

為提高行人重識別算法在實際應(yīng)用場景下的準(zhǔn)確度，本文將無標(biāo)注的目標(biāo)域行人樣本加入進(jìn)行訓(xùn)練。由于有監(jiān)督學(xué)習(xí)方法無法將分類損失函數(shù)應(yīng)用于無標(biāo)注數(shù)據(jù)中，本文提出FB 模塊以存放目標(biāo)域行人的特征向量，并在模型訓(xùn)練階段實時更新特征庫，在目標(biāo)域中通過無監(jiān)督學(xué)習(xí)聚類算法挖掘潛在的內(nèi)部樣本關(guān)聯(lián)。本文定義特征庫，其 中，索引i表示目標(biāo)域第i個樣本，Nt表示目標(biāo)域樣本總數(shù)，vi為維度D（4 096）的特征向量，分別對應(yīng)于目標(biāo)域各樣本的實時特征。特征庫初始化為，以表示模型提取目標(biāo)域樣本的特征向量，在模型訓(xùn)練過程中通過式（9）實時更新特征庫：

其中：|| ·||2為L2 正則化；參數(shù)α為控制特征庫更新率，并隨著模型輪回數(shù)的增加而減小，α越大表示當(dāng)前階段特征更新越緩慢。

在模型訓(xùn)練過程中，特征庫存儲所有目標(biāo)域樣本的特征向量，通過計算樣本間特征余弦距離以搜索與目標(biāo)域中具有相似特征的行人。定義為目標(biāo)域所有行人余弦距離矩陣，如式（10）所示：

其中：Ε[i][j]∈[0，1]；V[j]為特征庫中圖像的特征向量。若兩個樣本的余弦距離大于一定的閾值θ（0.5）時，則表示該樣本對為同一行人，否則將其視為不同的ID。式（11）定義的Κ[i][j]表示輸入圖像和是否為同一行人。Κ[i][j]=1 表示輸入樣本與屬于同一行人，相反Κ[i][j]=0 表示兩個行人身份ID 不同。

本文利用無標(biāo)注樣本間的潛在特征關(guān)聯(lián)選擇目標(biāo)域中特征相近的樣本作為同一聚類，通過最小化目標(biāo)域相似樣本間的距離來拉近正樣本對，定義如下?lián)p失函數(shù)，如式（12）所示：

其中：|| ·||為對所有元素求和；利用Softmax 函數(shù)計算行人xt身份ID 為i的概率，如式（13）所示：

其中：η為Softmax 函數(shù)的溫度參數(shù)，η越大則函數(shù)結(jié)果越平滑，反之越尖銳，本文取值為0.1；V[j]表示特征庫第j列，即vj。

在訓(xùn)練過程中將目標(biāo)域中所有樣本視為不同的行人，Lpush損失函數(shù)使得不同行人之間的距離最大化，從而提高模型挖掘無標(biāo)注樣本潛在區(qū)別性特征的能力，如式（14）所示：

本文通過無監(jiān)督學(xué)習(xí)挖掘目標(biāo)域中的特征關(guān)聯(lián)，設(shè)計Lpush和Lpull損失函數(shù)以拉近特征相似的正樣本對，從而推遠(yuǎn)特征相差較大的負(fù)樣本對。本文用Ltgt表示上述兩個損失函數(shù)之和，如式（15）所示：

1.1.3 多損失函數(shù)學(xué)習(xí)

本文利用源域與目標(biāo)域行人數(shù)據(jù)來更新模型，將訓(xùn)練過程分為監(jiān)督和無監(jiān)督2 個階段。在監(jiān)督學(xué)習(xí)階段，本文采用分類交叉熵?fù)p失函數(shù)Lsrc更新ResNet-50 骨干網(wǎng)絡(luò)，如式（16）所示：

用于模型訓(xùn)練的總損失函數(shù)如式（18）所示：

其中：參數(shù)λ、β、ζ為控制上述3種損失函數(shù)的相對權(quán)重，在實驗中分別設(shè)置為0.3、0.7、0.5。最小化LCSTE能夠提高模型有效挖掘源域與目標(biāo)域之間特征關(guān)聯(lián)的能力。

2 實驗結(jié)果分析

2.1 實驗數(shù)據(jù)與評價準(zhǔn)則

為驗證所提算法的有效性，本文在行人重識別三大公開數(shù)據(jù)集Market-1501［17］、DukeMTMC-reID［2］與MSMT17［18］上進(jìn)行實驗，采用平均精度均值（mAP）［17］和累積匹配特性曲線（CMC）［19］作為算法性能的評估指標(biāo)。Market-1501數(shù)據(jù)集包括在6個攝像頭視角下的1 501個行人，其中751個行人的12 936幅圖像用作訓(xùn)練，750個行人的19 732幅圖像用于評估模型性能。DukeMTMC-reID作為DukeMTMC數(shù)據(jù)集的子集，包括在8個攝像頭下采集的1 812個行人的16 522個樣本，2 228幅檢索圖像。MSMT17數(shù)據(jù)集包括在12個室外和3個室內(nèi)共15個攝像頭采集的4 101個行人的126 441幅圖像，是目前規(guī)模最大的行人重識別數(shù)據(jù)集。

2.2 實驗環(huán)境

本文使用ImageNet 數(shù)據(jù)集［20］預(yù)訓(xùn)練ResNet-50模型［21］作為骨干網(wǎng)絡(luò)。實驗采用Linux 環(huán)境下開源Pytorch 框 架［22］，在NVIDIA GeForce RTX 2080Ti GPU 上進(jìn)行80 個輪回數(shù)，將所有輸入的圖像尺寸調(diào)整為256×128，并以0.5 的概率進(jìn)行隨機(jī)水平翻轉(zhuǎn)和隨機(jī)擦除［23］，采用隨機(jī)梯度下降（SGD）優(yōu)化器［24］，學(xué)習(xí)率為0.1，動量因子為0.9。

2.3 其他先進(jìn)算法對比

近年來，其他先進(jìn)跨域行人重識別算法主要有PTGAN［18］、CamStyle［25］、SPGAN［10］、MMFA［26］、TJ-AIDL［27］、HHL［28］、ECN［29］等，其 中PTGAN［18］、CamStyle［25］通過擴(kuò)充樣本提高模型的泛化能力，SPGAN［10］、MMFA［26］、TJ-AIDL［27］、HHL［28］與ECN［29］為域自適應(yīng)無監(jiān)督行人重識別算法。本文在三大公開行人重識別數(shù)據(jù)集上對本文算法與其他算法進(jìn)行性能對比，以驗證本文所提算法各模塊在不同實驗設(shè)置下的有效性。在Market-1501/DukeMTMC-reID數(shù)據(jù)集上不同算法的性能指標(biāo)對比如表1 所示。當(dāng)DukeMTMC-reID 為源域，Market-1501 為目標(biāo)域時（DukeMTMC-reID to Market-1501），本文算法的mAP指標(biāo)和Rank-1 指標(biāo)相較于ECN 算法分別提高20.1 和8.9個百分點。當(dāng)DukeMTMC-reID 為目標(biāo)域，Market-1501為源域時（Market-1501 to DukeMTMC-reID），本文算法mAP 和Rank-1 指標(biāo)相較于ECN 算法分別提高8.7 和6.8 個百分點。在Market-1501/DukeMTMC-reID 數(shù)據(jù)集，本文所提算法的CMC 與mAP 指標(biāo)均優(yōu)于近年來無監(jiān)督行人重識別算法。

表1 在Market-1501 和DukeMTMC-reID 數(shù)據(jù)集上不同算法的性能指標(biāo)對比Table 1 Performance indexs comparison among different algorithms on Market-1501 and DukeMTMC-reID datasets %

為進(jìn)一步驗證本文算法的有效性，表2 表示MSMT17 為目標(biāo)域時不同算法的性能指標(biāo)對比。當(dāng)Market-1501 為源域時，相比ECN 算法，本文算法的Rank-1 和mAP 分別提高了6.1 和2.9 個百分點。當(dāng)DukeMTMC-reID 為源域時，相比ECN 算法，本文算法的Rank-1 和mAP 指標(biāo)分別提高4.5 和2.8 個百分點，說明本文算法在大規(guī)模行人重識別數(shù)據(jù)集具有通用性與適應(yīng)性。

表2 在MSMT17 數(shù)據(jù)集上不同算法的性能指標(biāo)對比Table 2 Performance indexs comparison among different algorithms on MSMT17 dataset %

本文模型經(jīng)過80 個輪回數(shù)訓(xùn)練后的性能測試用時如表3 所示。實驗數(shù)據(jù)集規(guī)模由小到大依次為：Market-1501、DukeMTMC-reID 與MSMT17。從表3 可以看出，模型訓(xùn)練和測試用時與數(shù)據(jù)集包括的圖像數(shù)量成正相關(guān)。

表3 訓(xùn)練與測試各數(shù)據(jù)集時間對比Table 3 Comparison of training and testing time of each dataset

2.4 消融實驗

在Market-1501/DukeMTMC-reID 數(shù)據(jù)集上，本文算法有無Ltgt的準(zhǔn)確率對比如圖3 所示。從圖3 可以看出，模型在約70 個輪回數(shù)時出現(xiàn)收斂的情況。為驗證本文算法中各模塊的有效性，在本文算法中加入FB 模塊和同時加入FB 和CSTE 模塊的性能指標(biāo)對比如表4所示。在以DukeMTMC-reID 作為源域的Market-1501數(shù)據(jù)集上，同時加入FB 和CSTE 模塊相較于只加入FB模塊算法的Rank-1 和mAP 分別提升了1.9 和2.6 個百分點，在以Market-1501 作為源域的DukeMTMC-reID數(shù)據(jù)集上，Rank-1和mAP分別提升1.9和2.3個百分點。因此，同時加入FB 和CSTE 模塊能夠高效地利用源域與目標(biāo)域的特征屬性，有助于提升算法提取行人特征的能力，從而提高算法的準(zhǔn)確性。

圖3 本文算法有無Ltgt的準(zhǔn)確率對比Fig.3 Accuracy comparison of the proposed algorithm with and without Ltgt

表4 本文算法有無CSTE/FB 模塊的性能指標(biāo)對比Table 4 Performance indexs comparison of the proposed algorithm with and without CSTE/FB modules %

圖4 展示了在Market-1501 與DukeMTMC-reID數(shù)據(jù)集上本文算法有無FB/FB+CSTE 模塊的部分行人檢索結(jié)果，輸出與查詢圖像最相似的10 張行人檢索圖片。圖中空心矩形框包圍的圖像檢索結(jié)果與查詢圖像屬于不同的行人，即錯誤的檢索結(jié)果。其他圖像表示檢索結(jié)果與查詢圖像屬于同一行人，具有相同標(biāo)簽為正確的檢索結(jié)果。從圖4 可以看出，在Market-1501 與DukeMTMC-reID 數(shù)據(jù)集上引入CSTE 模塊均能改進(jìn)模型的檢索效果。

圖4 本文算法有無FB/（FB+CSTE）模塊的部分行人檢索結(jié)果Fig.4 Part of pedestrian search results of the proposed algorithm with and without FB/（FB+CSTE）modules

3 結(jié)束語

本文提出一種域自適應(yīng)的無監(jiān)督行人重識別算法，利用跨域特征提取器挖掘不同行人重識別數(shù)據(jù)集間潛在的特征關(guān)聯(lián)關(guān)系，以提高算法在未知數(shù)據(jù)集上的泛化能力，同時通過特征庫存儲的無標(biāo)注樣本屬性特征從未知數(shù)據(jù)集中學(xué)習(xí)判別性特征，建立目標(biāo)域潛在的內(nèi)部樣本關(guān)聯(lián)關(guān)系。實驗結(jié)果表明，相比ECN、PTGAN 等算法，本文算法具有較強(qiáng)的可擴(kuò)展性和識別性能，能夠顯著提高無監(jiān)督跨域行人重識別的準(zhǔn)確度。下一步將利用現(xiàn)有數(shù)據(jù)改進(jìn)模型泛化能力，研究適用于多源域多目標(biāo)域應(yīng)用場景的行人重識別算法。