監控管理中基于交叉姿態平滑的行人重識別

陳小慧，何宜慶

(1.南昌大學 人文學院，江西 南昌 330031；2.南昌大學 經濟管理學院，江西 南昌 330031)

0 引 言

基于視頻攝像頭的安防系統[1]在現代社會安全保障中發揮著重要作用，為了減少城市安防系統中所需大量的人力與時間成本，行人重識別[2，3](person re-identification)應運而生。行人重識別旨在海量監控視頻中運用計算機視覺技術來檢索特定的行人，該技術在刑事偵查、社會治安、嫌疑人追蹤與定位等方面具有廣泛的應用前景。傳統的行人重識別方法主要是根據行人圖像中提取的初級視覺特征(顏色、紋理和邊緣信息等)來進行相似性匹配。現有的方法在全局特征的基礎上附加上行人局部圖像塊的信息來提升模型的鑒別能力，但是許多時候行人圖像局部塊也存在著與行人ID無關的噪聲，且局部塊之間的上下文信息并沒有被模型很好地關聯與學習。為了平滑這些局部無關噪聲與學習局部上下文信息，本文提出了一種交叉姿態標簽平滑的行人重識別方法應用于智能監控管理領域中，主要貢獻如下：

(1)提出了一種基于關鍵點語義交叉劃分策略，通過提取人體骨架點對圖像進行水平、垂直方向的重疊語義劃分，獲取具有交叉語義連貫性的局部上下文信息；

(2)設計了一種相對姿態偏移量來定義和關聯局部塊之間的上下文信息，進而捕獲行人局部區域之間的姿態細微變化。為了平滑交叉語義劃分后局部圖像噪聲，通過相對姿態偏移量來獲取平滑因子來設計一種基于交叉姿態上下文的局部標簽平滑方法，使得網絡模型對行人姿態的細微變化更為魯棒與敏感；

(3)通過大量實驗分析表明了本文提出的方法能夠有效地平滑局部圖像引入的噪聲信息，并使得網絡模型具有鑒別行人細微姿態變化的能力。

1 相關工作

近年來，卷積神經網絡[4-7]被逐漸應用于行人重識別技術之中。其主要研究方向主要分為全局表征學習與局部表征學習。全局的表征學習將重識別視為一個多分類任務來進行訓練，進而獲取全局信息。Zhou等[4]提出了一種全尺度網絡，通過設計多個卷積特征流組成的殘差塊來進行行人的全方位特征學習。Chen等[5]提出了一種提出了高階注意模塊，利用注意機制中復雜的高階統計信息來捕捉行人之間的細微差異，并產生有鑒別力的注意力區域。Zhang等[6]提出了一種有效的關系感知全局注意力模塊來捕獲全局結構信息，從而更好地進行注意力的學習。Chang等[7]設計了一種多層分解網絡來進行區分高級與低級語義，整個網絡將人類視覺的外觀分解為多個語義層且無需任何認為的標注成本。

局部表征學習是在全局信息的基礎上結合不同具有鑒別力的局部顯著信息來進行特征提取。Sun等[8]提出了基于部分卷積的基準網絡，利用平均分片策略將特征輸出均勻地切成若干塊，隨后提出了部分精煉池化對這些特征塊重新分配極端值。Suh等[9]提出一個基于人體部位對齊的孿生網絡模型，該模型可以將人體姿勢表示為部分特征圖，并將它們直接與外觀整體特征圖結合以計算對齊的行人部位表示。Zheng等[10]提出了一個知識提煉的姿勢引導特征學習網絡，運用行人姿態信息來實現身體部位特征的語義對齊。Wu等[11]提出了一種新的多級上下文感知部分注意模型去學習有鑒別力且魯棒的局部特征。Fan等[12]提出一種空間通道并行網絡，其中每個通道的特征都關注著不同的行人身體部分，空間與通道的對應關系使網絡能夠學習到更具有鑒別力的全局和局部特征。

2 本文方法

本文提出了一種基于交叉姿態標簽平滑的行人重識別方法，旨在緩解平滑局部圖像塊引入的無關噪聲與獲取局部上下文信息。整個方法的流程分為兩個模塊，如圖1所示。

圖1 本文方法整體流程

(1)首先利用OpenPose框架[15]對全局圖像提取行人骨架的關鍵點坐標信息，再通過這些坐標信息對圖像進行水平與垂直方向的局部塊劃分，從而獲取具有交叉語義上下文信息的局部圖像塊，隨后將全局圖像和局部圖像塊輸入到網絡模型中訓練；

(2)為了量化地定義行人姿態的細微差異，設計了一種相對姿態偏移量。根據在水平與垂直方向上的局部區域內所有關鍵點坐標的均值差來得到相應的姿態偏移量，再輸入到映射函數后來獲取局部圖像的偽標簽。整個訓練過程在局部交叉熵損失與全局三元組損失的共同監督下將全局圖像的ID信息與局部圖像塊的細微姿態變化信息結合起來進行訓練，能夠在有效學習行人全局與局部特征的同時進一步平滑局部區域帶來的噪聲。

2.1 關鍵點語義交叉劃分策略

在真實的交通監控場景中，同一個行人經過不同地點時的姿態往往不同，這將導致拍攝的行人外觀差異大，而不同身份的行人在相同姿態的情況下外觀差異卻很小。先前的方法主要是通過將圖像水平均勻地切成若干個局部圖像塊，通過同時學習全局與局部特征來獲取姿態不變性表征。隨后也有研究運用人體骨架關鍵點將圖像劃分為不同語義的局部區域，通過訓練過程中進行語義對齊來緩解姿態變化的影響。但是這些方法劃分的局部區域都沒有語義關聯，即局部區域之間沒有重疊的語義信息，這將導致學習的局部信息互相獨立。此外，大多數局部區域劃分方法是基于水平方向切割的，并沒有考慮縱向的局部區域信息。本文提出了一個基于關鍵點語義交叉劃分策略來緩解上述挑戰，整個劃分策略如圖2所示。

圖2 關鍵點交叉語義劃分策略

首先利用OpenPose框架估計出18個行人骨架關鍵點，在全局圖像的左上方構建直角坐標系，假設關鍵點坐標集合S={{si(x，y)∣i=0，2，…，17}}； 隨后從水平方向將圖片劃分兩個局部區域Nh1和Nh2(上半身與下半身)，在垂直方向上劃分的局部區域分別為Nv1和Nv2(左半身與右半身)；最后為了讓這些局部區域具有語義關聯性，本文采用交叉切割的方式來保證局部圖像塊之間具有重疊的語義交集Nh和Nv， 且滿足下式的關系

(1)

從式(1)可以看出，Nh與Nv確保了水平、垂直方向的兩個局部塊之間的語義連貫性。與此同時，為了讓兩個方向的局部區域也建立語義交集，交叉劃分策略也保證了Nh與Nv之間具有人體骨架關鍵點的交集。

2.2 基于交叉姿態上下文的局部偽標簽平滑

本節分為3個部分，首先通過計算相對姿態偏移量來獲得平滑因子；然后結合平滑因子設計基于交叉姿態上下文的局部偽標簽；最后通過全局損失函數與局部損失函數的共同監督下來進行表征學習。

2.2.1 相對姿態偏移量

現有針對姿態變化的研究主要是通過先驗知識來進行姿態特征的語義對齊，進而消除姿態變化對行人重識別精度的影響。由于行人姿態的變化是一個極為抽象的概念，導致現有數據集中缺乏具體的行人姿態標簽信息，如何將行人姿態信息進行合理的量化與定義是緩解姿態影響的關鍵。

圖3 相對姿態偏移量計算

計算水平方向與垂直方向的相對姿態偏移量Ph和Pv如式(2)和式(3)所示

(2)

(3)

SNh1和SNh2分別表示屬于局部區域Nh1和Nh2內的所有關鍵點坐標，num(Nh1) 和num(Nh2) 分別為局部區域Nh1和Nh2內的關鍵點坐標數目；SNv1、SNv2、Nv1、Nv2同理可得。從上述公式可以得出，相對姿態偏移量能夠定量地描述行人在水平與垂直方向上的姿態變化，同時局部區域之間的關鍵點均值差距也能直接地反應不同行人姿態之間的細微差異。

2.2.2 局部偽標簽編碼

本文將語義交叉劃分后的局部圖像塊作為全局圖像的擴充部分同時進行訓練，由于單個的局部圖像塊并不能完整地描述一個行人的身份，因此局部圖像塊的標簽并不能直接使用全局圖像的標簽信息，而且在單個局部圖像塊中存在著一些與整個行人身份無關的像素信息。

(4)

圖4展示了整個網絡模型訓練過程中全局圖像與局部圖像的標簽編碼規則，其中全局圖像使用One-hot標簽編碼(如圖4(a)所示)，即在圖像的標簽向量中賦予真實類別權重為1，其它類別的權重為0。局部圖像則使用本文提出的交叉姿態上下文的偽標簽編碼(如圖4(b)所示)，先將平滑因子分配給局部圖像所對應的全局One-hot編碼，然后局部圖像經過網絡模型的Softmax函數后，輸出預測向量來進一步進行權重的分配，最終獲得基于交叉姿態上下文的局部偽標簽編碼。該標簽能更好地學習表達局部圖像的上下文信息與行人局部區域的細微姿態差異。

圖4 全局圖像與局部圖像的標簽編碼規則

2.2.3 損失函數

(5)

3 實驗結果及分析

本節在Market-1501[16]和DukeMTMC-reID[17，18]數據集上通過特征可視化分析，最新方法的比較、多種消融實驗分析來驗證本文方法的性能。

3.1 實驗環境與設置

本文所有實驗結果是在Pytorch框架中運行的，其中操作系統環境為Ubuntu 20.04.1 LTS，CPU處理器配置為11th Gen Intel?CoreTMi7-11700K @ 3.60 GHz×16，顯卡型號為Nvidia RTX A1000(24 GB)。在整個訓練過程中使用ResNet作為基準網絡模型，batch_size為80，每個行人圖像的尺寸統一裁剪為224×224，訓練迭代總次數為100次，學習率初始化為0.000 35，weight_decay初始化為0.0005，同時使用隨機梯度下降法(SGDM)進行模型參數的更新與調優。

3.2 數據集與評價指標

本文在兩個公共開源的數據集Market-1501和DukeMTMC-reID上分別進行實驗。

Market-1501數據集來源于清華大學，整個數據通過6個攝像機拍攝了1501個行人，共計32 668張圖片。其中751個身份的行人作為訓練集，共計12 936張圖片；另外采樣的750個行人作為測試集，共計19 732張圖片。

DukeMTMC-re-ID數據集是由杜克大學開源發布的，由8個攝像機拍攝而成。它包含1404個行人對應的36 411張訓練圖片，其中訓練集擁有16 522張圖片，測試集則采樣了17 661張圖片，訓練集和測試集分別采樣了702個行人樣本。

本文將首位命中率(Rank-1 accuracy)、均值平均精度(mean average precision，mAP)和CMC曲線作為評價行人重識別方法的性能指標。Rank-1是指在排序列表中第一個候選樣本就檢索出目標行人的概率，mAP則是反映了正確匹配的行人樣本在整個排序列表中名次靠前的程度。CMC曲線表示Top-n的擊中概率，同ROC曲線一樣是模式識別系統重要評價指標，本文將其用于評價行人重識別算法的性能。

3.3 可視化分析

本小節通過對網絡模型熱力圖可視化與排序列表可視化來形象地分析本文方法在處理細微姿態變化問題上的表現力。

3.3.1 熱力圖可視化

圖5 網絡模型熱力圖對比

3.3.2 排序列表可視化

圖6列舉了ResNet-50和本文模型在兩個檢索目標上的排序結果(排名前5個)，其中灰色方框的樣本代表ID身份與檢索目標相同，黑色方框的樣本代表ID身份與檢索目標不同。在ResNet-50與本文方法的Top-5排序列表結果中可以看出，本文方法的列表中包含了更多不同姿態的正確樣本，而ResNet-50模型的列表中存在著許多行人衣著與姿態相似的錯誤樣本。這些現象驗證了本文方法能夠提取更加細微且有鑒別力的行人特征，可以精準地匹配不同姿態下的同一身份的行人。

圖6 排序結果Top-5對比

3.4 消融實驗

為了進一步驗證本文所提方法在識別行人細微姿態差異問題上的有效性與魯棒性，本節內容展示了4種類型的消融實驗。

3.4.1 不同模塊的影響分析

為了分析本文中的所有模塊對行人重識別精度的影響，分別將語義交叉劃分與局部偽標簽進行了消融對比分析。實驗結果見表1，在Market-1501數據集上本文方法比使用均勻劃分和局部偽標簽的Rank-1與mAP分別提升了2.95%與2.40%，因為語義交叉劃分相比于均勻劃分能學習更多的局部信息塊之間的關聯性；本文方法比僅使用語義交叉劃分模塊的Rank-1與mAP分別高出4.35%與7.80%，由于加入局部偽標簽的平滑學習，能夠充分學習不同行人之間的細微姿態差異。同時，在DukeMTMC-reID數據集上本文方法也比使用均勻劃分和局部偽標簽方法的Rank-1與mAP分別提升了3.70%與1.64%；比僅使用語義交叉劃分模塊的Rank-1與mAP分別高出6.64%與6.65%。這些結果表明同時使用語義交叉劃分與局部偽標簽能使得網絡模型獲得更好的檢索性能。

表1 不同模塊的對比結果

3.4.2 不同局部表征學習方法比較

通過比較一些最新的局部表征學習方法來證實本文方法在局部特征學習上的優越性。如表2所示，本文的網絡相比于其它局部表征學習方法的精度有顯著的優勢。PCB模型雖然通過平均分片策略來學習判別能力強的細微特征，但對行人姿態沒有進行定義與度量學習。精度表現第二好MMGA方法利用人體局部掩模引導注意網絡來監督行人上半身于下半身區域的特征學習，但是MMGA并沒有對局部圖像進行單獨的平滑訓練，因此并沒有完全充分地學習局部區域的所有細微特征。相較于以上方法，本文方法通過語義交叉局部區域劃分與局部圖像的標簽平滑訓練來指導網絡模型進行局部表征學習，充分地利用了局部圖像并學習了相應的細微特征。因此本文方法對行人姿態變化的魯棒性要優于其它方法。

表2 不同基準網絡的對比結果

3.4.3 不同損失函數的影響分析

表3探討了3種損失函數對行人重識別精度的影響，三元組損失與對比損失雖然通過計算行人ID信息的差異來優化模型，但僅僅停留在ID級別的層面，并不能精確到充行人姿態信息。而本文的損失通過相對姿態偏移量的大小來映射姿態變化的權重，能有效地表達不同行人之間的細微姿態變化，因此本文方法的檢索精度要遠高于其它兩種損失函數。以上結果可以看出級聯三元組損失函數能更好量化與表達不同行人之間姿態變化信息。

表3 不同損失函數的對比結果

3.4.4 CMC曲線分析

圖7(a)和圖7(b)分別為是否使用本文方法在兩個數據集上得到的CMC曲線。通過觀察可以觀察到本文方法始終比基礎方法的重識別效果更好，尤其是在Rank-1至Rank-5之間。因為本文方法通過局部上下文的交叉姿態學習促使模型提取了更具鑒別力的細微特征，從而將排序靠后的正樣本提升了排名，最終進一步改善了Rank的精度。

圖7 不同行人重識別數據集的CMC曲線(%)對比結果

3.5 與其它最新方法比較

表4展示了本文方法與其它最新方法在Market-1501和DukeMTMC-reID數據集上的精度對比結果，從中可以看出本文方法在Market-1501數據集上獲得了95.52%的Rank-1和87.09%的mAP；在DukeMTMC-reID數據集上獲得了88.96%的Rank-1和76.51%的mAP。重識別性能排名第二的DG-Net模型通過端到端的形式來生成新的圖像并實時地微調整個行人重識別模型，但是由于生成圖像存在著一些像素級別的噪聲，導致網絡模型對提取生成圖像特征的能力有限。相較于DG-Net模型，本文方法通過已有的全局圖像進行語義交叉劃分局部圖像塊能夠避免新生成圖像的像素級噪聲，同時應用局部偽標簽編碼方法能夠降低局部圖像中的無關噪聲。RANGEv2利用一個雙流網絡結構聯合學習了排序上下文信息和外觀特征來獲取更有鑒別力的特征，盡管在雙流網絡結構中引入了部件的細粒度特征來緩解排序過程中不正確匹配問題，但是該方法提取的局部特征依然是對外觀特征進行平均地劃分，并沒有很好地考慮局部特征之間的關聯性，所以仍然低于本文方法的精度。MGS通過多粒度形狀學習來捕獲局部的3D信息與增強三維形狀特征多樣性。CDNet方法提出了一種新的組合深度空間，并通過一個輕量化的網絡架構來進行特征提取與學習。以上兩種方法都沒有考慮如何有效地平滑局部特征的噪聲。而本文方法借助交叉姿態來有效地平滑局部噪聲，因此本文方法取得了最好的表現且明顯優于MGS與CDNet。

表4 與最新方法的對比結果

4 結束語

本文提出了一種交叉姿態標簽平滑的行人重識別方法來學習行人的局部細微信息，該方法通過行人骨架點的坐標信息來劃分局部區域，然后結合水平與垂直方向的相對姿態偏移量與映射函數來對局部圖像進行偽標簽編碼，通過全局圖像的度量與局部圖像的標簽平滑來提升網絡模型對行人姿態的鑒別能力。大量實驗結果表明本文方法能夠有效地平滑局部區在訓練階段引入的噪聲，并且促使網絡模型能夠獲取更多的局部上下文信息，有效地緩解了治安監控管理問題。