基于改進型多粒度超圖的行人序列重識別

林敏強 趙曈 蔣浩

摘?要：近年來，跨攝像頭行人識別成為研究的一個熱點，利用深度學習可以快速地識別行人，并以此為基礎進一步研究跨攝像頭行人重識別。多粒度超圖同時利用視頻序列中的空間和時間線索，大大提升行人重識別的識別率，但是多粒度超圖算法計算量比較大，識別速度較慢。因此，本文提出了一種改進型多粒度超圖算法，通過與多粒度超圖模型試驗對比，結果表明，改進型多粒度超圖算法在保證識別率不降低的情況下，識別速度明顯提升。

關鍵詞：行人序列重識別;多粒度超圖;主成分分析

0 引言

隨著深度學習和圖像處理技術的不斷發(fā)展，人臉識別在特定條件下準確率已經(jīng)非常高了，很難有重大突破。但是在城市視頻監(jiān)控中經(jīng)常遇到跨攝像頭行人識別問題，即給定目標人物跨攝像頭追蹤該行人，這類識別方法稱為行人重識別。為了解決單張圖片特征受限和識別率低的問題，用圖片序列作為跨攝像頭識別行人的方法稱為行人序列重識別。

行人序列重識別分為行人檢測和行人識別兩個步驟，行人序列重識別系統(tǒng)如圖 1 所示。

將視頻監(jiān)控攝像頭拍攝的圖片輸入到行人序列重識別系統(tǒng)，提取行人的時間和空間特征;然后提取待檢索行人序列的特征，進行相似性度量;最后根據(jù)度量結果識別行人。

傳統(tǒng)方法主要集中在圖像的行人重識別上，忽略了行人序列的時間和空間特征;隨著基于視頻的大規(guī)模數(shù)據(jù)集的出現(xiàn)，主流方法主要集中在挖掘視頻序列的全局特征和時序信息。多粒度超圖就是典型的利用行人序列的時間和空間特征進行行人重識別的，識別率較好，但是計算量太大。于是本文提出一種基于主成分分析（PCA）和多粒度超圖（MGH）結合的行人序列重識別算法，該算法在保證識別率不降低的情況下，識別速度明顯提升。其主要工作如下：提取行人序列時間和空間特征;對特征降維;計算相似度。

1 算法

1.1 架構

1）MGH 特征提取，用 MGH 架構提取行人序列的時間和空間特征。

2）PCA 降維，用 PCA 對候選集和查詢集行人序列特征降維，得到更有價值的特征，去除噪聲，降低算法的計算開銷，加快處理速度。

3）相似度測量，將查詢集序列分別輸入到候選集和查詢集 GMM 模型，生成概率分布數(shù)據(jù)，然后用 KL對兩種概率分布進行相似性度量并排序，計算出行人序列重識別的精度。本系統(tǒng)架構如圖 2 所示。

1.2 MGH特征提取

MGH 通過對行人序列的時間和空間建模來表示全局和局部特征，以及行人序列直接的關聯(lián)特征。具體來說就是用不同空間粒度的超圖提取行人序列不同級別的特征;每個超圖中，不同的時間粒度用超邊特征連接，此方法解決了圖片沒有對齊和遮擋兩個關鍵性問題。

空間線索的多粒度與固定分區(qū)相比明顯提高了人體劃分粒度的性能。在行人序列重識別中，多粒度空間之間的聯(lián)系非常重要，因為不同空間的粒度捕獲不同分區(qū)之間的差異，從而解決了由于視頻序列中檢測對齊不準確導致的空間錯位問題，利用多個空間粒度可以更好地解決空間錯位問題。時間線索的多粒度在行人重識別中應用非常廣泛，經(jīng)常用短動態(tài)和長動態(tài)表示。短期動態(tài)可以通過提取額外的光流特征來表示，而長期時間特征可以通過利用 3D CNN 或時間特征聚合器來獲得。然而，短期和長期的時間線索在判別特征學習中具有不同的功能。長動態(tài)可以減少短動態(tài)因遮擋帶來的影響。MGH很好地利用了行人序列中時間和空間特性提取特征。

1.3 PCA降維

PCA 的作用就是進一步提取多粒度超圖的特征，降低特征維度，具體做法是從原始空間中找一個新的正交坐標系，第一個坐標軸選擇原始數(shù)據(jù)方差最大的方向，第二個坐標軸選擇和第一個坐標軸正交且方差最大的方向，以此類推，建立新的正交坐標系。通過此方法，大部分方差就包含在前面幾個坐標系中，后面坐標系方差幾乎為零，從而達到降維的目的，這樣可以有效地降低行人重識別的計算量。本方案保證行人序列特征在 97%的基礎上，數(shù)據(jù)維度從 2048 維降低到 300 維，大大的降低了計算量。

1.4 KL散度

KL 散度適用于兩個模型之間的度量，因此本文采用 KL 散度度量兩個模型之間的距離，實驗證明，效果很好。

2 數(shù)據(jù)集

實驗數(shù)據(jù)集使用 MARS 和 iLIDS-VID 數(shù)據(jù)集。MARS 數(shù)據(jù)庫是目前已公開的最大視頻行人重識別數(shù)據(jù)集，包含 1 261 個行人，采集于 6 個不同的攝像頭，每個人被 2～3 個攝像頭捕捉到，每個行人平均含有 13.2個視頻序列。iLIDS-VID 數(shù)據(jù)庫包含從兩個無交疊攝像頭采集的 300 個行人的 600 個視頻段，每個行人視頻段含有 23 到 192 幀圖像不止，平均含有 73 幀。

3 結語

本文提出的改進型多粒度超圖的行人序列重識別算法，首先用 MGH 架構提取行人序列特征，然后通過PCA 降維減少計算量，最后用 KL 散度計算相似度。實驗結果表明，改進型多粒度超圖算法在保證識別率不降低的情況下，識別速度明顯提升。

參考文獻：

[1] YE M， SHEN J B， LIN G J， et al. Deep learning for person re-identification： a survey and outlook[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021.

[2] 董亞超，劉宏哲，徐成.基于顯著性多尺度特征協(xié)作融合的行人重識別方法[J].計算機工程， 2021（06）.

[3] 袁韶祖，王雷全，吳春雷.基于多粒度視頻信息和注意力機制的視頻場景識別[J].計算機系統(tǒng)應用，2020（05）.

[4] ZHAO Y L， LI Y L， WANG S J. Person re-identification with effectively designed parts[J]. Tsinghua Science and Technology， 2020（03）.

[5] 郭若沛.基于圖像的行人再識別重排序算法研究[D].北京：北京郵電大學，2020.

[6] 鄭偉詩，吳岸聰.非對稱行人重識別：跨攝像機持續(xù)行人追蹤[J].信息科學，2018（05）.

[7] 吳文灝.基于深度學習的視頻識別研究[D].深圳：中國科學院大學（中國科學院深圳先進技術研究院） ，2020.

[8] 張新峰，宋博.一種基于改進三元組損失和特征融合的行人重識別方法[J].計算機科學，2021（09）.

[9] 馮霞，杜佳浩，段儀濃，等.基于深度學習的行人重識別研究綜述[J].計算機應用研究，2020（11）.

[10] 羅浩，姜偉，范星，等.基于深度學習的行人重識別研究進展[J].自動化學報，2019（11）.