無監督行人重識別的判別性特征研究

唐佳敏，韓 華，黃 麗，王春媛

（上海工程技術大學 電子電氣工程學院，上海 201620）

0 引言

近年來對“安全防范”與“治安管理”的重視，視頻監控因為其實時性與精準性，需求性逐漸增強。但在傳統的視頻監控中，只有簡單的記錄、存儲、回放等功能，無法起到有效的安全防范和治安管理的作用，且海量的視頻數據依靠人工檢索非常耗時耗力，還不能保證準確性，由此智能視頻應運而生，且發展迅猛，其中的行人重識別問題也發展成為熱點話題。行人重識別（Person Re－ID）研究主要從行人跨攝像頭跟蹤問題開始，是用來判斷目標行人在無重疊視域中被拍攝到的圖像是否屬于同一身份的目標行人。行人重識別研究可以廣泛用于智能視頻監控，安全防御等領域。由于行人外觀易受衣物、姿態和攝像頭視角變化以及光照角度、事物遮擋、環境等各種復雜因素的影響，使得行人重識別研究面臨了很多挑戰與困難。近年來，行人重識別技術引起了各界的廣泛關注，提出了很多優秀的技術研究方法［1］。

1 行人重識別

行人重識別問題目前已成為計算機視覺等研究領域的熱點，其主要功能就是在不同攝像頭下找到目標行人的身份關聯信息，以便能準確的識別目標行人，如圖1 所示。

圖1 無重疊區域監控網絡中的行人重識別Fig.1 Person re－identification in non－overlapping area monitoring network

行人重識別早期并沒有獲得過多關注，只是作為跨攝像機目標跟蹤的一個分支。2005 年，行人重識別（Person Re－identification）一詞在研究跨攝像機目標跟蹤問題中第一次被提出；在2006 年，Gheissari 等人在國際頂級會議上首次將Person Re－Identification 這一術語提出，將行人重識別當作一個獨立的研究方向來開展［2］；特別是在2007 年，D.Gary 等人公開發布了第一個關于行人重識別的數據集：VIPeR。這一數據集的發布使得越來越多的國內外學者對此感興趣，紛紛投入研究，使之成為計算機視覺領域的熱點研究問題。

行人重識別的研究，從國內外研究的發展歷史來看主要有兩大階段：基于人工設計特征的行人重識別方法和基于深度學習的行人重識別方法。基于人工設計特征的行人重識別方法主要由兩部分組成：特征提取和相似性度量。特征提取主要提取魯棒性強且具有很強區分判別性的特征表示向量；相似性度量主要對目標行人間的特征向量間的相似度進行比對。基于深度學習的行人重識別方法則是將這兩部分整合為一個整體，輔以損失函數約束。

行人重識別研究出現了很多優秀的有監督學習算法，雖然有監督學習的發展已經取得了很好的結果，但是其獲得標簽信息的工作量和難度都很大；而無監督學習由于不需要給數據打標簽，通過發現一些潛在的結構來訓練數據，可以節省很多人力物力資源，因而受到越來越多的關注。本文的研究也是基于無監督學習的，以提取聯合判別性特征為目標。

2 方法

在本項工作中，使用ResNet－50 作為卷積網絡的骨干網絡，研究了基于深度學習系統的無監督行人重識別，提出了一種聯合判別性特征的無監督框架，如圖2 所示。對于行人圖片，使用基于補丁的判別特征學習損失，將類似補丁塊的特征拉到一起，并推出不相似的補丁塊，來指導未標記數據集學習具有判別性的局部補丁特征。從全局方面，提出使用相斥損失的聚類策略來對樣本進行判別性的全局特征學習。

圖2 本方法框架圖Fig.2 Framework diagram of this method

2.1 局部判別性特征損失函數

局部特征學習旨在指導補丁網絡在未標記的數據集上學習判別性補丁特征。從相對較小尺寸的特征圖中提取補丁，而不是從圖像中采樣，這樣可以有效地減少特征計算中的計算量和CNN 網絡的復雜度［3］。為此，本文引入了一個空間變換網絡來形成補丁網絡，可以實現自動地從特征圖中提取補丁的功能［4］。補丁網絡為每個圖像特征映射，生成M個補丁塊，并且同一圖像的這些不同補丁塊位于不同的空間區域，這些不同的區域可能包含不同的身體部位，具有不同的語義信息，所以使用不同的CNN分支對同一圖像的這些不同的補丁進行編碼，并對不同的分支獨立地進行判別性特征學習，如圖3 所示。

圖3 局部判別性特征提取Fig.3 Local discriminative feature extraction

在一般的特征學習中，總是希望同一類的特征在特征空間中更接近，同時遠離其它類，這樣學習到的特征更具有判別性，所以這里的補丁網絡特征學習是將特征空間中相似的補丁塊拉近，同時將不相似的補丁塊推遠。

本文在本項無監督框架中使用一種基于補丁塊的判別特征損失函數，將相似的特征拉到一起，并推出不相似補丁塊，來學習未標記數據集中的補丁特征，公式（1）如下：

因為將相似的人的圖像特征直接拉近，也許會把具有不同身份的，但視覺上相似的人的圖像特征拉近，這是由于忽略人的身份信息，導致的識別率的降低。所以通過將人的圖像劃分為部分，可以讓同一圖像的不同補丁塊包含該人的不同信息，從而挖掘出埋藏其中的潛在信息。

2.2 全局判別性特征損失函數

全局特征學習旨在通過聚類策略，利用特征的相似性，將具有相同身份的圖片結合在一起，以此生成聚類，然后利用卷積模型進行最大化聚類中心差異性的操作進行數據的更新。

已知無監督數據集里的每張圖片都沒有身份標注，因此在開始的時候會將每張圖片分配為各自的聚類中心，即｛1 ≤i≤N｝（是xi的聚類數量的動態索引）。這種方式能讓網絡學習識別每一個聚類的訓練樣本，而不是每一個人，并且可以將每個訓練樣本間的多樣性達到最大化。隨著數據參數更新，將類似的行人圖片并到同一個身份的聚類中，來表明行人圖片身份的同一性。

令一張圖片x屬于第c個聚類中心的概率如式（2）所示：

其中，C是當前狀態下聚類的數目，在開始狀態時C ＝N，也就是聚類的數目等于圖片的數目。隨著相似的圖像逐漸合并，聚類C的數量也逐漸減少；v＝指代的是數據xi特征空間中的l2范數，即‖vi‖＝1；V∈RC×nφ是一個查詢列表，其中存放著每一個聚類的特征；Vj表示V的第j列特征；τ是一個標量參數，引入的目的是為了便于對概率的取值區間有一個控制因素。在后續的實驗中，將τ設置為0.1。

在之前的操作中，通過VT·vi來計算數據xi和其它數據間的余弦相似度，而現在通過←來計算表V的第列數據，將原來聚類的特征與新的數據特征求和并求平均值；利用公式（3）的損失函數優化算法的卷積模型，將其作為相斥損失函數，可以讓不同身份圖片間的差異性擴大。

通過最小化公式（3）的損失函數，可以計算每個圖像特征vi與每一個聚類中心特征之間的余弦距離，并將其最大化。還可以計算每個圖像特征vi與相對應的聚類中心特征之間的余弦距離，并將其最小化，這樣就可以利用多樣性來推遠不相似的圖片。在優化的步驟中，Vj列舉了第j個聚類中心中所包括的全部圖片的特征，將其作為該聚類的“中心點”。在模型訓練的每一個階段，對聚類中心的計算操作的時間復雜度非常高，所以可以通過查詢表格V 的方法來節省很多冗余的計算過程，這樣帶來的好處是在每次訓練階段不需要從所有訓練數據中反復地進行提取特征的步驟。

2.3 聯合損失函數

基于以上的無標簽數據集框架下的局部判別性損失函數和全局判別性損失函數，最終每張圖像形成的總的損失函數可以表示為式（4）：

其中，U表示一張圖片的補丁塊的個數，λ是一個控制權重的參數。

3 實驗結果與分析

3.1 實驗數據集

本次實驗的數據集描述見表1，實驗在Market－1501 數據集和DukeMTMC－reID 數據集上操作研究。Market1501 數據集包含共32 668 張行人圖片，由分布的6 個攝像頭捕捉的1 501 個不同行人身份，將總共的32 668 張圖片分為訓練集和測試集兩部分，其中訓練集上有12 936 張行人圖片，測試集上有19 732 張行人圖片。DukeMTMC－reID 數據集共計36 411 張圖像。由8 個攝像頭捕捉1 404 個行人身份，同樣分為訓練集的16 522 張圖像和測試集的17 661 張圖像。

表1 數據集描述Tab.1 Description of the datasets

3.2 評測標準

本次實驗中，使用兩個性能指標來評判此研究方法：

（1）累積匹配特征（CMC）曲線；

（2）平均精度均值（mAP）。每個被查詢圖像的平均精度（AP）由圖像的召回曲線確定，并通過計算查詢圖像的平均精度的平均值獲得平均精度均值（mAP）。在積累匹配特性曲線（CMC）中選取Rank－1，Rank－5 和Rank－10 的得分來反映檢索的精度。

3.3 實驗結果

將本算法性能與目前較先進的方法進行了比較，在Market－1501 數據集上得到的積累匹配特性曲線（CMC）如圖4 所示，在DukeMTMC－reID 數據集上得到的積累匹配特性曲線（CMC）如圖5 所示。同時，將本文方法與目前較先進方法的mAP值比較，見表2，在Market－1501 數據集上達到了36.02，和已有的好方法相比提高8.62 個百分點；在DukeMTMC－reID 數據集上達到了40.64，與已有的好方法比提高15.94 個百分點。在CMC 曲線中選取了具有代表性的Rank－1，Rank－5 和Rank－10的得分來進行比較，見表3，表4。從表3可以看出，本文的算法在Market－ 1501 數據集上的rank－1 最終結果達到了59.35，相較于已有的好方法提高了2.65 個百分點；從表4 我們可以看出，本文的算法在DukeMTMC－reID 數據集上的Rank－1 最終結果達到了55.75，比已有的好方法提高了10.45 個百分點。因此，可以看出本文方法可以很好地解決行人重識別的問題，并且由于從局部和全局兩個分支全面地解決此問題，使得本文方法具有一定的先進性。

圖4 各算法在Market－1501 數據集上的積累匹配特性曲線（CMC）Fig.4 Cumulative matching characteristic curve（CMC）of each algorithm on the Market－1501 dataset

圖5 各算法在DukeMTMC－reID 數據集上的積累匹配特性曲線（CMC）Fig.5 Cumulative matching characteristic curve（CMC）of each algorithm on the DukeMTMC－reID dataset

表2 各算法在Market－1501 和DukeMTMC－reID 數據集上的平均精度均值（mAP）Tab.2 The average precision（mAP）of each algorithm on the Market－1501 and DukeMTMC－reID datasets

表3 在Market－1501 數據集的結果Tab.3 Results of the Market－1501 dataset

表4 在DukeMTMC－reID 數據集的結果Tab.4 Results of the DukeMTMC－reID dataset

3.4 聯合損失函數中權重λ 的分析

本文還在Market－1501 和DukeMTMC－reID 這兩個大型數據集上對總損失中參數λ的影響進行了實驗分析，選取Rank－1 和mAP作為評測指標，實驗結果如圖6，圖7 所示。可以發現，λ的區間在［0，1］之間，Rank－1 的結果首先隨著λ的值呈現平穩上升的趨勢，當λ ＝0.7 時，到達最高點之后下降。mAP的結果雖然有所曲折，但也是呈現上升趨勢，并且當λ ＝0.7 時取得最好的結果，隨之下降。即λ值設置為0.7 可以取得比較好的結果。由于學習到了更有判別力的聯合判別性特征，因此將全局損失和局部損失組合起來可以得到更好的結果。

圖6 λ 值對rank－1 的影響Fig.6 The effect of λ on rank－1

圖7 λ 值對mAP 的影響Fig.7 The effect of λ on mAP

4 結束語

行人重識別任務隨著計算機視覺和模式識別領域的快速發展而發展，成為該研究方向中的一個重要分支。作為智能視頻監控方向上的研究支撐，對于實現跨攝像機研究中的目標跟蹤和行為分析等一系列面向智能視頻監控的應用難題起到非常大的推進作用。本文基于全局與局部特征的無監督學習框架，提出了一種聯合判別性特征學習方法來解決重識別任務，并實驗驗證了方法中每一部分的有效性，證明了所提出的方法對于解決行人重識別任務具有顯著的效果。