基于孿生網絡和重排序的行人重識別

陳首兵，王洪元，金 翠，張 瑋

(1.常州大學 信息科學與工程學院，江蘇 常州 213164； 2.常州信息職業技術學院 電子與電氣工程學院，江蘇 常州 213164)(*通信作者電子郵箱hywang@cczu.edu.cn)

0 引言

行人重識別(Person Re-Identification, Re-ID)[1]通常可以被視為一個圖像檢索問題，即從不同的相機中來匹配行人。給定一張查詢的行人圖像，行人重識別旨在從非重疊攝像機視角下的行人圖像庫中找出與該行人是同一個行人的圖像。由于攝像機捕獲的行人圖像受到光照、姿勢、視角、圖像分辨率、相機設置、遮擋和背景雜亂等影響，會導致同一個行人圖像發生很大的變化，因此行人重識別仍是計算機視覺中的一項具有挑戰性的任務。

特征表示和度量學習是很多現有的行人重識別文獻的主要方法。卷積神經網絡(Convolutional Neural Network, CNN)在學習特征表示方面或深度度量[2-8]方面已經表現出優勢。如圖1所示，有兩種CNN模型，即識別模型和驗證模型。這兩種模型在訓練的輸入、特征提取及損失函數方面都有所不同。1993年，Bromley等[6]首先使用驗證模型在簽名驗證中進行深度度量學習，最近，研究人員開始將驗證模型應用于行人重識別，重點關注數據增強和圖像匹配; Yi 等[7]將行人圖像分成三個水平部分，并訓練三部分CNN來提取特征; 后來，Ahmed等[9]通過添加一個不同的匹配層來提升驗證模型; Wu等[10]使用更小的過濾器和更深的網絡來提取特征; Varior等[11]將CNN與一些門函數相結合，其目的是自適應地聚焦于輸入圖像對的相似部分，但因為查詢圖像必須與圖庫中的每幅圖像配對以通過網絡，所以計算效率低下。最近，不少研究者們已經將重排序方法[12-14]用到行人重識別中。Ye等[13]將全局和局部特征的共同最近鄰組合為新的查詢，并通過結合全局和局部特征的新排序表來修改初始排序表; 文獻[14]利用k最近鄰集合來計算不同基線方法的相似度和相異度，然后進行相似度和相異度的聚合來優化初始排序列表。然而，由于通常包含錯誤匹配，因此直接使用k最近鄰進行重排序可能會限制整體性能。為解決這個問題，本文將k互近鄰方法用到行人重識別中來進行重排序。

本文提出一種用于Re-ID的深度學習孿生網絡，它基于CNN識別模型和CNN驗證模型，可以同時計算識別損失和驗證損失。該孿生網絡可以同時學得一個具有辨別力的CNN特征和相似性度量，因此可以提高行人檢索準確率，本文還將重排序加入到行人重識別中，通過k互近鄰方法降低圖像錯誤匹配情況，最后將歐氏距離和杰卡德距離(Jaccard distance)加權來對排序表進行重排序，在兩大行人重識別數據集上的實驗表明重排序可以進一步提高行人匹配率。

圖1 驗證和識別模型之間的區別

1 相關工作

1.1 驗證模型

驗證模型將行人重識別視為一個二類識別任務，將一對圖像作為輸入并判斷它們是否是同一個行人。很多先前的文章把行人重識別看作二分類任務或相似性回歸任務[2-3]。給定一個標簽s∈{0,1}, 0表示不是同一個行人，1表示同一個行人。驗證網絡將同一個行人的兩幅圖像映射到特征空間中的附近點, 如果圖像是不同的人，點就相隔較遠。驗證模型中的主要問題是只使用了弱的行人重識別標簽，沒有考慮所有標簽信息。

1.2 識別模型

識別模型將行人重識別視為一個多類識別任務，把一幅圖像作為輸入并預測其行人身份，其充分利用了Re-ID標簽，并被用于特征學習[15]。識別模型直接從行人輸入圖像中學習非線性函數，并在最后一層后使用交叉熵損失。在測試期間，從全連接層提取特征，然后進行歸一化。兩幅圖像的相似性是通過其歸一化的CNN特征之間的歐氏距離來度量的。識別模型的主要缺點是沒有考慮圖像對之間的相似性度量。

1.3 重排序

重排序在一般的實例檢索中已經得到大量研究[4-5]。以前的一些論文利用了最初排序表中排名最高的圖像之間的相似性關系，例如最近鄰[16]。如果返回的圖像排在查詢圖像的k個最近鄰之內，則它可能是真正的匹配，可以用于隨后的重排序。不過，錯誤匹配的圖像也可能包含在查詢圖像的k近鄰中, 因此，直接使用top-k排序的圖像可能會在重排序中引入噪聲并影響的最終結果。

k互近鄰[4-5]是解決上述問題的有效方法。如果兩張圖片同時互為k近鄰，那么它們就是k互近鄰，即當其中一張圖片作為查詢圖片時，另一張圖片就排在其最靠前的k個位置, 因此，k互近鄰提供了一個更嚴格的匹配規則。重排序方法的框架如圖2所示，給定一張查詢行人圖片和一個行人圖庫，為每個行人提取外貌特征和k互近鄰特征。然后再分別計算圖庫中每個行人與查詢行人的原始距離d和杰卡德距離dJ，將d和dJ結合起來得到最終距離，使用最終距離來進行重排序得到新的排序表。

圖2 重排序框架

2 網絡框架和重排序

2.1 整體網絡

本文的網絡是一個卷積孿生網絡，結合了驗證模型和識別模型。圖3簡要說明了網絡的框架， 網絡包括2個ImageNet預訓練的CNN模型ResNet50[17]，3個卷積層，1個平方層和3個損失，受識別標簽t和驗證標簽s監督。給定n個尺寸為224×224的圖像對，使用兩個完全相同的ResNet50模型作為非線性特征函數并輸出4 096維特征f1、f2。f1、f2分別用于預測兩個輸入圖像的行人身份t，用平方層來比較高維特征f1、f2，然后f1、f2共同地預測驗證標簽s。最后，softmax損失被應用于三個目標函數。

圖3 本文模型結構

2.2 識別損失

在框架中有兩個ResNet50，它們共享權重并同時預測輸入圖像對的兩個身份標簽。為了在新數據集上對網絡進行微調，本文用卷積層替換了預訓練的CNN模型ResNet50的最后全連接層(1 000-維)。Market1501中751個行人用于訓練，所以這個卷積層有751個大小為1×1×4 096的內核，該內核連接到ResNet50的輸出f，然后再添加一個softmax單元來歸一化輸出，最終張量的大小是1×1×751。ReLU激活函數沒有加在卷積之后。類似于傳統的多類別識別方法，本文使用交叉熵損失進行行人身份預測，公式如下：

(1)

(2)

2.3 驗證損失

以前的一些論文在中間層包含了一個匹配函數[2,8,10]，本文直接比較了高維特征f1、f2用于相似性評估。來自微調CNN的高維特征已表現出了辨別能力[18]，其比中間層的特征更為緊湊，所以在本文的模型中，行人描述符f1、f2在識別模型中直接受到驗證損失的監督。如圖3所示，本文用平方層(非參數層)來比較高維特征，平方層表示為fs=(f1-f2)2，其中f1、f2是4 096維特征，fs是平方層的輸出張量。

(3)

(4)

本文沒有使用對比損失：一方面，對比損失作為回歸損失，讓同類特征盡可能地接近, 由于在行人重識別領域每個行人的訓練次數有限，所以可能會使模型過擬合；另一方面，在隨機位置引入零值的dropout[19]，在對比損失前不能應用于特征，但本文模型中的交叉熵損失可以用dropout來正則化模型。

2.4 重排序

給定一個查詢行人圖片p和包含N張圖片的圖庫G，G={gi|i=1,2,…,N}，兩個行人p和gi之間的原始距離可以用歐氏距離來度量，可用式(5)表示：

(5)

(6)

其中：|·|表示集合中候選行人的個數。k互近鄰S(p,k)定義如下：

S(p,k)={(gi∈M(p,k))∩(p∈M(gi,k))}

(7)

與k近鄰相比，k互近鄰與p更相關。然而由于照明、姿勢、視角及遮擋的變化，可能有些正樣本既不在k近鄰里，也不在k互近鄰里。針對這個問題，采用把S(p,k)里每個候選人的k/2互近鄰加到一個更魯棒的集合S*(p,k)里，用式(8)表示：

S*(p,k)←S(p,k)∪S(q,k/2); ?q∈S(p,k)

(8)

由文獻[14]可得，如果兩張圖片相似，那么它們的k互近鄰集合會重疊，即在集合里有一些相同的樣本。相同的樣本越多，這兩張圖片越相似。p和gi之間的新距離可以由它們的k互近鄰特征的杰卡德度量計算得到，杰卡德距離(Jaccard distance)可以用式(9)表示：

(9)

其中|·|表示集合中候選行人數。如果S*(p,k)和S*(gi,k)共享更多元素，gi更可能是正確的匹配。結合原始距離和杰卡德距離來對初始排序表進行重排序，最終的距離d*用式(10)表示：

d*(p,gi)=(1-λ)dJ(p,gi)+λd(p,gi)

(10)

其中:λ∈[0,1]，λ表示懲罰因子，懲罰遠離p的gi。當λ=0，僅考慮杰卡德距離; 當λ=1，僅考慮原始距離，λ的取值在實驗部分有分析說明。最后，得到的重排序后的排序表L*(p,G)按照最終距離的升序排序。

3 實驗

本文使用微調的預訓練CNN模型ResNet50在兩大行人重識別數據集Market1501[3]和CUHK03[2]上進行實驗。

3.1 數據集和評價指標

數據集 Market1501包含1 501個行人的32 668個帶標簽的邊界框。每個行人的圖像最多由6臺攝像機拍攝, 邊界框直接由可變形零件模型(Deformable Part Model, DPM)[20]檢測而不是使用手繪邊界框，這更接近現實的場景。數據集被分為訓練集和測試集，訓練集包含751個行人的12 936個裁剪圖像，測試集包含750個行人的19 732個裁剪圖像。在測試中，使用3 368張包含750個行人的手繪圖像作為查詢集來識別測試集上的正確行人身份。對于每個查詢圖像，旨在從19 732個候選圖像中檢索出正確匹配的圖像。

CUHK03數據集包含1 467個行人的14 097張在香港中文大學校園里收集的裁剪圖像。每個行人由兩個相機所拍攝，且每個行人在每個相機中平均具有4.8張圖像。數據集提供了兩種邊界框，分別是由手動標注的邊界框和由DPM檢測到的邊界框，在DPM檢測到的邊界框上評估本文的模型，這更接近現實的情況。數據集劃分為1 367個行人的訓練集和100個行人的測試集，重復20次隨機分割用于評估。表1列出了兩大數據集的具體信息。

表1 實驗中使用的數據集的詳細信息

評價指標 本文使用兩個評價指標來評估所有數據集上的行人重識別方法的性能: 第一個評價指標是累積匹配特征(Cumulative Match Characteristic, CMC)曲線，把行人重識別看作是一個排序問題，使用Rank1來描述，Rank1指在圖庫中第一次就成功匹配的概率，就是排在排序表中第一位的圖片是正確結果的概率，通過實驗多次取平均值得到; 第二個評價指標是平均精度均值(mean Average Precision, mAP)，它是平均精度(Average Precision, AP)的均值，把行人重識別看作是一個目標檢索問題[3]，使用mAP來度量。AP和mAP的公式如下所示：

(11)

其中：r是檢索圖像的排序號;P(r)是已經檢索的圖像中相關的圖像占的比例;rel(r)是檢索圖像的排序號的二元函數，是相關圖像值為1，否則為0。

(12)

其中Q是查詢的次數。

3.2 參數分析

實驗中參數k和λ是先在驗證集中進行測試，然后選取最好的參數在測試集上使用，畫圖時采用控制變量法。當探討Rank1和mAP與λ的關系時，保持k不變；當探討Rank1和mAP與k的關系時，保持λ不變。圖4為在Market1501上Single Query(Single Query是指使用一個行人的一張圖片作為查詢集)和Multiple Query(Multiple Query指使用一個行人的多張圖片作為查詢集)情況下λ的取值對Rank1和mAP的影響，可以看出當λ為0.3時，Rank1和mAP達到最優值。圖5為在Market1501上k的取值對Rank1和mAP的影響，從圖中可以看出,當k為12時，Rank1和mAP取得最優值。在CUHK03上λ和k分別為0.8和8時，Rank1和mAP達到最優值，因為圖與Market1501中的圖類似，所以沒有在文中給出。

3.3 實驗結果與分析

表2與表3分別是Single Query和Multiple Query情況下多種方法在數據集Market1501上的Rank1和mAP的比較。表2和表3中與本文方法(其中：本文方法1是將識別模型和驗證模型進行結合的孿生網絡，可同時學習一個具有辨別力的CNN 特征和相似性度量，并預測兩個輸入圖像的行人身份以及判斷它們是否屬于同一個行人; 本文方法2是在方法1的基礎上加上了重排序方法，將歐氏距離和杰卡德距離加權來對排序表進行重排序)比較的有DADM(Deep Attributes Driven Multi-camera)[21]、Multiregion CNN[22]、DNS(Discriminative Null Space)[23]、Gate Re-ID[11]、ResNet50-Basel[17]、PIE(Pose Invariant Embedding)[24]和SOMAnet[25]等方法。本文方法相比其他方法對Re-ID性能都有顯著提升, 如表2中本文方法1的Rank1達到80.82%，mAP達到62.30%，重排序后又分別提升了2.62個百分點和6.45個百分點，明顯高于DADM和DNS等方法，其中DADM方法只使用有限數量的標記數據逐步提高屬性的準確性，使得行人屬性更具有魯棒性。

圖4 在Market1501上參數λ對Re-ID性能的影響

圖5 在Market1501上參數k對Re-ID性能的影響

表4和表5分別是在CUHK03數據集上single-shot和multi-shot環境下多種方法Rank1和mAP的比較。DeepReID[2]、IDE(ID-discriminative Embedding)[26]、DNS、IDE+XQDA(ID-discriminative Embedding+Cross-view Quadratic Discriminant Analysis)[26]、ResNet50-Basel、LOMO+XQDA(Local Maximal Occurrence Representation+Cross-view Quadratic Discriminant Analysis)[27]、S-LSTM(Siamese Long Short-Term Memory)[28]和Gate-SCNN[11]等方法與本文方法作比較。single-shot是指在gallery(圖庫)里面只有一張圖片和probe(查詢集)是同一個行人，multi-shot是指在gallery里面有多張圖片和probe是同一個人。如表4中所示，本文方法2產生了85.56%的Rank1和88.32%的mAP，遠超過IDE和DNS等方法。

表2 Single Query情況下多種方法在數據集Market1501上的比較

表3 Multiple Query情況下多種方法在數據集Market1501上的比較

表4 CUHK03數據集single-shot環境下多種方法的比較

表5 CUHK03數據集multi-shot環境下多種方法的比較

4 結語

由于驗證模型和識別模型有各自的優點和局限性，具體來講，驗證模型提供了相似性評估，但僅使用了弱的Re-ID標簽，沒有考慮所有的標注信息，缺乏圖像對和其他圖像之間關系的考慮；識別模型使用了強的Re-ID標簽，但沒有考慮圖像對之間的相似性度量，所以本文將這兩種模型結合起來，提出一種用于Re-ID的孿生網絡，可以同時學得具有辨別力的CNN特征和相似性度量，因此可以提高行人檢索準確率。重排序也是提高行人重識別識別率的重要一步，但是以往的k近鄰方法可能會遇到錯誤匹配的圖像也包含在查詢圖像的k近鄰中的情況，而k互近鄰提供了一個更嚴格的匹配規則，本文使用k互近鄰方法有效地降低圖像錯誤匹配的情況，最后將歐氏距離和杰卡德距離加權來對排序表進行重排序。在兩個大型的行人重識別數據集Market1501和CUHK03上的實驗結果表明，Re-ID性能都有明顯提升，超過了很多方法。如何找到更好的方法在更多的數據集上進一步提升Re-ID匹配率將是下一步的研究工作。