基于部件精細化分割的行人檢索方法

趙延

（北方工業大學城市道路交通智能控制技術北京市重點實驗室，北京100144）

0 引言

行人檢索是利用計算機視覺的技術和方法，在攝像頭等設備采集到的圖像數據集中，搜索目標行人的圖像。行人檢索可以作為人臉識別的一個補充，當行人圖像中缺乏有效的人臉信息時，通過識別行人圖像的非人臉信息是一個常用的檢索方法。行人檢索是一個復雜的問題，同一個行人受到多種因素干擾，如行人走路姿態、服裝穿戴、圖像清晰度等，大大提高了行人檢索的難度。

近年來，隨著深度學習的飛速發展，對于行人檢索已提出許多方法。文獻[1]采用了垂直分割行人圖像的方式，利用長短時記憶網絡提取部件特征，這種方法對行人圖像對齊有較高的要求。文獻[2-3]采用人體骨架關鍵點模型，將人體分為若干個區域，提取部件特征和全局特征，最終得到一個融合全局特征和多個尺度部件特征的行人特征。

1 基于部件精細化分割的行人檢索方法

1.1 行人對齊

在行人檢索過程中，行人所處的不同背景會影響圖像檢索的準確率。采取部件特征提高識別準確的前提是部件的準確定位[9]，所以，行人圖像的對齊是提高識別準確率的方法。文獻[4]提出了一種基于SP 距離自動對齊模型，采用動態對齊算法，可以在無額外信息的情況下自動對齊部件特征。

1.2 行人精細化分割

行人圖像分割主要有兩種分割方式：按語義劃分成頭部、軀干、四肢等，或將圖像垂直劃分成多個水平橫條部件。

本文采用垂直劃分的方式，提出一種行人圖像部件的精細化分割方法，將圖像劃分為p 個水平橫條，每個水平橫條再按像素劃分成m*n 個色塊，將色塊按照顏色區分，匹配最近的同色色塊，加強部件內部的一致性。通過部件池化來糾正內部的不一致，根據各部件的相似性來分配所有列向量，為此我們需要動態的對所有列向量進行分類。使用線性層和Softmax 激活函數作為部件分類器。

1.3 部件特征提取

本文使用卷積神經網絡提取特征，選擇相似性度量方法對提取的特征進行度量，本文采用Triplet Loss[8]，Triplet Loss 是深度學習中的一種損失函數，用于訓練差異性較小的樣本。

將進行精細化分割處理后的p 個水平橫條通過一個傳統的平均池化，將p 個水平橫條在空間上進行下采樣，得到p 個列向量gi(i=1,2,…,p)。然后通過一個1*1 的conv 卷積，降至256 維，得到p 個列向量hi(1*1*256)，并輸入到分類器中。本文經過驗證，將p值取為6。

1.4 多分支特征融合

得到部件特征后，將各部件特征、全局特征作為分支特征，輸入到多分支網絡中，得到一個增強的特征，提高了行人檢索的準確率。多分支網絡如圖1 所示。

圖1 多分支網絡

2 實驗與分析

實驗環境是基于PyTorch 框架，實驗硬件設備：

NVIDIA GeForce GTX 1060 6GB。

2.1 實驗所用數據集與評價指標

本文算法在Market-1501、DukeMTMC-reID 兩個數據集上進行測試。

Market-1501[5]在清華大學校園中采集，拍攝時間為夏季。采集所用攝像頭共6 個（高清攝像頭5 個，低清攝像頭1 個），共拍攝1501 個行人、32688 個行人圖像。其中訓練集751 人、12936 個行人圖像；測試集750 人、19732 個行人圖像。

DukeMTMC-reID[6]源自在杜克大學中8 個不同的攝像頭采集的85 分鐘高分辨率視頻，拍攝時間為冬季。從視頻中每隔120 幀采樣一張行人圖像，共1404個行人、36411 個行人圖像。其中來自702 人的16522個訓練圖像；702 人的2228 個查詢圖像和17661 個待匹配圖像。

評價指標有：Rank-1：指檢索結果中最靠前的一張圖是正確結果的概率，一般通過實驗多次來取平均值。mAP：平均檢索精度，是檢索中，用于衡量精度的指標，數值越高，檢索結果越好。

2.2 精細化分割與其他分割方法的對比

在表1 和表2 中將我們提出的方法分別在Market-1501 和DukeMTMC-reID 數據集上與已發布的方法進行了比較。與現有技術相比，本文的方法取得了很好的效果。在Market-1501 測試中，Rank-1 為93.8%，mAP 為80.8%。在DukeMTMC-reID 上，Rank-1為65.1%，mAP 為55.6%。檢索結果示例如圖2 所示。

表1 Market-1501 數據集實驗結果

表2 DukeMTMC-reID 數據集實驗結果

圖2 檢索結果示例

3 結語

本文采用了一種新的部件分割方法，同時采用多分支的網絡結構提取圖像特征，提高了行人圖像檢索的精度。在Market-1501 和DukeMTMC-reID 兩個數據集上進行試驗，取得了很好的結果。