基于行人再識別的軌跡重現

閆秋芳

（四川大學計算機學院，成都 610065）

0 引言

基于行人再識別的軌跡重現是根據目標人物在各相機間的行人再識別結果，利用已知出現目標人物的相機編號的位置信息（本文中使用經緯度），將出現目標人物的相機坐標與地圖道路信息相結合，并得到目標人物的運動軌跡。

行人再識別（Re-id）是智能化圖像、視頻處理的一種方法。行人再識別使得行人識別在視頻、圖像清晰度不夠的情況下仍能準確得到結果，也適用于場景較大的情況。它應用在圖像上時，需要將圖像中的人像進行分割，得到切好的圖像塊與目標圖像塊進行所需特征的提取并通過距離度量計算得到相似度；應用在視頻中時，由于每類行人都至少存在兩端視頻序列，存在大量的訓練數據，方便機器學習方法的訓練，提高識別準確率，視頻中一般采用底層特征，然后利用平均化/最大池化方法將其聚合為一個全局特征向量。行人再識別的關鍵在于特征提取以及距離度量兩個部分：本文提出使用身高特征、步態以及衣物顏色三個特征融合后作為Re-id的特征；度量學習方法采用基于馬氏距離的KISSME算法計算，并在得到度量結果后新增使用馬氏距離驗證結果的模塊，提高數據的準確性。

軌跡重現部分采用百度地圖提供的軌跡上傳API。百度地圖提供了可供開發者使用的基于百度地圖的各種API，并提供了Web、iOS及Android平臺的源代碼等，可將結果應用于上述三個平臺。本文中將出現目標人物的相機坐標作為軌跡上傳API的輸入，則該API將復現目標人物的運動軌跡。

1 行人再識別

行人再識別是給定一張已經切好塊的行人圖像，從一大堆切好塊的圖像中找到與給定圖像中身份相似的，常用于多設備拍攝的圖像或視頻的不連續幀之間。因此行人再識別需要對圖像進行預處理，進行運動人物檢測，劃定可能存在人物的候選區域；然后針對候選區域中的人物進行特征匹配及距離度量，得到相似度結果。目前行人再識別在圖像及視頻數據庫上的效果如表1和表2所示。

表1 行人再識別圖像數據集上的方法對比

表2行人再識別在視頻數據集上的方法對比

行人再識別為三個步驟分別是特征提取、距離度量和相似度排序。其中特征提取與距離度量是行人再識別效果好壞的關鍵。由于行人再識別的效果依賴于提取特征，所以提出更好的特征是目前的研究熱點。目前提取的特征有以下幾類：（1）外觀底層特征，如顏色、紋理、SIFT 特征等；（2）深度視覺特征，根據輸入（2）圖像改進網絡、在網絡加入處理模塊、更改網絡的卷積過濾器、在網絡結構中增加處理函數；（3）多種特征組合，如外表特征+姿態特征、視覺特征+標記信息、條塊加權直方圖+顏色名描述特征等。但由于光照強度、角度以及遮擋對行人再識別的直接影響，需要采用能夠克服以上因素的特征能夠有效保證行人再識別的有效性及準確性。身高作為人體的生理特征，不會在行走過程中變化，在有輕微遮擋時也能夠得到，故可以作為身份識別的特征；步態也是人們重要的生物特征，由于人們步伐的頻率以及幅度各不相同，可以作為身份識別的特征；結合新提出的身高特征、步態特征以及衣服顏色特征作為融合特征。對提取到的特征進行距離度量，得到給定圖像中與序列圖像中行人的相似程度，最后根據相似度排序得到最佳匹配結果。

1.1 行人檢測

行人檢測得到圖像中運動的行人候選區域，目前行人檢測方法分為兩類：基于背景建模和基于統計學習的方法。基于背景建模的方法是通過對背景建立模型，得到前景運動的目標并將其作為候選區域，背景建模實現簡單，但也存在一些問題：畫面抖動問題、無法適應光照變化等問題和靜止目標突然運動等問題；基于統計學習的方法是目前較為常用的方法，根據大量的樣本構建行人檢測分類器，提取的特征為灰度、邊緣、紋理等，分類器主要包括SVM、AdaBoost及深度學習。本文采用基于方向梯度直方圖HOG的SVM分類器實現行人檢測。

1.2 提取身高特征

目前常用的身高測量方式主要是主動式測量，例如使用尺度工具、超聲波、激光、紅外等方式測量。主動式測量準確度很高，但是過程中必須按順序逐個測量，非常耗費時間，而且需要現場人員測量。但是在一些公共場所，并不需要很精確的身高，只需要得到估算的身高數據即可，由于人流量較大，無法通過傳統的測量方法完成測量。隨著計算機視覺的發展，基于視頻圖像的身高測量方法應運而生。利用計算機視覺可以實現隨時隨地的測量，具有無接觸性，而且不需要專門人員現場測量[1]。

基于計算機視覺的身高測量有雙目測量和單目測量。雙目測量不需要參照物，利用雙目相機計算得到的相機內、外參數計算得到目標的深度，再利用三角定理計算得到目標身高。

文獻[2]是單目測量的經典算法，通過參考平面上兩對點來確定參考平面的消失線，根據不平行于參考平面參考方向的消失點和參考高度，得到透視矩陣，結合交比測量指定方向上的高度、平行于參考平面的平面上的目標面積或長度的比率以及推算攝像機位置。本文采用了單目測量方式得到目標人物的身高特征。

1.3 步態識別算法

步態識別是生物特征識別的一個新興領域，它通過人們走路的知識進行身份識別。目前的步態識別算法分為：（1）將大腿建模并連接為鐘擺，判斷其傾斜角度的信號頻率分量進行識別；（2）從光流圖像得到相位和頻率特征；（3）時空相匹配的步態識別方法等。步態識別的效果取決于人體形狀準確檢測的結果，可將其過程看作一系列靜態姿勢在時間軸上的序列，然后識別出序列上的姿勢變化規律便可以得到結果[3]。

本文利用視頻中的多幀圖像生成步態能量圖，比較步態能量圖并進行分析得到是否為同一目標的結果。

1.4 KISSME距離度量算法

對象與目標間的相似度計算采用度量方法，目前使用的度量方法分為以下兩類：（1）基于馬氏距離的方法，如KISSME、LMNN等；（2）基于分類技術和集成技術：，如集成多個SVM（按權值或按表述方式）、跨視圖字典學習（CDL）、跨視圖語義投影等。

KISSME距離度量方法是基于馬氏距離的一種方法。馬氏距離是由印度統計學家馬哈拉諾比斯（P.C.Mahalanobis）提出的，表示數據的協方差距離，它是一種有效的計算兩個未知樣本集的相似度的方法，與歐氏距離不同的是它考慮到各種特性之間的聯系[4]；當協方差cov（x，y）>0時，表示x樣本集與y樣本集正相關，當協方差cov（x，y）<0時，表示x樣本集與y樣本集負相關，當協方差 cov（x，y）=0時，表示x樣本集與 y樣本集不相關。計算馬氏距離的核心在于計算相關矩陣M的值，但矩陣M的值需要不斷迭代優化，造成的計算量很大，所以出現了許多基于馬氏距離的優化方案。KISSME用簡單的協方差計算替代了復雜迭代的優化過程，實現了馬氏距離計算復雜的改進。

2 軌跡重現

軌跡重現時根據目標人物出現的位置重現復現其運動軌跡，在本文中將多個位置的經緯度坐標與地圖中的道路數據相結合，得到目標人物的運動軌跡。

本文的軌跡重現基于百度地圖API實現，百度地圖提供了Web、iOS以及Andriod平臺的各種API及源代碼，本文使用Web端的軌跡上傳API，通過上傳軌跡上的經度和維度數據點，可以在地圖上顯示重現后的軌跡。本文在道路不同位置上架設相機捕捉畫面，當目標任務出現在不同相機上時，可得到不同相機對應的經緯度，上傳至百度地圖軌跡上傳API上，即可得到重現的軌跡。

3 結語

本文實現了基于行人再識別的軌跡重現。其中，使用行人再識別技術彌補了行人識別需要依賴于人臉等清晰特征的局限性，也增加了可靠性；融合身高、步態及衣物顏色作為提取特征具有不易變性質，在不同光照、及輕微遮擋條件下仍能提取目標人物的以上特征并進行距離度量得到相似度；在使用KISSME距離度量后再用簡單的馬氏距離驗證度量結果是否準確；將相機編號并與經緯度建立連接并作為輸入至百度地圖軌跡上傳API，此API將多個位置的坐標進行整合后得到運動軌跡。另外，行人再識別的特征提取中還可繼續發掘，找到更加魯棒和距離較遠的特征。