基于步態的行人重識別算法研究

官洪運，繆新苗，王亞青，井倩倩，張抒藝

（東華大學信息科學與技術學院，上海201620）

0 引言

行人重識別是在不同地點和時間點拍攝的特定人物圖像之間構建對應關系的過程。其在視頻監控、行為分析、目標跟蹤和搜索等領域逐漸普及。由于視角、光照強度、姿態、背景雜波、圖像分辨率和遮擋等方面的不確定性會導致大量的視覺外觀變化，行人重識別在實際生活中廣泛應用還存在巨大的挑戰。

在較短的時間內，視覺特征在行人重識別的方面較為有效。但隨著時間的推移，這些特征的有效性就會降低，而生物學特征的優勢逐漸突出?？紤]到在實際的道路監控系統中，視角的限制造成遮擋或故意遮擋等現象，面部識別、虹膜識別等難以實現。本文研究基于步態的行人重識別算法，利用圖像特征進行相似行人目標預檢測，再跟蹤相似行人提取其步態特征進行身份識別，從而提高識別效率。相似行人目標預檢測過程中引入關節點坐標確定上下身比例提高區分度。

1 行人目標預檢測

行人目標預檢測指的是在給定目標行人圖片的情況下，從行人圖像數據庫中找出相似行人目標區域。預檢測快速排除外觀特征不同的行人，縮小海量視頻中跟蹤行人的數量，提高識別效率。本文通過改進的HSV 顏色特征與LBP 特征進行相似行人目標預檢測。

1.1 HSV顏色特征

目前在計算機視覺領域有多種類型的顏色空間，根據不同的應用場景、需求以供選擇。HSV（Hue，Saturation，Value）是一種常見的利用圓柱坐標表示的顏色空間，相較于RGB 色彩模式，它能夠更直觀地反映色彩的陰暗、色調以及鮮艷程度，適用于顏色對比。這個模型中顏色的參數分別是：色調（H）、飽和度（S）、亮度（V）[1]。

本文將HSV 顏色空間的劃分為11 個區域，作為HSV 顏色空間量化策略，見表1。

表1 HSV 顏色空間量化策略

本文將遍歷圖像的所有像素點，根據上文提到的HSV 顏色空間量化策略判定各像素點所屬的顏色空間Ci，計算屬于同一顏色空間像素點的數目NCi及占整體像素點的比例pCi作為顏色特征。此方法忽略了顏色集體分布情況等細節信息，相對維度緯度較低。

1.2 LBP紋理特征

LBP（Local Binary Pattern，局部二值模式）是一種用來描述圖像局部紋理特征的算子[2]。原始的LBP 算子具有灰度不變性，旋轉圖像會得到不同的LBP 值。同時原始LBP 算子只能覆蓋中心像素點四周固定半徑范圍內的其他像素點，無法滿足不同制度和頻率紋理的需求，且對于有P 個采樣點的LBP 算子其模式達到2P，模式過多，信息冗余度過大。研究者在原始LBP 特征算子的基礎上做了改進，如圖1 所示。

圖1 LBP算子變形

本文考慮將尺度不變及旋轉不變的LBP 結合提取中心像素點的紋理特征，取R=2，P=8，即采用LBP28計算局部紋理特征值，如圖3（c）所示。每個子區域內建立一個LBP 特征的統計直方圖，整個圖片就由若干個統計直方圖組成。

1.3 相似行人目標預檢測

結合上文提到的顏色特征與LBP 特征進行相似行人目標預檢測，具體步驟如下：

（1）圖像特征提取。與以往的研究不同，本文為了更加詳細的描述行人特征，首先利用卡內基梅隆大學感知計算實驗室發布的開源提取骨架結構程序庫OpenPose[3]對單幀圖像進行骨骼關鍵點提取如圖2 所示。利用關節點坐標確定上下身比例在豎直方向對行人的上下半身進行劃分，加強特征的區分度。

（2）分別提取矩形框上下兩部分的顏色特征，包括此區域出現的顏色及所占比例。將顏色特征按照黑、灰、白、紅、橘、黃、綠、青、藍、紫的順序排列占比并轉化成顏色特征向量。同時計算子區域內各像素點的LBP值，統計得到LBP 直方圖。圖像特征表示為分別代表上下身的顏色特征，hu、hl則代表上下半身的紋理特征。

圖2 骨架結構特征

（3）從測試圖像(w×h) 左上角(0，0) 開始，以(0.1×w)作為步長，循環遍歷圖像，依次截取與目標行人圖像相同大小的圖像子區域。并重復步驟（1）、（2）提取行人特征。

（4）計算矩形框內圖像與給定行人圖像相似度，分別計算顏色特征相似度sc、紋理特征相似度st。本文采用歐氏距離（式（1））計算特征相似度。兩張圖像的相似度如式（2）所示：

整體的相似度用s=wusu+wpsp表示，其中wu、wp是上下半身的比例系數，su、sp為上下身圖像相似度。對矩形框相似度si進行排序，相似度最高的區域即為測試行人的相似區域。

2 基于步態特征的行人重識別

醫學研究表明，步態是一種獨特的人體特征，它依賴于人體的數百個運動參數。不同的個體具有不同的步態長度和步態周期等。同時步態具有無需用戶配合，不易偽造等特點，它在監控領域的應用是非常有前途的、有意義的。步態分析可分為基于模型的方法和非模型的方法。本文采用非模型方法步態能量圖（Gait Energy Image，GEI）來描述步態。

2.1 步態能量圖

步態能量圖像是基于步態周期中步態輪廓的平均圖像信息建立的步態特征[4]，具有很強的識別能力和抗斷裂誤差。步態能量圖通過單張圖像展現了人在一個行走周期內步態的輪廓、相位及頻率特征，同時排除了運動時間帶來的干擾。具體公式如式（3）所示：

其中，N代表一個步態周期包含的幀數；t代表當前幀在步態周期中的序號；Bt(x,y)表示第t個經過預處理的二值步態輪廓圖像。與采用單幀二值輪廓序列的步態表示方法相比，GEI 表示方法在一定程度上節省了計算機資源和時間成本，抗噪性增強。

2.2 步態能量圖合成及特征提取

常用的步態能量圖合成方法有兩種：一種是以身寬的一半作為重疊的中心合成，而另一種是以人頭頂為中心進行合成[5]。本文利用第二種方法進行合成。行人輪廓二值圖像的背景部分為0，行人部分為1，因此可以通過計算每行的像素值來判定人頭頂位置及四肢位置坐標。根據人體形態學，當人步幅最大的時候，人的頭頂點處于輪廓外接矩形框上邊沿中點，對于同一周期內的其他圖像進行背景填充，確保人頭頂點處于外接矩形中點。

在步態能量圖中，采用疊加的方法計算出一個步態周期內多個二值輪廓圖的平均值。但是，盲目地應用圖像疊加來計算平均值，會導致輪廓內部大量有用信息被忽略，降低了識別的準確性。本文考慮在合成步態能量圖的基礎上，提取其HOG 特征作為分類識別的輸入特征，提高區分度。步態能量圖合成及HOG 特征提取如圖3 所示。

圖3 步態特征提取

2.3 步態分類識別

（1）步態數據庫

為了便于研究和促進技術的發展，國內外研究人員已經建立了一些可用的步態數據庫包括USF、CASIA、CMU MoBo、HIDUMD 等。本文利用步態數據庫CASIA-B 來驗證提出方法的可行性及有效性。

CASIA-B 數據集[6]是一個大型的多視角步態數據集，由124 名測試者從11 個視角(0°,18°,36°…162°,180°)獲取的步態數據組成，每個人的步態數據包括10 個不同的變量(CV)：行走速度快慢（nm01-06）、背包（bg01-02）、穿大衣（cl01-02）。除了視頻文件，數據集中還包含視頻文件中提取的人體輪廓，如圖4 所示。

圖4 單幀步態輪廓圖

CASIA-B 數據庫提供的部分單幀步態輪廓圖存在內部缺失如圖4（b）虛線框選部分，以及圖4（c）、4（d）所示的連續幀中的間斷。通過擴張、腐蝕及圖像開閉等形態學操作使圖像特征更為完整。

（2）分類識別方法

為解決多視角情況下的步態識別問題，將識別問題看作分類問題進行訓練，即找到測試圖像與行人標簽之間的對應關系。本文選用一種適合非線性、小樣本分類識別方法——隨機森林（Random Forest，RF）。通過調整訓練參數和數據比較，驗證本方法的有效性和可行性。與支持向量機(SVM)相比，在相似識別率的情況下，RF 單訓練比SVM 以線性函數作為核函數訓練花費的時間短。如果使用其他非線性核函數，SVM訓練需要更多的時間和成本。

本文采取在已有公開步態數據集上進行步態識別算法的分析，計算最終的正確識別率（Proability of Correct Recognition，PCR）[7]來衡量算法的有效性，如式（4）所示。

測試樣本Ti，經過分類識別，輸出類型為k，當k=i時，則判定為正確識別，NC為所有正確識別的樣本總和。計算N個測試樣本的正確率來評估算法性能。

3 實驗結果與分析

本實驗的計算機環境：Intel Core i5 2.9 GHz CPU，8 GB 內存，macOS 10.12.6 操作系統，PyCharm +OpenCV3.0。

3.1 相似行人目標預檢測實驗

采用本文改進的HSV 顏色空間量化策略融合LBP 紋理特征在CASIA-B 數據集提供的視頻進行相似行人目標預檢測實驗，檢測效果如圖5。

圖5 預檢測結果

3.2 步態分類識別實驗

實驗中利用scikit-learn 庫提供的隨機森林模塊進行分類識別，hyper 參數設置為使用500 個決策樹（n_estimators=500），樹深度最大為100，以達到可接受的性能和誤差率。

正常情況下僅考慮視角變化，在此部分實驗中，將各個角度正常情況下的步態能量圖nm01-04 為訓練集，分別以nm05-06、cl01-02、bg01-02 作為測試集測試集，提取GEI 的HOG 特征，通過實驗得出不同角度下的識別結果。同時以同樣的測試集和訓練集，不提取HOG 特征直接進行分類訓練，進行對比實驗。對于服裝（CL）和攜帶條件（BG）變化的情況，將數據集cl01-02 按4:1 的比例分成訓練集和測試集進行識別分類，bg01-02 也采用同樣的方法進行實驗。實驗結果如圖6 所示。

圖6 步態分類實驗結果

3.3 實驗結果分析

從相似行人預檢測實驗結果（圖5）看出，本文提出方法能在視角變化、背景復雜的情況下進行行人相似區域預檢測。在實際系統應用中，可以通過設定相似度閾值，選定跟蹤行人目標數，提高后續步態特征提取、識別效率。在步態分類識別實驗中，利用本文方法合成的步態能量圖進行行人分類識別，正常情況（NM）下平均識別率達96%。相對于直接輸入步態能量圖進行分類識別，以在合成步態能量圖基礎上提取的HOG特征作為輸入訓練樣本有效提高識別率。當存在外觀因素影響時，由圖6（b）、（c）實驗結果看出本文方法對于提高步態識別率同樣有效。人背包的情況（BG）下，平均識別率由51%提高到57%。對于人穿著大衣遮蓋大量肢體信息的情況（CL），平均識別率由56%提高到62%。

4 結語

速排除外觀特征不同的行人，縮小海量視頻中跟蹤行人的數量，提高檢索效率。當相似目標再次進入識別區域時，確保及時跟蹤提取步態特征用于后續分類識別。同時在預檢測過程中利用行人關節點坐標確定上下身比例，提高區分度。最后以合成步態能量圖的HOG 特征作為最終行人重識別的標準進行身份識別，在避免過多的步態信息損失的同時減少了光照、外觀變化帶來的干擾，提高了識別準確率。

本文利用行人圖像特征進行相似區域預檢測，快