基于人體部件特征的行人重識別

蘇曜，何坤，彭橦，惠子薇

（1.四川大學計算機（軟件）學院，成都 610065；2.四川大學電子信息學院，成都 610065）

0 引言

行人重識別是指采集范圍互不重疊的攝像頭下所獲取的行人視頻流來識別同一行人。近年來，隨著時代信息化、智能化的不斷發展，行人重識別已成為大規模監控網絡中行人目標跟蹤［1］和人類行為分析［2］的一個重要課題。但由于所獲取的圖像中行人外觀受光照、視角、姿態、遮擋等因素的影響，因此行人重識別仍面臨巨大的挑戰。

目前的行人重識別算法主要分為基于深度學習的方法和傳統方法?；谏疃葘W習的行人重識別算法一方面利用深度學習獲取表征能力強的行人特征來提高識別準確率［3］，另一方面通過訓練正負圖像對得到具有較高識別能力的相似性度量網絡［4］?；谏疃葘W習的方法通過對大量的數據進行訓練可以獲得很好的效果，但是由于行人重識別數據集的數據量相對較少，所以其性能較差。

相比于基于深度學習的行人重識別方法，傳統方法不需要進行大量的訓練，對行人圖像提取特征并識別更為高效。根據不同方法在行人重識別中的側重點不同，傳統方法可分為基于特征提取和基于度量學習的方法?；诙攘繉W習的方法旨在通過學習距離函數或度量使類間差異最大而類內差異最小，其多采用馬氏距離的度量方式，通過樣本訓練得到不同的度量空間。但是基于度量學習的方法在識別效果對樣本的依賴程度很大，而且在不同場景下其性能表現也各不相同。

基于特征提取的方法關注于高效提取魯棒的行人特征表示，為使所提取的特征更具判別性，需要選擇合適的特征和提取方式來減輕或消除光照、視角變化等因素的影響。Gray等人［5］對行人圖像劃分為幾個較大的水平區域并分別提取顏色和紋理特征，并利用Adaboost算法學習得到對視角變化魯棒的ELF特征，但是該算法沒有考慮行人局部特征的影響，識別準確率相對較低。Farenzena等人［6］提出SDALF特征，充分利用了行人的對稱性質，首先用分割算法將行人分為頭部、軀干和下肢三部分，再對各部件分別提取顏色特征和紋理特征，所得特征對姿態和視角變化魯棒。但是該特征沒有考慮光照對于顏色信息的影響，而且在提取過程中的對行人的分割效果較差，不利于提取魯棒的特征表示。Liao等人［7］提出的LOMO特征通過Retinex算法處理光照變化，并最大池化水平方向的局部區域特征來解決行人的姿態、視角變化問題，顯著提高了識別準確率。但是LOMO特征只描述了圖像的一階統計特征，而未考慮行人部件區域的二階統計特征。

針對以上特征提取算法的不足，結合行人在豎直和水平方向上的特征分布情況，本文算法首先在豎直方向上對行人的不同身體部件進行部件檢測，得到各部件在圖像中的對應區域，并對各部件所在區域提取對應的二階統計特征，再融合水平方向提取的一階統計特征后，得到了更具魯棒性的特征表示。實驗結果表明，所提出的特征提取方法性能優異。

1 行人部件特征提取

在攝像頭下所獲取的圖像中對行人提取特征時，根據圖像中行人的特征分布狀況來設計不同的提取方式能使特征更具魯棒性。通過觀察不同視角下行人圖像的顏色、紋理特征的分布情況，不難發現：①在豎直方向上，行人不同身體部件的特征分布較為統一。②在同一水平方向上，行人的特征分布較為一致。對此，本文算法首先在豎直方向上對行人圖像進行人體部件檢測獲取行人的不同身體部件，再對各部件所在區域提取具有二階統計特性的協方差特征。在不同水平方向上，選取LOMO特征作為行人的一階統計特征。最后融合不同方向所提取的具有不同統計特性的特征后，得到了魯棒的行人特征表示。

然而，在對行人圖像直接進行特征提取時，由于不同攝像頭下光照條件不同，圖像中同一行人的顏色特征會有不同程度的差異。因此，首先使用具有顏色不變的多尺度Retinex算法［8］來處理光照條件對行人圖像的影響。在對行人圖像進行光照處理后，同一行人的顏色信息能夠保持一致，對圖像進行人體部件檢測與特征提取也更加準確。

1.1 一階統計特征提取

在行人圖像中，由于行人在同一水平方向上的顏色、紋理等特征較為一致，因此，在同一水平方向上選取合適的特征與特征的提取方式可以有效地描述行人的局部特征。水平方向上的特征提取提取流程如圖1所示，首先在利用5×5的小塊，以步長為5在同一水平方向上移動并分別提取對應位置的HSV顏色直方圖和SLITP直方圖作為行人局部的顏色和紋理特征。然后，最大化小塊在同一水平方向上所有特征。最后將小塊以步長為5向下移動以提取行人在所有水平方向上的特征。

圖1 水平方向特征提取示意圖

1.2 二階統計特征提取

1.2.1 人體部件檢測

在不同場景、不同視角下的行人圖像中，行人姿態多變的特點在圖片中表現為水平方向上行人手臂的位置多變，而在豎直方向上，行人的頭部、軀干、大腿、小腿的形狀與它們之間的位置關系相對穩定。利用這些部件的相對位置信息，結合曾春等人［9］通過實驗得到的行人各部件在圖像中的最佳分布區域，本文將行人圖像劃分為頭部、軀干、左側大腿、右側大腿、左側小腿、右側小腿六個部件區域。針對六個部件所屬的不同區域，并根據行人的胖瘦程度與步伐幅度，分別設計不同的模板來代表行人各部件的輪廓信息。行人圖像各部件區域劃分與相應模板圖片如圖2所示。為了使模板能夠與行人圖像準確匹配，六個部件的模板均能夠在對應區域的水平或豎直方向上移動一定長度。

圖2 人體部件與對應模板

在匹配階段，僅利用邊緣信息來計算模板與行人圖像間的相似度可以顯著提高匹配速度。在對模板圖像求梯度，對行人圖像用Canny算子進行邊緣檢測后，所得包含邊緣信息的模板圖像T與行人圖像I之間的相似度距離公式如下：

其中， ||T表示模板圖像T中的所有邊緣點，τ為閾值參數。對于輸入圖像中的某一匹配點x，相似度距離是模板輪廓點與其在行人圖像對應位置中最近邊緣點之間的平均距離。模板與行人圖像間的相似度距離越小，模板與行人對應部件的匹配度則越高。為了減小背景噪聲影響并提升匹配的穩定性，Xie等人［10］進一步比較了邊緣點間的梯度方向的相似度。其相似度可以通過最小二乘法求解下式得到：

其中?是測量邊緣點方向的函數（以弧度為單位）。行人各部件模板的輪廓與行人圖像對應區域的相似度為：

其中，λ是取值為［0,1］之間的權重系數。最后，行人的不同部件所在區域可以通過行人部件檢測得到。圖3為通過本文人體部件算法得到的部分實驗結果。

圖3 VIPeR數據集上各方法的識別精度曲線

圖3 部分人體部件檢測結果

1.2.2 基于人體部件的特征提取

在對行人圖像進行人體部件檢測后，需要對所得各部件所在區域選擇適合的特征進行提取。協方差特征作為一種不同于顏色直方圖的二階統計特征，通過計算圖像某一區域內各像素點的顏色、梯度等信息的協方差矩陣，可以得到該區域的整體特征表示。對于區域內某一像素點的特征向量，本文選取顏色信息（YCbCr,HSV,Lab,nRGB）和梯度信息作為像素點(x,y)的特征表示：

其中，y為像素點在圖像中的縱坐標，Yx,Yy,Yxx,Yyy表示像素在水平與豎直方向上的一階、二階梯度，由于不同顏色模型下的Y,L,V均代表亮度，因此只保留Y作為亮度信息。對于行人某一部件區域R，協方差矩陣可通過下式計算：

由于對人體各部件區域計算所得的協方差矩陣不在歐式空間下，直接進行度量計算并不能有效地識別行人身份。因此，本文使用Zeng等人［11］提出的用特征均值向量、特征標準差向量、特征相關系數向量和Sigma向量的組合來近似的代表協方差特征。其中，Sigma向量是根據Hong等人［12］提出的能夠保持協方差特性的一種近似表示。在分別對行人的6個部件區域提取協方差特征后，得到了描述行人整體信息的二階統計特征。

2 度量學習

在將所提取的特征進行融合得到基于人體部件特性的行人特征后，為衡量所得特征的判別性，各行人圖像間的相似度由跨視圖二次判別分析 （cross-view quadratic discriminantanalysis，XQDA）算法計算。該方法在高斯模型的基礎上，根據KISSME算法［13］所推得的馬氏距離函數，進一步學習一個子空間來處理視角變化，并降低特征維度：

其中 Σ′I=WTΣIW和 Σ′E=WTΣEW分別表示樣本中相同行人間和不同行人間特征的協方差矩陣。該子空間的求解可以通過最大化相同行人間和不同行人間的差異求得：

3 實驗結果與分析

本文算法在Intel（R）Core（TM）i5-9400 CPU 2.90 GHz，16 G內存的臺式電腦上使用MATLAB2 019b實現，并在VIPeR、PRID450S數據集下進行實驗驗證和比較。

VIPeR數據集包含兩個攝像頭下的632個行人的1264張圖像，且每一對行人圖像均有較大視角和姿態的變化。為驗證本文算法的性能，本文與現有的其他基于人體部件（SDALF［6］，PFI［14］）和局部特征提取（HSCD［11］，LOMO［7］）的行人重識別算法進行比較。在實驗過程中，所有算法均隨機選取316個行人的632張圖像進行訓練，在10次實驗后求均值得到最終的識別結果。圖3所示為VIPeR數據集上各方法的識別精度曲線圖，從圖中曲線可以直觀得出，本文算法的整體識別精度明顯高于對比算法。為了更準確的比較識別準確率，表1列出了所有算法rank=1，5，10和20的識別準確率。由表1可知，對比于SDALF，PFI等基于人體部件特征的方法，本文算法在rank=1的識別準確率分別提高了22.06%和16.42%。對比于HSCD和LOMO等對圖像分塊提取局部特征的方法，本文算法在rank=1的識別準確率分別提高了10.77%和1.93%。在其他排名的識別準確率上，本文算法也均優于其他算法。

表1 VIPeR數據集上各方法的識別率（%）

為進一步驗證本文算法的有效性，本文在PRID450S 數 據 集 上與 TMA［15］,GCT［16］,FTCNN+XQDA［17］,LOMO［7］等行人重識別算法進行比較。PRID450S數據集包含兩個攝像頭下的450個行人的900張圖像。在實驗中，所有行人圖像尺寸設置為128×64，并隨機選取一半的行人圖像進行訓練，在10次實驗后求均值得到最終的識別結果。表2為PRID450S數據集上各算法的識別準確率，由表中結果可知，本文算法識別準確率均高于其他算法，且提升效果更加顯著。

表2 PRID450S數據集上不同方法的識別率（%）

4 結語

本文提出了一種基于人體部件特征的行人重識別算法，通過分析圖像中行人在不同方向上的特征分布情況，在豎直方向上對行人進行部件檢測，并提取二階統計特征，再融合水平方向上的一階統計特征，得到了較好的行人特征表示。實驗結果表明，本文算法所提取的行人特征對光照條件，姿態、視角變化與復雜背景等具有較好的魯棒性。在以后的研究中，將考慮從不同尺度下提取有效的行人部件特征來提高識別率。