雙視角下多特征信息融合的步態識別

李一波，李昆

(沈陽航空航天大學自動化學院，遼寧沈陽110136)

步態識別是生物特征識別領域一個具有廣闊應用前景的研究方向，旨在根據人們走路的姿勢進行身份的識別，具有遠距離、非侵犯性、易于感知、難于偽裝等特點［1］.鑒于步態識別的諸多優勢及其在智能監控、人機交互等領域的應用前景，廣大科研工作者積極投入相關的研究當中［2］.近年來，隨著對步態識別研究的深入，涌現出許多算法.根據視角數目的不同，步態研究可分為單視角和多視角.單視角研究是指對單個視角下的視頻序列進行特征提取和識別.由于單視角下的步態序列存在遮擋、視角局限性等影響因素，所能提供的步態信息有限，因此特征選取至關重要.Kusakunniran等［3］提出了加權二值模式(weighted binary pattern，WBP)的方法;張浩等［4］提出了加權動態時間規整(dynamic time warping，DTW)距離的自動步態識別算法;Bashir等［5］提出了基于光流場的步態特征表示方法.針對單視角研究存在的不足，人們發展出了基于多視角的步態識別方法，對多個視角下的步態序列展開研究.多視角能消除圖像中的遮擋影響，提供更多的步態信息，形成不同視角之間的步態信息互補.Kusakunniran等［6］為了解決視角變化對步態識別造成的影響，提出了基于視角轉換模型(view transformation model，VTM)的交叉視覺和多視角步態識別算法;趙永偉等［7］提出了基于多特征和多視角信息融合的步態識別方法;劉海濤［8］引入立體視覺的方法，構造了以三維人體輪廓的質心為參考中心的三維人體輪廓描述子(3D body contour descriptor，3D-BCD).

多視角能提供更多的步態信息，但如何有效利用這些信息是一個研究難點.本文嘗試從雙視角對步態識別開展研究，選取正面視角和側面視角的步態序列作為研究對象，各自獨立地獲取特征，利用融合策略進行雙視角下的步態識別.

1 雙視角步態識別算法

雙視角步態識別的整體流程如圖1所示.首先對正面視角和側面視角的步態序列進行預處理，得到單連通人體輪廓圖形，然后針對正面視角的人體輪廓特征和側面視角人體行走的動態特征分別進行Procrustes均值形狀和動作能量圖(active energy image，AEI)計算，并對動作能量圖采用二維局部保留映射(two-dimensional locality preserving projections，2DLPP)進行降維，最后對2個視角的識別結果進行決策融合達到最終識別的目的.

圖1 雙視角下多特征信息融合的步態識別Fig.1 Flow chart of gait recognition of multiple feature information fusion under dual-view

1.1 預處理

預處理是步態識別中的重要步驟，它的目的在于將人體輪廓從背景中提取出來.在構建背景時采用中值法，選取連續N幀圖像像素的中值作為背景圖像的像素值，即背景圖像b可通過式(1)獲取.

選用文獻［9］中的方法進行差分和二值化:

式中:a(x，y)與b(x，y)分別是當前圖像和背景圖像在像素(x，y)處的灰度值，該函數可根據背景圖像的亮度來檢測其敏感性變化［9］.對二值化處理后得到的運動目標進行形態學處理即可得到單連通人體目標區域，如圖2所示.

圖2 雙視角下單連通人體目標區域Fig.2 The simply connected human target area of two views

1.2 特征提取

由于不同視角下所獲取的步態序列所表達的信息不同，因此對正面視角和側面視角采用不同的特征進行表示.

1.2.1 正面視角

正面視角采用Procrustes均值形狀對步態進行表征.Procrustes均值形狀分析法是方向統計學中一種特別流行的方法，非常適用于編碼二維形狀，并提供了一種好的工具來尋找一組形狀的均值形狀［10］.

正面視角的步態序列存在著從小到大的變化過程［11］，需要進行歸一化處理，以步態周期最后一幀人體輪廓的大小作為歸一化的標準.此外，從正面觀察，人體質心存在周期性的左右偏離，因此采用質心到人體輪廓外接矩形左右兩側的距離比進行周期檢測.人體質心計算公式為:

對一段視頻序列的周期檢測如圖3所示，從圖中可以看出該步態序列的步態周期在24幀左右.

圖3 正面視角步態周期檢測Fig.3 Gait cycle detection of the front view

由于Canny算子具有很好的邊緣檢測性能，不容易受噪聲干擾，能夠檢測到真正的弱邊緣，使用2種不同的閾值能分別檢測強邊緣和弱邊緣，并且當弱邊緣和強邊緣相連時，才將弱邊緣包含在輸出圖像中［12］，因此采用Canny算子提取輪廓線.對提取的輪廓線，用等角度間隔采樣對選取的2個連續周期的輪廓線進行采樣.等角度間隔采樣首先需要把輪廓點的直角坐標(x，y)轉化成以人體質心為原點的極坐標，然后以相同的角度θ=360/N(N為預定的采樣點數)對輪廓點序列進行采樣，輪廓線采樣如圖4(b).

圖4 正面視角輪廓線提取及采樣Fig.4 The contour extraction and sampling of front view

采樣后的輪廓線可描述為k個復數組成的向量，即 Z=［z1z2… zk］T，其中:zi=xi+jyi，(xi，yi)是輪廓線采樣后的坐標.一個步態周期含有n幀圖像，則可得到n個這樣的復數向量，計算配置矩陣，則S的最大特征值對應的特征向量即為所求的Procrustes均值形狀，如圖 5 所示，圖中給出了3個不同目標的 Procrustes均值形狀.

圖5 正面視角Procrustes均值形狀Fig.5 The Procrustes mean shape of front-view

1.2.2 側面視角

選用動作能量圖(AEI)［14］作為側面視角的步態特征.對于給定的步態序列F={f0，f1，…，fN－1}，ft表示第t幀圖像，N表示單周期步態序列的幀數，首先計算相鄰2幀間的幀差圖:

圖6 側面視角動作能量圖計算Fig.6 The calculation of side-view active energy image

圖7 不同目標的動作能量圖Fig.7 Active energy image of different objectives

對得到的AEI采用二維局部保留映射(2DLPP)［15］進行降維.2DLPP 是基于矩陣的子空間學習方法，它能夠保留原始圖像中的空間結構并且能緩解“維數災難”問題.

對于給定的一組 AEI圖像 Ai(i=1，2，…，N)，其大小為m×n，2DLPP的目標函數是

式中:Yi=Aiv，v是n維轉移向量;Sij是相似矩陣，其定義為:當Ai是Aj的k近鄰或者Aj是Ai的k近鄰時，Sij=exp{－ ‖Ai－ Aj‖2/t};否則 Sij=0，t和 k是2個合適的常量.經過運算，目標函數可以轉化為，其中 AT=，L=D－S是一個拉普拉斯矩陣，D是一個對角矩陣表示矩陣的克羅內克乘積，Im是m階單位矩陣.為了移除嵌入中的任意縮放因子，添加限制條件:

因此最小化問題轉化為

運用拉格朗日乘數法，將式(2)轉化為g(a，λ)=vTATLAv+λ(1－vTATDAv).那么式(2)的解可通過求?g/?v=0得到，因此轉換向量v可以通過求解式(3)的特征值問題獲得.

讓 v1，v2，…，vd表示式(3)的d個最小特征值0≤λ1≤λ2≤…≤λd對應的單一正交解向量.那么轉移矩陣v=［v1v2… vd］，每一幅AEI圖像Ai的投影為 Yi=Aiv，i=1，2，…，N.

1.3 識別算法

首先計算步態特征X對各自訓練步態序列c的隸屬度，計算公式為

式中:b＞1是一個常數，可以控制聚類結果的模糊程度.然后取2個視角下隸屬度之和最大的樣本作為最終的識別結果，即

2 實驗結果與分析

本文使用的是中科院自動化所提供的DatasetB多視角數據庫［16］中的正面視角樣本和側面視角樣本進行實驗.該數據庫是一個大規模多視角的步態庫，共有124個人，每個人有11個視角(0°，18°，…，180°)，在3種行走條件下(普通條件、穿大衣、攜帶包裹條件)采集得到.

步態人體輪廓序列的提取采用背景減除法.正面視角采用Canny算子對人體輪廓提取輪廓線，大約420個點，并對輪廓線進行等角度間隔采樣，得到210個點的固定長度，然后利用2個周期的輪廓采樣點計算Procrustes均值形狀;側面視角利用輪廓的寬高比確定步態周期，計算一個完整周期的動作能量圖，在利用2DLPP對動作能量圖進行降維時，選取前20個最小特征值對應的單一正交解向量作為轉換矩陣.

實驗選取普通行走條件的樣本庫對算法進行驗證.DatasetB數據庫中普通行走條件的樣本共有6組，選取正面視角和側面視角下其中的任意3組作為訓練集，用剩下3組作為測試集分別進行測試.訓練時，對相應視角提取對應的特征，存入訓練樣本庫中;識別時，先計算正面視角和側面視角各自測試步態序列的隸屬度，取2個視角下隸屬度之和最大的樣本作為最終識別結果.分別采用數量為40和100的樣本進行實驗，所獲得的平均識別率如表1所示，本文所提方法與其他方法的識別率對比見表2.表2中文獻［6］采用了神經網絡構造視角轉換模型;文獻［7］在每個視角下進行了3種特征融合，然后再進行多視角融合;文獻［8］采用了立體視覺的研究方法，構建了三維人體輪廓描述子.

表1 本文算法的正確識別率Table 1 The correct recognition of proposed algorithm%

表2 識別結果對比Table 2 Comparison of recognition results %

從表2中可以看出，本文方法的識別率高于文獻［8］雙視角的識別率，與文獻［6-7］的三視角識別率相當，這是因為動作能量圖能很好地表征側面視角的動態特征，而Procrustes均值形狀又能夠對正面視角的輪廓整體特征進行較好的表示，通過對兩者的融合可以提升單視角下對應特征的識別率.同時本文的整個計算過程簡單，計算量較小，3個測試序列從特征提取到最終識別的平均運算時間如圖8所示.

圖8 測試樣本平均運算時間Fig.8 The average computation time of test sample

3 結束語

本文提出了一種在雙視角下多特征融合的步態識別算法，實驗數據證明了正面視角和側面視角融合識別的有效性，也說明了對于雙視角的步態識別，可以通過尋找合適的特征表示，來提高識別的快速性和準確性.另外將多視角的步態識別研究具體化，更貼近實用，并且還提出了正面視角質心到人體輪廓最小外接矩形左右兩側的距離比進行周期檢測的方法.在CASIA步態數據庫上進行的實驗驗證了算法的有效性，獲得了較高的識別率，并且計算量較小.但是該算法還存在許多需要改進的地方:正面視角的步態輪廓邊緣線很容易受到噪聲干擾，需要對預處理算法進行優化;2DLPP在求取轉換矩陣時需要所有訓練樣本參與計算，對訓練樣本數量的變化較為敏感.未來的工作重點在于擴展算法的通用性，使其能適應各種視角的情況，解決在背包、穿大衣等復雜行走條件下的識別問題.

［1］NIXON M S，CARTER J N，NASH J M，et al.Automatic gait recognition［C］//IEEE Colloquium on Motion Analysis and Tracking.London，UK，1999:1-6.

［2］王科俊，侯本博.步態識別綜述［J］.中國圖象圖形學報，2007，12(7):1153-1160.WANG Kejun，HOU Benbo.A survey of gait recognition［J］.Journal of Image and Graphics，2007，12(7):1153-1160.

［3］KUSAKUNNIRAN W，WU Qiang，LI Hongdong，et al.Automatic gait recognition using weighted binary pattern on video［C］//Proceedings of the 2009 Sixth IEEE International Conference on Advanced Video and Signal Based Surveillance.Genova，Italy，2009:49-54.

［4］張浩，劉志鏡.加權DTW距離的自動步態識別［J］.中國圖象圖形學報，2010，15(5):830-836.ZHANG Hao，LIU Zhijing.Automated gait recognition using weighted DTW distance［J］.Journal of Image and Graphics，2010，15(5):830-836.

［5］BASHIR K，XIANG Tao，GONG Shaogang.Gait representation using flow fields［C］//The British Machine Vision Conference.London，UK，2009:113.1-113.11.

［6］KUSAKUNNIRAN W，WU Qiang ，ZHANG Jian，et al.Cross-view and multi-view gait recognitions based on view transformation model using multi-layer perceptron［J］.Pattern Recognition Letters，2012，33(7):882-889.

［7］趙永偉，張二虎，魯繼文，等.多特征和多視角信息融合的步態識別［J］.中國圖象圖形學報，2009，14(3):388-393.ZHAO Yongwei，ZHANG Erhu，LU Jiwen，et al.Gait recognition via multiple features and views information fusion［J］.Journal of Image and Graphics，2009，14(3):388-393.

［8］劉海濤.基于立體視覺的步態識別研究［D］.合肥:中國科學技術大學，2010:47-52.LIU Haitao.Gait recognition based on stereo vision［D］.Hefei:University of Science and Technology of China，2010:47-52.

［9］王亮，胡衛明，譚鐵牛.基于步態的身份識別［J］.計算機學報，2003，26(3):353-360.WANG Liang，HU Weiming，TAN Tieniu.Gait based human identification［J］.Chinese Journal of Computers，2003，26(3):353-360.

［10］WANG Liang，NING Huazhong，HU Weiming.Gait recognition based on Procrustes shape analysis［C］//Proceedings of the International Conference on Image Processing.Rochester，New York，USA，2002，3:433-436.

［11］高海燕，阮秋琦.正面視角的步態識別［J］.智能系統學報，2011，6(2):119-125.GAO Haiyan，RUAN Qiuqi.A gait recognition method based on front-view［J］.CAAI Transactions on Intelligent Systems，2011，6(2):119-125.

［12］阮秋琦.數字圖像處理［M］.北京:電子工業出版社，2007:204-209.

［13］楊靜，阮秋琦，李小利.基于頻譜分析的Procrustes統計步態識別算法［J］.智能系統學報，2011，6(5):432-439.YANG Jing，RUAN Qiuqi，LI Xiaoli.A Procrustes statistical gait recognition algorithm based on spectrum analysis［J］.CAAI Transactions on Intelligent Systems，2011，6(5):432-439.

［14］ZHANG Erhu，ZHAO Yongwei，XIONG Wei，et al.Active energy image plus 2DLPP for gait recognition［J］.Signal Processing，2010，90(7):2295-2302.

［15］CHEN Sibo，ZHAO Haifeng，KONG Min，et al.2D-LPP:a two-dimensional extension of locality preserving projections［J］.Neurocomputing，2007，70(4/5/6):912-921.

［16］WANG Yuan，YU Shiqi，WANG Yunhong，et al.Gait recognition based on fusion of multi-view gait sequences［C］//Proceedings of International Association of Pattern Recognition International Conference on Biometrics.Hong Kong，China，2006:605-611.