基于視覺的步態識別研究綜述

劉曉芳,周 航,韓 權,昝孟恩,韓 丹

(北京交通大學 電子信息工程學院,北京100044) E-mail:16125032@bjtu.edu.cn

1 引 言

隨著計算機視覺,信息安全領域的發展,身份識別技術成為研究熱點.生物特征識別技術即基于個人獨特的生理或行為特征進行自動身份鑒別的技術,正在快速發展.因為生物特征不會像身份證等持有物那樣易被轉移或盜用,從而更安全可靠方便.其中步態識別是根據人體走路的姿勢進行身份識,相比指紋識別,語音識別,人臉識別等技術,步態特征識別具有易采集,遠距離,非接觸,難偽裝和非侵入性等優勢,是生物特征識別、計算機視覺和信息安全等領域的研究熱點.圖1為一些常見生物特征.

步態分析起源于心理學,研究者發現每個人都具有自己獨特的走路姿勢和走路步伐[1].醫學研究認為,步態是取決于人體幾百個運動學參數的個體獨有的人體特征,不同的個體運動又有步幅,步態周期等差異,因此考慮到步態的所有信息,步態就具有唯一性,所以步態可以作為識別人體的生物特征.在國外,最早,Johansson通過實驗發現,可以通過觀察捆綁在人體上的信號燈(MLD,Moving Light Displays)的運動來判斷人體的行走模式[2].在此基礎上,Kozlowski和Cutting發現通過MLD實驗可以識別人的性別[3],識別自己的朋友[4].最早真正提出利用步態特征來進行人體識別的是Niyogi和AdelSon等[5].1996年,Murase和Sakai提出利用時空相關匹配算法來區別不同人的不同步態[6],Huang等在他們工作基礎上增加正則分析對實驗進行了改善擴展[7].1998年,Little與Boyd提出通過從光流圖像中提取頻率和相位特征來識別人體[8],為之后步態識別提供了很好的特征依據.2002年,Abdelkader等提出用步態序列自相似圖來提取步態特征進行步態識別[9].2005年,Begg等將支持向量機算法應用于步態自動識別[10],SVM在步態識別中得以應用.2011年,文獻[11]以一種新的步態表示--步態光流圖(GFI)用于步態識別,進一步提高了步態識別率,步態識別的新思路被不斷地提出.2014年,文獻[12]介紹總結了當可穿戴技術和非可穿戴技術在步態識別中的應用,最后說明基于人體傳感器的便攜式系統的步態分析是很有前途的方法.2016年,Rida等[13]提出了一種將統計依賴(SD)特征選擇與全球定位保留投影(GLPP)相結合的新方法,以減輕類內變化的影響,改善了服裝變化和攜帶條件等對識別性能產生的不利影響.

圖1 一些常見的生物特征Fig.1 Some commonly used biological features

國內關于步態識別的研究開展較晚.2003年,王亮等提出了一種利用監督模式分類技術在低維特征空間中使用空間時間輪廓分析的簡單有效的步態識別算法[14].2007年,陶大程教授提出了一種基于廣義張量判別分析與Gabor特征的步態識別方法[15].2009年,文獻[16]提出用幀差能量圖像(FDEI)提取步態特征來抑制輪廓不完整的影響.2012年,文獻[17]提出的用于人體步態識別的新的補丁分布特征(PDF)達到了較好的識別率.2016年,在文獻[14]基礎上,文獻[18]提出了一種用于人類步態特征表示和維數降低算法的稀疏張量判別位置對齊算法,提高了識別效果.2017年,文獻[19]基于文獻[15]和文獻[17]提出了使用全糾正(SEL_TCB)框架的子空間集合學習及其基于張量和局部補丁的擴展方法用于步態識別算法.為了推進步態識別研究的發展,中科院自動化所免費提供CASIA步態數據庫的下載,目前,包括清華大學,香港理工大學等多所國內著名大學在內的研究機構已大力投入到步態識別研究中.

圖2 文獻統計Fig.2 Statistic literature

2000年,美國國防部高級研究署DARPA(Defense Advance Research Project Agency,DARPA)提出了一個重大項目HID(Human Identification at a Distance,HID)計劃來研究遠距離情況下人體的特征識別,大大推動了人體步態識別技術的發展.目前,捷豹路虎公司正在將人臉識別和步態識別相結合的技術應用于汽車防盜系統中,步態識別應用越來越廣泛.近年來世界各地科研學術機構越來越重視步態識別技術的研究.如圖2為截止到2017年8月20日通過Web of knowledge統計的近十年來關于步態識別的發表文獻數和各研究方向的步態識別發表論文數,足以見得研究人員對步態識別研究的關注程度以及步態識別涉及的研究范圍之廣.

圖3 步態識別框架Fig.3 Framework of gait recognition

步態識別技術一般包括人體檢測,特征提取,分類識別三部分.首先選取數據庫,對數據庫中的人體運動圖像進行分割,獲得目標前景.其次,分析周期性,進行特征提取,并將步態特征存儲為固定格式.最后,將待識別的特征與已知分類的特征進行比對,達到最終分類識別的效果.它的基本框架如圖3所示.

2 人體檢測

2.1 常用步態數據庫

表1所示為目前國內外已經建立的常用的步態識別數據庫及其具備的特征,實驗研究中可根據不同研究方向選擇不同的數據庫.

當前這些數據庫一般都采集范圍小,缺乏普遍性和廣泛適用性.目前步態數據庫規模比較大的是英國的南安普頓大學創建的Soton 大步態數據庫和中國科學院自動化研究所創建的多視角步態數據庫(CASIA-B)和紅外步態數據庫(CASIA -C),并且CASIA -C數據庫是目前唯一公開的大規模紅外步態數據庫.USMT步態數據庫是目前少有的三維步態庫之一.以下圖4,圖5,圖6為數據庫樣圖.

圖4 CASIA-B多視角庫Fig.4 CASIA-B multi-view databases

2.2 前景分割

在步態識別中,準確地定義并分割出人體運動前景直接影響后續步態的特征提取及識別分類.表2 為前景分割常用方法.背景差分方法包括GMM、CodeBook、SOBS、VIBE、W4、SACON、Color(基于顏色信息的背景建模檢測方法)算法等算法;幀差法包括相鄰幀差法和三幀差分法;光流法包括稀疏光流、稠密光流等算法.不同的方法適用不同的場景,目前使用最廣泛的是背景差分法.

圖5 CMU Mobo不同衣著數據庫Fig.5 CMU Mobo different clothing databases圖6 OU-ISIR Treadmill dataset B不同速度數據庫Fig.6 OU-ISIR Treadmill dataset B of different speed databases

表1 步態數據庫Table 1 Gait database

前景分割結果受許多因素如鬼影,背景抖動,噪聲,閾值選擇等的影響.為解決這些干擾,文獻[29]在傳統VIBE基礎上通過檢測并重新初始化鬼影區域加快了鬼影區域的消除,實驗運行速度較快,實時性較好.卡爾曼濾波在圖像處理中的應用特別廣泛,文獻[30]在卡爾曼濾波基礎上進行背景自適應更新使得算法能更好地適應背景抖動等復雜環境變化.文獻[31]提出了一種改進的混合中值濾波去除圖像中低密度隨機脈沖噪聲的方法,能夠保留前景更多的細節特征,改善了分割效果.另外,隨著深度學習的快速發展,CNN和FCN等在前景分割中的應用越來越廣泛.

前景分割的時候可能會錯誤地將光照產生的陰影判斷為前景,直接導致后面步態特征提取時發生錯誤,所以去除運動目標陰影也是前景分割中面臨的一重要問題.

目前去陰影的方法主要有基于模型的方法和基于屬性的方法.基于模型的方法是根據運動場景、運動目標、光照條件等先驗數據信息建立陰影模型,檢測結果在一定程度上較好[32].文獻[33]提出了一種背景重建去除陰影的方法.該方法使用背景差分檢測移動物體,運用背景重建方案來創建背景參考圖像,通過比較和分析參考圖像與原始視頻幀來去除陰影.此方法能夠適應不同的光照條件,有較好的魯棒性.而基于屬性的方法是利用陰影的幾何特點、色度、亮度等信息來標識陰影區域,在基于屬性的方法中又有基于RGB顏色空間的陰影消除算法和基于色彩空間轉換的陰影消除算法[32].文獻[34]分析和討論了基于RGB顏色空間的陰影去除算法,引入RGB顏色數據來檢測前景陰影區域,最終去除陰影目標.文獻[35]基于色彩空間轉換利用基于HSV顏色空間的陰影消除算法獲得待處理的陰影區域,結合圖像區域信息,判斷運動目標的四個邊界點是否為陰影點,最終消除陰影連通區域.它可以避免目標顏色接近目標陰影的區域被錯誤地剔除,顯著地提高了陰影消除的質量.

表2 前景分割常用方法Table 2 Common methods of foreground segmentation

一般情況下前景分割后需要進行形態學處理如腐蝕,膨脹,開運算,閉運算等來消除噪聲點以達到更好的處理結果.

圖7 前景分割結果Fig.7 Foreground segmentation result

圖7為前景分割結果圖像(以中科院CASIA-A數據庫為例).

3 步態參數數據

3.1 周期性

步態具有周期性,協調性和均衡性,在步態的一個周期內進行分析,可以減小步態識別計算量,提高運算效率.可根據二值圖像每幀中的圖形區域的特征如面積,質心,外界矩形等變化情況來分析步態周期性.

常用的確定步態周期的方法如下,2002年,Abdelkader等人根據人體區域綁定框的寬度信號分析了步態序列的周期性,并提出了一種在側面視角和偏離側面視角較大情況下的周期計算方法[36],同年,Collins等人分析了CMU Mobo步態庫中6個視角下人體寬度和高度信號的周期性,并根據周期性提取步態序列的關鍵幀以降低計算復雜度,提高運算效率[37].2004年,Kale等人通過觀察人體寬度向量的范數隨時間的變化來分析步態的周期性[38].2005年,Sarkar等人根據人體區域下二分之一像素點的累計數目來確定步態的周期性[39],和文獻[36，37]均是在多視角下分析步態周期性.2007年,Gedikli等人利用檢測矩形框和輪廓的差分距離的相關性來確定步態周期[40],在CMU、SOTON、USF數據庫上得到了較好的結果.2012年,文獻[41]提出了一種步態周期檢測的雙橢圓擬合方法,具有很好的魯棒性.2015年,賁晛燁等人在深度信息分層編碼基礎上進行步態周期檢測分析[42].2016年,文獻[43]將音頻分析領域中的頻率跟蹤算法應用于慣性信號獲取步態周期的信息,得到了良好效果,文獻[41-43]為國內步態識別研究做出了巨大貢獻.

3.2 其他參數

1)人體基本參數

一般包括身高、體重、四肢長度等測量信息.

表3 特征提取Table 3 Feature extraction

2)跨步特征參數

步態的跨步特征是足著地的空間特征量,包括跨步長、步長、步寬、步速、步調、姿態以及搖擺時長等參數.

3)運動學參數

運動學分析是分析肢體在空間中運動角度的變化,比如身體各部分之間,關節之間的角度的變化范圍,而不分析運動產生的原因.

4)動力學參數

動力學參數是指測量引起關節或肢體節段運動的力或力矩.一般包括人體行走時足底與地面之間形成的作用力,即地面反作用力.還有由肌肉、韌帶和骨骼產生的關節內力或力矩等參數.

5)肌肉特征參數

肌肉特征參數主要測量肌肉力、肌電信號等.

在以上步態的參數中,人體基本參數和跨步特征參數分析較為直觀,而運動學參數和動力學參數對步態的細節描述的更為詳細,有利于深入分析步態特征,但是動力學參數只能通過傳感器來獲得,還必須有測試人的配合,且采集的步態特征數據量較小.對步態識別來說,要在算法實用性的基礎上,盡可能提取準確的步態特征.

4 特征提取

特征提取是步態識別的核心問題.特征就是指某一物體能夠區分于其他物體的屬性或者屬性的集合.在提取特征時,需要遵循的原則有:首先,提取特征的區分度要高,即相同樣本的特征相似性較高,不同類樣本之間可分性較高;其次,特征易于提取且維數不宜過高,以減少運算量和提高效率;最后,特征計算具有較高的魯棒性.

針對部分方法提取特征維數較高的問題,可根據特征降維方法進行降維,比如文獻[62]和文獻[63]均采用PCA特征減小尺寸,解決維度問題,減小計算量,提高運算效率.文獻[18]提出的一種用于人類步態特征表示和維數降低算法的新穎的稀疏張量辨別位置對齊算法,該方法可分性強,避免了潛在的過度擬合現象,提高了運算效率.

5 識別分類

在提取步態特征后,需要將待測序列特征與樣本特征進行比對完成分類識別,目前步態識別研究中常用的識別分類方法有模板匹配法,基于支持向量機的方法,基于人工神經網絡的方法和統計學方法等方法.

5.1 模板匹配法

模板匹配法廣泛應用于計算機視覺領域,是常用的分類方法.模板匹配的實際操作思路很簡單:拿已知的模板,和原圖像中同樣大小的一塊區域去比對.Foster等人[64]的區域度量獲取的特征對比也是基于模板匹配的方法.Sarkar等人[65]對序列圖像的相似性描述也是采用模板匹配方法.文獻[66,67]運用的也是基本的模板匹配方法.

5.2 基于支持向量機的方法

在機器學習領域,支持向量機(Support Vector Machine,SVM),在解決圖像處理小樣本,非線性,高維識別模式中分類識別效果較好.文獻[68]利用粒子群優化(PSO)算法優化支持向量機(SVM)的模式識別方法,實驗結果表明,對于五個正常步行步態的下肢分析,PSO-SVM分類器的識別率高于非參數優化SVM分類器.文獻[69]使用SVM和貝葉斯網絡混合方法進行步態識別取得了較好的結果.文獻[44,45]都是運用SVM進行識別分類.

5.3 基于人工神經網絡的方法

BP(Back Propagation,BP)神經網絡是一種按照誤差逆向傳播算法訓練的多層前饋神經網絡,是目前應用最廣泛的神經網絡[32].文獻[63]利用PCA進行高維步態輪廓特征的有效降維,采用BP神經網絡進行特征分類,取得了較好的效果.文獻[70]在BP神經網絡基礎上,采用一種改進的粒子群優化MPSO-BP神經網絡方法識別人體下肢在平地行走、上樓梯和起坐三種典型運動模式下的步態相位,最終實驗取得了較好的結果.

5.4 統計學方法

模板匹配忽略了隱藏在步態序列中姿態之間的連接關系,同時無法解決運動時間快慢的響應問題,隱馬爾科夫列(HMM)可以很好地融合這些信息,在基于隱馬爾可夫模型的步態識別中,步態序列被看做人體行走姿態在給定約束條件下的一種遍歷關系.文獻[71]通過初始化的修正使訓練出的HMM接近全局最優,并給出Bayes相關先驗學習方法,客觀性增強,最終結果經中國科學院CASIA的原始步態視頻測試,達到比較高的識別率.文獻[62]與[63]相比,都是運用PCA降維,[62]最終是運用HMM進行識別分類.文獻[47,50]運用的也是HMM的識別分類方法.

除了隱馬爾可夫模型,還有其他統計學方法,Ortells等[72]介紹了一種基于魯棒統計的方法,減輕步態序列受嚴重和持續缺陷的影響,非參數統計檢驗應用于最終識別結果.

5.5 其他常用方法

除了以上方法,還有其他常用的一些如最近鄰法(The Nearest Neighbor),k-近鄰法(k-Nearest Neighbor,kNN)和動態時間規整DTW(Dynamic Time Warping,DTW)的方法.

最近鄰法的主要思想是為了判定未知樣本的類別,以全部訓練樣本作為代表點,計算未知樣本與所有訓練樣本的距離,并以最近鄰者的類別作為決策未知樣本類別的唯一依據.文獻[73,74]采用最近鄰法實現步態的分類識別.但是最近鄰法對噪聲數據較為敏感,所以對最近鄰算法進行延伸得到k-近鄰法.kNN分類器是基于模型向量機的算法,在分類決策時,kNN分類器只與極少量的相鄰樣本有關,且kNN分類器的訓練過程較簡單,無需估計參數,適合于多分類問題.文獻[75,76]是采用k-近鄰法分類的方法進行步態分類識別.動態時間規整DTW是將不同時間長度的運動特征模板按照一定的時間規整曲線規整,從而使特征模板長度達到一致,然后再進行匹配,這種方法的優勢是可以解決動態模式的相似性度量和匹配問題[32].文獻[48,77]采用的是動態時間規整的方法.

6 步態識別總結展望

6.1 步態識別研究已解決的難點

在步態特征提取及別研究中,運動人體穿著如服飾,鞋子之類,人體運動速度及地面狀況等多種因素都會影響步態的識別結果,步態序列拍攝時的分辨率和角度問題也嚴重影響步態識別的最終結果.以下主要從衣著服飾,速度,角度三個方面分析當前已解決的難點問題.

Yu Guan等[78]分析了服裝、地面等因素單獨影響識別性能的程度提出了一種基于隨機子空間方法(RSM)和多數表決(MV)的分類器集成方法,實驗效果較好.Rida等[13]提出了一種將統計依賴(SD)特征選擇與全球定位保留投影(GLPP)相結合的新方法,減輕類內變化的影響,改善了服裝變化和攜帶條件等對識別性能產生的不利影響.

賁睨燁等[79]提出一種線性插值方法對速度不等的步態識別具有很好的魯棒性.文獻[80]通過使用受影響較小的身體部位,提出了一個通用的特征集為基礎的方法來恢復速度的過渡,改善了步行速度變化帶來的步態識別問題.

解決視角變化的步態識別有完整的典型相關分析(C3A)[81]和Connie提出的組合多視角矩陣表示法和新型隨機核心極限學習機的方法[82].

6.2 步態識別發展趨勢

6.2.1 特征融合

多模態生物特征識別是利用兩種或兩種以上的個體模態來提高傳統的單一模態的方法,用步態與其它的生物特征融合可以提高識別的魯棒性[42].2010年,耿新等[83]提出情境感知的融合方法,并將人臉和步態進行動態自適應地融合,實驗結果比單一生物識別方法具有更高的識別率.2015年,文獻[84]在文獻[83]基礎上,對多個角度視頻下的人臉和步態提出了基于決策層的自適應加權融合方法.除此之外,Zhang等[60]采用步態、人臉和掌紋三種不同模態,將來自不同身份和模式的所有原始生物特征數據投影到統一的子空間上,結果運行良好.多模態生物特征識別是步態識別領域的發展趨勢.

6.2.2 復雜背景下大規模數據庫的建立

步態識別算法在大規模數據庫上的研究還不太多,復雜背景下大規模數據庫的建立是真實生活場景下進行步態識別的基礎,充分研究在多視角下,多人行走以及不同的光照條件等復雜環境下的步態識別算法,對開發實時穩定的步態識別身份認證系統具有重要研究意義.

6.2.3 多臺攝像機和三維方法的應用

目前的步態識別算法大部分采用一臺攝像機獲取步態數據,利用二維方法進行步態識別,為了提高識別效果,可以研究多臺攝像機和三維方法的步態識別算法應用.通過使用多臺攝像機,可以改善遮擋問題帶來的特征提取問題;對人體運動進行三維建模,可以更加準確的提取人體的步態運動特征,實現更加復雜的特征匹配,多臺攝像機和三維方法也是進行人體識別的趨勢所在[48].

7 本文小結

步態識別作為當下生物特征識別領域的研究熱點,以其自身的優勢在智能監控,人機交互,安防領域等方面有廣泛的應用前景.本文主要從人體檢測,步態周期性,特征提取,識別分類四方面綜述了步態識別的各種方法,其中人體檢測主要介紹了當前步態數據庫和前景分割兩部分,當前數據庫規模較小,在復雜背景下大規模數據庫中進行前景分割有待提高.周期性是對步態的一個直觀分析,在步態的周期內進行特征提取可以減小計算量,目前步態特征提取的發展方向是特征融合,多個特征組成特征向量以達到更高的特征唯一性.分類識別是整個步態識別系統的最終目的,可根據不同的步態場景選擇不同分類識別方法.當前步態識別的算法僅僅停留在解決或改善了部分問題的基礎上,多數研究成果還不能滿足實際應用的需要.所以基于視覺的步態識別研究,還需要廣大科研工作者繼續在步態識別領域探索和發展.