視頻中人體行為識(shí)別的時(shí)序建模算法的分析

李韻 鄧曉軍 李濤哲 賀迅宇

摘要：目前人體行為識(shí)別是視頻分析領(lǐng)域的研究熱點(diǎn)，準(zhǔn)確有效的人體行為識(shí)別的關(guān)鍵是動(dòng)作時(shí)序建模和特征表示。該文歸納了人體行為識(shí)別常用的數(shù)據(jù)集，對(duì)人體行為識(shí)別表示方法進(jìn)行了全面的回顧，并介紹了人體行為識(shí)別研究的最新方法，包括RGB和深度數(shù)據(jù)中手工設(shè)計(jì)的動(dòng)作特征的進(jìn)展，基于深度學(xué)習(xí)的時(shí)序表示方法的最新進(jìn)展及當(dāng)前研究的熱點(diǎn)。最后總結(jié)了目前待解決的問(wèn)題，對(duì)未來(lái)行為識(shí)別可能的發(fā)展方向進(jìn)行了論述。

關(guān)鍵詞：人體行為識(shí)別;深度學(xué)習(xí);動(dòng)作特征表示;數(shù)據(jù)驅(qū)動(dòng);視頻分析

1引言

人體行為識(shí)別具有廣泛的應(yīng)用，例如智能視頻監(jiān)控、視頻存儲(chǔ)和檢索、醫(yī)療康復(fù)、人機(jī)交互等。人體行為識(shí)別根據(jù)采集到的視頻時(shí)間序列數(shù)據(jù)來(lái)分析，在計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)領(lǐng)域，這也是一個(gè)具有挑戰(zhàn)性的問(wèn)題。目前，人體行為識(shí)別中有許多關(guān)鍵問(wèn)題尚未解決。

視頻是時(shí)域上有序圖像的集合，其獨(dú)有的時(shí)域相關(guān)性可以縮小很多視覺(jué)問(wèn)題的搜索空間，魯棒的人體動(dòng)作建模和特征表示是人體行為識(shí)別的關(guān)鍵，也是視頻領(lǐng)域和機(jī)器學(xué)習(xí)中的經(jīng)典問(wèn)題，圖1是動(dòng)作識(shí)別的原理框圖。近年來(lái)，已經(jīng)提出了多種時(shí)序建模方法，包括基于關(guān)鍵點(diǎn)跟蹤的軌跡特征，基于時(shí)空變化的局部和全局特征提取，基于深度信息的運(yùn)動(dòng)變化等。傳統(tǒng)的表示依賴(lài)人工設(shè)計(jì)，通用性差，近年新興的深度學(xué)習(xí)則能實(shí)現(xiàn)一定程度的自動(dòng)學(xué)習(xí)，許多研究人員也將深度學(xué)習(xí)應(yīng)用于視頻領(lǐng)域人體行為識(shí)別。然而視頻的特征學(xué)習(xí)研究剛起步，大部分算法移植自圖像領(lǐng)域，尚不能有效利用視頻特有的時(shí)域相關(guān)性先驗(yàn)。豐富的視頻數(shù)據(jù)使得行為分析有更好的擴(kuò)展性和靈活度，對(duì)這些人體行為識(shí)別方法進(jìn)行調(diào)查是非常有意義的。

本文從數(shù)據(jù)集開(kāi)始介紹，總結(jié)了許多近期的工作，將動(dòng)作分類(lèi)方法概括為基于手工特征的方法和基于特征學(xué)習(xí)的方法，這些方法可以應(yīng)用于不同類(lèi)型的數(shù)據(jù)。

2 數(shù)據(jù)集

在計(jì)算機(jī)視覺(jué)領(lǐng)域中，有許多數(shù)據(jù)集可用于評(píng)估人體行為識(shí)別算法性能。最先開(kāi)始人體行為識(shí)別主要是識(shí)別一些比較簡(jiǎn)單的視頻，這樣的視頻稱(chēng)為實(shí)驗(yàn)室拍攝的視頻，如跑步、拍手等，這類(lèi)數(shù)據(jù)的背景都比較干凈，代表數(shù)據(jù)庫(kù)有KTH，Weizmann等;Hollywood和UCF Sports數(shù)據(jù)庫(kù)是基于電影或者電視節(jié)目，因?yàn)殡娪岸际怯蓪?zhuān)業(yè)的設(shè)備拍攝的，所以視頻質(zhì)量都比較高;HMDB51、UCF101等數(shù)據(jù)庫(kù)是對(duì)網(wǎng)絡(luò)端的視頻進(jìn)行識(shí)別，這類(lèi)數(shù)據(jù)的差異性非常大，通常是用戶(hù)根據(jù)自己的手持設(shè)備拍攝進(jìn)行上傳的，因此這類(lèi)數(shù)據(jù)的復(fù)雜程度往往是最高的。

基于深度學(xué)習(xí)的方法比基于手工特征的方法具有更好的識(shí)別性能，通過(guò)將深度學(xué)習(xí)方法用于動(dòng)作特征學(xué)習(xí)，行為識(shí)別精度得到了顯著提高。在這些RGB數(shù)據(jù)集中，HMDB51和UCF 101最常用于評(píng)估所提出的方法，幾乎所有基于深度學(xué)習(xí)的最新方法的研究都使用這兩個(gè)數(shù)據(jù)集來(lái)驗(yàn)證算法的有效性，UCF101數(shù)據(jù)集的識(shí)別精度已超過(guò)98%，但是HMDB51尚未達(dá)到等效精度，表1列出了人體行為常用二維數(shù)據(jù)集，注意到Kinetics數(shù)據(jù)集是用于人體行為識(shí)別的新的且更具挑戰(zhàn)性的數(shù)據(jù)集。

二維數(shù)據(jù)并不能很好地解決人體行為存在的自遮擋等問(wèn)題，而三維數(shù)據(jù)對(duì)自遮擋的信息得到了補(bǔ)充，但這使得數(shù)據(jù)集變得復(fù)雜，處理也變得相對(duì)困難。由于計(jì)算機(jī)硬件的發(fā)展，微軟Kinect等設(shè)備的出現(xiàn)，使得三維數(shù)據(jù)更容易采集和處理，表2列出了常用的三維數(shù)據(jù)集。

與RGB數(shù)據(jù)集相比，基于深度學(xué)習(xí)的方法在RGBD和骨架數(shù)據(jù)集上的應(yīng)用較少，造成這種情況的主要原因之一是這些數(shù)據(jù)集規(guī)模較小。然而，隨著大規(guī)模且具有挑戰(zhàn)性的RGBD和骨架數(shù)據(jù)集的發(fā)展，例如NTURGB + D數(shù)據(jù)集，基于深度學(xué)習(xí)的深度和骨架數(shù)據(jù)方法已成為人體行為識(shí)別領(lǐng)域的主要研究主題。

3傳統(tǒng)方法

傳統(tǒng)方法主要是人工提取特征，旨在捕獲視頻中表示動(dòng)作的人體運(yùn)動(dòng)和時(shí)空變化，RGB數(shù)據(jù)和深度數(shù)據(jù)有各自的特性和優(yōu)勢(shì)，不同數(shù)據(jù)有不同的建模方法。

3.1基于RGB數(shù)據(jù)

基于時(shí)空體積的方法是應(yīng)用模板匹配技術(shù)，這些方法的關(guān)鍵是使用時(shí)空模板并基于該模板執(zhí)行有效的匹配。這是最早的人體行為識(shí)別方法，主要方法有二維全局特征提取，MEI（運(yùn)動(dòng)能量圖像）和MHI（運(yùn)動(dòng)歷史圖像）使用幀差法檢查像素點(diǎn)運(yùn)動(dòng)并分別通過(guò)二值化和灰度化生成，包含有關(guān)視頻上下文的有用信息。Blank等人提出MEI模板的體積擴(kuò)展，通過(guò)視頻序列中的剪影信息得到3D時(shí)空體（STV），如圖2所示。當(dāng)相機(jī)固定時(shí)，這些方法可以使用背景差分得到人體剪影來(lái)獲取人體輪廓等形狀信息，然而在復(fù)雜的場(chǎng)景和相機(jī)運(yùn)動(dòng)的情況下，難以獲得準(zhǔn)確的剪影和輪廓，并且在人體被遮擋時(shí)不能識(shí)別出準(zhǔn)確的外觀信息。而局部特征不依賴(lài)底層的人體定位和跟蹤，對(duì)人體外觀變化和遮擋等問(wèn)題也不是很敏感，因此在行為識(shí)別中局部表示方法更多。

基于STIP的方法從視頻中提取局部特征點(diǎn)來(lái)表示動(dòng)作，STIP中的“興趣點(diǎn)”的檢測(cè)發(fā)生在視頻運(yùn)動(dòng)突變時(shí)，所以當(dāng)人體進(jìn)行直線或勻速運(yùn)動(dòng)時(shí)這些特征點(diǎn)就很難被檢測(cè)出來(lái)。Laptev將Harris空間興趣點(diǎn)擴(kuò)展到3D Harris，檢測(cè)時(shí)空的局部結(jié)構(gòu)，局部特征提供旋轉(zhuǎn)不變性，在光照變化下保持穩(wěn)定，并且比其他方法具有更強(qiáng)的遮擋力，但是在背景運(yùn)動(dòng)和相機(jī)運(yùn)動(dòng)的情況下，基于局部時(shí)空特征的方法會(huì)生成許多背景特征點(diǎn)，并且物體的運(yùn)動(dòng)估計(jì)會(huì)產(chǎn)生較大的誤差。

時(shí)空特征點(diǎn)在時(shí)間延伸下可能并不位于相同的空間位置，因此提取到的特征并不一定描述興趣區(qū)域，而軌跡特征追蹤給定坐標(biāo)圖像沿時(shí)間的變化，使用人體骨架的關(guān)鍵點(diǎn)的跟蹤路徑來(lái)表示動(dòng)作?；谲壽E的經(jīng)典行為識(shí)別方法是Wang等人提出的改進(jìn)的密集軌跡（iDT），運(yùn)動(dòng)描述子（主要指HOF和MBH）能更準(zhǔn)確的描述動(dòng)作，使描述子更準(zhǔn)確地描述人體運(yùn)動(dòng)。這種方法可以克服視角的變化，然而需要精確的二維或三維人體骨架模型及關(guān)鍵點(diǎn)的精確跟蹤，同時(shí)人體動(dòng)作建模和跟蹤仍然是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)難題。

3.2基于深度圖像與骨骼數(shù)據(jù)

與基于RGB視頻的人體行為識(shí)別不同，骨骼數(shù)據(jù)僅包含人體關(guān)鍵點(diǎn)的2D或3D坐標(biāo)提供了高度抽象的信息，并且沒(méi)有環(huán)境噪聲（例如光照、衣著），使得行為識(shí)別算法能夠?qū)Ｗ⒂趧?dòng)作的魯棒特征。隨著深度傳感器在行為識(shí)別中的應(yīng)用，使用深度數(shù)據(jù)已經(jīng)展現(xiàn)了良好的行為識(shí)別性能。

基于深度序列的方法主要使用人體深度圖中的運(yùn)動(dòng)變化來(lái)描述動(dòng)作。Yang等人提出的深度運(yùn)動(dòng)圖（DMM），從正面、側(cè)面和俯視面投影來(lái)壓縮時(shí)空深度結(jié)構(gòu)，形成三個(gè)運(yùn)動(dòng)歷史圖，然后用HOG特征表示這些運(yùn)動(dòng)歷史記錄圖，并將生成的特征連接起來(lái)描述動(dòng)作?；诠羌艿男袨樽R(shí)別方法是使用深度數(shù)據(jù)進(jìn)行研究的另一個(gè)活躍領(lǐng)域，其方法利用視頻幀之間人體關(guān)節(jié)的變化來(lái)描述動(dòng)作。Xia等人從Kinect深度圖中提取3D骨骼關(guān)節(jié)位置，如圖3所示，并使用該3D關(guān)節(jié)點(diǎn)直方圖表示人體姿勢(shì)，從不同角度獲得關(guān)節(jié)點(diǎn)之間的對(duì)應(yīng)關(guān)系提取更多的魯棒特征。基于深度信息的方法比基于RGB的方法能夠?qū)崿F(xiàn)實(shí)時(shí)的動(dòng)作識(shí)別和更好的識(shí)別性能，盡管深度數(shù)據(jù)可以更準(zhǔn)確地描述人體的運(yùn)動(dòng)特征，但RGB的數(shù)據(jù)外觀信息豐富，因此一些研究人員還嘗試使用多特征融合對(duì)人體行為進(jìn)行建模。

Chaaraoui等人嘗試融合關(guān)節(jié)特征和深度信息特征，降低因遮擋和視角變化而錯(cuò)誤提取骨架特征。基于數(shù)據(jù)融合的方法試圖保持多種數(shù)據(jù)模式間的特性來(lái)獲得更好的特征表示，大多數(shù)基于多模態(tài)數(shù)據(jù)融合的方法可以提供更優(yōu)的識(shí)別結(jié)果，但同時(shí)這意味著需要處理更大的數(shù)據(jù)量，使得算法的計(jì)算復(fù)雜度增加，多模態(tài)數(shù)據(jù)的有效組合仍然是人體行為識(shí)別和深度學(xué)習(xí)中的未解決問(wèn)題。

4深度學(xué)習(xí)方法

深度學(xué)習(xí)在多層神經(jīng)網(wǎng)絡(luò)的支持下，逐層地把視頻從原始的像素空間變換到高層特征空間，能自動(dòng)學(xué)習(xí)視頻表示，不需要人工介入，從效果來(lái)講，一般優(yōu)于傳統(tǒng)方法，在人體行為識(shí)別領(lǐng)域，深度學(xué)習(xí)方法已得到廣泛應(yīng)用。

4.1 RGB數(shù)據(jù)驅(qū)動(dòng)方法

在人體行為識(shí)別的研究中，關(guān)鍵且具有挑戰(zhàn)性的一個(gè)問(wèn)題是如何表示視頻時(shí)間維度上的特征，基于RGB視頻數(shù)據(jù)的深度學(xué)習(xí)方法根據(jù)時(shí)序建模方式的不同可分為基于雙流結(jié)構(gòu)的方法，基于3D卷積的方法和基于LSTM的方法。

Tran等人[7]探討了一個(gè)新的3D CNN結(jié)構(gòu)，直觀來(lái)講視頻信號(hào)與二維圖像不同，是一種三維的信號(hào)，因此簡(jiǎn)單的做法就是把二維CNN進(jìn)行三維的擴(kuò)展，它從視頻中同時(shí)學(xué)習(xí)空間和時(shí)間信息，效果優(yōu)于二維CNN。而大多3D卷積是基于片段的方法，并沒(méi)有考慮視頻級(jí)的時(shí)空特征變化，Zhang等人提出了視頻級(jí)四維卷積神經(jīng)網(wǎng)絡(luò)（V4D），利用四維卷積來(lái)建模長(zhǎng)距離的時(shí)空變化，同時(shí)利用殘差結(jié)構(gòu)來(lái)保存三維時(shí)空特征。

雙流網(wǎng)絡(luò)的輸入是單幀圖像和多光流幀圖像堆疊，在雙流網(wǎng)絡(luò)中光流根據(jù)圖像序列計(jì)算得到，相比之下，3D卷積網(wǎng)絡(luò)將視頻視為三維時(shí)空結(jié)構(gòu)，并使用3D卷積方法學(xué)習(xí)人體行為特征，從結(jié)果上來(lái)看，雙流網(wǎng)絡(luò)的效果更好一些，然而光流需要消耗大量的計(jì)算資源。有許多研究嘗試改善這兩種網(wǎng)絡(luò)結(jié)構(gòu)的性能。雙流卷積網(wǎng)絡(luò)的一些代表性擴(kuò)展包括，Wang等人詳細(xì)討論了雙流網(wǎng)絡(luò)的輸入、卷積網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練策略，引入分段和稀疏采樣的思想，提出時(shí)序分割網(wǎng)絡(luò)（TSN），如圖4所示，進(jìn)一步改善了雙流網(wǎng)絡(luò)的結(jié)果。Feichtenhofer等人提出了SlowFast網(wǎng)絡(luò)結(jié)構(gòu)，Slow路徑以低幀率運(yùn)行捕獲空間語(yǔ)義信息，F(xiàn)ast路徑以高時(shí)間分辨率捕獲快速變化的運(yùn)動(dòng)信息，這種快慢結(jié)合的雙路徑通過(guò)側(cè)向連接（lateral connection）進(jìn)行融合，考慮了時(shí)間維度上不同速度對(duì)時(shí)空信息捕捉的影響。

上述基于卷積神經(jīng)網(wǎng)絡(luò)的模型一次僅能處理有限少量的視頻幀，而LSTM可以很好地對(duì)長(zhǎng)序列結(jié)構(gòu)建模，基于LSTM的方法則將視頻視為幀的有序序列，并通過(guò)每個(gè)幀的特征變化來(lái)表示人體行為。Ng等人用LSTM將卷積網(wǎng)絡(luò)輸出的幀級(jí)特征聚合成視頻級(jí)，獲取更全局的視頻時(shí)序信息。由于3DCNN輸入是固定的片段，不能像LSTM一樣建模全視頻，復(fù)雜度也較高，但是卻相比單純CNN與LSTM的組合效果更好，時(shí)間卷積很好地捕捉了視頻中的時(shí)序信息，將3DCNN與LSTM組合也是一個(gè)很好的策略。

4.2 深度數(shù)據(jù)驅(qū)動(dòng)方法

深度學(xué)習(xí)方法可以從各種形式的數(shù)據(jù)中學(xué)習(xí)人體動(dòng)作特征，傳統(tǒng)的RGB數(shù)據(jù)容易受環(huán)境、衣著等無(wú)關(guān)行為的因素影響，深度數(shù)據(jù)給行為分析研究帶來(lái)不少便利。

傳統(tǒng)的DMM無(wú)法很好地展現(xiàn)三維運(yùn)動(dòng)特性且傾向于忽略外觀信息，Wang等人使用時(shí)間秩池將深度視頻中的3D運(yùn)動(dòng)信息緊湊地編碼為常規(guī)體素集（3DV）建模三維空間和運(yùn)動(dòng)特征，然后將3DV抽象為一個(gè)點(diǎn)集，并端到端地輸入點(diǎn)云網(wǎng)絡(luò)中以進(jìn)行3D動(dòng)作識(shí)別。人體3D骨架數(shù)據(jù)是自然的拓?fù)鋱D，而不是基于RNN或CNN方法處理的序列向量或偽圖像，因此最近很多研究將有效表示圖形結(jié)構(gòu)數(shù)據(jù)的圖卷積網(wǎng)絡(luò)（GCN）應(yīng)用到骨架行為識(shí)別任務(wù)。Yan等人首次提出了時(shí)空?qǐng)D卷積網(wǎng)絡(luò) （ST-GCN），使用面向圖的卷積網(wǎng)絡(luò)（GCN）來(lái)建模帶有圖的骨架關(guān)節(jié)之間的基本關(guān)系，如圖5所示，其中每個(gè)節(jié)點(diǎn)對(duì)應(yīng)于人體的一個(gè)關(guān)節(jié)，將人體連通性和時(shí)間作為圖的邊。

然而，深度傳感器的準(zhǔn)確性和成本意味著基于深度和基于骨架的行為識(shí)別方法目前僅適用于有限范圍內(nèi)和特定環(huán)境中。如基于結(jié)構(gòu)光和基于TOF的深度傳感器很容易受到光線的影響，在室外環(huán)境中誤差較大且精度較低。此外，還有其他可用于測(cè)量深度的傳感器，例如激光掃描儀，但是這些設(shè)備價(jià)格昂貴，不適合用于視頻監(jiān)控和家居監(jiān)控。

4.3 無(wú)監(jiān)督方法

除了上述數(shù)據(jù)驅(qū)動(dòng)的監(jiān)督方法外，還有一些比較優(yōu)秀的新方法延伸到視頻領(lǐng)域，特別是一些無(wú)監(jiān)督方法的出現(xiàn)。無(wú)處不在的視頻中含有豐富的動(dòng)態(tài)結(jié)構(gòu)信息，很自然想到將視頻數(shù)據(jù)作為強(qiáng)大的無(wú)監(jiān)督學(xué)習(xí)信號(hào)進(jìn)行視覺(jué)表示，然而大規(guī)模視頻數(shù)據(jù)的實(shí)現(xiàn)仍是人工智能的重大挑戰(zhàn)。Zhuang等人提出了視頻實(shí)例嵌入（VIE）框架，如圖6所示，在視頻中學(xué)習(xí)視覺(jué)嵌入，使得在嵌入空間相似視頻距離近，而無(wú)關(guān)視頻距離遠(yuǎn)，在大規(guī)模視頻數(shù)據(jù)上進(jìn)行訓(xùn)練時(shí)VIE可以為行為識(shí)別和圖像分類(lèi)提供強(qiáng)大的表示，他們得出同時(shí)具有靜態(tài)和動(dòng)態(tài)處理路徑的兩路徑模型是最佳的。

視頻領(lǐng)域的弱監(jiān)督/無(wú)監(jiān)督學(xué)習(xí)才剛剛開(kāi)始，由于無(wú)須人工標(biāo)注或少量標(biāo)注，具有很大應(yīng)用價(jià)值，是未來(lái)非常值得研究的方向之一。但是由于效果沒(méi)有標(biāo)注的監(jiān)督方法好，未來(lái)會(huì)有很多新方法延伸到視頻分析領(lǐng)域，以解決目前存在的問(wèn)題。

5 結(jié)束語(yǔ)

在行為識(shí)別研究中，選擇合適的數(shù)據(jù)來(lái)捕獲動(dòng)作至關(guān)重要，對(duì)于動(dòng)作特征學(xué)習(xí)問(wèn)題，基于深度學(xué)習(xí)的方法具有出色的性能，但諸如人體姿勢(shì)的多樣性和復(fù)雜性、遮擋和背景雜亂之類(lèi)的混雜因素，意味著真實(shí)場(chǎng)景中的人體行為識(shí)別仍然具有挑戰(zhàn)性，除了要解決以上難題，行為定位和多模態(tài)信息融合也是未來(lái)發(fā)展方向。視頻本身有一個(gè)很好的特性就是多模態(tài)，有圖像有運(yùn)動(dòng)，乃至于還有一些文本信息，怎樣用一些文字信息與RGB結(jié)合起來(lái)做自監(jiān)督或者弱監(jiān)督的學(xué)習(xí)是發(fā)展趨勢(shì)。同時(shí)不同應(yīng)用場(chǎng)景具體的應(yīng)用框架都不是很成熟，一個(gè)具體的應(yīng)用場(chǎng)景開(kāi)發(fā)一款比較成熟的框架也是一個(gè)比較重要的研究方向。

參考文獻(xiàn)

[1] 陳煜平，邱衛(wèi)根.基于視覺(jué)的人體行為識(shí)別算法研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2019，36（7）：1927-1934.

[2] Gorelick L，Blank M，Shechtman E，et al.Actions as space-time shapes[J].IEEE transactions on pattern analysis and machine intelligence，2007，29（12）：2247-2253.

[3] Laptev I.On space-time interest points[J].International journal of computer vision，2005，64（2-3）：107-123.

【通聯(lián)編輯：朱寶貴】