基于低秩行為信息和多尺度卷積神經網絡的人體行為識別方法

（長江師范學院電子信息工程學院，重慶 408100）

0 引言

人體行為識別是利用計算機視覺技術處理視頻內容的一個重要研究方向［1］，是讓機器學會“察言觀色”的第一步，在安防、人機交互和視頻檢索等領域具有重要的研究和應用價值。近年來，越來越多的學者和機構投入到這項工作的研究當中，他們嘗試使用各種方法來實現基于計算機視覺的行為識別技術，并取得了不錯的效果，具體的方法和文獻將在第1 章相關工作里詳細分析。這些行為識別方法可大致分為兩類：一是基于傳統分類方法的行為識別技術；二是基于深度學習的行為識別技術。結合這兩類方法的優點，當前行為識別技術主流的研究方向是使用人工提取特征結合深度學習的方法［2-3］，然而由于人體行為本身的復雜性，且人體行為容易受到復雜背景、遮擋、光線等環境因素的干擾，目前的特征提取方法大多步驟繁瑣，容易產生誤差傳遞，且對動作相對緩慢或靜止的行為很難有效建模，此外單一尺度的卷積神經網絡不能從多角度充分描述人體行為特征，不利于最終的行為識別。

針對這些問題，本文提出了一種基于低秩行為信息（Lowrank Action Information，LAI）和多尺度卷積神經網絡（Multiscale Convolutional Neural Network，MCNN）的人體行為識別方法。本文以包含人體行為的視頻序列為研究對象，首先提取行為視頻中的低秩行為信息（LAI），相較光流特征，LAI 不需要相鄰幀之間位移要比較小和人體目標在不同幀間運動時其亮度不發生改變等假設，且能很好地捕獲視頻中人體行為的時空信息。然后，針對LAI的特點，設計了多尺度卷積神經網絡（MCNN）以進一步提取LAI中的行為特征，最終實現了該模型下的人體行為識別，為行為識別技術提供了一種新的解決方案，進一步提高了行為識別準確率，促進了該技術的實用化進程。

1 相關工作

基于傳統分類方法的行為識別技術是將行為識別看作是一個行為分類問題，主要分為行為特征提取和行為分類兩個步驟。這類方法的特點是人工從視頻序列中提取人體行為特征，然后利用分類器對特征進行分類。通過多年的研究，研究者們提出了許多優秀的特征提取方法。Han 等［4］利用稀疏幾何特征來提取人體輪廓及內部信息。Hoshino 等［5］采用光流法提取視頻序列中的運動信息，首先計算連續幀間的光流場，然后采用非重疊的時空網格對光流場進行細分，并累計每個網格內的光流幅度作為網格的特征表示。Tripathi等［6］利用基于梯度信息的方向梯度直方圖特征描述子進行人體行為識別。Wang 等［7］提出了稠密軌跡方法，其思路是利用光流場來獲得視頻序列中的一些軌跡，再沿著軌跡提取光流直方圖（Histogram Of Flow，HOF）、方向梯度直方圖（Histogram of Oriented Gradient，HOG）、運動邊界直方圖（Motion Boundary Histogram，MBH）和trajectory 4 種特征。在提取到行為特征后，這類方法通常將特征輸入到K近鄰分類器、相關向量機（Relevance Vector Machine，RVM）和支持向量機（Support Vector Machine，SVM）等分類器進行行為分類。

近年來，深度學習方法逐漸被應用到人體行為識別中，并取得了更好的效果，具有代表性的方法有：1）Simonyan 等［8］提出的雙流卷積神經網絡方法，該網絡分為兩條支路，一條支路處理RGB 圖像，另一條支路處理光流圖像，然后再聯合訓練，最后將兩條支路識別結果按權重融合。2）TSN（Temporal Segment Network）［9］，該方法是雙流卷積神經網絡的改進網絡，用以解決雙流卷積神經網絡不能對長時間的視頻進行建模的問題。Du 等［10］提出的RPAN（Recurrent Pose-Attention Network），首先用Two-Stream 的方法生成特征，然后引入姿態注意機制，最后用長短期記憶（Long Short-Term Memory，LSTM）網絡完成行為識別。3）C3D（3-Dimensional Convolution）［11］，利用三維卷積核對行為視頻進行處理。這些模型被提出之后，又有很多學者在其基礎上進行了改進并取得了較好的效果［12］。深度學習的引入在一定程度上降低了對人工提取行為特征的依賴，其識別效果特別是復雜背景下的識別效果有了不錯的提升。

傳統方法在基于深度學習的方法出現之前是行為識別的主要方法，也取得了不錯的識別性能，但在一些復雜場景的數據庫上很難取得令人滿意的效果。基于深度學習的方法中多是基于卷積神經網絡（CNN）發展而來。CNN在圖像處理應用中取得了巨大成功，為視頻處理提供了很好的參考；但相較圖像處理，視頻處理多了一個時間維度，存在視頻幀數多、場景復雜等困難。針對這些問題，上述方法通常將傳統行為特征與深度學習網絡相結合進行人體行為識別，其中比較有效的方法是提取行為視頻的光流信息作為深度學習網絡的輸入，進而實現人體行為識別。然而，在提取光流特征的過程中，當視頻中人體行為相對緩慢或暫時靜止時，將無法提取到運動信息；而且光流特征通常只是具有運動的那部分人體而非整個人體，因此難有人體形態的整體輪廓，這樣的網絡輸入極大地影響了復雜場景中的行為識別效果；此外，單一尺度的卷積神經網絡不能提取不同感受野下的人體行為特征，影響了人體行為的識別率。

2 基于LAI和MCNN的行為識別框架

本文通過學習視頻幀間的數據分布來提取視頻中人體行為的LAI。首先，將原始行為視頻分割為N段，分別對每小段視頻進行低秩學習得到每小段視頻的LAI；然后，在時間軸上進行串聯成整個行為視頻的LAI。針對視頻中LAI的特點，設計MCNN 模型，通過多尺度卷積核提取不同感受野下的行為信息，再結合各卷積層、池化層和全連接層進一步提取LAI中的行為特征，進而實現視頻中人體行為的識別。完整的行為識別框架如圖1所示。

圖1 行為識別框架Fig.1 Framework of action recognition

3 低秩行為信息

通過深入挖掘視頻幀間的數據分布，利用魯棒主成分分析（Robust Principal Component Analysis，RPCA）方法進行非嚴格意義下的低秩稀疏分解，實現視頻序列中的人體低秩行為信息提取。

RPCA 方法其本質是尋找高維數據在低維空間上的最佳映射。假設存在一個數據矩陣X∈Rp×q可以分解為一個低秩矩陣T與一個稀疏誤差矩陣S之和。RPCA 方法可以描述為如下的最優化問題［13］：

其中：rank（?）表示求秩運算，‖ ? ‖1表示l1范數計算的是數據中各元素絕對值之和，規則化參數λ通常為：

假設視頻序列的一幀圖像的尺寸是h×u，幀數為q。如圖2 所示，首先將每幀圖像拉成一個長度為h×u的列向量，并依次堆疊成數據矩陣X∈Rp×q，其中p=h×u，q為視頻的幀數。然后采用式（1）和式（2）對X進行低秩學習，從得到的低秩矩陣中抽取一個列向量進行圖像還原即得到低秩信息圖像。圖2 以一段奔跑視頻為例，其低秩學習結果如圖2（b）所示，遺憾的是該結果沒有成功提取出視頻中的行為信息。通過研究發現問題在于式（2）的λ取值，經過反復實驗，得出有效的λ值為式（3）所示：

其中K的具體取值將依據具體的數據集而定。運用式（3）學習到的結果如圖2（c）所示。圖3為幾個自然場景中人體行為的低秩學習結果示例。

圖2 視頻序列低秩學習過程Fig.2 Low-rank learning process of video sequence

圖3 其他低秩學習結果示例Fig.3 Examples of other low-rank learning results

為了捕獲人體運動的時間信息，將各視頻段的低秩學習結果在時間方向上進行堆疊，其示意圖如圖4 所示，以最終實現捕獲視頻中人體行為的時空信息，即LAI，并將此作為多尺度跨通道卷積神經網絡的輸入數據。

圖4 低秩行為信息生成Fig.4 Generation of low-rank action information

對比圖2（c）和圖4（c）可以發現，圖2（c）捕獲了整個視頻序列中的人體行為信息，并整合到了一張圖像上，圖像呈現了人體來回運動軌跡和運動分布信息，圖4（c）由于捕獲的是分段視頻序列中的行為信息，其中人體行為比較集中，干擾小，因而每個低秩行為信息更加明顯，同時在時間上進行堆疊后也捕獲了圖2（c）沒有的時間信息，更適合作為后續MCNN 的輸入。

4 MCNN模型

4.1 MCNN模型結構

針對人體行為LAI的特點設計了MCNN 模型，以提取LAI中的行為特征并完成人體行為的識別。人們在觀察事物時通常會略看不重要的部分，視線移動較快，重要的部分會仔細觀察，視線移動較慢。為了模擬這一現象，以獲取不同感受野下的運動信息。模型對低秩行為信息采取1×1、3×3 和5×5 三個尺寸的卷積核進行特征提取，相同尺寸下采用4個不同的卷積核進行運算，以獲取4個不同方向上的特征信息。經過三個尺寸卷積核運算后，尺寸為1×1 的卷積核提取的特征圖尺寸最大，3×3卷積核的特征圖次之，5×5卷積核的特征圖最小。為了便于后續層處理，將3×3和5×5卷積核的特征圖通過邊緣補零至與1×1卷積核的特征圖的相同尺寸。將補零后的特征圖與1×1 卷積核的特征圖一起經過2×2 的最大池化層以壓縮特征圖，然后用兩個3×3的卷積核進行卷積后再通過2×2的池化層進一步提取特征，網絡模型中在每個卷積層結束后均使用線性整流單元（Rectified Linear Unit，ReLU）進行激活，最后連接兩個全連接層并通過sigmoid函數輸出行為類別。具體網絡模型結構如圖5 所示，為了使圖像簡潔，只給出了第一幀特征圖的操作示意圖，同一層的其他特征圖做類似操作。

4.2 網絡模型的訓練

將低秩行為信息與多尺度跨通道卷積神經網絡模型融合，行為視頻的分割段數N對整個模型的訓練非常重要，將極大地影響網絡模型的計算速度和識別效果。此外，在N一定的情況下，多尺度跨通道卷積神經網絡模型中各層的最佳權重參數還與具體的行為數據集有關，不同的數據集，其視頻幀的尺寸和數量都不一致，這些參數將針對具體的數據集在訓練得到。在訓練模型時，首先設定整個模型的損失函數，假設有L個帶標簽樣本{z1，y1}，{z2，y2}，…，{zL，yL}，此標簽為oneof-c標簽，其中：

對于樣本zl，設網絡模型的輸出為ol，定義其誤差為：

則網絡模型的整體損失函數定義為：

設W為所有網絡模型參數組成的向量，則最優的一組參數W*定義為：

在具體參數優化時，若用EL對所有參數直接求解時仍然非常復雜，因此考慮先用EL對輸入的加權和求導，再用輸入加權和對參數求導。

定義好網絡模型的損失函數后，擬采用交替訓練方法對整個模型進行訓練，即在固定視頻分割段數N的情況下，采用上述方式訓練MCNN模型，之后再固定網絡模型參數，改變分割段數N的取值，最小化模型損失函數，計算此時最佳N的取值，以此方法反復多次交替訓練模型，得出特定數據集下整個模型的最優參數組合。

圖5 MCNN結構Fig.5 Structure of MCNN

5 實驗結果與分析

為了驗證所提出方法的行為識別性能，在兩個具有代表性的基準數據庫KTH和HMDB51上進行行為識別實驗。

KTH 數據庫［14］是行為識別技術中流行的數據庫之一。該數據庫共記錄了四種不同的場景下完成6 種行為，分別由25 位志愿者完成，共計599 個行為視頻。HMDB51 數據庫是由Kuehne 等［15］提供。該數據庫共記錄了51 種人體行為，每類行為又收集了不少于101 個的視頻序列。該數據庫中的行為視頻行為類別多、行為樣本數多、挑戰性大。

首先，在上述兩個數據庫上對每個行為視頻提取其LAI，之后將提取到的LAI輸入到MCNN中，采用3.2節所述的交替訓練方法對整個模型進行訓練。在訓練過程中，通過計算每個數據庫上不同參數組合的識別性能，以確定最優性能下的參數組合。圖6 和圖7 分別展示了兩個數據庫上不同參數組合得出的識別性能。從圖6、7 中可以看到，KTH 數據庫上的最優參數組合為K=1.25，N=10；HMDB51 數據庫上的最優參數組合為K=1.30，N=15。以上參數組合可為其他數據庫和實際應用中的參數取值提供參考，根據反復實驗可知，實際應用中由于行為數據差異，參數組合會存在一定差別，但參數的大致取值范圍應為：K為［1.0，1.5］，N為［5，20］，可根據具體情況計算不同參數組合的識別性能，以最終確定最優的參數組合。

最后將訓練好的網絡模型進行測試，測試過程中采用了留一法交叉驗證測試方法，確保了訓練集與測試集的獨立性。經過統計，所提方法在KTH 數據庫上達到了97.33%的行為識別率，在HMDB51 數據庫上達到了72.05%的行為識別率，圖8 和圖9 分別為KTH 和HMDB51 數據庫上得到的混淆矩陣。圖9 中，由于行為類別有51 類，用數字1 至51 分別代表51 類行為，具體行為名稱分別為：brush-hair，cartwheel，catch，chew，clap，climb，climb-stairs，dive，draw-sword，dribble，drink，eat，fall-floor，fencing，flic-flac，golf，handstand，hit，hug，jump，kick-ball，kick，kiss，laugh，pick，pour，pull-up，punch，push，pushup，ride-bike，ride-horse，run，shake-hands，shoot-ball，shootbow，shoot-gun，sit，sit up，smile，smoke，somersault，stand，wingbaseball，sword-exercise，sword，talk，throw，turn，walk，wave.

圖6 KTH數據庫上不同參數組合的識別性能Fig.6 Recognition performance of different parameter combinations on KTH database

圖7 HMDB51數據庫上不同參數組合的識別性能Fig.7 Recognition performance of different parameter combinations on HMDB51 database

圖8 KTH數據庫上的混淆矩陣Fig.8 Confusion matrix on KTH database

圖9 HMDB51數據庫上的混淆矩陣Fig.9 Confusion matrix on HMDB51 database

從圖8 和圖9 可以看出，在KTH 數據庫上“慢跑”和“快跑”之間最容易發生混淆，這主要是由于跑步的快、慢界限很難把握。HMDB51數據庫較為復雜，其中行為種類多，場景復雜多樣，相近行為之間容易混淆，這也是該數據庫挑戰性大的原因，但就總體而言，本文所提方法取得了較好的識別性能。

為了全面評價所提出方法的行為識別性能，進行了三組對比實驗。第一組是首先對行為視頻提取光流信息，然后將光流信息輸入MCNN 計算在KTH 和HMDB51 數據庫上的識別性能，并與本文方法進行對比。第二組是對比MCNN 與傳統CNN 及支持向量機（SVM）的性能，將行為視頻的LAI 分布輸入CNN 和把LAI 直接拉成向量后輸入SVM，其中CNN 為LeNet5網絡，分別計算兩種方法在兩個數據庫上的識別性能，并與本文方法的識別結果進行對比。第三組是比較其他行為識別方法與本文所提方法的識別性能。

表1展示了光流+MCNN、LAI+SVM 和LAI+CNN 與本文提出方法在兩個數據庫上的對比結果，結果表明本文提出的LAI+MCNN 的方法在兩個數據庫上均取得了更好的識別效果。表2 和表3 分別列舉了本文方法與相近方法［16-27］在KTH和HMDB51 上的識別性能對比，這些相近方法均采用了人工提取特征與深度學習網絡相結合的方式進行人體行為識別。從結果可以看出，本文方法在兩個數據庫上均取得了最優的識別性能，同時較文獻［21］方法和文獻［27］方法分別提高了0.67 和1.15 個百分點。上述三組對比實驗驗證了本文所提方法的有效性。

表1 兩個數據庫上不同方法組合的識別率對比 單位：%Tab.1 Recognition rate comparison of different combinations of methods on two databases unit：%

表2 KTH數據庫上不同方法的識別率對比 單位：%Tab.2 Recognition rate comparison of different methods on KTH database unit：%

表3 HMDB51數據庫上不同方法的識別率對比 單位：%Tab.3 Recognition rate comparison of different methods on HMDB51 database unit：%

6 結語

本文充分利用行為數據間的關聯性，從數據學習的角度挖掘行為視頻中的人體行為信息，通過對視頻幀進行分段低秩學習，并在時間軸上進行連接進而提取到行為視頻的LAI，LAI 能夠有效地捕獲視頻中的行為信息，且提取步驟簡潔，避免了因繁瑣步驟產生的誤差傳遞，相較光流法，無需視頻幀間的運動假設便可捕獲行為信息。針對LAI 的特點，本文設計了MCNN 模型，將LAI 輸入MCNN 模型，通過多尺度卷積核獲取不同感受野下的行為特征，并合理設計各卷積層、池化層及全連接層進一步提煉特征，最終輸出行為類別。實驗結果表明本文所提方法在兩個基準數據庫上取得了更好的識別效果，通過設計三組對比實驗，驗證了本文所提方法的有效性。雖然HMDB51 數據庫是自然場景的數據庫，但還是不能等同于現實場景，將本文提出的方法應用于現實場景的人體行為識別中，并不斷進行改進和完善以提高現實場景中的行為識別效果是需要進一步完成的工作。