基于3D CNN的人體動作識別研究

朱云鵬 黃希 黃嘉興

摘? 要： 在現實的生活視頻中，檢測人體動作以及分類時，常常會出現視頻背景復雜、模糊，以及因人多導致多種動作行為同時出現的問題，而致使檢測和判別某種行為結果出現偏差。因此文中針對2D CNN對單個幀進行提取特征卻沒有包含實際視頻中連續多幀之間編碼的運動信息，提出一種基于三維卷積神經網絡識別方法，旨在更好地捕獲視頻連續幀中隱藏的時間和空間信息。實驗結果表明，與現有的幾類方法相比，所提方法識別率得到較為明顯的提升，驗證了該方法的有效性和魯棒性。

關鍵詞： 人體動作識別; 三維卷積神經網絡; 特征提取; 模型訓練; 深度學習; 實驗對比

中圖分類號： TN911.23?34; TP301? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）18?0150?03

Abstract： In real?life video detection and classification， the video background is complex and fuzzy， as well as many people lead to a variety of action behavior problems at the same time， which causes the deviation of detection and discrimination of a certain behavior results. In allusion to the problem that feature extraction is conducted by 2D CNN from a single frame， but the motion information encoded between consecutive frames is not included， a neural network recognition method based on 3D convolution is proposed to better capture the hidden time and space information in consecutive frames of video. The experimental results show that， in comparison with the existing methods， the recognition rate of this method is significantly improved， and the effectiveness and robustness of the proposed method are verified.

Keywords： human action recognition; 3D convolution neural network; feature extraction; model training; deep learning; experimental comparison

0? 引? 言

人體動作識別是計算機視覺研究中的一個分支，被廣泛地應用于人機互動、交互式娛樂等多個領域[1]。隨著視頻采集設備和寬帶光纖整體科技水平的跳躍式發展，如今，“視頻”已經成為信息的主要載體，特別是近些年來，4G的普及以及5G的問世，各色各類的長、短視頻數量以幾何速度爆炸式增加，面對如此龐大的視頻數據，相關人員迫切需要穩定高效的視頻信息自動處理系統。在此供求基礎上，人體動作識別技術近些年來一直是計算機領域內一個充滿機遇和挑戰的課題。

最常見的動作識別應用是分類識別：給定一個視頻，系統將其準確分類為幾個已知的動作類別。綜合性的動作識別是視頻中不僅包含的多個動作類別，還存在復雜的背景干擾。動作識別的最終目標是分析人在視頻中場景的位置、狀態和行為。人體動作識別應用于各行各業，主要集中在智能視頻監控、病人監護系統、人機交互、虛擬現實、智能家居、智能安全、運動員輔助培訓、基于情報的視頻檢索和智能圖像壓縮等[2]。隨著傳感器技術的不斷發展，人類行為識別研究受益于不同模態傳感器，如RGB攝像機、深度攝像機、加速度計和陀螺儀[3]。

圖像和視頻的識別與描述是計算機視覺領域的一個基本挑戰[4]。而與圖像分類相比，視頻動作分類在運動和視角上存在著附加的難題[5]。視覺人體運動分析和識別的方法體系有很多種，如：Forsyth等人側重于將動作從視頻序列中人的姿態和運動信息恢復過來，這屬于一個回歸問題，而人體行為識別是一個分類問題。這2個問題有很多類似點，比如其特征的提取和描述很多方面是通用的。如果將人體運動識別的研究方向分為3個層次：移動識別、動作識別和行為識別，目前關于行為識別基本上還停留在第二個階段，即對生活中的一些簡單行為進行判斷和分類。與傳統的模式識別方法相比，基于深度學習的人體運動識別技術近年來發展迅速，它的研究結合自動訓練，提取特征和分類，同時放寬了有關參數的數量，并且利用深度學習將人體動作識別的研究投入到新的應用當中。

深度學習允許由多個處理層組成的計算模型來自動學習多維的抽象數據類型[6]。它的主要優勢之一是其執行端到端優化的能力[7]。目前，使用深度學習執行諸如人體運動識別、人體跟蹤和圖像高級處理之類的任務均得到了令人滿意的結果，如麻省理工學院媒體實驗室在將智能室以及在自然場景中的人體動作識別作為新的研究課題中取得了一些進展;CMU機器人研究所還開展了人體檢測與跟蹤、步態識別和行為識別等項目;同時，馬里蘭大學自動化研究控制中心對人體運動建模，對3D人體運動捕捉和異常事件檢測也進行了深入的研究。現實的生活視頻中檢測人體動作及分類時，會出現視頻背景復雜、模糊，以及因人多導致多種動作行為同時出現的問題，致使檢測和判別某種行為結果出現偏差。 本文針對2D CNN對單個幀進行提取特征卻沒有包含實際視頻中連續多幀之間編碼的運動信息，提出一種基于改進三維卷積神經網絡識別方法，旨在更好地捕獲視頻連續幀中隱藏的時間和空間信息，并且在多個動作識別視頻數據集實驗中得到了較高的準確率。

1? 改進三維卷積神經網絡模型

1.1? 3D CNN網絡結構組成

受視覺神經感受野的啟發，卷積神經網絡的神經元之間通過稀疏鏈接的方式進行連接，具有較多的隱含層，每一隱含層有多個數據矩陣平面，每個數據矩陣平面的神經元共享權值參數矩陣[8]。如圖1所示，在二維卷積神經網絡中，卷積應用于二維特征圖，并且僅根據空間維度計算特征。

當使用視頻數據分析問題時，需要在多個連續幀中捕獲編碼的運動信息。 為此，提出三維卷積神經網絡用于計算空間和時間維度特征。三維卷積是通過堆疊多個連續幀，然后在立方體中應用三維卷積內核來形成立方體。利用這種結構，卷積層中的特征映射連接到上層中的多個相鄰幀，從而捕獲運動信息。深度神經網絡的優勢主要在于學習訓練數據的分布，并且可以在測試集上獲得良好的泛化效果。 然而如果每個批次輸入的數據都具有不同的分布，則會給神經網絡的訓練帶來困難，所以規范化每層神經網絡的輸出顯然是不合理的。為了把每層神經網絡任意神經元輸入值的分布拉回到均值為0，方差為1的標準正態分布，本文神經層中引入批量規范化（Batchnorm）。假設神經層輸入數據是β= x1，x2，…，xm，共m個數據，輸出是[yi=BNx]，則批量規范化步驟如下：

在sigmoid， tanh， softplus和ReLu中，選擇ReLu作為網絡的非線性激活函數，ReLu的gradient大多數情況下是常數，有助于解決深層網絡的收斂問題。ReLu的另一個優勢是在生物維度上的合理性，它是單邊的，相比sigmoid和tanh，更符合生物神經元的特征。為了確保特征的位置和旋轉不變性并減少過擬合問題，在網絡中添加最大池化層，從過濾器中提取一些特征值，并且僅獲取最大池化層作為保留值，丟棄所有其他功能值。在視頻領域，如果在足夠大的數據集上訓練動作分類網絡，在應用于不同的時間任務或數據集時，是否會提供相應的性能提升，這是一個懸而未決的問題[9]，本文在網絡的訓練階段加入Dropout技術來隨機地選擇部分神經元并將其輸入設置為0，從而隨機變化地網絡的鏈接結構，提高網絡的泛化能力，使得網絡具有更好的適應性[10]。

1.2? 方法實施過程

1.2.1? 網絡結構

從圖2可以看出，該特征通過3次三維卷積和3次下采樣組合，最后通過完全連接層獲得最終輸出。

1.2.2? 圖像大小的變化

卷積過程中的尺寸變化如圖3所示。

2? 實驗方法

2.1? 實驗環境

編程環境使用Python 3.6，而Numpy，Tensorflow和其他一些模塊也會被用到。 選擇UT交互數據集作為實驗研究數據集。UT交互數據集包含6類真實的人人交互行為，包括握手、指向、擁抱、推、踢和擊打。每個視頻每次互動至少包含1次執行或2～3次執行。 在第1～第4組中，場景中只出現2個相互作用的人。 在第5～8組中，場景中存在執行其他動作的干擾人員。所有視頻中出現了超過15種不同服裝的參與者。本文選取數據集15人中的8人作為訓練樣本，7人作為測試樣本。

2.2? 實驗過程

2.2.1? 特征提取

對于每個實驗視頻，將其分成多組15個連續幀的塊，然后在這些塊上訓練模型而不是在單獨每一幀上訓練。在卷積層中，使用3D卷積濾波器來訓練模型以檢測并學習時間運動信息。特征提取如圖4所示。

2.2.2? 參數影響

1） Learning rate

學習率是深度學習中一個舉足輕重的超級參數。 能否選擇搭配網絡結構的最優學習率決定了模型塑造的質量。文中，學習率調整到0.01的獲得最高準確率結果。

2） Dropout

Dropout是指在深度學習網絡的訓練過程中，對于神經網絡單元，按照一定的概率將其暫時從網絡中丟棄，是一種很有效的正則化手段[11]，對于隨機梯度下降來說，由于是隨機丟棄，故每一個Mini?batch都在訓練不同的網絡，每次丟失時，都相當于從原始網絡中找到更薄的網絡。

2.2.3? 實驗結果比較

不同方法實驗結果比較如表1所示。

UT數據集是人與人交互式類的行為數據集，即便該數據集的動作分類單一且動作本身不具備復雜性，但由于人與人之間交互時的遮擋和不確定性，導致識別難度提高，相似動作容易混淆，分類算法準確率浮動較大。例如表1所示：本文算法在此數據集上，“拳打”動作準確率最低，只有80%，原因在于“拳打”和“推人”動作近似，算法易發生誤判;除“握手”和“拳打”動作之外，其余動作識別準確性均在90%以上。可見，本文算法在UT數據集上識別率得到了一定程度上的提高。

3? 結? 論

動作識別系統的性能在很大程度上取決于它是否能夠高效提取和利用相關信息[12]。而動態圖像是緊湊的，在將視頻轉換成動態圖像期間，時間信息在某種程度上不可避免地丟失[13]。本文通過基于改進三維卷積神經網絡學習方法和其他實驗方法在UT數據集得到的相比較，更大程度上利用測試視頻包含的空間和時間信息，并且準確率得到了一定程度的提高，證明了該方法在短視頻交互動作識別中的可行性。

注：本文通訊作者為黃希。

參考文獻

[1] 張孫培，孫懷江.關節信息和極限學習機的人體動作識別[J].現代電子技術，2015，38（10）：55?60.

[2] 劉文婷.一種室內人體行為識別方法：CN104866860A[P].2015?08?26.

[3] CHEN Chen， ROOZBEH Jafari， NASSER Kehtarnavaz. UTD?MHAD： a multimodal dataset for human action recognition utilizing a depth camera and a wearable inertial sensor [C]// 2015 IEEE International Conference on Image Processing. Quebec City： IEEE， 2015： 168?172.

[4] JEFFREY Donahue， LISA Anne Hendricks， SERGIO Guadarrama， et al. Long?term recurrent convolutional networks for visual recognition and description [C]// IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2015： 2625?2634.

[5] CHRISTOPH Feichtenhofer， AXEL Pinz， ANDREW Zisserman. Convolutional two?stream network fusion for video action recognition [C]// Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2016： 204?215.

[6] ZHOU Bolei， AGATA Lapedriza， XIAO Jianxiong， et al. Learning deep features for scene recognition using places database [C]// Neural Information Processing Systems. Montreal： NIPS， 2014： 487?495.

[7] DIOGO C Luvizon， DAVID Picard， HEDI Tabia. 2D/3D pose estimation and action recognition using multitask deep learning [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City： IEEE， 2018： 5137?5146.

[8] 李軍鋒，何雙伯，馮偉夏，等.基于改進CNN的增強現實變壓器圖像識別技術[J].現代電子技術，2018，41（7）：29?32.

[9] JOAO Carreira， ANDREW Zisserman. Quo vadis， action recognition？ A new model and the kinetics dataset [C]// Conference on Computer Vision and Pattern Recognition. Honolulu： IEEE， 2017： 6299?6308.

[10] 范曉杰，宣士斌，唐鳳.基于Dropout卷積神經網絡的行為識別[J].廣西民族大學學報（自然科學版），2017，23（1）：76?82.

[11] 周永生.基于LSTM神經網絡的PM2.5預測[D].長沙：湖南大學，2018.

[12] WANG Limin， XIONG Yuanjun， WANG Zhe， et al. Temporal segment networks： towards good practices for deep action recognition [C]// European Conference on Computer Vision. Amsterdam： Springer， 2016： 20?36.

[13] WANG Huogen， WANG Pichao， SONG Zhanjie， et al. Large?scale multimodal gesture recognition using heterogeneous networks [C]// 2017 IEEE International Conference on Computer Vision Workshops. Venice： IEEE， 2017： 3129?3131.