基于雙流BRC3D卷積神經網絡的行為識別

臧晶 李博 李紅 玉紹康

摘? 要：針對C3D網絡時間維上的信息抽取單一特點，模型本身存在泛化能力弱等問題，該文基于BN歸一化算法改進殘差網絡結構，并嵌入到C3D網絡中，實現了網絡結構的優化，保證各個層數據的分布穩定性。引入雙流思想，構建了改進的BRC3D卷積神經網絡的識別方法。最終在UCF101數據集上進行訓練與測試，準確率達到了91.343%。

關鍵詞：殘差網絡結構? 行為識別? UCF101數據集? 深度學習

中圖分類號：TP391.9? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A文章編號：1672-3791（2021）04（b）-0035-03

Behavior Recognition Based on Dual-stream BRC3D Convolutional Neural Network

ZANG Jing1? ?LI Bo2? LI Hong 1? yu shaokang1

（1.Shenyang Ligong University， Shenyang， Liaoning Province， 110159 China; 2.Liaoyang Vocational College of Technology， Liaoyang， Liaoning Province， 111000? China）

Abstract： Aiming at the single feature of information extraction in the time dimension of C3D network and the weak generalization ability of the model itself， this paper improves the residual network structure based on BN normalization algorithm， and embeds it into C3D network to realize the optimization of network structure and ensure the distribution stability of data in each layer. An improved BRC3D convolutional neural network recognition method is constructed by introducing the idea of two streams. Finally， training and testing on UCF101 data set， the accuracy rate reached 91.343%.

Key Words： Residual network structure; Behavior recognition; UCF101 data set; Deep learning

目前，人體行為識別在監控、運動分析、智能交互、智能醫療以及故障診斷、智能小區等很多領域得到應用，相關課題有著重要的研究價值[1-3]。其中，對視頻中的人體行為進行識別成為計算機視覺領域中研究的熱點。

該文對C3D網絡結構[4]進行改進，提出了一種基于RC3D網絡的行為識別算法[5]，該方法同時提取視頻信息中的時間和空間特征，增加BN歸一化算法的殘差網絡改進卷積神經網絡中，引入雙流思想[6]，得到基于雙流BRC3D卷積神經網絡的識別算法。

1? 雙流BRC3D卷積神經網絡

1.1 BN歸一化算法

（1）沿著通道利用式（1）計算每個批量Bath的均值。

（1）

（2）沿著通道利用式（2）計算每個批量Bath的方差。

（2）

（3）根據（1）和（2）步驟中得到的和，利用式（3）做歸一化處理。

（3）

（4）利用式（4）將歸一化后的數據加入和變量。

（4）

式中：縮放參數和平移參數參數是模型學習涉及的參數。

1.2 三維殘差網絡

該文的殘差網絡[6]獲得殘差結果的過程具體如下。

（1）運用BN算法實現所有卷積層的輸出特征圖的標準化處理;（2）同時，將激勵函數Relu加入在前兩個BN層后面，完成非線性計算;（3）恒等變換處理;（4）再次Relu計算獲得殘差結果。

1.3 雙流BRC3D卷積神經網絡

該文實現的BRC3D卷積網絡結構，具體見圖1。將視頻中信息分為時間流、空間流兩個部分，時間流描述了場景中目標對象的運動信息，空間流描述了外觀場景中的大量信息和目標對象信息。

在視頻分解為時間流和空間流的基礎上，利用該文構建的網絡實現行為識別的步驟為：（1）空間流輸入：RGB彩色圖像一幀，提取到視頻中的外觀場景信息和目標對象特征;時間流輸入：多幀疊加得到的光流位移場，作用是抽取視頻中的運動信息特征。（2）BN歸一化算法層，實現參數調節。（3）特征級數據加權融合：即場景信息的特征和運動信息的特征的有效結合。（4）Softmax實現動作分類，得到人體行為的動作分類結果，實驗驗證，準確率有提升。

2? 實驗過程

雙流BRC3D卷積神經網絡的訓練實驗是在UCF101數據集上進行的，該網絡訓練中的涉及到的主要參數有空間流net輸入、時間流net輸入、學習率、融合機制、輪數、迭代次數等。

雙流BRC3D卷積神經網絡的訓練過程及其中參數設定描述如下：（1）空間流net輸入的數量為T1=幀RGB圖像;時間流net的輸入選擇連續性疊加L=10的光流。（2）訓練中每輪迭代的樣本容量為97;結合樣本容量，確定網絡的學習率的初始值為0.001，并使用MS方法來調節學習率的值。（3）動量為0.9，網絡權值利用微型隨機梯度下降法來調節。（4）進一步，時間流net和空間流net實現加權融合。（5）實驗總共執行16輪，所有輪的訓練過程中迭代量最高高達80 000次。（6）每訓練過程的迭代1 000次，那么在測試數據集上將記進行600次的迭代。（7）從零開始的訓練，5×104次迭代，得到學習率結果為10-3;7×104次迭代，得到學習率結果為10-4;8×104次迭代，訓練結束。

3? 實驗結果與分析

雙流BRC3D網絡的實驗結果具體見圖2、表1。

由實驗結果可以看出，基于雙流BRC3D CNN的平均識別準確率為91.343%，相較于C3D CNN和改進的CNN的準確率都具有很大的提升。與此同時，雙流BRC3D CNN的損失函數曲線變化比較平滑，該損失函數值最終一直保持在2.301左右。

4? 結語

該文構建的雙流BRC3D卷積神經網絡，既能提取包含場景的空間信息，又能提取包含運動信息的時間信息。最終在UCF101數據集上進行訓練和測試，實驗結果表明，該算法的人體行為識別準確率為91.343%，模型本身的泛化能力以及識別率都得到有效提升。

參考文獻

[1] 李延林.基于深度運動圖的人體行為識別研究[D].長春工業大學，2018.

[2] 劉瀟.基于深度學習的人體行為識別技術的研究與應用[D].北京郵電大學，2019.

[3] 劉雪君.基于深度學習的人體行為識別算法研究[D].東北電力大學，2018.

[4] 馬立軍.基于3D卷積神經網絡的行為識別算法研究[D].中國地質大學（北京），2018.

[5] 李紅.基于深度學習的人體行為識別技術研究[D].沈陽理工大學，2020.

[6] 高陽.基于雙流卷積神經網絡的監控視頻中打斗行為識別研究[D].西安理工大學，2018.