基于深度學(xué)習(xí)的視頻場(chǎng)景下的人體動(dòng)作識(shí)別研究

李軒 孫美鑫

摘要：動(dòng)作識(shí)別是通過計(jì)算機(jī)處理分析連續(xù)的視頻流來(lái)自動(dòng)識(shí)別一些人類的行為動(dòng)作。本文首先在vgg傳統(tǒng)深度學(xué)習(xí)模型的基礎(chǔ)上改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)提出了一種用于動(dòng)作識(shí)別的新型網(wǎng)絡(luò)結(jié)構(gòu)。然后建立3dcnn，利用目標(biāo)檢測(cè)中的光流提取法創(chuàng)新性的進(jìn)行模型融合。并由實(shí)驗(yàn)結(jié)果證明本文提出的模型在動(dòng)作識(shí)別上有著良好的表現(xiàn)效果。

關(guān)鍵詞：深度學(xué)習(xí);3D卷積;光流法;動(dòng)作識(shí)別

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2020）09-0062-03

0 引言

人體行為多種多言，從簡(jiǎn)單到復(fù)雜可以分為四種方面：（1）由人體部位簡(jiǎn)單運(yùn)動(dòng)形成的動(dòng)作，如鼓掌、踢腿等;（2）由簡(jiǎn)單動(dòng)作形成的個(gè)人行為：如快走、慢跑、蹦;（3）交互行為：一種小群體的相互行為。如打球、看書等;（4）群體行為：類似于集體活動(dòng)，開會(huì)等[1]。當(dāng)前人體行為識(shí)別的研究主要分為兩個(gè)子任務(wù)：行為分類和時(shí)序行為檢測(cè)。行為分類一般是對(duì)分割好的視頻片段給出一個(gè)行為的類別標(biāo)簽，每一個(gè)視頻片段僅包含一個(gè)行為實(shí)例。然而，現(xiàn)實(shí)生活中大部分視頻都是未分割的長(zhǎng)視頻，要明確的是，時(shí)序行為檢測(cè)是行為分類更復(fù)雜一級(jí)的研究任務(wù)，正如圖像識(shí)別任務(wù)中目標(biāo)檢測(cè)與圖像分類的關(guān)系一樣。行為分類是時(shí)序行為檢測(cè)的基礎(chǔ)[2]。

為提升識(shí)別的準(zhǔn)確性越來(lái)越多的人開始利用目標(biāo)檢測(cè)中的光流法結(jié)合3D-CNN來(lái)進(jìn)行實(shí)驗(yàn)。3D卷積提取出的時(shí)間維度圖像中的不同像素之間的特征關(guān)系，光流是反應(yīng)不同像素間形成差異的運(yùn)動(dòng)信息，利用卷積提取出特征，再輸入到網(wǎng)絡(luò)中去[3]。

1 數(shù)據(jù)集的介紹

本次設(shè)計(jì)用的數(shù)據(jù)集是KTH數(shù)據(jù)集。KTH數(shù)據(jù)集是動(dòng)作識(shí)別領(lǐng)域的傳統(tǒng)數(shù)據(jù)集，目前在現(xiàn)有的數(shù)據(jù)庫(kù)中包含了6種不同行為動(dòng)作，分別是拳擊，握手、揮手、慢跑、快跑和走路。是由25個(gè)人在實(shí)際生活中的室內(nèi)外不同場(chǎng)景進(jìn)行展示，還包括同一個(gè)人在不同情景下的不同著裝。

這些視頻是由固定的靜態(tài)攝像機(jī)在不同場(chǎng)景以25fps每幀的速度進(jìn)行拍攝的，這些采集到的時(shí)間序列的分辨率是160×120，一共包含了2391個(gè)序列。視頻的平均長(zhǎng)度為4秒。本次實(shí)驗(yàn)將所有采集到的時(shí)間序列以8，8，9分配給訓(xùn)練集，驗(yàn)證集和測(cè)試集。由上述的6個(gè)動(dòng)作在4個(gè)變換的場(chǎng)景中完成。下載后的數(shù)據(jù)集以文件形式存儲(chǔ)，每個(gè)文件包含4個(gè)子序列，序列以avi格式存儲(chǔ)。

2 實(shí)驗(yàn)所用的模型

自從，深度學(xué)習(xí)在目標(biāo)檢測(cè)上進(jìn)行應(yīng)用，不同類型的卷積結(jié)構(gòu)開始被陸續(xù)提出。例如反卷積和轉(zhuǎn)置卷積等，但這些都是對(duì)數(shù)據(jù)中的單張圖片進(jìn)行操作。其中，3D-CNN是由Tran等人研究提出的。它主要被用于視頻中的動(dòng)作識(shí)別。如圖1所示，為3D卷積的卷積過程。如果采用不同大小的卷積核對(duì)該立方體進(jìn)行卷積操作，就會(huì)得到多種相對(duì)豐富的時(shí)間和空間特征。

圖1展示了3D的完整結(jié)構(gòu)圖以及它與2D卷積的不同之處，它是利用連續(xù)三幀的圖像信息，并且卷積層中的每一個(gè)特征圖都會(huì)與上一層結(jié)構(gòu)相連接，以此來(lái)充分提取到視頻場(chǎng)景下的運(yùn)動(dòng)信息。

3 模型融合

光流為optical flow，它通過輸入的連續(xù)的圖像序列來(lái)檢測(cè)物體微小的動(dòng)作變化。光流在圖像中的含義就是動(dòng)作向量（motion vector）（u，v），分別表示位移在x和y方向上的變化率光流常用于計(jì)算圖像中各個(gè)位置的瞬時(shí)移位，是依據(jù)視頻中連續(xù)兩幀之間的各像素相關(guān)性而計(jì)算得到的。記錄視頻中的兩幀對(duì)應(yīng)的像素點(diǎn)的灰度值，然后進(jìn)行兩幀相減，取絕對(duì)值為最終的計(jì)算結(jié)果。使得移位過后，保持各像素點(diǎn)的位置在下一時(shí)刻的對(duì)應(yīng)值一致。

實(shí)驗(yàn)中首先通過目標(biāo)檢測(cè)方法提取出光流，本次實(shí)驗(yàn)使用opencv中的光流法對(duì)視頻中的動(dòng)作進(jìn)行識(shí)別。相關(guān)的算法設(shè)計(jì)思路如下：首先采集到的第i幀的圖像，然后獲得它后面的圖像。接下來(lái)分別對(duì)兩個(gè)圖像進(jìn)行去噪聲處理，利用去后的結(jié)果得到光流場(chǎng)。接下來(lái)計(jì)算出局部動(dòng)能場(chǎng)，然后利用邊緣檢測(cè)的方法，由于視頻中使運(yùn)動(dòng)的目標(biāo)，所以要盡可能的提取出運(yùn)動(dòng)部分的圖像，計(jì)算出其對(duì)應(yīng)的中心位置。

輸入的是video length 30，經(jīng)過計(jì)算得出光流為29。光流和RGB的3個(gè)通道不一樣，光流是沿著x方向和y方向各有一個(gè)光流圖，這兩個(gè)方向單獨(dú)通過網(wǎng)絡(luò)層，這個(gè)訓(xùn)練的過程可以用來(lái)刻畫視頻中流動(dòng)的運(yùn)動(dòng)信息。單個(gè)方向的光流輸入就是batchsize，這里設(shè)置為64，29，w，h，1。Conv1-1是一個(gè)3D卷積核，大小為1×3×3，輸出大小為32，進(jìn)行了一次下采樣。然后對(duì)特征值做歸一化處理，這里不影響輸出。Conv1-2和conv1-1的原理相同，此時(shí)的輸出由30×40變?yōu)?8×38，產(chǎn)生了微小的變化是因?yàn)槭褂昧耍?×3）的卷積核在特征圖上做了對(duì)應(yīng)的滑動(dòng)平均計(jì)算。由于這里沒有使用padding，padding可以有效保留邊界信息和保持尺寸不發(fā)生改變。卷積在特征圖上進(jìn)行了28次運(yùn)算，所以得出了28×38的輸出。然后是pool1-1，這是個(gè)MaxPooling3D pooling，用2×2×2的立方塊大小劃分出對(duì)應(yīng)區(qū)域，取出窗口里面的最大值。這樣由（29，28，38）到（14，14，19），這里是因?yàn)槭褂昧藀adding=valid，所以最后一次計(jì)算不用了。以下的兩個(gè)卷積層中的操作原理與第一層卷積層的原理相同。然后通過三個(gè)全連接層，最后把兩個(gè)3dcnn進(jìn)行融合起來(lái)，通過分類器，實(shí)現(xiàn)對(duì)數(shù)據(jù)集中6類動(dòng)作的識(shí)別。

4 模型的訓(xùn)練過程及結(jié)果

使用到的KTH數(shù)據(jù)庫(kù)作為本次實(shí)驗(yàn)的數(shù)據(jù)集，由于硬件配置的缺陷，有的是谷歌的GPU作為服務(wù)器進(jìn)行模型的訓(xùn)練。用的是keras作為神經(jīng)網(wǎng)絡(luò)的框架來(lái)搭建的模型。Keras的核心數(shù)據(jù)結(jié)構(gòu)是模型。模型是用來(lái)組織網(wǎng)絡(luò)層的方式。模型有兩種，一種叫Sequential模型，另一種叫Model模型。Sequential模型是一系列網(wǎng)絡(luò)層按順序構(gòu)成的一種結(jié)構(gòu)，是單輸入和單輸出的，層與層之間只有相鄰關(guān)系，是最簡(jiǎn)單的一種模型。Model模型是用來(lái)建立更復(fù)雜的模型的。這里先介紹簡(jiǎn)單的Sequential模型的使用，上面第三章的網(wǎng)絡(luò)模型就是用model搭建的。

Batch-size設(shè)置為64，一共訓(xùn)練了50輪。用matplotlib繪制出模型的loss和準(zhǔn)確率圖像，如圖2所示。

由圖3所示，本次實(shí)驗(yàn)設(shè)計(jì)的網(wǎng)絡(luò)模型在經(jīng)過多次的訓(xùn)練得到了良好的效果。在訓(xùn)練了50輪后，模型在訓(xùn)練集和測(cè)試集的準(zhǔn)確率均在85%以上，通過框架的內(nèi)置函數(shù)對(duì)模型進(jìn)行評(píng)估得到最大的預(yù)測(cè)精度達(dá)到了0.912037037037037。而loss值這邊在50輪訓(xùn)練過后也能很好的控制在0.5左右，說(shuō)明模型具有有效性。

5 結(jié)語(yǔ)

在本次研究中我們通過以傳統(tǒng)的VGG為基礎(chǔ)進(jìn)行了模型上的改進(jìn)，并融合了目標(biāo)檢測(cè)中的光流提取法。經(jīng)過實(shí)驗(yàn)驗(yàn)證了這個(gè)雙流卷積模型在數(shù)據(jù)集的訓(xùn)練集和測(cè)試集上都有著良好的表現(xiàn)。通過學(xué)習(xí)率和dropout的設(shè)置，有效地避免了模型出現(xiàn)過擬合情況。在數(shù)據(jù)集Kth的訓(xùn)練過程最大的準(zhǔn)確率可以達(dá)到90%以上，并且能夠準(zhǔn)確識(shí)別出6個(gè)動(dòng)作。

參考文獻(xiàn)

[1] 鄭瀟，彭曉東，王嘉璇.基于姿態(tài)時(shí)空特征的人體行為識(shí)別方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2018，30（9）：1615-1624.

[2] 張承璽.固定場(chǎng)景下的人體姿態(tài)識(shí)別[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2014.

[3] 張苗輝.基于視覺系統(tǒng)的行人檢測(cè)與跟蹤方法研究[D].上海：上海交通大學(xué)，2013.