基于深度學習的多模態時空動作識別①

吳 敏,王 敏

(河海大學 計算機與信息學院,南京 211100)

1 引言

由于互聯網的快速發展,傳播媒介的日漸豐富,網絡視頻的數量以指數級的速度大量增長.如何理解視頻內容成為一個亟需解決的問題.動作識別作為計算機視覺中的一個熱門領域受到了廣泛的關注,在監控分析、人機交互、體育視頻解讀等領域內有著廣闊的應用前景.

在動作識別中,有兩個關鍵的有效信息:空間信息和運動信息.一個識別系統的性能在很大程度上取決于它能否從中提取和利用相關信息.然而,由于許多復雜的因素,例如比例變化、視角變化和相機運動等,提取這些信息是非常困難的.因此,設計有效的特征表示和模型方法來處理這些挑戰,同時保留動作的有效分類信息就變的至關重要.隨著深度學習在圖像、文本等領域內取得了成功后,該方法在動作識別領域內也得到了廣泛的應用,由早期的手工特征的方法,轉變為基于深度學習的方法.卷積神經網絡有著強大的建模能力,近年來,機器設備計算能力的提升和大型數據集的出現,使得基于深度學習的方法成為視頻分析動作識別的參考標準.

動作識別作為動作預測領域和人體姿態分析的基礎,其主要目標就是對視頻中的人物所做的行為動作進行理解分類,那么如何有效利用視頻中的各部分有效信息進行識別是首要問題.視頻識別和圖像識別中最大的區分點就是時序信息的使用和建模.早期采用時空描述符用于特征的提取和分類,Wang 等[1]提出采用Fisher 向量對密集運動軌跡DT 進行編碼表示.基于此,Wang 等[2]提出改進后的IDT 算法,改進特征正則化方式和特征編碼方式,在動作識別上取得了顯著的成果.深度學習的出現使得能夠更好地進行特征的提取和學習.2D 卷積建模用于視頻理解主要是對單幀視頻進行特征的提取,不能夠很好地對時序信息進行建模.Simonyan 等[3]提出了將基于外觀的信息與運動相關的信息分離出來,使用兩個并行的卷積網絡處理RGB和光流輸入,基于空間流和光流圖的雙流卷積網絡方法用于動作識別,識別率高.Wang 等[4]基于雙流網絡提出時間片段網絡,將整段視頻分割成連續的視頻片段,將每段視頻分別輸入到網絡中,它將稀疏時間采樣策略和基于視頻的監督相結合,使用整個視頻有效的學習.3D 卷積[5]能夠對時空信息進行更好的捕捉,但是所需的計算成本太大.Ji 等[6]首先提出了擴展時間信息后的3D 卷積網絡用于動作識別,使用三維核從空間和時間維度中提取特征.Tran 等[7]使用三維卷積和三維池化進一步改進3D 卷積網絡并命名為C3D.近年來對于識別的實時性要求不斷提高,網絡架構轉向采用輕量級的模塊來替代傳統的光流方法來減少計算量.Lee 等[8]提出了包含運動模塊的運動特征網絡MFNet,該運動塊可以在端到端訓練的統一網絡中的相鄰幀之間編碼時空信息.Jiang 等[9]將2D 網絡作為主干架構,提出一個簡單高效的STM 模塊用于編碼空間和運動信息.Feichtenhofer 等[10]提出了快慢結合的模型,使用了一個慢速高分辨率CNN(Slow 通道)來分析視頻中的靜態內容,同時使用一個快速低分辨率CNN(Fast 通道)來分析視頻中的動態內容,對同一個視頻片段應用兩個平行的卷積神經網絡,取得了顯著的效果.Zhao 等[11]將RGB和光流嵌入到一個具有新層的二合一流網絡中,在運動條件層從流圖像中提取運動信息,在運動調制層利用這些信息生成用于調制低層RGB 特征的變換參數,進行端到端的訓練,利用運動條件對RGB 特征進行調制可以提高檢測精度.

本文采用時空模塊提取圖像以及時序信息,使用平移部分通道的方法來實現時空信息的融合,減少計算量,同時加入RGB 差值信息增強數據,最后采用NetVLAD 聚合所有的特征信息實現行為動作的分類.

2 基于深度學習的多模態時空動作識別

2.1 移位時空模塊

該模塊的主要功能是對不同時間點提取的視頻幀特征圖進行信息交換,從而實現時序特征的提取.地址的移位用于圖像識別取得了較好的效果.根據文獻[12]中的模型,不同于卷積操作,移位操作本身不需要參數或浮點運算,相反移位操作包含一系列的記憶性操作,可以通過移位操作融合1×1 卷積來提取聚合特征信息,從而減少計算量.以普通一維卷積舉例來說,預測值表示為對不同輸入進行加權求和的結果值,如式(1)所示.換一個角度如果將輸入值看成是當前時間點和相鄰時間點的輸入,也就是輸入值看成移位后的?1,0,1 三個時間點的輸入值后,如式(2)所示,再進行乘性相加,如式(3)所示.由此移位卷積可以概括為移位和乘性相加兩個過程的結果.

將T幀圖片C通道的輸入進行排列后的張量,如圖1所示.

圖1 移位模塊的特征示意圖

每行的各圖片通道都表示的是不同時間點獲取的圖片幀特征值.對于不同時間點下的同一通道的特征值沿著時間維度進行平移,部分通道值向下平移一格,部分通道值向上平移一格,移位后空缺的部分補0,多出的特征圖通道值移出,從而實現雙向平移,相鄰幀的特征信息在移動后與當前幀混合.但并不是平移越多,交換的信息也越多.如果移位的比例太小,時間建模的能力可能不足以處理復雜的時間關系;如果移位的比例太大,空間特征學習能力可能會降低過多.為了進行有效的時空信息融合,避免移動過多的通道而導致空間建模能力下降,只移動部分通道,從而達到平衡空間特征學習和時間特征學習的模型能力.

本文將該移位模塊加入到殘差網絡的每個分支殘差塊中,在卷積操作前進行移位操作,不增加3D 計算量的情況下實現時空信息的融合,對于每個插入的移位時空模塊,時間感受野被放大2 倍,由此進行復雜的時間建模.

2.2 多模態

除了充分利用時空信息之外,本文還加入疊加的RGB 差值進行多模態的輸入,實現信息增強的效果.常用的提取光流圖來表征運動信息的方法計算量大,在光流圖計算過程中的關鍵步驟是將像素值沿時間方向求偏導,所以本文將其簡化成RGB 差值來作為輸入,來表示外觀變化和顯著運動的區域,從中訓練學習運動信息,從而大大節省了光流提取的時間.得出的預估分數與時空特征得出的分數進行相加平均用于識別結果.

2.3 NetVLAD 方法

VLAD 方法[13]在圖像檢索領域中作為局部聚合描述符向量,對提取的圖像特征進行后處理編碼用于圖像的表示,近年來開始應用到端到端的卷積神經網絡中用來表示圖像特征.本文采用NetVLAD 方法[14]來作為池化層加入到卷積層的最后,作為池化層來聚合特征信息.

對于一張特征圖x,需要從空間位置i∈{1···N}獲取D維的特征向量xi∈RD來表示該特征圖.首先給定K個聚類中心ck將特征空間RD劃分成K個單元.每一個特征向量xi都對應著一個單元,并用殘差向量xi?ck表示特征向量和聚類中心的差值,由此得到的差分向量表示為:

其中,xi(j)和ck(j)表示特征向量xi和聚類中心ck的第j個分量,α是可訓練的超參數.輸出矩陣V中的第K列表示的是第K個單元中聚合的特征向量,接著將矩陣按列進行歸一化,以及L2-歸一化后化為一維向量v∈RKD表征特征圖.最后將輸出值送入到全連接層用于分類.

3 實驗分析

3.1 實驗環境與實驗數據

實驗硬件配置為GTX 1080 Ti,編程語言為Python,基于PyTorch 框架.數據集是UCF101[15]和HMDB51[16].UCF101 數據集包含101 個動作類別,共13 320 個視頻片段.HMDB51 數據集是一個包含電影、網絡視頻等多個來源的真實動作視頻的集合,共51 個類別,6766 個視頻片段.數據集都提供了相應的訓練集和測試集的劃分.調整視頻幀為224×224 作為網絡的輸入.

訓練參數為:50 個epoch,初始學習率為0.01,權值衰減率為1e-4,批處理大小為16,dropout 值為0.5.本文使用從Kinetics 數據集[17]預先訓練的權重進行微調,并凍結批處理規范化層.對于殘差移位模塊,根據文獻[18]中的研究結果,當部分移位信道1/4 (雙向移位每個方向1/8)時,性能達到峰值.

時空模塊的部分采用的是ResNet50 框架,將時空模塊加入到殘差網絡的分支殘差塊中,獲得更好的空間特征學習能力.

3.2 實驗結果分析

從表1可以看出,本文中加入時空模塊以及多模態的方法確實能夠對識別精度有一定程度的提升,對比C3D、ArtNet 方法,在預訓練數據集相同,浮點運算的數量級相同的條件下,對兩個數據集的識別精度分別達到了不同程度的提升.對比TSN 方法,識別精度得到了很大的提升,在兩個數據集上分別提升了8.8和19.4 個百分點,也能夠看出使用大型動作數據集進行預訓練得出的參數優化能夠使實驗結果精度得到更大的提升.在計算資源充足的條件下,預訓練能夠對識別的精度起到較大的提升影響.同時對比I3D 方法,本文方法在基于2D 模型下的浮點計算量,能夠達到與之相匹敵的識別精度,實現了計算量和識別精度兩方面的平衡.

表1 實驗結果

4 結論與展望

本文提出了一種帶時空模塊的多模態方法.該方法將時空模塊引入到2D 卷積網絡中,實現時空信息的提取融合,不增加浮點運算,同時加入RGB 差值進行信息增強,并采用NetVLAD 方法聚合所有的特征信息,最后實現行為動作的分類,在數據集UCF101和HMDB51上達到了比較理想的識別精度,且與3D 方法的計算量相比較,較好地實現了計算量和識別精度的平衡.