基于全局時空感受野的高效視頻分類方法

王輝濤，胡 燕

(武漢理工大學 計算機學院，武漢 430070)E-mail：huyan@whut.edu.cn

1 引 言

視頻分類是計算機視覺領域的一項基礎性工作，是視頻描述、動作檢測、視頻跟蹤等高級任務的重要基礎.近年來基于深度學習的方法已經取得了很大的進展，由于卷積神經網絡(CNN)主要用于從靜止圖像中提取空間特征，而視頻可以自然地看作是三維時空信號，因此有許多方法將CNN從圖像擴展到視頻進行信息提取.我們將利用時空信息進行視頻分類的方法分為五類：雙流CNN、2D CNN+LSTM方法、3D CNN、2D CNN+3D CNN的混合架構以及3D CNN+圖卷積(GCN).為了提取時空信息，雙流CNN架構[1-4]將RGB幀作為CNN的輸入來建模空間特征，將運動相關信息，如光流[1，2]、光流引導特征[3]及運動矢量[4]作為CNN的輸入來建模時間特征.為了提取更加有效的空間特征，Hu等人[5]提出了在ResNet網絡[6]和Inception網絡[7]中引入通道注意力機制的SENet網絡，通過學習自動獲取到每個特征通道的權重，然后依照權重去提升有用的特征并抑制對當前任務用處不大的特征.Sanghyun等人[8]在ResNet[6]和VGG網絡[9]中引入一種結合空間和通道注意力機制的模塊，相比SENet網絡只關注通道的注意力機制，空間和通道注意力機制還可以增強特定區域的表征，獲得更好的分類效果.Li等人[10]提出了類似于SENet網絡的SKNet網絡，在建模特征通道依賴的同時，可以自適應捕獲不同感受野的特征.然而雙流架構在建模時間特征時，運動相關信息的提取非常耗時，難以達到應用要求.另一種建立幀間時間關系模型的方法是使用循環神經網絡.Ge等人[11]使用LSTM來整合2D CNN提取的特征.然而目前循環神經網絡在視頻分類領域的性能落后于最近的基于CNN的方法，這可能表明它們對長期動作的建模不夠充分[12，13].

還有一些研究[14-17]利用三維卷積網絡同時對視頻剪輯的外觀和運動特征進行建模，Tran等人[15]提出了一種具有3D卷積核的三維體系結構，直接從一堆圖像中捕獲時空特征.Sun等人[16]提出了一種時空卷積因子分解算法，將三維卷積分解為二維卷積和一維卷積，從而得到了更有效的時空表示.Hara等人[17]分別對具有3D內核的ResNet網絡[6]、預激活ResNet網絡[18]、RexNext網絡[19]以及DenseNet網絡[20]在動力學數據集上做了精度對比，其中3D ResNext101網絡[19]效果最好，并成為當前視頻分類方法的基準.然而在上述研究工作中卷積濾波器都是對局部區域進行操作，無法捕獲大范圍的時空依賴關系，Wang等人[21]受非局部均值思想的啟發，在I3D網絡[22]中引入一個非局部操作建模一定距離的像素之間的關系，用來捕獲長距離時空特征依賴.Qiu等人[23]提出利用全局特征和局部特征融合的方法，然后再反饋給全局特征，使得全局特征和局部特征在3D ResNet101層網絡中一起傳播的LGD網絡架構.此外還有研究通過3D網絡提取的視頻特征和物體檢測算法獲取的物體框構造圖中的節點，再計算節點之間的關聯性，進而構建整個圖，然后送入圖卷積(GCN)中對圖的特征進行分類[24].然而在模型計算復雜度方面，3D CNN比2D CNN昂貴的多，并且容易出現過擬合，同樣很難達到應用要求.

為了在速度和準確性之間尋求平衡，一些研究提出了類似的2D+3D混合架構[25-27]，其中Zolfaghari等人提出的ECO方法[25]使用的3D ResNet18網絡，相比于Tran等人[26]使用的3D ResNet34網絡以及Xie等人[27]使用的復雜I3D網絡，ECO方法具有更低的計算量，更適用于實時的應用場景中.ECO方法將3D ResNet18網絡底部替換為2D BN-Inception網絡進行低級語義特征提取，在速度和精度上獲得了較好的結果，這表明在高級語義特征上的時間表示學習更有用.然而ECO方法在底層網絡進行外觀特征提取時，易受背景的影響，并且在高層網絡學習時間表示時只關注局部時間窗內的動態，沒有考慮動作的長期時間結構，同時使用的傳統3D卷積核所需要的時空特征融合帶來的訓練復雜度以及所需的存儲消耗限制了ECO方法的表現.

針對ECO方法中的缺點和限制，提出基于全局時空感受野的高效視頻分類方法(CS-NL-SECO)，CS是Channel-Spatial的首字母縮寫，代表通道和空間注意力方法，NL是Non-Local的首字母縮寫，代表全局時空感受野，SECO代表三維卷積核分解后的網絡.首先將三維卷積核分解，不僅可以減少計算量，還可以增強3D網絡學習時空特征的表現.其次在2D BN-Inception網絡提取空間特征時引入通道和空間注意力方法，通過學習自動獲取到每個特征通道以及每個特征中特定區域的權重，然后根據通道維度上的權重關注重要的特征通道，根據空間維度上的權重增強特定區域的表征.最后在3D ResNet網絡對時空特征建模時，引入全局時空感受野方法來捕獲大范圍的時空特征依賴關系.我們將優化后的方法和原方法以及其他一些最新的方法進行對比，同時和自身也進行了分步對比，分析通道和空間注意力、全局時空感受野以及三維卷積核分解給原方法帶來的效果提升.

2 CS-NL-SECO方法整體架構

我們的視頻分類方法總體結構如圖1所示，方法主體主要有以下4個模塊組成：

圖1 CS-NL-SECO方法總體結構

a)視頻特征提取模塊；

b)引入通道和空間注意力機制的二維CS-BN-Inception網絡模塊；

c)時域擴展模塊；

d)引入非局部感受野和三維卷積核分解的三維NL-SResNet網絡模塊.

2.1 視頻特征提取層

給定一段視頻，把它按相等間隔分為k段{S1，S2，…，Sk}，則整個視頻可表示如下：

V={T1，T2，…，Tk}

(1)

其中T1，T2，…，Tk代表片段序列，每個片段從它對應的剪輯S1，S2，...，Sk中隨機采樣得到.

每個幀由一個二維卷積網絡(權值共享)處理，該網絡產生一個特征表示編碼幀的外觀.通過對覆蓋整個視頻的時間片段的幀進行聯合處理，我們確保能夠捕捉到一個動作在一段時間內最相關的部分，以及這些部分之間的關系.隨機選取采樣幀的位置比總是使用相同的位置更有優勢，因為它在訓練過程中帶來了更多的多樣性，并提高網絡泛化能力.

2.2 CS-BN-Inception網絡層

對于2D網絡，我們使用BN-Inception的第一部分(直到inception-3c層).它有2D過濾器和帶BN的池化內核.我們選擇這個架構是因為它的高效.為了更好建模特征通道依賴關系，我們在BN-Inception中的每一層引入通道和空間注意力(CS)機制.

2.3 時域擴展層

為了解隨著時間的推移動作在場景中的表示，我們將所有幀的表示疊加起來，并將其擴展到時域上，輸入到一個3D卷積神經網絡中.時域擴展公式如下：

(2)

2.4 三維NL-SResNet網絡層

我們使用3D ResNet18網絡的部分層，第一層是resnet3a_2層，之后跟3D ResNet18網絡結構相同.為了減少計算量，并且更好地對視頻進行時空特征建模，我們首先將三維卷積核分解，來更好地學習時空特征，并減少網絡計算量，其次引入全局感受野來捕獲大范圍的時空依賴關系.

3 CS-NL-SECO方法的核心思想

3.1 基于CS注意力建模特征通道依賴關系

BN-Inception網絡雖然可以捕獲多尺度的空間特征，但忽視了特征通道間的依賴關系以及特征中位置的相關程度.因此我們在BN-Inception網絡中的每一層引入通道和空間注意力(CS)方法，通過學習自動獲取到每個特征通道以及每個特征中特定區域的權重，然后根據通道維度上的權重關注重要的特征通道，根據空間維度上的權重增強特定區域的表征，抑制不相關的背景，從而獲得更有效的空間特征.如圖2所示，當前2D BN-Inception層輸出特征圖F∈RC×H×W作為通道和空間注意力方法的輸入，首先經過通道注意力模塊得到1維的通道注意力特征圖Mc∈RC×1×1，其次經過空間注意力模塊得到空間注意力特征圖Ms∈R1×H×W，計算公式如下：

圖2 通道和空間注意力結構

F′=Mc(F)?FF″=Ms(F′)?F′

(3)

其中?代表點乘，Mc表示經過通道注意力提取的特征，Ms表示經過空間注意力提取的特征，F′代表Mc與輸入特征F點乘得到的通道注意力優化的中間特征圖，F″代表經過通道和空間注意力最終優化后的輸出.

3.1.1 通道注意力模塊

圖3 通道注意力結構

Mc(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

(4)

其中σ代表激活函數，W0∈RC/r×C，W1∈RC×C/r是多層感知機中的權重，對于兩個中間特征圖是權重共享的.

3.1.2 空間注意力模塊

圖4 空間注意力結構

Ms(F)=σ(f7×7([AvgPool(F))；MaxPool(F)]))

(5)

其中σ代表激活函數，7×7表示卷積核的大小，7×7的卷積核比3×3的卷積核效果更好.

3.2 基于全局感受野建模長距離時空特征

ResNet網絡無法捕獲大范圍的時空特征依賴關系.因此我們在ResNet網絡中引入全局時空感受野方法，通過計算某個位置的響應時，考慮所有位置特征的加權，所有位置可以是空間的，時間的，時空的，因此可以捕獲時空特征的長范圍依賴關系.計算公式如下：

(6)

其中x表示輸入特征，y表示輸出特征，其維度和x相同.f是配對計算函數，來計算當前i和所有可能關聯的位置j之間的相關度.g用于計算輸入特征在j位置的特征值.C(x)是歸一化參數.

為了建模兩個位置之間的相關程度，這里我們選用嵌入高斯函數，它的優點是更加通用，在嵌入空間中計算高斯距離.計算公式如下：

f(xi，xj)=eθ(xi)Tφ(xj)

(7)

其中θ(xi)=Wθxi和φ(xj)=Wφxj是兩個嵌入函數，歸一化函數C(x)=∑?jf(xi，xj).

為了簡化，我們只考慮g是線性的情況計算輸入特征在j位置的特征值.計算公式如下：

g(xj)=Wgxj

(8)

圖5 全局感受野結構

3.3 基于分離的時空卷積核來更好地建模時空特征

傳統的3D卷積神經網絡所需要的時空特征融合帶來的訓練復雜度以及所需的存儲消耗限制了3D網絡的表現.因此我們將傳統的3×3×3的卷積核分解為1×3×3的空間二維濾波器和3×1×1的時間一維濾波器.如圖6所示，通過使時間一維濾波器級聯地跟隨空間二維濾波器來考慮堆疊，這兩種濾波器可以在同一路徑上直接相互影響，只有時間一維濾波器直接連接到最終輸出，公式如下：

圖6 分解后的三維卷積核

xt+1=T(S(xt))

(9)

其中xt為第t層的輸入，xt+1為第t層的輸出，S為空間二維濾波器，T為一維時間濾波器.

4 視頻分類訓練算法

算法1.視頻分類CS-NL-SECO訓練算法

輸入：原始視頻流

輸出：收斂的CS-NL-SECO方法

//構建數據集

1.Ω←φ

2.for r = 0 to N-1 do //N表示視頻的總數

3.Vr={S0，S1，…，Sk-1} //其中k表示第k幀

4.Lr=get_label(Vr) //得到視頻的標簽

5. 將一個訓練實例{Vr，Lr}放入Ω

6.end for

//訓練模型

7.初始化CS-NL-SECO方法所有參數?all，將數據集隨機劃分為訓練集Ωt和測試集Ωv

8.do{

9. 從訓練集中隨機選取一個batch的示例

10. for i = 0 to S-1 do //S表示采樣幀數

11. if(BN-Inception模塊)

//Lb表示BN-Inception模塊的卷積層數

12. for j = 0 toLb-1 do

13. if(通道和空間注意力模塊)

14. 根據公式(3)，將特征經過公式(4)和公式(5)的連續推理，得到提煉的特征

15. end if

16. 連續Conv-BN-ReLU操作

17. end for

18. end if

19. end for

20. if(時域轉換模塊)

21. 根據公式(2)將所有采樣幀的表示疊加起來，并將其擴展到時域上

22. end if

23. if(三維卷積核分解后的ResNet模塊)

//Lm表示ResNet模塊的卷積層數

24. for k = 0 toLm-1 do

25. 連續Conv-BN-ReLU-殘差連接操作

26. if(全局感受野方法模塊)

27. 根據公式(6)捕獲長范圍時空特征依賴關系

28. end if

29. end for

30. end if

31. 最后，通過交叉熵損失函數求得誤差，更新全局參數?all

32.}while(滿足優化條件則停止)

5 實 驗

5.1 實驗環境和實驗數據

5.1.1 實驗環境

操作系統Ubuntu 18.0.4，64位；Pytorch框架；16核i9-9900k處理器；內存大小為32GB；RTX2080Ti圖形處理器，4塊，顯存大小為11GB.

5.1.2 數據集

本文在視頻分類領域最流行的4個視頻數據集上評估了所提出的方法：

UCF101數據集[28]是最流行的視頻動作識別基準，包含來自101個動作類別的13320個視頻.數據集組織者提供了三個訓練/測試片段，UCF101中的每個片段包括大約9.5K的訓練視頻和3.7K的測試視頻.

HMDB51數據集[29]包含來自51個動作類別的6849個視頻片段，HMDB51和UCF101數據集遵從THUMOS13驗證方法，分別在這兩個數據集的3個split上進行訓練和測試，最后取測試結果的平均值作為最后結果.

Something-something數據集[30]包含來自174種物體和動作類別的108499個標注視頻片段，其中標注是基于模板的文字描述，比如“把某物丟進某物”，每個視頻的時長在2-6秒，該數據集包括86K的訓練視頻和11.5K的測試視頻.

Kinetics數據集[22]由大約300000個視頻剪輯組成，涵蓋400個人類動作類，每個動作類至少有600個視頻剪輯.每個剪輯持續大約10秒鐘，并標有一個類.所有剪輯都經過多輪人工注釋，每個剪輯均來自一個獨特的YouTube視頻.這些動作涵蓋了廣泛的課程，包括人與物體交互，如演奏樂器，以及人與人之間的互動，如握手和擁抱.

5.2 評價指標

我們采用Top-1、Top-5準確率來評價視頻分類方法的性能，其計算方法如下：

(10)

其中P表示Top-1、Top-5準確率，TP表示分類正確的樣本數，Top-1分類正確：即對網絡輸出的C維向量(該視頻屬于各類別的概率值，C為類別數)中的元素降序排列，如果概率最大值所對應的類別與真實視頻標簽相符，則該視頻分類正確，否則分類錯誤.Top-5分類正確：只要概率排名前五個中有對應的類別與真實視頻標簽相符，則該視頻分類正確，否則分類錯誤.FP為分類錯誤的樣本數.

另外，我們使用網絡的參數量(Params)和計算量(FLOPs)去評判網絡的空間復雜度和時間復雜度.

5.3 實驗設置

對于視頻幀采樣策略，我們將訓練集和測試集中的每個視頻片段均分為k段，并在訓練和測試時隨機在每個時間片段中選取一張幀，這種采樣方法不僅可以減少幀與幀之間的數據冗余，還可以充分利用視頻中的所有幀得到視頻級的表示，提高了方法的魯棒性.對于k的設置，我們設為8、16以及32進行訓練和測試.主要因為視頻時長較低，解碼完以后通常可以得到120至200張圖片，如果采樣過多，則幀之間的場景幾乎沒有變化，并且在視頻分類的研究中一般稀疏采樣16幀或者32幀就可以得到最佳的結果.

對于數據增強，我們首先將幀尺寸調整為240×320，對調整后的幀使用固定角裁剪、尺寸抖動以及水平翻轉等數據增強技術.其次運用去中心化方法，將逐個樣本減去對應維度的統計平均值，來消除公共的部分，以凸顯個體之間的特征和差異.最后調整裁剪區域的大小為224×224.

對于網絡訓練，我們使用原方法提供的預訓練權重在四個數據集上重新測試得到新的基準.使用ECO方法在Kinetics數據集上的權重對Inception網絡初始化，使用2D ResNet18在ImageNet數據集[31]上預訓練的權重對3D卷積核分解后的空域卷積核進行權重初始化，時域卷積核被作為恒等映射進行隨機初始化.我們參考原方法使用較小的學習率0.001進行微調，當驗證損失趨于穩定時將學習率降低10倍.使用Xavier來隨機初始化權重參數，使用交叉熵作為損失函數對模型的參數求梯度進行更新，使用隨機梯度下降優化(SGD)算法對模型進行優化.動量參考原方法設為0.9，權重衰減為0.0005，因為Kinetics數據集過大，batch-size設置為4.為了防止過擬合，在全連接層前使用dropout層，dropout ratio設為0.3，經過測試發現設為0.5的結果沒有0.3好.當三維卷積核分解后的網絡訓練完成后，將訓練得到的權重對新引入的通道和空間注意力模塊以及全局時空感受野模塊分別進行微調，將新引入的模塊學習率設置為0.01，原模塊學習率保持0.001不變,我們也測試了新引入的模塊學習率設為0.1和0.001的情況，結果顯示設為0.1時精度較低，設為0.001時收斂速度略慢.我們在Kinetics數據集上訓練完后分別在UCF101、HMDB51以及Something-something數據集上僅對全連接層微調，學習率設置為0.001，batch-size設置為64，其他參數與在Kinetics數據集上訓練的設置保持相同.

5.4 實驗結果與分析

5.4.1 消融實驗

本節在Kinetics數據集上采樣32幀進行實驗，對比不同方法的提升效果，其中SECO代表將3D時空卷積核分解成空域卷積和時域卷積的方法，SE代表使用了通道注意力方法，CS代表通道和空間注意力方法，SK代表自適應感受野方法，NL代表全局感受野方法，2D代表僅在二維網絡中實驗，3D代表僅在三維網絡中實驗.實驗結果如表1所示.

表1 Kinetics數據集消融實驗

從表1可以看出，我們在原有方法基礎上分解三維卷積核以后，SECO方法不僅精度高，而且參數少，計算量小，我們認為這種三維卷積核分解有利于減少過擬合，同時并沒有降低模型的表達能力.在此基礎上對特征通道依賴關系建模，首先在2D網絡中使用通道注意力方法以后，參數量和計算量增加可忽略不計，精度提升了0.4%，在此基礎上引入空間注意力以后，精度提升了0.7%.為了嘗試Inception網絡中引入自適應感受野方法，我們調整3×3和5×5的通道數，讓二者保持一致，在增加一部分參數和計算量的情況下，精度有所下降，我們認為自適應感受野方法本身借鑒了Inception多尺度的思想，同時建模了通道依賴關系，引入到我們的Inception網絡中，改變了原有的Inception架構，破壞了Inception的高效.在對長期時空特征依賴關系進行建模時，我們首先在Inception網絡中引入全局感受野方法，我們可以看到參數量和計算量比通道和空間注意力方法高出很多，這是因為底層網絡的尺寸較大.但是精度卻沒有通道和空間注意力好，我們認為通道和空間注意力在關注通道的同時，也增強了特定區域的表征，而全局感受野方法存在通道依賴關系上的建模不足.其次在3D網絡中引入全局時空感受野方法，參數量和計算量增加不大的情況下，精度有了很大的提升.我們認為視頻中相關的物體可能出現在較遠的空間和較長的時間，而原方法中沒有能力去捕獲這些相關性，但是我們的方法可以捕獲它們的相關性.最后我們在2D和3D網絡中同時去優化，我們發現在二維網絡中引入通道和空間注意力，三維網絡中引入全局時空感受野比只引入全局時空感受野的精度更好，這是因為通道和空間注意力可以彌補全局時空感受野在通道上建模的不足，同時參數量和計算量相比SECO方法僅有些許增加.

5.4.2 不同采樣幀數下的對比實驗

本節探索了不同的采樣幀數對視頻分類的影響，我們分別測試了采樣8幀、16幀以及32幀時在四個數據集上的的分類效果，實驗結果結果如表2所示.

從表2可以看出，在UCF101、HMDB51和Kinetics數據集上，隨著采樣數的增加，分類的精度越高，這證實了文獻[22]和文獻[32]中的觀察結果.而在Something數據集上，當采樣幀數為32與采樣幀數為16相比時，分類精度反而下降了，這是因為隨著采樣數增加，幀級預測的準確率越來越高，而視頻級預測作為所有幀級預測結果的平均，融合的效果就不會再那么明顯了.同時我們也可以觀察到，隨著采樣幀數的增加，通道和空間注意力和全局時空感受野對原方法提升的效果更好.我們認為采樣幀數的增加帶來了更豐富的時空特征，從而提升效果更好.

表2 不同采樣幀數的實驗對比

為了進一步證明我們提出的方法有效性，我們在較小的UCF101數據集上給出一個定性的分類結果，如圖7所示.圖7展示了原方法和我們改進后的方法在UCF101數據集split1片段上的Top-5預測結果的比較.結果表明，在空間特征相似的情況下，原有的ECO方法無法通過外觀特征簡單的區分類別，容易被短期的時空特征依賴關系所欺騙.例如拳擊沙袋和拳擊速度袋雖然在短期片段中看起來類似，但在長期片段中有很大差異.而我們的方法可以捕獲長期的動作片段，提供更準確的全局特征，所以可以區分在短期片段中看起來相似但在長期中可能有很大差異的動作.

圖7 與ECO在Top-5分類結果上對比

5.4.3 與最新方法對比

本節在UCF101、HMDB51和Kinetics數據集上與其他以RGB幀為輸入的最新方法上的精度和速度進行對比，結果如表3所示.

表3 與最新方法在速度和精度上的對比

從表3可以看出，與I3D方法、STC方法、ARTNet方法以及ECO方法相比，我們的方法無論是精度還是速度都遠遠優于它們；與NLI3D方法和LGD-3D相比，雖然我們的方法精度比其略低，但它們是建立在101層網絡的基礎上，我們的方法計算量遠遠小于它們.與MFNet方法相比，雖然我們的計算量比它大一些，但是在三個數據集上的精度卻比它高.與S3D-G方法、R3D-34方法以及FASTER32方法相比，雖然在三個數據集的精度很接近，但是我們的計算量要小于它們.

為了更清晰地的看到我們的方法在精度和速度上的優勢，我們對最新的方法做了一個精度和速度對比圖，如圖8所示，最優的方法更接近左上角，可以明顯的看到，一些方法取得了很高的精度，但是在速度上犧牲很大.一些方法取得了很快的速度，但是精度上略有不足.而我們的方法位于左上角，在速度和精度上達到了較好的平衡.

圖8 與最新方法在Kinetics上精度和速度對比

6 結束語

本文提出了一種基于全局感受野的高效視頻分類方法，該方法通過分離三維卷積核來減少計算量和更好地學習時空特征，引入通道和空間注意力機制自動獲取每個特征通道以及每個特征中特定區域的權重，然后根據通道維度上的權重關注重要的特征通道，根據空間維度上的權重增強特定區域的表征，抑制不相關的背景.引入全局感受野方法深度建模長期的時空特征依賴關系.在四個公共數據集上的實驗結果表明，我們提出的方法是有效的、可行的，并且對基于混合架構(2D+3D)的視頻分類方法有一定的貢獻.在未來的研究工作中，我們將光流引入到我們的方法中，將基于光流和RGB特征的損失和標準交叉熵損失進行線性組合來設計新的損失函數，實現光流獲取的知識通過輸入的RGB流傳遞到我們的網絡中以避免在測試時進行光流計算，在保證推理速度不下降的情況下，進一步提升精度.