治安監控視頻中暴力行為的識別與檢測

譚等泰， 王 煒， 王軼群

(甘肅政法大學司法鑒定中心， 蘭州 730070)

0 引言

近年來，示威游行、暴力犯罪和踩踏等危害社會公共安全的事件頻繁發生，這些突發的惡性事件，不但會對生命財產造成危害，而且對治安秩序形成嚴重的威脅[1-2]。暴力行為是以人和財產為侵害對象，采取暴力手段，會對身心健康和財產構成威脅，嚴重情況下直接危及人的生命健康[3-5]。傳統的視頻識別主要依賴人工審核，但是依靠人工審核的方法很難實時檢測到異常行為的發生，而且視頻呈爆發式增長，這種方法無法滿足實際需求。因此對治安監控視頻中出現的暴力行為自動分析并預警，對維護社會治安秩序具有重要的實用價值。

暴力行為檢測是行為識別中的一項特殊應用，根據輸入數據的不同，暴力行為檢測可分為3類，分別為基于音頻特征的暴力行為檢測[6-8]、基于視頻特征的暴力行為檢測[9-12]和基于音視頻混合特征的暴力行為檢測[13-15]。隨著視頻監控的普及，從視頻中實時預判暴力事件顯得尤為重要，因此重點介紹基于視頻的暴力行為檢測，暴力行為檢測方法主要分為人工提取特征的方法和深度學習的方法。在基于人工提取特征的暴力行為檢測中，文獻[16-17]選取了暴力行為中常出現的血液、火焰、皮膚、爆炸和聲音等特征實現暴力行為的識別與檢測，但是某些暴力行為中并未出現血液、火焰等明顯的暴力特征，因而文獻[9]、[18]通過檢測人體的姿態、運動軌跡和光流等運動特征檢測暴力行為，用到的特征有加速度運動矢量[19]、暴力流[20]和韋伯局部描述符[21]等。總之，人工提取特征的暴力行為識別中，特征的提取主要靠先驗知識，準確率相對比較低。

在基于深度學習的暴力行為檢測中，網絡從數據集中自動提取特征，不需要人為設計特征。二維卷積神經網絡(2D CNN, 2D Convolutional Neural Networks)在圖像特征提取中取得了巨大的成功，將二維空間拓展到三維空間處理視頻數據形成三維卷積神經網絡(3D CNN, 3D Convolutional Neural Networks)，文獻[11]采用使用3DCNN對視頻中的暴力行為進行檢測，該方法在不依賴手工提取特征的情況下達到了較好的效果。文獻[22]提出了基于RGB圖像和光流的暴力行為檢測算法，主要通過RGB圖像和光流圖像提取特征，然后融合長短期記憶網絡(LSTM，Long Short-Term Memory)進行編碼，可以有效地提取視頻中的時空特征，但網絡模型比較復雜，提取光流特征計算量比較大。卷積長短期記憶網絡[23](ConvLSTM，Convolutional LSTM Network)是由香港科技大學的Shi提出的，并利用它建立了短時降水預報模型，它不但可以像LSTM網絡一樣捕獲序列信息，而且可以提取空間特征。文獻[12]將ConvLSTM應用到暴力行為檢測中，能夠有效地對視頻進行建模，該方法在暴力行為檢測中取得較好的檢測效果。

深度學習的方法能夠從數據中自主提取特征，在暴力行為檢測領域已經遠遠超過了基于手工設計特征的傳統算法，但是基于深度學習的方法也存在一些缺點，如通用性欠佳，在提取視頻數據的特征時很難完全提取高層時序特征。因此提出了一種融合3DCNN和ConvLSTM網絡的暴力行為檢測模型，通過3D CNN和ConvLSTM兩個模塊逐級提取視頻中的低層時空特征和高層時序特征，從而更好地檢測暴力行為。

1 網絡結構

圖1為暴力行為檢測結構框圖，該模型主要由3D CNN模塊和ConvLSTM模塊兩部分構成。該算法的檢測流程劃分為3個階段。

圖1 暴力行為檢測結構框圖

第一，設計3D CNN網絡提取視頻的低層時空特征。3DCNN主要是用于短時序特征的建模與提取，該特征包含了暴力視頻中與行為目標、場景和人體動作有關的信息，使得這些特征對不同的任務都通用。

第二，設計ConvLSTM網絡對3D CNN提取的時空特征進行長時空特征建模，進一步提取局部特征并建立時序關系。ConvLSTM不但可以提取空間特征，而且可以捕獲序列信息，更好地提取深度融合特征。

第三，采用全局最大池化層(GlobalMaxpooling 2D)將特征映射到低維空間中，并在全局最大池化層之后加入隨機丟棄層(Dropout)，并由Sigmoid層輸出暴力行為類別。其中，Dropout按照一定的概率使一定數量的神經元權重等于0，在小批量的訓練過程中，每次訓練網絡的連接方式是不同的，阻止了某些特征在特定特征下才有效的情況，這樣做能夠防止模型過擬合的問題，進而提升模型對未知數據的泛化能力。

2 3D CNN網絡結構

視頻是由一系列連續的圖像數據組成，視頻中包含目標的運動信息等三維信息，二維卷積神經網絡具有很強的特征表達能力，但處理視頻任務時，需要將視頻轉換為單獨的圖像幀，從而丟失了幀間運動信息，因此無法捕捉運動信息。為了更好地提取視頻的時空特征，將2D CNN在時間維度上進行擴展形成3D CNN提取特征，并結合參考文獻[24]設計了3DCNN模塊。

3DCNN模塊結構如圖2所示，網絡以80×80×3×24的視頻作為輸入，其中80為視頻幀的高度和寬度，24為視頻幀的長度，3為通道數。該模型總共由1個輸入層、4個卷積層(Conv3D)、3個池化層(Pooling)，3個激活層(Activiation)和3個批標準化層(BN，Batch Normalization)組成。卷積層Conv1到Conv4的濾波器數量分別為64，64，128，128。第一個池化層的內核大小為(2，2，2)，步長為(2，2，1)，在第一層卷積層Conv1上，只對視頻的空間維度進行了下采樣，即視頻的高度和寬度下采樣，保留了幀間運動信息，其他池化層的內核大小為(2，2，2)，步長為(2，2，2)。

圖2 3D CNN模塊

為了提高分類效果，在激活層之后選用BN層，BN層是一種對數值的特殊變換方法，把越來越偏的分布變換到比較標準的分布，可以加速網絡的收斂速度，有效地控制梯度爆炸和消失；池化不但可以使特征和參數減少，而且還可以使特征保持伸縮、旋轉和平移不變性。最大池化(MaxPooling3D)能提取更多的紋理特征，而平均池化(AveragePooling-3D)能提取更多的背景特征，因此網絡中所有的池化操作都采用MaxPooling3D，保留視頻的紋理特征；激活函數選擇“Relu”。Relu會使小于0的神經元置0，使網絡變稀疏，減少了參數之間的依賴關系，可以有效的緩解過擬合。

3 ConvLSTM網絡

LSTM[25]是由循環神經網絡(RNN，Recurrent Neural Network)的發展而來，它解決了反向傳播過程中梯度爆炸或梯度消失問題。雖然LSTM在序列建模任務中表現良好，但是對于空間數據來說，一般的LSTM通過整個全連接層將輸入圖像展平為一維矢量，這會導致圖像空間信息的丟失。為了保留空間信息，ConvLSTM將卷積運算用于輸入到狀態的轉換以及狀態到狀態的轉換。它可以更好地捕獲空間信息，ConvLSTM的內部結構如圖3所示，公式如下：

圖3 ConvLSTM內部結構

it=sigmoid(Wxi*Xt+Whi*Ht-1+Wci⊙Ct-1+bi)
ft=sigmoid(Wxf*xt+Whf*Ht-1+Wcf⊙Ct-1+bf)
Gt=tanh (Wxc*xt+Whc*Ht-1+bc)
Ct=ft⊙Ct-1+it⊙Gt
ot=sigmoid(Wxo*Xt+Who*Ht-1+Wco⊙Ct+b0)
Ht=ot⊙tanh (Ct)

(1)

(1)式中*表示卷積，⊙表示元素乘法，Sigmoid表示S型激活函數，tanh表示雙曲正切激活函數，it表示輸入門，ft表示遺忘門，Ht是隱藏狀態，ot為輸出門，xt是輸入數據，Ct是單元狀態。ConvLSTM的本質與LSTM的本質相同，取前一層的輸出作為下一層的輸入，主要區別在于添加卷積運算后，不僅可以獲取時間關系，還可以獲取空間關系。

為了提取高層時序特征，采用了兩級Conv-LSTM結構，輸入層為3DCNN模塊提取的特征，第一級卷積核的數量為64，第二級為128，卷積核的大小都為3×3，在第一級和第二級之間依次連接了最大池化層和BN層，在第二級最后一個輸出依次連接最大池化層和全局最大池化層，最后通過Dropout層輸出到Sigmoid分類器輸出結果，網絡結構框圖如圖4所示。為了降低模型的過擬合現象同時結合Hockey數據集的大小，采用了兩級網絡結構，如果增加ConvLSTM的層數會導致模型的過擬合，無法提取高層時序特征。因為暴力行為檢測是二分類問題，所以使用Sigmoid作為最終分類層，最終只需要一個神經元，給出為正樣本的概率p，負樣本概率即為1-p。

圖4 網絡結構框圖

4 測試與分析

4.1 實驗方案與參數設置

為了驗證本文提出算法的有效性，采用暴力行為檢測中最常用的Hockey數據集。該數據集為冰球比賽中的打斗視頻，一共有1 000個視頻片段，其中500個為冰球比賽中的暴力視頻片段，剩下的為非暴力視頻片段。每個視頻片段的分辨率為360×288，該數據集的部分樣本如圖5所示。

圖5 Hockey數據集

實驗硬件環境：CPU為Core i7- 8700k，GPU為NVIDIA GTX2080Ti。軟件環境：Tensorflow1.12.0和Keras2.1.6深度學習框架，編程語言為Python3.6.5，開發工具為PyCharm。

實驗中從原始數據隨機抽取連續的24幀圖像序列作為輸入，圖像序列大小調整為80×80×3×24，訓練期間采用隨機裁剪方式和隨機水平翻轉的方式進行數據增強。訓練集、測試集的比例為8∶2，即暴力和非暴力視頻片段各400個作為訓練集，剩余數據作為測試集。

bacth_size的大小受到電腦內存的限制，隨著 batch_size的增大，模型的訓練時間減少，提高了算法的穩定性，因此實驗過程中根據數據集的大小和內存的大小，令batch_size=16，迭代次數為100，即epoch=100。

通過自動調整學習率的方式提高模型的準確率，調整過程采用線性衰減的方式。如果在3次迭代中學習停滯，準確率不在提升時，學習率減少50%，直到當lr=0.000 1時停止降低學習率，如此循環。參數如表1所示。

表1 訓練參數

4.2 實驗結果與分析

單獨的3DCNN網絡或ConvLSTM網絡可以應用到視頻分類中，為了驗證融合模型的優越性，在Hockey數據集上測試了3DCNN、ConvLSTM和3DCNN+ConvLSTM網絡的準確率變化曲線，如圖6所示，其中，“加號”表示3D CNN+ConvLSTM融合網絡的測試結果，“圓形”表示3DCNN網絡，“朝右三角形”表示ConvLSTM網絡。

圖6 準確率變化曲線

網絡訓練初期，3種網絡的準確率提升非常快，隨著迭代次數的逐步增加，準確率上升速度比較緩慢，經過30輪左右的迭代后，融合網絡和3D CNN網絡趨于穩定，但ConvLSTM網絡在整個訓練過程中出現了波動。單獨的3DCNN網絡和ConvLSTM網絡分別達到了97.40%和96.88%的準確率，在暴力行為檢測中取得了不錯的效果，雖然兩種網絡精度相差不大，但是處理的思路完全不同，3DCNN網絡通過三維卷積核捕獲視頻中的時間和空間信息，而ConvLSTM網絡首先提取單幀圖像的特征，然后對特征進行時序建模。

融合網絡的準確率明顯高于單獨的3D CNN網絡和ConvLSTM網絡，達到了98.96%的識別精度，它利用了兩種網絡的優點，3DCNN網絡的優勢在于提取視頻的低層時序特征，而ConvLSTM網絡對數據的時序特征建模有一定的優勢，融合網絡很好地結合了它們的優點，因此在Hockey數據集上取得了最先進的識別精度，具有較好的泛化能力。

4.3 與其他暴力行為檢測算法比較

為了比較融合算法的高效性，表2列舉了本文融合算法與其他算法在Hockey數據集上的識別精度。融合算法在Hockey數據集上達到了98.96%的識別精度，優于大多數的暴力行為檢測算法。與傳統的暴力行為檢測算法相比，比準確率最高的傳統算法MoIWLD高2.16%，而且大多傳統算法使用了光流信息，這樣會大大增加算法的計算量，無法做到端到端的訓練與識別。與深度學習的算法相比，比識別精度最高的ConvLSTM網絡提升了1.86%。同時，也測試了單獨的3DCNN網絡和ConvLSTM網絡在Hockey數據集上的識別精度，分別為97.40%、96.88%，高于傳統算法，進一步表明了深度學習方法優于人工提取特征的方式。

表2 與其他暴力行為檢測算法比較

本文方法具有先進的識別精度，有兩方面的原因。第一，采用了3DCNN網絡提取了短時空特征，它包含了暴力視頻中與行為目標、場景、人體動作有關的信息，使得這些特征對不同的行為分類任務都有用，是一種高效的視頻描述符。第二，利用ConvLSTM網絡對3D CNN提取的特征建模，提取視頻的長時空特性，更深層次的提取暴力監控視頻中的隱藏信息。

5 結論

針對治安監控視頻中暴力行為的識別與檢測，提出了一種基于3DCNN和ConvLSTM網絡的暴力行為識別與檢測模型，3DCNN網絡是一種高效的視頻描述符，能夠很好地提取短時空特征，ConvLSTM網絡通過對短時空特征的建模，來提取視頻的長時空特性，因而對兩種網絡進行融合，提取了視頻的高層時序特征，為了驗證本文提出算法的高效性和魯棒性，分別對3DCNN和ConvLSTM網絡進行了單獨的測試，在暴力行為識別Hockey數據集上分別達到了97.40%和96.88%的識別精度，而融合網絡達到了98.96%的識別精度，表明了融合網絡優于單獨的3DCNN和ConvLSTM網絡。