注意力與特征融合的未來幀預測異常行為檢測算法

張瑜瑋,王燕妮

(西安建筑科技大學信息與控制工程學院, 陜西 西安 710055)

0 引言

異常行為檢測是增強監控場所安全的重要科學技術手段,具有重要的社會價值和應用價值[1]。傳統的異常行為檢測算法特征提取方法包括通過獲取物體在運動過程中的位置、長度、速度等信息構造特征的基于軌跡的方法[2-3]和通過提取底層的空間信息的基于低維特征的方法[4-7]。雖然這些方法在某些特定的場景下能夠取得較好的檢測效果,但這些方法是通過人工提取特征,算法對于數據庫依賴較大,其異常檢測算法不具有客觀性,且易受光照變換、視角轉換、圖像噪聲等方面的影響。

隨著卷積神經網絡在行為識別領域研究的逐步深入,基于深度學習的視覺特征逐漸應用到異常行為檢測模型中,并取得了較大的進展。目前,基于深度學習的異常行為檢測主要有兩個方向:一是基于重構的異常行為檢測;二是基于預測的異常行為檢測。基于重構的異常行為檢測是對輸入正常行為的視頻圖像進行特征提取,再解碼為重構圖像,最終以重構誤差作為異常得分判斷視頻圖像中是否含有異常行為。該方法包括以循環卷積網絡[8-10](RNN)、生成對抗網絡[11](GAN)、3D卷積網絡[12]等網絡為基礎模型進行圖像重構。由于基于重構的異常行為檢測方法僅在正常數據上進行學習,因此模型不能準確判斷出遮擋情況下的異常行為,導致檢測效果差。基于預測的異常行為檢測,通過提取一段連續幀視頻圖像的外觀特征與運動特征進行建模,生成預測圖像,將預測圖像與真實圖像進行對比得到預測誤差來判斷。該方法主要應用于異常行為類型定義不準確的檢測算法中。

針對現實生活中提取到的視頻無任何標簽信息,異常行為類型不能準確判斷等問題,提出一種注意力與特征融合的未來幀預測算法用于異常行為檢測。

1 相關理論

1.1 生成對抗網絡

生成對抗網絡(GAN)是一種生成式的、對抗的無監督網絡模型,是生成網絡和判別網絡兩個神經網絡相互競爭的過程。生成器的目的是通過學習真實的圖像數據分布盡可能生成讓判別器無法區分的逼真樣本,而判別器則是盡可能去判別該樣本是真實樣本還是由生成器生成的假樣本。在理想條件下,生成器和判別器會達到納什均衡狀態。圖1展示了GAN的基本框架。

圖1 生成對抗網絡原理圖

為了使模型更加關注圖像的細節特征,提高圖像的清晰度,2017年Isola等人提出馬爾可夫判別器(PatchGAN)[13],將判別器改進成了全卷積網絡,輸出n×n的矩陣作為評價值用來評價生成器的生成圖像。

1.2 U-Net網絡

基于自身參數較少、易于訓練的優點,U-Net網絡在圖像檢測領域得到了廣泛的應用[14]。為了解決梯度消失和信息不平衡問題, U-Net網絡在編碼器與解碼器之間引入跳躍連接,將相同分辨率的全局空間信息與局部細節信息進行融合,生成較高質量的圖像。

文獻[15]提出了一種基于生成對抗網絡預測未來幀的異常行為檢測方法,該方法以正常樣本進行學習,運用以U-Net網絡作為生成器的生成對抗網絡,通過對比預測幀和未來幀,判斷圖像是否包含異常行為,但該方法的準確率還需要進一步提升。

2 注意力與特征融合的未來幀預測異常行為檢測算法

為了對原始算法的不足進行改進,本文采用無監督學習方式進行視頻幀預測,利用生成對抗網絡作為基礎網絡,以U-Net網絡為基礎對生成器進行改進。首先引入了SoftPool層盡可能減少池化過程中帶來的信息損失;其次,為了保留更為豐富的上下文信息,突出關鍵信息部分,引入ECA注意力機制;然后,編碼器對輸入的連續幀進行下采樣提取底層特征,并將最后一層特征圖輸入BTENet模塊編碼全局信息,學習特征像素之間的相關信息;最后,在網絡特征圖的輸出部分引入CSENet模塊,基于注意力機制的特征提取出更加符合要求的通道作為輸出。然后將預測圖像輸入到馬爾可夫判別器中,由其判斷真假。為了提升模型的預測效果,施加強度和梯度損失函數對空間進行約束,并加入光流損失來加強時間約束,保證運動的一致性。整體網絡框架如圖2所示。

圖2 整體網絡框架圖

2.1 SoftPool池化層

異常行為檢測中所采集到的數據集大多包含大量背景信息,人在圖像中所占像素較少且相鄰幀圖像的相似度較高。原U-Net網絡利用最大值池化實現下采樣的過程容易損失部分重要信息導致誤檢。因此,使用SoftPool[16]池化層替換U-Net中的最大池化層,利用softmax的加權方法保留輸入圖像的特征屬性,對感受野內的所有像素以加權求和的方式映射到網絡的下一層,使得網絡在對特征圖進行下采樣的同時,盡量減少特征信息的丟失,更多保留圖中的細粒度信息,適用于異常行為的特征提取網絡。

2.2 高效通道注意力機制

考慮到計算性能和模型的復雜度,在特征融合層中引入了一種輕量級注意力機制ECA-Net[17],其架構圖如圖3所示。

圖3 ECA架構圖

該網絡在不降低通道維數的情況下進行跨通道信息交互。首先采用全局平均池化操作實現低維嵌入,得到1×1×C的特征向量,其次采用大小為K的一維卷積進行局部跨通道連接操作。通道數C和局部跨通道卷積核K對應關系為

(1)

式(1)中,r=2,b=1,K為計算出來臨近的奇數值。

2.3 BTENet模塊

基于BoTNet模型[18]在低層U-Net編碼器與解碼器之間添加改進的Bottleneck Transformers模塊和ECA模塊組合而成的BTENet模塊,其結構圖如圖4所示。其中Bottleneck Transformers模塊借鑒了ResNet Bottleneck模塊結構,將ResNet Bottleneck模塊中的空間卷積層替換成多頭自注意力塊MHSA(multi-head self-attention),如圖5所示。添加BTENet模塊后,提升目標檢測的性能,使得網絡能夠更好地提取圖像中有效的局部特征,聚合圖像全局信息的同時降低模型參數量,使延遲最小化。

圖4 BTE Net結構圖

圖5 MHSA結構圖

2.4 CSENet模塊

為了更好融合圖像的上下文信息,增強特征表示,改進了解碼器輸出分類層的上采樣網絡結構,將其命名為CSENet。該模塊將單一的卷積層替換成殘差網絡結構[19],同時考慮到特征通道間重要程度的不同,提高對圖像幀關鍵信息的提取能力,引入SE注意力模塊[20],為后續圖像預測過程打基礎。CSENet模塊的結構圖如圖6所示。

圖6 CSE Net結構圖

3 實驗與結果分析

3.1 約束條件與評價指標

3.1.1損失函數

在本文實驗中,生成器不僅被訓練用來欺騙判別器,而且還被要求約束條件中生成的圖像和原圖像之間的相似性。因此,生成器的損失函數由強度損失、梯度損失、光流損失、對抗損失組成。

強度損失用來保證兩幀圖像的RGB空間中對應像素的相似性;梯度損失可以使生成的圖像銳化,更好地保持幀的清晰度;引入光流損失為了約束運動信息,計算預測幀與真實幀之間運動信息。

生成對抗網絡的訓練過程包含訓練判別器和訓練生成器。判別器和生成器的訓練過程的損失函數為

(2)

(3)

(4)

最終得到生成器的損失函數為

(5)

判別器的損失函數為

(6)

式(6)中,λi表示強度損失函數的權重,λg表示梯度損失函數的權重,λo表示光流損失函數的權重,λa表示對抗損失函數的權重。

3.1.2異常得分函數

(7)

PSNR越小表明該幀是異常的概率越大,因此,可根據PSNR設置閾值判斷視頻幀是否異常。

3.2 實驗數據及評價指標

CUHK Avenue數據集是目前視頻異常檢測領域最廣泛使用的數據集之一,其主要包括16個訓練視頻段和21個測試視頻段,測試視頻中總共包含有47個異常事件。每個視頻時長約為1 min,視頻幀的分辨率大小為640×360。部分異常行為示例如圖7所示。

圖7 CUHK Avenue數據集部分異常行為示例

UCSD Ped2數據集由加州大學制作的視頻異常檢測數據集,其異常事件都與交通工具有關,部分異常行為如圖8所示。該數據集包含16個訓練視頻段和12個測試視頻端,測試視頻共包含12個異常事件。每個視頻段大約包含170幀灰度圖,視頻的分辨率大小為360×240。

圖8 UCSD Ped2數據集部分異常行為示例

該模型在NVIDIA Tesla V100,顯存為16 GB的平臺上進行實驗,使用Python3.8語言,軟件環境為Pytorch 1.8.1,cuda 10.2。

為了衡量本文方法用于視頻異常行為檢測的有效性,采用了控制異常得分閾值來繪制接收者操作特征曲線(receiver operating characteristic,ROC)的曲線下面積(area under curve,AUC)作為評價指標。本文方法和大多數算法一樣,使用幀級別AUC來評價算法性能,即只要在視頻幀中任何一個位置被判定為異常,則該視頻幀就被判定為異常。

3.3 參數設置

訓練時,所有幀的像素被歸一化值[-1,1],每幀圖像大小設置為256×256,將連續4幀圖像作為生成器的輸入數據,即設置t=4。使用Adam優化方法,生成器和判別器的學習率分別設置為0.000 2和0.000 02,目標函數中λi、λg、λo、λa分別設置為1.0、1.0、2.0、0.05。

3.4 實驗結果

3.4.1檢測性能比較

為了證明本文方法在視頻異常檢測方面的有效性,將改進的方法與現有的7種不同方法在CUHK Avenue數據集和UCSD Ped2數據集中進行比較。其中包含構建傳統淺層模型、深度重構模型、深度預測模型三類。MPPCA(概率主成分分析器的混合)+SF(社會力)[6]、MDT(動態紋理的混合)[21]是基于手工特征的方法;Conv-AE[22]、Convlstm-AE[9]、Stacked RNN[10]和Self-training[23]是基于自編碼器的方法,通過重構模型檢測異常行為;Pred+Recon[15]是基于生成對抗網絡的方法,通過預測模型檢測異常行為。表1顯示了各種方法的幀級視頻異常檢測結果。

表1 不同算法在CUHK Avenue和UCSD Ped2數據集上的AUC結果對比

從表1可以觀察到,基于自編碼器的深度重構模型通常優于基于手工特征的傳統淺層模型。這是因為手工特征的提取通常是基于其他的任務而取得的,因此可能是次優的。此外,從表中數據還可以發現基于生成對抗網絡的深度預測模型比大多數基線方法表現更優。本文提出的算法在CUHK Avenue數據集上取得了85.4%的AUC,比效果最優的Pred+Recon方法領先0.5%。在UCSD Ped2數據集上AUC達到了92.4%。

為了更直觀地顯示本文算法的有效性,圖9展示了最優的深度學習預測算法同一視頻幀的熱圖和本文改進算法的熱圖。通過對比可以看出,改進算法中目標和背景差被明顯放大,背景噪聲減小,亮度被抑制,有利于網絡更專注于提取運動的目標,同時減少了背景對目標的影響。

3.4.2有效性驗證及討論

為了驗證本文方法中各個模塊的有效性,在CUHK Avenue數據集上做了消融實驗來驗證。實現結果如表2所示。

表2 不同模塊結果對比

3.4.3異常行為結果顯示

以CUHK Avenue數據集的Testing05測試視頻為示例顯示異常檢測結果,如圖10所示。橫軸表示視頻幀數,縱軸用預測幀與真實幀之間的峰值信噪比(PSNR)作為異常得分的評判指標,本文將閾值設置為35,PSNR值越小,則表明有異常行為出現,PSNR值越大,則行為正常。從圖中可以看出,當行人正常行走時,PSNR保持較高值,當有行人出現并拋擲物體時,異常得分極速降低;最后行人恢復正常行走時,PSNR又恢復到較高水平值。

圖10 異常檢測結果

4 結論

注意力與特征融合的未來幀預測異常行為檢測算法通過構建生成對抗網絡對視頻進行未來幀預測來檢測異常行為,該算法對U-Net網絡框架進行了改進,引入了一種快速高效的池化方法,設計了新的特征融合模塊和特征提取模塊,引入了輕量級注意力機制,有效改善了復雜場景下前景背景區分不明顯,視頻流時空間信息量不均衡,檢測效果差等問題。實驗結果表明,該算法對復雜場景中的人體異常檢測更準確,在CUHK Avenue數據集中AUC達到了0.854,在UCSD Ped2數據集中AUC達到了0.924,證明了改進方法的有效性。但該算法的檢測速度有所下降,在后續工作中將進一步輕量化網絡結構,提升算法的檢測速度。