基于獨立循環神經網絡與變分自編碼網絡的視頻幀異常檢測

賈 晴，王來花，王偉勝

（曲阜師范大學 網絡空間安全學院，山東 曲阜 273165）

0 引言

傳統的視頻異常檢測［1］需要工作人員對海量的監控數據進行長期而嚴密的觀察來發現異常事件。這種檢測方式繁瑣且極易產生疲勞，容易造成關鍵信息的遺漏。為了準確地發現異常事件并及時做出響應，設計一種高效、智能的視頻異常檢測方法變得愈來愈重要。因此，視頻異常檢測也成為近年來計算機視覺領域的熱門研究問題之一。

異常事件的偶發性以及多樣性使得異常事件的數據很難收集；此外，異常事件的定義具有不明確性，使得同一行為的定義取決于所依賴的具體場景。例如奔跑這一行為發生在操場上被認為是正常事件，但出現在公共場所則被認為是異常行為。因此，視頻異常檢測仍然是一項充滿挑戰性的任務。

早期研究人員通常采用基于軌跡的或手工制作特征的方法進行異常檢測。基于軌跡的方法［2］通過目標跟蹤和目標檢測等方法提取目標對象的行為軌跡，建立正常行為軌跡模型，將與模型不匹配的行為判定為異常。這種方法在擁擠場景尤其是有遮擋或重疊的場景下很難檢測出異常。為解決這個問題，研究者們后續提出了基于梯度直方圖［3］、光流直方圖［4］、混合動態紋理模型［5］、社會力模型［6］等手工制作特征的方法，但這些異常檢測模型局限于底層特征，難以表征復雜的高維特征。

隨著深度學習的發展，深度學習模型［7-8］逐漸應用到視頻異常檢測領域，克服了傳統異常檢測方法的局限性。基于正常幀的重構誤差較小、而異常幀的重構誤差較大的思想，研究人員提出了一系列基于幀重構的異常檢測方法。Hasan等［9］提出了一種可以有效學習視頻規律的卷積自動編碼（Convolutional AutoEncoder，Conv-AE）網絡，通過構建正常事件的模型來檢測視頻中的異常行為；Ionescu 等［10］提出一種基于Unmasking 框架的異常檢測模型Unmask（Unmasking），該模型通過訓練二元分類器來區分視頻序列，并根據訓練準確率判定異常。由于深度模型學習能力越來越強，使得異常事件也可以被很好地重構，導致異常幀經常被誤判為正常幀，降低了異常檢測的準確率。因此，研究人員又基于正常行為可以預測、而異常事件不可預測的思想，提出了基于幀預測的異常檢測方法。Liu 等［11］提出一種基于U-net 的未來幀預測（Frame Prediction，FP）的異常檢測方法。該方法首先根據視頻幀的歷史信息預測下一幀，然后利用預測幀和真實幀之間的差別來檢測異常。Zhou 等［12］提出一種注意力驅動（Attention Driven，AD）的未來幀預測模型，該模型解決了前景與背景之間的不平衡問題，將更多的注意力放在視頻幀前景以提高異常檢測準確度。此外，Fan 等［13］提出了基于高斯混合變分自編碼（Gaussian Mixture Fully Convolutional Variational AutoEncoder，GMFC-VAE）網絡的異常檢測方法，分別利用RGB 視頻幀與動態流提取外觀和時間信息以檢測異常事件。Deepak 等［14］提出了一種由3D 卷積層、反卷積層和卷積長短記憶（Convolutional Long Short-term Memory，ConvLSTM）網絡組成的殘差時空自編碼（Residual SpatioTemporal AutoEncoder，R-STAE）網絡，通過學習正常事件的行為規律，并將偏離正常模式的行為判定為異常。Nawaratne 等［15］結合卷積層和ConvLSTM 網絡提出了基于增量時空學習器的異常檢測方法，利用主動學習不斷更新和區分視頻幀中的正常和異常行為。Yan 等［16］提出了由外觀流和運動流組成的雙流循環變分自編碼（Two-Stream Recurrent Variational AutoEncoder，R-VAE）網絡，通過融合空間信息和時間信息來檢測異常事件。幀預測方法優化了異常檢測模型的性能，提高了異常事件的檢測準確率，但仍存在一些問題。例如，文獻［11-12］中通過提取光流信息來約束運動信息，但無法捕獲長期運動信息；文獻［13］中利用由連續光流幀組成的動態流捕獲運動信息，獲取了視頻幀之間的長期時間信息，但是對動態流的處理提高了模型訓練的時間復雜度；文獻［14-16］中利用卷積長短時記憶網絡對時間信息建模，由于該網絡存在梯度衰減問題，導致異常檢測性能并沒有得到顯著的提升。

為解決上述問題，本文提出了融合獨立循環神經網絡（Independently Recurrent Neural Network，IndRNN）［17］和變分自編碼（Variational AutoEncoder，VAE）網絡［18］的預測網絡IndRNN-VAE（Independently Recurrent Neural Network-Variational AutoEncoder）。該網絡在保留視頻幀空間信息的同時，能更有效地獲取視頻幀之間的時間信息。在幀預測的過程中，首先，將視頻序列逐幀輸入到VAE 的編碼網絡，以提取空間結構信息；然后，對捕獲的空間信息通過全連接層進行線性變換等操作得到潛在特征，進而利用獨立循環神經網絡獲取視頻幀之間的時間信息；最后，將潛在特征與時間信息進行融合并輸入到解碼網絡，預測出下一幀信息。在模型訓練的過程中，為了提升預測幀與真實幀的相似性，引入了全變分損失、多尺度結構相似性損失和L1 損失的混合損失等損失函數。此外，為生成符合高斯分布的潛在特征分布，引入了生成對抗網絡［19］對生成器（由編碼網絡和潛在特征處理模塊中的全連接層FC1、FC2 組成的）和判別器進行對抗訓練。

1 基于IndRNN?VAE的異常檢測模型

異常檢測的整體流程如圖1 所示，在訓練階段將連續4幀正常幀作為IndRNN-VAE 網絡的輸入來生成預測幀，并從中學習正常事件的規律特性；在測試階段將含有異常事件的測試幀輸入到已訓練好的預測網絡IndRNN-VAE 中，得到預測幀。由于正常預測幀的圖像質量更高，而異常預測幀的圖像質量較差，可以通過計算真實幀Ιt+1與預測幀之間的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）值，進而得到異常得分來判斷是否發生了異常事件。

圖1 視頻異常檢測整體流程Fig.1 Overall flowchart of video anomaly detection

1.1 IndRNN-VAE網絡搭建

1.1.1 編碼網絡

由于變分自編碼（VAE）在圖像生成中的優越性，本文采用VAE 的編碼網絡提取輸入視頻幀的空間結構信息。如圖2 所示，編碼網絡Encoder 由4 個Module 模塊組成：Module1～Module3 均由兩個卷積塊與一層2×2 的最大池化層組成，Module4 由兩個卷積塊組成。其中，每個卷積塊均由一個2 維的3×3 的卷積層、一個BN（Batch Normalization）層以及一個ReLU（Rectified Linear Unit）激活函數層組成。

圖2 IndRNN-VAE網絡模型Fig.2 IndRNN-VAE network model

在進行空間特征提取時，首先，將大小為256×256×3的連續4 幀視頻幀依次輸入Module1 模塊進行處理，得到大小為128×128×64 的特征圖；然后，每經一個Module 模塊，特征圖數量增加一倍，每經過一次最大池化層處理，特征圖的分辨率減少為原來的1/2。經過Module1～Module4 四層處理后，最終得到大小為32×32×512 的空間特征。

1.1.2 潛在特征處理

為保持預測圖像的時空連續性，本文模型除了要獲取視頻幀的空間結構信息，還需要學習連續視頻幀之間的時間關系。在圖2 中的潛在特征處理Latent 部分，本文利用獨立循環神經網絡IndRNN 對編碼網絡捕獲的空間結構信息進一步處理，從中獲取視頻幀序列間的時間信息。具體步驟如下：

步驟1 對編碼網絡提取的空間結構特征分別通過全連接層FC1、FC2 進行線性變換操作，得到均值為μ、方差為σ的高斯分布，然后從高斯分布中采樣得到一個大小為4 096×20 的潛在特征分布Z_sampling，即輸入數據編碼后的特征分布。經過一次線性變化和尺度調整后，得到與編碼器最終輸出大小保持一致的潛在特征z。

步驟2 如圖3 所示，將獲得的連續4 個潛在特征zt-3～zt循環輸入到循環IndRNN 中，得到時間信息以及最終的隱藏狀態ht：

圖3 循環IndRNNFig.3 Cyclically Independently recurrent neural network

其中：t代表輸入的連續視頻幀的第t幀表示預測得到的第t+1 幀的時間信息。在循環訓練中，首先對潛在特征zt-3進行全連接操作；然后將初始隱藏狀態ht-4與循環權重進行向量點乘；最后輸入到ReLU 激活函數中得到下一層隱藏狀態ht-3：

其中：zt-3表示輸入潛在特征序列的第t-3 幀，ht-4表示第t-4 幀的隱藏狀態，W表示輸入權重矩陣，c表示循環權重向量，b表示偏差，?代表Hadamard 乘積。將得到的隱藏狀態ht-3與下一幀潛在特征zt-2結合，再次輸入IndRNN，經過不斷循環訓練，最終得到下一幀時間信息。

步驟3 為了融合時空信息，保留時空間的聯系，本文引入了殘差塊，將最終得到的時間信息與潛在特征按通道數所在維度進行拼接，作為解碼器的輸入以生成新的下一幀信息。

1.1.3 解碼網絡

如圖2 中Decoder 模塊所示，與編碼器網絡對稱，解碼網絡也由4 個Group 模塊組成。Group1～Group3 模塊均由兩個卷積塊及一個反卷積塊組成，而Group4 由兩個卷積塊、一層2 維3×3 的卷積層以及一層Tanh 激活函數組成。其中，反卷積塊由一個BN 層、一個ReLU 激活函數層以及一個大小為3×3 的反卷積層組成。

生成預測幀的具體過程如下：首先，將大小為32×32 ×1 024 的時空融合信息輸入解碼網絡；然后，經Group1～Group3 模塊處理后，特征圖數量減少一半，經反卷積塊操作后，特征分辨率增加一倍；最后，通過解碼網絡的Group4 模塊處理后，得到大小為256×256×3 的預測幀。

1.2 模型訓練

在模型訓練過程中，基于輸入數據的潛在特征分布Z_sampling服從高斯分布的假設［18］，本文利用生成對抗網絡［20］來生成近似于真實特征分布Z_real（Z_real從預先定義的高斯分布p(d)中采樣）的潛在特征分布Z_sampling。此外，為提高預測幀與真實幀的相似度，本文利用了梯度損失、多尺度結構相似性損失和L1 損失的混合損失、全變分損失等損失函數對IndRNN-VAE 網絡施加約束。

1.2.1 對抗訓練

如圖4 所示，生成對抗網絡由1 個生成器（Generator，G）和1 個判別器（Discriminator，D）組成，其中，編碼網絡與潛在特征處理模塊中的全連接層FC1 和FC2 組合充當生成器，判別器由3 個全連接層構成。在IndRNN-VAE 網絡中的生成器訓練中，生成器試圖欺騙判別器，使判別器認為潛在特征分布Z_sampling來自預先定義的標準高斯分布p(d)。經過循環往復的訓練，使潛在特征分布Z_sampling與真實特征分布Z_real逐漸接近。生成器對抗損失函數LG為：

圖4 模型訓練結構示意圖Fig.4 Schematic diagram of model training structure

當生成器訓練結束后，固定其參數，對判別器進行訓練，其損失函數LD表示如下：

其中：(i，j)表示圖像像素的空間索引，D(?)表示判別器，G(?)表示生成器，I表示輸入的視頻幀，Z_real表示輸入的真實特征分布。

1.2.2 IndRNN-VAE網絡訓練

通過生成對抗訓練，IndRNN-VAE 網絡中的生成器生成符合高斯分布的潛在特征分布Z_sampling，然后經Latent 模塊處理后輸出融合信息，將其作為解碼網絡的輸入以生成預測幀。為使生成的預測幀更加接近真實幀It+1，如圖4所示，本文還利用了梯度損失、多尺度結構相似性損失和L1損失的混合損失、全變分損失等損失函數對IndRNN-VAE 網絡進行約束，目標損失函數L為：

其中：λgdl、λmix、λtvl分別為梯度損失、混合損失、全變分損失的權重值。

在式（5）中，為增強圖像的邊緣和灰度跳變部分，保證圖像的清晰度，引入了梯度損失函數Lgdl：

其中：(i，j)表示圖像像素的空間索引，‖?‖1表示L1 范數。為保持亮度和顏色信息不變以及保留圖像邊緣細節信息，本文引入了混合損失函數Lmix：

其中：a、b分別為多尺度結構相似性損失Lms?ssim和L1 損失Llad的權重。

為了降低噪聲對生成圖像的影響，同時保持圖像的光滑，引入了全變分損失函數Ltvl：

其中：(i，j)表示圖像像素的空間索引；β用來控制圖像的平滑程度，本文依據Mahendran 等［21］的參數設置，將β置為2。

1.3 異常檢測評價分數

當預測網絡IndRNN-VAE 訓練結束后，在測試階段加載該模型生成預測幀。本文參考Liu 等［11］的方法，通過計算真實幀It+1與預測幀之間的異常得分來判斷異常。首先計算真實幀與異常幀的均方誤差，得到每一幀的PSNR 值：

其中：i表示像素索引，N表示視頻幀的像素總數表示視頻幀中的最大顏色數，PSNR 值越高表示生成的圖像質量越好。由于網絡在訓練階段只學習了正常事件的規律特征，在測試階段生成的異常預測幀與真實幀之間存在比較大的誤差，即式（9）中值較高，使得PSNR 值變小，生成的異常預測幀的圖像質量較差。然后將PSNR 值歸一化到［0，1］區間，得到視頻幀的異常分數

其中：psnrmin、psnrmax分別表示所測試視頻數據集的PSNR 的最小值和最大值。由于異常預測幀的圖像質量較差，即式（10）中的PSNR 值較低，且S()值隨著PSNR 值的減小而減小，導致異常預測幀的異常分數S()偏低。因此，最后根據每一幀所得的異常分數S()判斷異常，視頻幀所獲異常得分越低，表明異常事件發生的可能性越大。

2 實驗結果與分析

2.1 實驗數據與評價指標

UCSD Ped1 數據集是通過固定在學校人行道較高位置的攝像頭拍攝的，記錄了行人逐漸靠近和離開攝像機的場景，包含了分辨率為238×158 的34 個訓練視頻片段和36 個測試視頻片段。每個視頻片段由200 幀組成，其中異常的事件是出現在人行道上的自行車、滑板以及小汽車。

UCSD Ped2 數據集中行人移動的路徑與攝像機記錄的場景平行，由16 個訓練視頻片段和12 個測試視頻片段組成，分辨率為360×240。異常行為包括騎車、突然出現的大卡車等。

Avenue 數據集包括16 個訓練集和21 個測試集，總共有30 652 個視頻幀，分辨率為640×360。異常事件包含行人走錯方向、游蕩以及跑步等。圖5 給出了3 個數據集的異常事件的示例，異常事件用方框框出。

圖5 不同數據集的異常事件示例Fig.5 Examples of abnormal events in different datasets

為評估模型性能，本文利用曲線下面積（Area Under Curve，AUC）以及等錯誤率（Equal Error Rate，EER）作為評價指標。AUC 值通過繪制由假正率、真正率作為橫縱坐標軸的接收者操作特征曲線并計算其與橫軸之間的面積得到。AUC 值越大，表明模型的性能效果越好。EER 的值為接收者操作特征曲線與由坐標（0，1）、（1，0）構成的直線相交點的橫坐標值，其數值越小則模型效果越好。

2.2 實驗設置

在實驗的過程中，每個視頻幀的分辨率均被調整為256×256，同時對像素值進行了歸一化處理。實驗中判別器的學習率設置為0.000 5，生成器的學習率設置為0.001。損失函數權重在不同的數據集差別不大，當λgdl=0.1、λmix=1、λtvl=0.01 時，UCSD Ped1、UCSD Ped2 數據集實驗效果最好；當λgdl=1、λmix=10、λtvl=0.01 時，Avenue 數據集實驗效果最好。為了更有效地提取時間信息，本文設置連續輸入視頻幀數為4 幀，每次循環的IndRNN 層數為5 層。

2.3 與目前先進方法對比

為驗證本文方法的有效性，如表1 所示，本文在UCSD Ped1（以下簡稱Ped1）、UCSD Ped2（以下簡稱Ped2）和Avenue三個數據集上與近些年主流研究方法Conv-AE［9］、Unmask［10］、FP［11］、AD［12］、GMFC-VAE［13］、R-STAE［14］、R-VAE［16］進行了實驗對比，其中對比方法的結果數據均來自相應的參考文獻。

表1 相關異常檢測方法的AUC值和EER值對比 單位：%Tab.1 AUC value and EER value comparison of related abnormal detection methods unit：%

由表1 可得，與其他異常檢測方法相比，本文方法的檢測性能有了明顯提升，在Ped1、Ped2 和Avenue 數據集上的AUC 值和EER 值達到84.3%、22.7%、96.2%、8.8% 和86.6%、19.0%。與GMFC-VAE 方法相比，本文方法的性能在Ped2、Avenue 數據集達到了最優，在Ped1 數據集上表現效果欠佳。這是由于Ped1 數據集分辨率較低，GMFC-VAE 方法利用雙流網絡更容易識別特征，并且該方法利用動態流能夠捕獲長時間的運動特征，因此GMFC-VAE 方法在Ped1 數據集上取得了較好的性能。

為進一步驗證本文方法的有效性，本文使用每秒生成幀數（Frames Per Socond，FPS）作為時間性能指標，并與相關異常檢測方法進行了時間復雜度的對比。表2 給出了對比結果。

本文方法在NVIDIA Tesla V100 GPU 上運行，采用pytorch 平臺上的Python 語言進行編程，得到時間性能為28 FPS。通過觀察表2 可以發現，與其他異常檢測方法相比，本文方法具有較好的時間性能。文獻［13］中所提GMFCVAE 模型未提供時間性能指標，但該方法利用雙流（stream）網絡分別提取時間和空間特征，然后進行融合。然而動態流的獲取首先需要提取視頻幀的光流信息，然后通過Ranking SVM 排序算法對光流信息訓練。光流信息的提取有較高的計算成本，且利用Ranking SVM 訓練額外增加了預處理時間成本。本文方法不需要對輸入數據進行預處理，節約了時間成本。

表2 相關異常檢測方法的時間性能對比Tab.2 Time performance comparison of related abnormal detection methods

此外，本文在Ped1、Ped2 和Avenue 三個數據集上分別計算了正常幀和異常幀平均異常得分的差值ΔS，ΔS的值越大表明越能正確區分正常幀與異常幀。如表3 所示，與重構模型Conv-AE［9］以及未來幀預測模型的基準方法FP［11］進行對比，可以發現本文方法得到的ΔS值分別為0.263、0.497、0.293，均大于其他兩種對比方法的ΔS值，這說明了本文方法區分正常幀和異常幀的能力比較強。

表3 不同數據集上的差值ΔS對比Tab.3 Difference value ΔS comparison on different datasets

2.4 視頻幀異常分數可視化

圖6～8 給出了本文所提方法在Ped1、Ped2 和Avenue 數據集中的一段視頻片段的異常分數和對應的視頻標簽值的可視化結果。異常事件分別為Ped1 和Ped2 數據集中騎車與滑滑板以及Avenue 數據集跑步與做奇怪的動作等。通過可視化結果可以得出正常事件的異常分數曲線呈平穩狀態，分數值趨近于1，當異常事件出現時，異常分數曲線會有明顯的下降趨勢變化，異常得分接近于0。這說明本文方法對異常事件的發生十分敏感，并能準確響應。

圖6 Ped1數據集上視頻幀的異常分數Fig.6 Anomaly scores of video frames on Ped1 dataset

圖7 Ped2數據集上視頻幀的異常分數Fig.7 Anomaly scores of video frames on Ped2 dataset

圖8 Avenue數據集上視頻幀的異常分數Fig.8 Anomaly scores of video frames on Avenue dataset

2.5 消融實驗

2.5.1 IndRNN層數分析

為了分析IndRNN 層數對異常檢測性能的影響，本文設置了不同的網絡層數值，并在Ped2 數據集上進行了實驗，圖9 顯示了不同層數下的模型檢測性能。通過觀察可知，當IndRNN 層數為5 層時，模型的性能達到最優，故本文將IndRNN 的層數設置為5。

圖9 Ped2數據集上不同層數的AUC值Fig.9 AUC values of different layers on Ped2 dataset

2.5.2 模型分析

為了驗證本文所提方法的每個模塊都發揮了作用，在Ped2 數據集上進行了對比實驗。首先，分析加入時間信息的效果，本文設計實現了一個只含有編解碼結構，沒有IndRNN 的模型變體，稱為Base；然后，測試加入IndRNN 時間模塊的效果，得到Base+IndRNN 模型。通過觀察表4，發現性能有了明顯的提升，與Base 模型相比AUC 值提高1.6 個百分點，EER 值降低1.5 個百分點，驗證了使用IndRNN 捕獲時間信息的有效性。同時為了驗證加入生成對抗網絡GAN 的異常檢測性能效果，設計了Base+IndRNN+GAN 模型。觀察表4發現，相較于Base+IndRNN 模型，AUC 值提高0.6 個百分點，EER 值降低2.1 個百分點。因此，將變分自編碼器、IndRNN以及生成對抗網絡組合在一起可以達到更好的異常檢測效果。

表4 網絡中不同模塊組合的性能 單位：%Tab.4 Performance of different module combinations in network unit：%

2.5.3 損失函數分析

為了分析損失函數對異常檢測性能的影響，在Ped2 數據集上進行了不同損失函數組合的實驗測試。通過觀察表5 可以發現，梯度損失+混合損失的損失組合比梯度損失+多尺度結構相似性損失的損失組合性能提升了2 個百分點。加入全變分損失后，性能提升了0.3 個百分點，這驗證了混合損失與全變分損失的有效性。由于加入混合損失后模型性能提升更明顯，進一步說明了混合損失在網絡訓練中發揮著更重要的作用，在參數調整時，也賦予了梯度損失和混合損失更高的權重值。

表5 網絡中不同損失函數組合的性能 單位：%Tab.5 Performance of different loss functions combinations in network unit：%

3 結語

本文提出的IndRNN-VAE 預測網絡分別利用變分自編碼器和獨立循環神經網絡提取空間結構信息和時間信息，并將它們進行了有效的融合。為了使預測幀盡可能地接近真實幀，本文引入了全變分損失、多尺度結構相似性損失與L1損失的混合損失等損失函數對IndRNN-VAE 進行訓練。在IndRNN-VAE 訓練的過程中，為了獲得服從標準高斯分布的潛在特征分布，本文引入了生成對抗網絡。此外，本文在UCSD Ped1、UCSD Ped2、Avenue 三個典型數據集上進行了大量的實驗。實驗結果表明，與主流方法相比，本文所提方法的性能達到了較高的水平。