結合重構和預測模型的無監(jiān)督視頻異常檢測算法

周 偉， 姜曉燕， 朱凱贏， 蔣光好， 于潤潤， 吳 益

(上海工程技術大學 電子電氣工程學院，上海 201620)

0 引 言

近幾十年來，視頻異常檢測被當做研究熱點得到了快速發(fā)展，因為其在入侵檢測、視頻監(jiān)控、醫(yī)療健康、缺陷檢測等領域具有重要的應用價值[1～3]。異常指的是不符合正常事件的運動模式，如在一個都是行人行走的人行道上突然闖入一輛車，這輛車的出現(xiàn)則被稱之為異常，強調的是突發(fā)狀況。視頻異常檢測則是尋找出這些不符合正常事件的運動模式的視頻段。然而，由于異常事件的定義模糊，與正常事件相比，異常發(fā)生的頻率很低，異常事件難以采集，并且，由于圖像中物體的遮擋、光照、位姿和尺度變化等問題，導致視頻異常檢測仍然是一項具有挑戰(zhàn)性的工作。

現(xiàn)今許多方法僅使用單個重構模型或預測模型，以自編碼器為載體進行視頻異常檢測。該類方法秉承著網絡能夠重構或預測正常幀，而對異常視頻幀則重構或預測模糊的先驗假設。然而，僅使用重構模型，當深度神經網絡的參數量過大時，自編碼器的學習能力有時并不能保證所有的正常數據都重構得完好，并且基于重構的方法只是重構過去的視頻幀，沒有體現(xiàn)出異常的突發(fā)性，沒有利用到前后視頻幀的相關性[4,5]。

基于預測的方法指的是網絡通過學習過去視頻幀的相關信息來精準預測下一幀圖像。如文獻[6]通過輸入堆疊的連續(xù)T幀視頻幀進入以U-net為基礎的生成對抗網絡(generative adversarial network,GAN)，來生成下一幀圖>像，再將生成器生成的圖像送入判別器中判別生成圖像的真?zhèn)巍榱颂岣呱傻膱D片質量，施加以強度、梯度、光流約束，來抓捕圖像中的外觀和運動特征。然而，此類方法由于使用光流，易受光照、噪聲因素影響，當輸入的數據中光照變化或包含噪聲時，模型魯棒性下降，且基于U-net的GAN網絡訓練參數較少，網絡深度略有不足。

為克服上述問題，本文提出一種結合預測和重構模型的視頻異常檢測算法。預測模塊能夠擴大正常和異常的區(qū)分度，而重構模塊則能使網絡更加穩(wěn)定。GAN使用殘差網絡和U-net網絡的結合體，使網絡得到有效學習的同時也大大減少訓練所需時間。本文創(chuàng)新點總結如下：

1)結合預測模型與重構模型用于視頻異常檢測，預測模塊能夠擴大正常與異常的區(qū)分度，而重構模型則是預測模塊的一個補充，使網絡提高對噪聲的魯棒性。

2)網絡的生成器部分聯(lián)合U-net與殘差網絡，在加深網絡深度的同時有效減少訓練時間，提升效率。

1 重構與預測模型

1.1 重構模型

目前大多數基于深度學習的異常檢測算法都使用到重構模型。其中，自編碼器作為重構模型的代表而被廣泛使用。文獻[7]使用卷積自編碼器網絡進行異常檢測;文獻[8]提出的降噪自編碼器是在輸入數據中添加噪聲，訓練時也要求自編碼器能重構出未加噪聲的數據，增加其魯棒性;文獻[9]將自編碼器與GAN結合形成的對抗式自動編碼器(adversarial autoencoder,AAE)，也能有效地學習輸入分布。

1.2 預測模型

預測模型因為在無監(jiān)督學習的視頻表征方面具有良好效果而被廣泛關注。其原理是通過輸入多幀圖片進入網絡，來預測下一幀或幾幀的圖像。文獻[10]使用卷積長短時序列網絡預測下一幀圖片；文獻[11]將輸入數據的特征送入長短時序列網絡中，來預測其潛在空間表征，并根據預測誤差來判斷異常。

2 網絡模型框架

針對視頻異常檢測領域使用單個重構模型無法完整重構圖像、使用單個預測模型易受噪聲擾動等問題，本文提出一種結合重構和預測模型的無監(jiān)督視頻異常檢測算法。如圖1所示，給定連續(xù)的輸入視頻幀I1,I2,I3,I4,…,It輸入到預測模塊中，生成預測的下一幀m,再將m輸入到重構模塊中，生成m的重構幀t+1。為保證生成高質量的視頻幀，分別對m和t+1與下一幀的真值It+1之間施加外觀、梯度、L2約束。同時，對It和It+1的光流真值與It和t+1的光流值施加約束。

圖1 網絡模型框架

2.1 生成器

輸入連續(xù)的T幀視頻幀進入網絡，經過預測模塊預測下一幀圖像m，之后讓生成的中間圖像m再輸入到重構模塊中，最后輸出下一幀的重構圖像t+1。用來生成圖像的生成器使用了相同的網絡結構，為改進U-net網絡(U-net和殘差網絡),如圖2所示。圖中的數字代表網絡進行的操作，級聯(lián)層為經過殘差映射后的網絡結構，拼接層為經過跳遠連接將網絡淺層和深層特征相結合后的結構。

圖2 改進U-net網絡結構框架

2.2 判別器

判別器的結構由4層卷積層和1層全連接層組成。判別器的目標是區(qū)分生成器生成的虛假圖片，而生成器則是通過生成逼真的圖片來使判別器判別失敗。通過生成器與判器別器的相互博弈能夠有效訓練網絡模型，生成精準的圖片，如圖3所示，網絡輸出的規(guī)則分越高表明輸入的圖片越有可能是真實圖片。

圖3 判別器網絡框架

2.3 對抗訓練

一般GAN通常由生成器和判別器2個部分組成，生成器主要是生成一些判別器難以判別真假的高質量圖片，而判別器則努力判別圖片的真?zhèn)巍Ｍㄟ^生成器和判別器的相互博弈，能夠使GAN生成極為逼真的圖片。模型中，使用的是最小二乘GAN(least square GAN,LSGAN)[12]，其可生成更加貼近現(xiàn)實的圖像。

2.3.1 訓練判別器

(1)

式中i,j為序列Patch的索引值，D(I)，D()∈[0,1]。

2.3.2 訓練生成器

生成器的目標是能夠生成讓判別器判別為1的圖片。與訓練判別器的方法類似，訓練生成器時，本文也固定判別器的參數不變，則生成器的優(yōu)化函數如下

(2)

3 實驗與結果分析

3.1 數據集

常用的幾種公共的異常檢測數據有CUHK街道數據集(avenue datasets)[13]和UCSD行人數據集(pedestrians datasets)[14]。圖4是數據集中正常和異常事件的示例圖片。

圖4 正常和異常事件示例

USCD Pedestrians數據集由2個灰度數據集組成：Ped1和Ped2。描述的正常事件都是行人在街道上行走的場景，異常事件有騎自行車、開汽車、滑輪滑、坐輪椅穿越人行道等場景。兩個數據集都是由固定的相機拍攝而成，需要指出的是，與Ped2相比，Ped1數據集存在行人尺度的變化，且背景信息如樹木遮擋行人的場景較多，因此相比較更具有挑戰(zhàn)性。

CUHK Avenue數據集是個彩色數據集，包含16個訓練視頻和21個測試視頻。平均每個視頻段包含839幀圖像，異常事件主要是扔物體和奔跑。該數據集的相機視角也是固定的，存在行人尺度的變化。

3.2 評估標準

視頻異常檢測有幀級和像素級的評估標準，幀級評估是如果一幀中至少包含一個反常像素點，則這一幀則被正確檢測出。像素級評估是如果一幀中至少有40%的像素點是反常的，則這一幀則被認為是正確檢測出[15]。本文使用幀級的評判標準，并使用受試者工作特性(receiver operator characteristic,ROC)曲線下面積(area under the curve,AUC)來評估模型性能。

3.3 結果與分析

本文所有實驗均是在英偉達(NVIDIA)公司GeForce RTXTM2080 GPUs with Intel?Xeon?E5—2603 1.70GHz x6 CPUs的配置下完成，運行環(huán)境為Ubuntu 16.04，深度學習框架選擇Tensorflow。不同方法的AUC結果如表1所示。

表1 不同方法在Avenue，Ped1，Ped2數據集上的幀級AUC值%

從表1中可以看出，本文方法超過了現(xiàn)存的絕大多數方法，并且與基準方法比較，在Ped1,Ped2,Avenue數據集上分別有1.1 %,0.1 %,0.2 %的提升。需要說明的是，將文獻[6]為基準方法是由于該方法在異常檢測領域是個成功的模型案例，本文對其進行了部分改進。實驗結果說明,本文方法優(yōu)于基準方法，模型的效果更好。

3.4 消融實驗

3.4.1 模型不同模塊的影響

為驗證本文模型的有效性，分析模型中施加的不同模塊對于異常檢測效果的影響。以Ped1數據集為例，實驗結果如表2所示。

表2 不同模塊在Ped1數據集中的AUC值 %

表2中的基準網絡引用的是文獻[6]的模型結構，僅包含預測模塊，并使用基于U-net的生成器。為了提升網絡深度，在文獻[6]的基礎上將U-net和殘差塊相結合，使網絡得到有效學習，效果提升0.6 %。此外，通過添加重構模塊，提升網絡的魯棒性，精度又進一步提升0.5 %，大大改進了網絡性能，能夠更好地區(qū)分正常和異常。

3.4.2 模型不同約束的影響

分析模型中所添加的不同約束對于異常檢測性能的影響。同樣以Ped1數據集為例，在實驗過程中逐步剔除某一種Loss后進行實驗，并對最終的AUC值進行記錄，如表3所示。

表3 不同約束在Ped1數據集中的AUC值

從表3中可以看出,施加上述約束都能提升系統(tǒng)的性能，其中效果最明顯的是對抗約束，這是由于本文的模型基于GAN進行訓練。此外，系統(tǒng)中所添加的正則項L2約束通過對預測的下一幀的中間值m施加L2約束，可以使得重構模塊更能重構出逼真的下一幀圖片，系統(tǒng)的性能也大大提升。

3.5 模型的魯棒性驗證

為了驗證噪聲對我們模型性能的影響，實驗中在數據集中添加椒鹽噪聲，選擇Ped1數據集進行實驗，并且設置不同椒鹽噪聲的比例來觀察結果，并記錄下添加不同比例噪聲后系統(tǒng)的幀級AUC值。實驗中，椒鹽噪聲的比例α依次為0.001,0.002,0.003,0.004(α為椒鹽噪聲點的數量占圖像總像素的比例)，如圖5所示，實驗結果在圖6中給出。

圖5 添加不同比例椒鹽噪聲后的視頻幀

圖6 添加椒鹽噪聲后對各系統(tǒng)的性能影響

從圖6中可以看出，隨著視頻幀中椒鹽噪聲的比例增大，系統(tǒng)的性能仍然可以保持很好的精度，相比較而言，傳統(tǒng)的基準系統(tǒng)精度下降得快。另一方面，由于椒鹽噪聲的逐漸增大，當噪聲到達一定程度時(α=0.004)，系統(tǒng)性能精度較差，這可能是由于椒鹽噪聲的顆粒數增大到一定程度時會影響生成的圖片質量，進而間接影響系統(tǒng)性能。

4 結 論

本文提出一種聯(lián)合預測模塊與重構模塊的視頻異常檢測算法，預測模塊能夠生成更加真實的下一幀圖像，能擴大正常和異常的區(qū)分度；重構模塊則使網絡提高魯棒性；使用結合殘差網絡和U-net網絡的GAN來處理異常，避免網絡出現(xiàn)梯度爆炸和梯度消失等問題。實驗表明:所提算法能夠有效提升異常檢測的精度。未來，嘗試聚焦于視頻幀中的局部圖像，將整體視頻幀與局部目標相結合，以提升監(jiān)控視頻中自動監(jiān)控的監(jiān)控效率。