基于YOLO網絡模型的異常行為檢測方法研究

劉雪奇 ，孫勝利

（1.中國科學院上海技術物理研究所上海200083；2.中國科學院大學北京100049；3.上海科技大學上海201210；4.中國科學院紅外探測與成像技術重點實驗室上海200083）

與傳統的人工監控相比，智能視頻監控可有效地降低誤檢和漏檢概率，但目前監控視頻中對各種異常的排查和報警大多依賴于人工，智能化的人體異常行為檢測技術還處于發展中[1]。同時由于監控中人體和背景的復雜多樣，對于特定場景下的檢測就變的尤為困難。

對于某一特定監控場景，涉及到的人體異常行為通常較復雜，包括目標遠近大小、重疊遮擋，背景紛亂復雜等[2]。這些都會對異常行為的檢測產生很大影響，通常采用的方法是先將目標通過輪廓信息從視頻序列中分割出來，然后進行特征提取，將提取到的特征與標準異常行為樣本進行比對，最后利用分類器判斷是否為異常行為[3]；包括基于區域光流能量的檢測方法[4]也是先對目標進行提取然后作分析。然而對于特定場景下，人體異常行為存在復雜多樣、較難明確定義的問題，對此，一種簡單的解決方式是將人體行為分為兩類，忽略中間的過渡行為分為正常行為和異常行為。因為對于如實驗室這樣的特定場景，異常行為識別的需求可能只是是否穿戴工作服和工作帽這類簡單的分類問題，所以分為兩類可以很好的解決異常行為定義的問題。

傳統智能視頻分析技術由于采用人工選擇特征，存在準確率低、淺層學習無法解析大數據等問題，而深度學習可以很好地克服這些問題，使視頻分析過程中識別準確率更高、魯棒性更好、識別種類更豐富[5]。本文將深度學習應用到監控中的人體異常行為檢測，通過將復雜的異常行為輸入到深度神經網絡YOLO中進行自動特征提取和分類，將目標提取這一步交給神經網絡，與之后的目標分類同時放到一個網絡中，利用神經網絡的深層次特征提取、高精度檢測分類特性，可以將定義的異常行為準確的檢測出來，實現從輸入數據到輸出檢測結果的端到端的異常行為檢測。通過GPU對檢測過程進行加速，可以實現對監控視頻的實時檢測。

1 方法描述

文中選取了實驗室監控場景進行相關的實驗研究工作，具體的方法流程如圖1所示。

圖1 實驗方法流程圖

首先要獲得監控場景的數據視頻，通過幀截取圖像、篩選；然后根據需求對異常行為的定義用LabelImg軟件進行標定，此處標定的標簽不是為了目標提取，而是直接標定為是否異常的兩類，從而讓目標提取和分類都交給網絡去做，獲得網絡訓練和測試的圖像數據；參考YOLO的網絡結構，將訓練數據輸入到YOLO網絡中進行訓練，從而直接訓練出可以對輸入圖像或視頻數據進行判斷是否存在異常行為的網絡模型。

1.1 數據處理

實驗所采用的數據是實驗室上網工作室中的監控數據視頻，對于不規范上網的異常行為進行檢測。在輸入網絡進行訓練之前，數據需要進行一系列處理，包括視頻的幀截取，圖像篩選，標簽標定。實際工作中用到的處理軟件有Smart Player和LabelImg，Smart Player軟件用來將視頻數據進行轉換和截取圖像；LabelImg軟件用來標定圖像標簽。

其中圖像的標簽標定涉及到對異常行為的定義，由于異常行為多樣，較難泛化為一類或兩類，因此實驗中將除了正常的上網行為動作以外的其他行為都定義為異常行為。例如除了正常行走和端坐，其他包括彎腰、下蹲、伸展肢體、低頭玩手機等行為都定義為異常行為。實驗中標簽分為兩類：normal和abnormal；一共標定了1146張圖像數據，1000張用作訓練數據，其余的作為測試數據。

1.2 采用的網絡結構

YOLO是一種新的目標檢測方法[6]，由Joseph Redmon[7]等人提出，這種方法的突出優勢在于目標檢測速度很快，同時又能保持較高的識別準確率，而且背景誤檢率低。其主要思路是將目標檢測問題看作一個回歸問題，只采用單個神經網絡來回歸從整張圖的輸入到目標邊界和類別概率的輸出，實現端到端的直接預測，即端到端的目標檢測。本文借鑒這一回歸思想，將目標檢測網絡結構YOLO應用到分類問題，將目標區域的類別作為最終結果，把異常行為的檢測當做回歸問題來解決。此外，YOLO的檢測速度非常快，可以達到45幀/s的實時檢測。

從 R-CNN 網 絡[8]、Fast R-CNN 網 絡[9]到 Faster R-CNN網絡[10]采用的思路都是proposal+分類（proposal提供目標位置信息，分類提供類別信息）[11-13]，在VOC2007數據集上mAP能達到73.2%，精度已經很高，但是識別速度還不夠快。YOLO采用了更為直接的思路：將整張圖作為網絡的輸入，直接在輸出層回歸bounding box（識別框，記作bbox）的位置和bounding box所屬的類別，從而實現把目標識別當作回歸問題來解決。基于這種回歸思想，本文將異常行為的檢測也作為回歸問題，將整張圖作為輸入，檢測出標定有是否為異常行為的bbox的圖像作為輸出。

YOLO借鑒了Google-Net分類網絡結構，有24個卷積層，2個全鏈接層，開始的卷積層用來提取圖像特征，全連接層用來預測輸出概率。作者還修改訓練了YOLO的快速版本（Fast YOLO），Fast YOLO模型卷積層和卷積核相對較少，它只有9個卷積層和2個全連接層，最終輸出為 7×7×（5×2+20）的張量（因為有20類）[7]。這樣的網絡結構對于人體行為特征的提取和對是否異常的分類同樣適用，對于實驗中的兩類標簽，輸出就是7×7×（5×2+2）的張量。

1.3 模型訓練

圖2 實驗訓練過程的基本原理圖

實驗網絡訓練中的具體流程如下：

1）將處理過的圖像進行resize處理，調整圖像尺寸為448×448作為整個神經網絡的輸入。

2）通過運行神經網絡得到一些bbox坐標、bbox中包含的人體目標（Object）的置信度和類別概率3種信息：

將輸入的一幅圖像分成S×S個網格，如圖2虛框內將圖像分成7×7個網格，當某Object的中心落在這個網格中，那么這個網格就負責預測這個Object。

每個網格都要預測一個類別信息記為C類，那么對于S×S個網格，每個網格既要預測B個bbox，同時還要預測C個類別，所以輸出就是 S×S×（5×B+C）的一個張量，對應圖2中輸出的張量就是7×7×（5×2+2）。

每個網格要預測B個bbox（圖2中為2個），而每個bbox又要預測x，y，w，h和confidence共5個值。其中x，y是bbox中心位置的坐標，并且其值被歸一化到[0，1]；w，h是bbox的寬度和高度，同樣歸一化到[0，1]；每個bbox除了要回歸自身的位置之外，還要附帶預測一個confidence值。這個confidence代表了所預測的bbox中含有Object的置信度和這個bbox預測的有多準兩種信息，計算方式如下：

其中如果有Object落在一個網格里，等式右邊第一項取1，否則取0。第二項是預測的bbox和實際的標簽框之間的IOU值[7]。

3）在測試的時候，將每個網格預測的類別信息和bbox預測的confidence信息相乘，就得到每個bbox的具體類別置信分數：

最后通過設置閾值，濾掉得分低的bbox，對保留的bbox進行非極大值抑制處理，就得到最終的檢測結果。

圖2為實驗訓練過程的基本原理圖，區別于傳統異常行為檢測方法先進行目標識別然后進行分類，進而對異常行為進行檢測，本文直接將兩個步驟都交給YOLO網絡去做，從而實現了輸入一張圖像直接輸出一張經過網絡預測有檢測結果的圖像，即端到端的檢測過程。而通過GPU的加速，對于輸入的視頻流可以實時的顯示異常行為的檢測框。

1.4 實驗條件

硬件條件：DELL PowerEdge T630服務器（32G內存）；兩個CPU-E5-2620 v4；4個GTX1080Ti；

軟件條件：Ubuntu14.04系統；CUDA 8.0；Python 2.7.6；OpenCV 2.4.13。

2 實驗結果及分析

2.1 訓練及測試結果

YOLO使用均方和誤差作為loss函數來優化模型參數，即網絡輸出的 S×S×（5×B+C）維向量與真實圖像的對應S×S×（5×B+C）維向量的均方和誤差。實驗中訓練的網絡的loss變化情況如圖3所示，可以看到隨著batches（訓練批次）的增加，average loss（平均損失）在不斷減小，逐漸趨于0，即整個網絡結果趨于收斂。

圖3 訓練網絡的平均損失變化

文中在4個GTX1080Ti顯卡加速的實驗條件下，對網絡進行訓練，最終獲得網絡權重文件，進而對圖像和視頻數據進行測試。實驗中采用了1000張標定圖像作為訓練圖像數據，146張作為測試數據，同時也對YOLO網絡結構的簡化版Fast YOLO和升級版YOLOv2[14]進行了訓練和測試，部分圖像測試對比結果如圖4所示。圖中3行圖像分別對應Fast YOLO、YOLO和YOLOv2的檢測結果。實驗中紅框的標簽是normal，即正常行為；綠框的標簽是abnormal，即異常行為。圖4中第1列圖中為紅框，第2列、第3列為綠框，第4列中，左邊為綠框，右邊為紅框，從第1、2列能明顯的看出YOLO和YOLOv2網絡模型框出的檢測邊界更準確。同時結果也充分說明了，主要用作目標檢測的YOLO網絡結構對于直接解決人體異常行為這種細分的分類問題同樣適用。

圖4 Fast YOLO、YOLO和YOLOv2檢測結果對比圖

2.2 評價與分析

文中采用了 IOU[15-16]、召回率（Recall）和精確率（Precision）[17]3個評價指標來對實驗結果進行評價。

在目標檢測的評價體系中，有一個檢測評價函數叫做intersection-over-union（IOU），在實驗中簡單來講就是模型產生的目標窗口和原來標記窗口的交疊率。即檢測邊框與真實邊框（Ground Truth）的交集比上它們的并集，即為檢測的準確率IOU:

召回率和精確度則采用如下方式計算：

TP——True Positive（真正，TP）被模型預測為正的正樣本，可以稱作判斷為真的正確率；

FP——False Positive（假正，FP）被模型預測為正的負樣本，可以稱作誤報率；

FN——False Negative（假負 ，FN）被模型預測為負的正樣本，可以稱作漏報率。

表1 3種網絡結構檢測結果對比

表1中列出了Fast YOLO、YOLO和YOLOv23種網絡結構的檢測對比結果。可以看出，簡化版本的Fast YOLO網絡，各項指標都最低，因為網絡結構相對簡化，在犧牲了檢測精度的情況下，檢測速度相對于其他兩種要稍快些。而從IOU參數來看，其他兩種網絡結構比簡化版本有很大提高，所以相對應圖4中的檢測框也能更準確的框定檢測目標。YOLO和YOLOv2兩種網絡模型召回率接近100%，精確率可以達到96%以上。此外，在本文實驗采用顯卡GTX 1080Ti加速的條件下，對于視頻流的檢測速度可以達到30FPS左右。

圖5 Precision-Recall（P-R）曲線圖

圖6 YOLO模型P-R曲線細節圖

通過調整閾值可以讓網絡檢測出更多結果（檢測框），進而改變準確率或召回率的值，而評估一個分類器的性能，比較好的方法就是：觀察當閾值變化時，Precision與Recall值的變化情況。如果一個分類器的性能比較好，那么它應該有如下的表現：讓Recall值增長的同時保持Precision的值在一個很高的水平。從圖5中可以看到，Fast YOLO網絡模型的P-R曲線隨著Recall值增長，Precision的值呈緩慢下降趨勢，直到接近90%的召回率時下降為0；而YOLO網絡模型當Recall值增長的時候，從圖6可以看出，Precision的值一直處于96%以上；YOLOv2網絡模型的P-R曲線跟YOLO網絡模型的曲線很接近，沒有在圖中畫出，精確率一直處于97%以上。因此，訓練出的網絡模型分類器可以很好地對異常行為進行檢測。

3 結束語

本文通過對特定監控場景下對異常行為的定義需求標定數據，基于YOLO網絡模型將標定的異常行為數據直接輸入網絡中進行訓練，不將目標檢測作為輸出而直接得到是否異常的分類結果，從而讓網絡自動提取特征并分類，實現端到端的檢測系統。最終實驗結果表明這種方法可以很好地檢測出監控視頻中復雜的人體異常行為，并能夠達到較高的檢測精度。此外，這種方法可以遷移到不同監控場景，針對于特定場景、特定需求，可以達到很好地檢測效果，對于滿足不同行業的個性化需求方面具有重要意義。