基于神經(jīng)網(wǎng)絡(luò)的視頻監(jiān)控圖像異常行為識別方法

摘要：由于傳統(tǒng)方法在視頻監(jiān)控圖像異常行為識別應(yīng)用中效果不佳，漏識率較高，且識別用時較長，文章為此提出基于神經(jīng)網(wǎng)絡(luò)的視頻監(jiān)控圖像異常行為識別方法。該方法首先分割處理視頻監(jiān)控圖像，然后應(yīng)用視頻幀圖像陣列對目標(biāo)圖像進行預(yù)處理并提取圖像行為特征，最后建立神經(jīng)網(wǎng)絡(luò)模型，利用模型計算圖像行為特征卷積，完成異常行為識別。實驗證明，該方法的漏識率為0.56%，具有較好的應(yīng)用前景。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；視頻監(jiān)控圖像；異常行為；漏識率

doi：10.3969/J.ISSN.1672-7274.2023.07.021

中圖分類號：TP 391.41 " " " " " " " 文獻標(biāo)志碼：A " " " " " " " 文章編碼：1672-7274（2023）07-00-03

Recognition of Abnormal Behavior in Video Surveillance Image Based on Neural Network

LIU Yunping

（Department of Computer Engineering， Taiyuan Institute of Technology， Taiyuan 030008， China）

Abstract： Because the traditional methods are not effective in the application of abnormal behavior recognition in video surveillance images， the missing rate is high， and the recognition time is long， a method of abnormal behavior recognition in video surveillance images based on neural network is proposed. Firstly， the video surveillance image is segmented and processed， then the target image is preprocessed by using the video frame image array， and the image behavior characteristics are extracted. Finally， the neural network model is established， and the convolution of the image behavior characteristics is calculated by using the model to complete the abnormal behavior identification. Experiments show that the missing rate of this method is 0.56%， and it has a good application prospect.

Key words： neural network; video surveillance image; abnormal behavior; misrecognition rate

當(dāng)前，智慧系統(tǒng)日益完善，已廣泛應(yīng)用于各個領(lǐng)域，比如智慧小區(qū)、智慧校園等。智能監(jiān)控系統(tǒng)作為智慧系統(tǒng)中的核心，主要是利用現(xiàn)代化技術(shù)識別監(jiān)控圖像中的異常行為，根據(jù)檢測結(jié)果做出預(yù)警響應(yīng)，其在安全防控領(lǐng)域具有重要的應(yīng)用價值。利用現(xiàn)代化技術(shù)對視頻監(jiān)控圖像中異常行為進行識別，可以有效預(yù)防危險事故的發(fā)生，保障人們的生命財產(chǎn)安全，因此對視頻監(jiān)控圖像異常行為識別方法進行研究具有重要的價值。

現(xiàn)有的識別理論還不夠完善，識別技術(shù)水平較低。近幾年，視頻監(jiān)控圖像處理與識別受到重視，眾多學(xué)者開展了相關(guān)研究，但是現(xiàn)行方法應(yīng)用效果不佳，在實際應(yīng)用中不僅漏識率較高，而且識別用時較長，已經(jīng)無法滿足實際應(yīng)用中的需求，為此提出基于神經(jīng)網(wǎng)絡(luò)的視頻監(jiān)控圖像異常行為識別方法。

1 " 視頻監(jiān)控圖像分割

分割視頻監(jiān)控圖像，首先需要將目標(biāo)圖像從原始監(jiān)控視頻中分割處理，提取待識別目標(biāo)[1]。假設(shè)一幀監(jiān)控視頻由多個像素點構(gòu)成，利用能量函數(shù)對視頻監(jiān)控圖像映射，其映射過程可以簡化為圖像像素點分類過程。假設(shè)圖像像素點透明度為，的取值范圍在[0～1]，利用能量函數(shù)將像素點透明度重新賦值，劃分為0、1兩種；對圖像前景部分像素點透明度賦值為1，對圖像背景部分像素點透明度賦值為0，以此實現(xiàn)對視頻監(jiān)控圖像的分割。

圖像分割的關(guān)鍵是構(gòu)建能量函數(shù)。假設(shè)原始視頻監(jiān)控圖像中任意一個像素點有且只有一個透明度值，其中像素點透明度集合可以通過能量函數(shù)最小化計算得到。能量函數(shù)用公式表示為

（1）

式中，表示像素點數(shù)量；表示數(shù)據(jù)項，實際為視頻監(jiān)控圖像前景區(qū)域內(nèi)像素點所獨立擁有的顏色信息；表示權(quán)值系數(shù)，該系數(shù)取值范圍在[0～0.15]，用于調(diào)節(jié)像素點與相鄰像素點之間的能量比重；表示平滑項，實際為視頻監(jiān)控圖像背景區(qū)域內(nèi)像素點所獨立擁有的顏色信息[2]。利用能量函數(shù)將圖像映射為帶權(quán)值的圖像，并分別建立圖像前景與背景的高斯密度模型：

（2）

式中，、均表示協(xié)方差矩陣；表示視頻監(jiān)控圖像任意一像素點的灰度值；表示高斯分量；表示高斯分量的權(quán)重[3]。利用高斯密度模型確定圖像區(qū)域能量項[4]，計算出視頻監(jiān)控圖像最大流，其計算公式為

（3）

式中，表示視頻監(jiān)控圖像最小流；表示原始圖像中不可達到的節(jié)點集合；表示原始圖像中可以達到的節(jié)點集合。根據(jù)計算得到最大流與最小流并對圖像能量劃分，根據(jù)劃分結(jié)果將圖像能量映射到高斯密度模型上，以此實現(xiàn)對視頻監(jiān)控圖像的分割，提取到圖像前景和背景目標(biāo)。

2 " 監(jiān)控圖像行為特征提取

視頻監(jiān)控圖像分割可以為行為特征提取提供更好的場景背景和目標(biāo)輪廓信息。由于在監(jiān)控視頻中識別目標(biāo)具有移動性、圖像行為具有多變性，因此在上述基礎(chǔ)上，利用運動目標(biāo)定位方法建立圖像行為函數(shù)。用公式表示為

（4）

式中，表示分割提取到的圖像前景時間序列；表示圖像前景灰度值；表示控制點數(shù)量。圖像前景灰度值計算公式為

（5）

式中，表示第幀上的像素灰度值。根據(jù)圖像前景像素灰度值，提取到視頻監(jiān)控圖像行為狀態(tài)特征，用公式表示為

（6）

式中，表示圖像前景像素灰度值系數(shù)；表示狀態(tài)方程。利用視頻幀圖像陣列處理提取到的行為狀態(tài)特征，假設(shè)所需要識別的人員分布在多個接收陣元均勻分布的圓周內(nèi)，則提取到的圖像行為狀態(tài)的灰度值特征，表達式為

（7）

式中，表示監(jiān)控圖像陣列陣元數(shù)量；表示監(jiān)控圖像陣列間距；表示監(jiān)控圖像陣元半徑。

3 " 基于神經(jīng)網(wǎng)絡(luò)的異常行為識別

由于監(jiān)控環(huán)境的復(fù)雜性和監(jiān)控目標(biāo)的多樣性，提取的監(jiān)控圖像行為特征可能存在誤差，因此需要借助神經(jīng)網(wǎng)絡(luò)進行異常行為識別，將監(jiān)控圖像中提取出來的行為特征輸入到神經(jīng)網(wǎng)絡(luò)中，使用神經(jīng)網(wǎng)絡(luò)進行學(xué)習(xí)和建模，以此來判斷監(jiān)控對象的行為是否異常。利用神經(jīng)網(wǎng)絡(luò)分析所提取到的視頻監(jiān)控圖像異常行為特征[5]，首先需要建立神經(jīng)網(wǎng)絡(luò)模型。該模型由三個結(jié)構(gòu)塊組成。根據(jù)實際情況設(shè)定模型參數(shù)，其中包括卷積核大小、卷積核數(shù)量、卷積層數(shù)量、學(xué)習(xí)率等。將提取到的視頻監(jiān)控圖像行為特征輸入到神經(jīng)網(wǎng)絡(luò)模型的輸入層中。輸入層的作用是對數(shù)據(jù)進行批量化處理操作，最大限度地保證神經(jīng)元每次正向傳遞在同一個分布上。輸入層批量化處理實際是對提取到的圖像行為特征進行歸一化處理，用公式表示為

（8）

式中，表示視頻監(jiān)控圖像行為特征值平均值；表示視頻監(jiān)控圖像行為特征數(shù)據(jù)的標(biāo)準(zhǔn)差。通過歸一化處理圖像行為特征數(shù)據(jù)，將神經(jīng)網(wǎng)絡(luò)模型輸入值的分布強行拉回到0～1之間，使數(shù)據(jù)處于標(biāo)準(zhǔn)正態(tài)分布。神經(jīng)網(wǎng)絡(luò)模型具有較高的學(xué)習(xí)能力，將歸一化處理后的行為特征值輸入到卷積層；在卷積層中對圖像行為特征不斷訓(xùn)練學(xué)習(xí)，檢測識別到異常特征，然后在池化層對檢測識別結(jié)果輸出。假設(shè)池化層輸出量為，表示圖像行為異常概率大小，利用損失函數(shù)對輸入特征值分析，計算出圖像異常行為概率

（9）

式中，表示損失函數(shù)；表示學(xué)習(xí)率。池化層對輸出向量進行反歸一化處理，最終得到圖像異常行為概率，并在池化層中設(shè)定一個閾值。如果概率大于該閾值，則表示圖像行為異常；如果概率小于閾值，則表示視頻監(jiān)控圖像行為正常，以此實現(xiàn)基于神經(jīng)網(wǎng)絡(luò)的視頻監(jiān)控圖像異常行為識別。

4 " 實驗論證

為了驗證本文提出的基于神經(jīng)網(wǎng)絡(luò)的視頻監(jiān)控圖像異常行為識別方法的可靠性與可行性，選擇某小區(qū)視頻監(jiān)控數(shù)據(jù)集作為實驗數(shù)據(jù)。該數(shù)據(jù)集包含8 000張圖像，視頻監(jiān)控每幀圖像像素為640×480。利用本文提出的設(shè)計方法識別視頻監(jiān)控圖像異常行為，并選擇兩種傳統(tǒng)方法作為對比。兩種傳統(tǒng)方法分別基于深度學(xué)習(xí)和基于數(shù)據(jù)挖掘，以下用傳統(tǒng)方法A與傳統(tǒng)方法B表示。本次實驗環(huán)境是Windows2010為操作系統(tǒng)，搭配8 GHz處理器，以及32 GB運行內(nèi)存。實驗搭建神經(jīng)網(wǎng)絡(luò)模型，模型由一個輸入層、兩個卷積層以及一個池化層組成。卷積層卷積核尺寸為4×4，步長設(shè)定為64，初始圖像輸入尺寸設(shè)定為320×240，卷積核數(shù)量設(shè)定為128，輸入層數(shù)據(jù)輸入批量處理參數(shù)設(shè)定為48，模型學(xué)習(xí)率設(shè)定為0.01，重量系數(shù)設(shè)定為0.45。

按照上述流程對視頻監(jiān)控圖像進行分割處理和圖像行為特征提取，利用神經(jīng)網(wǎng)絡(luò)模型對圖像異常行為檢測識別。隨機抽選8張圖像，識別情況如表1所示。

由表1可知，本次實驗共識別到6個異常行為，基本與實際情況一致，本文提出的設(shè)計方法基本可以完成視頻監(jiān)控圖像異常行為識別任務(wù)。

實驗以漏識率作為三種方法識別效果評價指標(biāo)，漏識率可以反映所用方法的識別精度，漏識率越低，圖像異常行為識別精度越高，其計算公式為

（10）

式中，表示未被識別到的異常行為數(shù)量；表示識別到視頻監(jiān)控圖像異常行為數(shù)量。實驗分為四組，每組識別圖像2 000張，記錄每組實驗中識別異常行為數(shù)量與未被識別到異常行為數(shù)量，利用上述公式分別計算出四組實驗中三種方法漏識率，根據(jù)實驗數(shù)據(jù)繪制三種方法漏識率對比結(jié)果，如圖1所示。

由圖1可知，本文提出的設(shè)計方法漏識率相比較低，四組實驗中最高漏識率為0.86%，最低漏識率僅為0.34%，平均漏識率為0.56%，漏識率小于1%，且數(shù)值較小，基本可以忽略不計，說明本文提出的設(shè)計方法基本可以識別出所有視頻監(jiān)控圖像異常行為；兩種傳統(tǒng)方法漏識率相比較高，四組實驗中傳統(tǒng)方法A與傳統(tǒng)方法B最高漏識率分別為8.86%、9.02%，最低漏識率分別為8.12%、8.05%，平均漏識率分別為8.41%、8.46%，遠(yuǎn)遠(yuǎn)高于本文提出的設(shè)計方法，說明本文提出的設(shè)計方法具有較高的識別精度。

5 " 結(jié)束語

本次研究針對現(xiàn)有視頻監(jiān)控圖像異常行為識別理論存在的不足與缺陷，將神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用到異常行為識別中，提出了一個新思路，并通過實驗論證了該思路的可行性與可靠性，可有效提高視頻監(jiān)控圖像異常行為識別精度和效率，實現(xiàn)了對傳統(tǒng)方法的優(yōu)化與創(chuàng)新，以及對識別理論的完善與補充。此次研究為視頻監(jiān)控圖像異常行為識別提供了參考依據(jù)。但是該方法尚未在實際中進行大量實踐與操作，在某些方面可能存在一些不足之處，今后會在方法優(yōu)化設(shè)計方面展開探究，促進視頻監(jiān)控圖像異常行為識別技術(shù)發(fā)展與革新。

參考文獻

[1] 吳松平，王天一．基于神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的視頻人體行為識別[J]．智能計算機與應(yīng)用，2021（12）：153-157.

[2] 李君，陳瑞鳳，徐春婕，等．鐵路客運車站旅客異常行為智能識別和監(jiān)測方法研究[J]．計算機測量與控制，2021（9）：37-42，49.

[3] 劉艷，張海民．面向智慧社區(qū)的視頻監(jiān)控異常行為識別方法的研究[J]．新型工業(yè)化，2020（8）：17-18，23.

[4] 王素．基于加法角余量損失和HMM的異常行為識別[J]．信息系統(tǒng)工程，2020（7）：133-134.

[5] 杜啟亮，黃理廣，田聯(lián)房，等．基于視頻監(jiān)控的手扶電梯乘客異常行為識別[J]．華南理工大學(xué)學(xué)報（自然科學(xué)版），2020（8）：10-21.