張海民

(安徽信息工程學院 計算機與軟件工程學院,安徽 蕪湖 241000)

0 引 言

智能監控系統是人工智能和傳統視頻監控系統的結合,是計算機圖像視覺技術在安防領域應用的形式之一。智能監控系統有效應用了領先的圖像處理算法以及日益進步的計算機處理技術,如256色轉灰度圖、模板卷積運算以及Gamma校正法等[1]。目前,智能監控系統已在機關單位、道路交通、教育機構、社區等領域全面應用,以實現對異常情況的智能監控。

在排除掉視頻畫面中沒有實際用途或者意義很小的信息后,可以獲得視頻數據中的有效信息,比如行人狀態、車輛信息等[2]。根據視頻監控所具備的對異常情況的識別能力對可能發生或已經發生的異常情況進行監測、識別和定位。

智慧社區是一種新型的社區管理理念,借助物聯網、智能通信、路網監控等技術,整合社區現有的服務資源,為社區民眾提供生活、工作、娛樂、教育、醫護等多種便捷服務,以提高民眾生活質量、提升社區服務品質[3]。智能安全防護是智慧社區的一大特色,將路網監控與視頻異常信息識別過程相結合,如利用智慧社區視頻監控對人體異常行為進行識別,能夠有效實現“指揮安防”,極有效地保證了社區居民的生命財產安全。因此,在智慧社區建設領域,相關的視頻監控異常識別方法也受到了廣泛關注。

吳沛佶等[4]設計了基于深度網絡模型的視頻序列中異常行為檢測方法,通過卷積神經網絡完成特征提取,在此基礎上,結合Adam算法,通過引入池化層的方式篩選出待判別的特征信息,實現對視頻序列中所存在的異常行為快速識別。胡薰尹等[5]設計了基于3D-LCRN的視頻異常行為識別方法,首先分析視頻圖像幀間的結構相似性并完成背景建模,從而獲取矯正光流場與矯正運動歷史。針對異常與正常行為視頻數據存在的失衡問題,提取并聚類視覺詞塊,結合3D-CNN模型獲取局部短時序時空-域特征用于異常行為識別。胡正平等[6]設計了視頻監控系統異常目標行為檢測識別與定位方法,在視頻幀的基礎上提取二維視覺特征并對幀間信息進行學習,然后對含有運動信息的時空塊進行3D時空特征學習,并構建視頻異常描述和視頻異常分類模型,通過模式分類檢測識別異常情況及其位置。然而,上述方法在識別精確度方面的效果理想度較差。

王家鵬等[7]設計了視頻監控環境下行人異常識別方法,該方法主要針對能夠反映行人的局部、全局特征的信息進行檢測和識別。首先,根據輪廓特征、運動速度等信息構建行為輪廓變化曲線模型,借助特征信息融合過程和模板庫實現對異常行為的檢測識別。鄭良仁等[8]設計了監控場景下視頻中全局移動對象異常行為自動識別方法,通過最小外接矩形框記錄對象移動軌跡，根據特征提取結果,通過異常測量函數實現異常行為自動識別。李文等[9]設計了人群監控圖像異常軌跡數據聚類識別方法,該方法將監控圖像中行人的軌跡數據看作為一個序列,采用最小外接矩形的中心點替代行人重心,通過矩形中心的變化描述行人異常軌跡,根據軌跡連接線的波峰波谷存在性實現異常識別。然而上述方法存在識別過程較長的弊端,導致識別效率較低。

鄭浩等[10]設計了視頻監控下基于混合算法的人體異常行為檢測和識別方法,該方法應用連續自適應均值漂移技術,通過引入校正背景權重直方圖過濾掉遮擋和相似顏色對象的干擾,繼而采用基于稀疏表達的檢測方式對目標對象的異常行為進行檢測和識別。趙仁鳳[11]設計了視頻監控中人體異常行為識別方法,基于運動信息分類方法獲得人體行為的特征描述符,利用隱馬爾科夫模型學習觀察監控視頻幀的光流方向,從而判定當前視頻幀與現有正常幀之間的差異性,實現異常行為識別。徐蕾等[12]設計了基于改進瞬時能量的人群異常行為識別方法,該方法再將提取到的人群分布信息和運動信息融合后,計算期間的瞬時能量,并將其與預設的異常閾值比較,從而實現對人群異常行為的識別。然而,上述方法難以在短時間內觀察到目標運動狀態的微小特征,造成識別精準度不高的問題。

深度學習是機器學習領域的一個分支,其目標是為了讓機器設備能夠具有對數據、圖像、音視頻分析學習的能力。目前,深度學習過程已在信息搜索、數據挖掘、語言處理個性化服務等領域得以廣泛應用,有效推動了人工智能技術的發展。為此,針對傳統方法存在識別精度低、識別過程耗時長的問題,該文以深度學習技術為基礎,設計一種面向智慧社區的視頻監控異常識別方法,以期提升智慧社區指揮安防工作的質量和效果。

1 識別原理

深度學習是機器學習的分支,其本質為一種模式分析過程。深度學習主要涉及3類方法,分別為卷積神經網絡、自編碼神經網絡和深度置信網絡。本研究應用的是卷積神經網絡,即在搭建深度學習網絡的基礎上,搭配相關層級訓練,同時對圖像執行預處理操作,運用動態自適應池化獲取方式選定目標候選框[13],實現面向智慧社區的視頻監控異常識別。

首先,利用卷積神經網絡技術構建深度學習網絡框架,其優勢是可以無需對顯示特征進行提取,可直接達成網絡各層次中神經元權值參數共享的目的[14-15]。以卷積神經網絡技術為依托的深度學習網絡模型共包含6層結構,其結構如圖1所示。

圖 1 深度學習網絡結構示意圖

如圖1所示,所構建的深度學習網絡的第1層為數據輸入層,所有待處理的數據只有在輸入層次執行相應預處理操作后才可以進入下一層;第2層為第一卷積層,此層的作用是獲取相同的視頻圖像特征;第3層為池化層,此層的作用是對目標行為特征進行提取和壓縮;第4層為第二卷積層,將第二卷積層與之后的隱藏層想結合,可獲取局部檢測圖的特征信息[16-17],并通過輸出層實現特征輸出,為后續的智慧社區視頻監控異常行為識別奠定基礎。

1) 輸入層 輸入層為深度學習網絡的起始層,其主要作用是獲得待識別的視頻圖像數據,并對視頻圖像數據執行預處理操作,包括圖像隨機剪裁、尺度縮放、去均值化以及歸一化處理等,最后獲取有效待測數據。輸入層僅包含一個數據輸出操作端口,只有經過輸入層的預處理后,數據才能被輸出至第一卷積層。這一過程中,深度學習網絡將輸出的圖像數據信息稱之為特征圖,并將數據的特征圖作為網絡結構層。

2) 卷積層 卷積層是深度學習網絡的核心層,借助特殊的卷積核核心結構對接收到的全部數據執行卷積操作,并將卷積結果用特征圖的形式輸出,從而提取數據特征。深度學習網絡中的卷積層借助卷積核執行數據傳輸及提取的獨特卷積形式,具有提取精準、效率高優勢,在深度學習網絡中的處理中至關重要[18]。

3) 池化層 池化層在深度學習網絡中的作用是對輸入其中的數據樣本執行采樣操作,從而有效減小無效特征量,防止數據過度擬合。在池化過程中,一般會對特征圖像依據2×2的尺寸進行采樣處理,對特殊大區域的特征圖也可依據4×4的尺寸進行采樣處理,但過大尺寸會使得在池化操作過程中會造成流失信息的現象[19-20]。通常情況下,可選用的池化方法有2種,分別為均值池化法與最大值池化法。

在執行池化操作時,均值池化是把各區域內的元素執行均值計算,并將計算結果充當輸出特征值,最大值池化是把區域內每個元素中的最大值充當輸出特征值。2種池化方式均可以正確有效提取數據樣本的有效特征值[21-22]。

4) 隱藏層 卷積神經網絡中的隱藏層是一個統稱,除輸入層和輸出層以外的其他各層均包含在隱藏層內。但是,隱藏層不能直接與外界進行通信。

5) 輸出層 隱藏層可以將輸入到其中的信息轉換為輸出層可以接受的格式,輸出層也可以將隱藏層內的信息轉換為任何比例。

2 視頻監控異常識別

2.1 數據預處理

視頻和圖像的不同點在于圖像是靜態的數據,而視頻是動態的數據,是由互相關聯的多幀圖像組成的。時間與空間共同組成了視頻的維度[23-24]。為此,本研究采用AlexNet網絡提取智慧社區監控視頻中目標的時空特征。AlexNet網絡加深了卷積神經網絡的結構,使之能夠學習更豐富的圖像特征。在這一過程中,利用Relu函數作為激活函數,在雙層卷積+池化操作的基礎上提取圖像的特征。

首先,需對所輸入樣本數據做如下處理:對樣本數據集中的彩色圖像數據執行灰度化處理操作,再將圖像尺寸規范化并執行多時間采樣操作。由于運動目標的運動狀態變化是非均勻的,倘若僅僅應用單一的時間間隔對數據集進行采樣會造成很多細節信息被忽略,因此,選擇不一樣的時間間隔執行隔幀采樣[25-26],過程如圖2所示。

圖 2 數據處理過程

在此基礎上,假設智慧社區視頻的第x幀圖像特征為Px,首先選取3幀圖像,可得到第一特征集Px，1={px-2,px-1,px},以此作為輸入的第一樣本;然后每隔1幀選取3幀圖像,可得到第二特征集Px，2={px-4,px-2,px},以此作為輸入的第二樣本;最后每隔2幀選取3幀圖像,可得到第三特征集Px，3={px-6,px-3,px},以此作為輸入的第三樣本,利用第一、第二、第三樣本共同組成樣本集。

根據時間采樣獲取3幀圖像,與由AlexNet網絡輸入圖像RGB的3個通道數據相對應,使得所形成的輸入數據符合網絡輸入格式。

2.2 軌跡提取

在軌跡提取過程中,結合稠密軌跡對目標運動行為軌跡進行平滑約束處理。在軌跡跟蹤的操作中,軌跡容易從其初始位置生成漂移。為消除該現象,把軌跡長度范圍定在t幀內,并建立時空小方塊。如果某段軌跡的長度超過t,便將該段軌跡從跟蹤的范圍中排除。為更有效地提取運動目標軌跡信息,在軌跡周圍的時空小方塊內需要針對描述子執行迭代操作,直至提取到最優軌跡信息。

2.3 識別流程設計

應用背景差分與幀差分結合的方式執行運動目標識別任務,并將探測到的運動目標執行陰影消除操作,同時獲取運動目標質心。根據質心運動軌跡判斷運動目標是否存在異常行為。智慧社區視頻監控異常識別過程如下:

1) 將智慧社區監控視頻圖像讀取進Matlab平臺中執行處理操作，讀取后執行圖像預處理操作,為運動目標檢測作好鋪墊;

2) 結合幀差分法和背景差分法執行運動目標檢測工作;

3) 根據目標質心運動軌跡特征判斷視頻監控中的運動目標是否存在消失、攀爬、跌倒、物體遺留等異常狀況。

綜上所述,深度學習下智慧社區視頻監控異常識別方法的具體識別流程如圖3所示。

圖 3 智慧社區視頻監控異常識別流程

3 實驗分析

為證明深度學習下智慧社區視頻監控異常識別方法的有效性,設計對比檢測實驗加以驗證。

3.1 實驗環境

硬件:處理器為i5 9400F 酷睿六核(盒裝CPU),GPU為戴爾(DELL)Precision,內存大小為16 GB,并配置GPU加速功能;軟件:操作系統為Windows 8,仿真環境為Visual Studio 2013&Open CV,操作語言為C++。

將文獻[5]中的基于3D-LCRN視頻異常行為識別方法和文獻[8]中的監控場景下視頻中全局移動對象異常行為自動識別方法作為對照組,將本文方法作為檢驗組,在相同的實驗環境下完成性能驗證。

以識別精準度和識別過程耗時作為檢測指標：識別精準度用于判斷識別能力的強弱,能夠直接反映不同識別方法的有效性；識別過程耗時可以反映不同識別方法的識別效率和時效性。

3.2 結果與分析

將跌倒、攀爬、跳躍行為確定為視頻監控下人體異常行為。由實驗人員依次做出上述3種動作(實驗人員身高為170 cm,頭部往下，重心約在95 cm處),在此基礎上,提取原始視頻幀圖像,在對其進行預處理后,繪制不同行為下人體重心的坐標移動軌跡,即可獲取異常行為軌跡目標。對跌倒、攀爬、跳躍行為下人體目標軌跡進行繪制,如圖4所示。

(a) 跌倒

(b) 攀爬

(c) 跳躍

由圖4可知，在跌倒行為中,人體重心較低,初始重心高度約為95 cm,跌倒后重心前移且高度下降;在攀爬行為中,攀爬人員需爬上一個高和寬均為1 m的高臺,初始重心高度約為95 cm,攀爬到指定位置后,重心右移且高度上升;在跳躍行為中,攀爬人員需從高臺上跳下,初始重心高度約為195 cm,重心左移且高度下降。

在此基礎上,檢驗不同方法的識別精度。識別精度能夠反映不同方法對異常情況的識別效果,識別精度越高表明識別結果有效性越高。

在檢驗時,分別利用本文方法、文獻[5]方法和文獻[8]方法對視頻中的異常行為進行識別,通過比較識別軌跡與實際軌跡的重合度來計算判斷不同方法的識別精度。測試結果如表1所示。

表 1 不同方法識別精準度對比結果

Tab.1 The accuracy of different methods is compared %

識別方法異常行為實驗次數1020304050文獻[5]跌倒72.475.170.673.275.6 攀爬75.870.778.574.971.8 跳躍73.173.970.570.474.0 文獻[8]跌倒83.678.375.585.775.9 攀爬84.176.279.480.675.5 跳躍82.380.881.477.773.8本文 跌倒97.195.095.296.997.1 攀爬97.295.094.396.597.6 跳躍96.896.094.494.096.7

分析表2可知,文獻[5]方法的識別精度范圍在70.4%～78.5%之間；文獻[8]方法的識別精度范圍在73.8%～85.7%之間；而本文方法的識別精度范圍在94.0%～97.6%之間。相比之下,本文方法對異常行為的識別精度更高,證明該方法的有效識別能力更強。

產生這一結果的原因在于本文方法在信息采樣過程中,選擇不一樣的時間間隔執行隔幀采樣操作,從而有效避免了因單一時間間隔采樣難以應對運動目標狀態的非均勻變化,而導致的視頻細節信息被忽略的問題。同時,因本文方法利用了深度學習中的卷積神經網絡,借助其卷積層中的卷積核執行數據傳輸和提取,并將卷積結果用特征圖的形式輸出,從而提高了對異常行為的識別精度。

進一步測試不同方法的識別過程耗時。識別過程耗時能夠反映不同方法的時效性和識別效率。識別過程耗時越短,表明識別方法的時效性和識別效率越高。識別過程耗時結果由操作系統后臺自動統計。對比結果如圖5所示。

圖 5 不同方法識別過程耗時對比結果

從圖5可知,隨著實驗次數的增加,不同方法的識別過程耗時也在不斷發生變化。根據圖中上限值線段可以看出,文獻[5]方法的最大識別過程耗時為2.4 s,文獻[8]方法的最大識別過程耗時為4.2 s,本文的最大識別過程耗時為2.1 s。由此可知,本文方法的識別速度最快,證明本文方法具有較高的識別效率和時效性。

產生這一結果的原因在于本文方法在識別異常行為之前,對監控視頻圖像進行了預處理操作,在保證視頻圖像尺寸規范化的基礎上,將采集到的視頻圖像數據串聯形成時間維度時空塊輸入數據,與由AlexNet網絡輸入圖像的RGB的3個通道數據相對應,使得輸入數據符合網絡輸入格式,避免格式轉化過程耗時過程,從而縮短了異常行為識別過程耗時。

4 結 語

本文算法對異常行為識別有較高的識別精準度和時效性。當有異常或者是有可能異常的情況,智能監控系統的警報裝置將被觸發,協助安防部門迅速發現異常現象。在研究過程中,發現在提取智慧社區監控視頻中目標的時空特征后,可根據時間采樣獲取幀圖像。將獲取結果與由AlexNet網絡輸入圖像RGB的3個通道數據相對應,可結合空間陰影消除方法在消除視頻圖像的陰影部分,使得視頻圖像預處理過程更便捷。

雖然本文方法獲取的檢測效果較優,然而因對該方面的研究尚在初級階段,實際應用時,仍存在一些問題,如能耗大、針對不同數據集的異常行為判定標準未達到多元化等。在未來的研究階段,將進一步對該方法進行優化,擴大該方法的應用范圍和有效性。