基于貝葉斯網絡的人體異常行為檢測與識別

韓飛龍 應捷

摘要：使用卡爾曼濾波算法檢測視頻中的運動目標，并對檢測到的行人進行特征提取。采用圖像熵、Hu不變矩和長寬比特征，建立貝葉斯網絡結構對人體目標進行分類，從而對人的正常行走和倒地、奔跑、揮拳4種行為進行識別。正常行走是正常行為，摔倒、揮拳和奔跑是異常行為。實驗結果表明，通過特征提取的貝葉斯網絡分類具有較好的實時性，其準確率可達90%。

關鍵詞：行人檢測；卡爾曼濾波；貝葉斯網絡；特征提取

DOI：10.11907/rjdk.172040

中圖分類號：TP306

文獻標識碼：A文章編號：1672-7800（2018）007-0009-05

Abstract：MovingobjectsinvideoswaredetectedbyKalmanfilteralgorithmandobjectfeatureswareextracted.NaveBayesiannetworkisestablishedtoclassifythefourbehaviorssuchasnormalwalking，thefalling，runningandpunchingbyusingentropy，Humomentinvariantandsymmetryfeatures.Normalwalkingisnormalbehavior.Falling，runningandpunchingareabnormalbehavior.Experimentalresultsshowthatthemethodissimpleandhasgoodreal-timeperformance.Theaccuracycanreach90%.

KeyWords：detectionofmovinghuman；KALMANfiltering；Bayesiannetworks；featuresextraction

0引言

隨著信息化的發展和科技的進步，人類進入到一個數字信息爆炸時代。如今，數字圖像、視頻等數字影像信息已廣泛應用于生活管理、安全監護等各個方面，大大提高了人們生活質量。特別是隨著恐怖襲擊和各類安全事件的頻發，安全部門開始更多地將注意力集中到智能視頻監控領域，以快速檢測出監控區域的異常行為，及時推測出可疑的異常行為，從而減少事故發生幾率，并對事故進行及時處理。

目前，國內外在異常行為檢測方面進行了大量研究。根據不同的目的和功能要求，其檢測分類方法也不盡相同。一種是基于模型的方法，該方法通過建立某種準則，從圖像上提取相關特征，從而構造分類器進行分類；另一種是基于推測的方法，該方法利用異常行為難定義、易發現等特點通過學習正常模式，從而推斷可疑行為。YibingWang等提出基于極端學習機的異常分類算法（L1-NormMinimizationELM）；ASargano等提出基于Hu不變矩的多視覺特征結合支持向量機（SVM）進行分類檢測；王威等提出一種基于時空聯合特征的支持向量機分類檢測算法；Wu等利用PCA進行邊緣特征提取，然后用SVM將行為分為正常和異常兩類；Vishwakarma等[1-8]提出基于邊緣梯度的空間分布方法進行行為識別。

上述方法雖然能對異常行為進行檢測和分類，但準確率不高或實時性不好。本文研究一種具有通用性的行人異常行為檢測方法，首先采用卡爾曼濾波進行目標檢測，然后對檢測到的目標進行貝葉斯網絡分類，從而對行人姿態實現實時檢測與識別分類。

1行人檢測與分類方法

行人異常檢測與分類系統處理流程如圖1所示。采用固定攝像機實時獲取視頻圖像，中央處理單元（可以采用筆記本電腦）對圖像進行檢測與分類。行人檢測采用卡爾曼濾波實現，然后對檢測到的障礙物進行特征提取。提取目標的Hu不變矩特征、長寬比和圖像熵特征，建立貝葉斯網絡對障礙物進行分類，分類結果通過語音進行提示。

1.1卡爾曼濾波障礙物檢測方法

卡爾曼濾波檢測流程如下：

首先建立系統模型，設定初始參數，讀入圖像序列；然后讀取圖像序列中的一幀圖像，預處理后產生初始化背景圖像；依次讀入下一幀圖像，采用卡爾曼濾波的背景估計法，通過計算圖像中的像素點變化判斷該點屬于前景或背景圖像；然后將前景圖像進行連通運算，標記出前景運動目標；計算運動目標面積，面積小于閾值的目標不予標記，將面積大于閾值的目標進行連通運算，標記連通區域得到理想的運動目標；最后使用最小矩形框將運動目標分割出來，以便于后續的分類處理。

1.2基于貝葉斯網絡的行人異常分類方法

貝葉斯網絡又稱為信念網絡或有向無環圖模型，是一種用于描述變量間不確定性因果關系的圖形網絡模型，由節點、有向連接和節點概率表組成。貝葉斯分類通過先驗分析，得到分類對象的先驗概率，再利用貝葉斯公式計算需要分類對象的后驗概率，通過選擇最大后驗概率判斷需分類對象的所屬類別。

本文設計的貝葉斯網絡如圖3所示，提取行人目標的3個特征進行分類，提取目標的Hu不變矩特征、圖像熵與目標長寬比。通過大量樣本圖像的特征值提取，可以得到圖像的特征值分布；計算圖像特征值的高斯概率分布，得到樣本特征屬性的先驗概率，作為貝葉斯分類器的輸入；然后對待測樣本圖像進行貝葉斯分類計算，得到測試圖像類型概率，概率最大的對應的類即是待測樣本類別。本文采用最小誤差概率的拓撲貝葉斯能夠有效地將未知圖片進行分類，錯誤率較低。

2行人特征提取

基于貝葉斯網絡進行行為異常分類，必須先確定行人特征。特征選取很重要，它是行為分類的依據。本文選取3個特征，提取目標的Hu不變矩特征、圖像熵和長寬比。

長寬比可以有效地將異常倒地和正常行走、揮拳、奔跑區分出來。利用卡爾曼濾波進行障礙物檢測后，可得到動態目標的最小外接矩形，從而得到目標的長寬比。其中倒地長寬比的數值范圍是1.2～1.8，正常行走長寬比的數值范圍是0.2～0.4，奔跑長寬比的數值范圍是0.18～0.4，揮拳長寬比的數值范圍是0.3～0.45。行人的圖像熵和Hu矩通過以下方法得到：

2.1圖像熵

熵（entropy）表示一個系統的無序程度。1948年Shannon將熵的概念引入到信息論中，表示系統（信源）的不確定性，用于衡量信息量的多少，稱為“信息熵”。圖像熵是圖像的信息熵度量，表示圖像中信息量的多少。由于卡爾曼濾波檢測圖像序列包含了場景的大量運動信息，通過計算其熵值，可以準確量化行人的運動變化情況。當異常事件發生時，劇烈變化的場景必然表現為熵值的急速上升，因此利用圖像熵檢測異常事件是可行的。

對于灰度值為8位的圖像，其一維熵的計算公式為：

本文首先進行圖像熵提取，圖像熵值H在4.7～6.0之間可以判斷為正常行走，實驗結果較為理想，誤差較小。其中奔跑的圖像熵值范圍是6.2～7.3，倒地的圖像熵值范圍是6.7～7.8，揮拳的圖像熵值范圍是6.0～7.9。

通過對圖像熵的檢測，可以迅速判斷行人是否處于正常行走狀態，從而可對后續異常作進一步判斷。

2.2Hu不變矩

矩特征主要表征圖像區域的幾何特征，又稱為幾何矩，是由Hu在1962年提出的。由于其具有旋轉、平移、尺度等特性的不變特征，所以又稱為不變矩。在圖像處理中，幾何不變矩可作為一個重要特征表示物體，可以跟據該特征對圖像進行分類等操作。如果將圖像灰度值看作一個二維或三維的密度分布函數，矩方法即可應用于圖像分析領域，并用于圖像特征的提取。在模式識別中，一個重要問題是識別目標的方向性變化。Zernike矩是一組正交矩，具有旋轉不變性，即旋轉目標而不改變其模值。由于Zernike矩可以構造任意高階矩，所以Zernike矩的識別效果優于其它方法。

對于每一幀圖像，這里只提取最顯著的Hu矩特征M5，從而減少相應數據的運算量，提高實時性。對于提取到的相關特征，采用貝葉斯網絡分類器進行訓練和分類，以實現對可疑行為的檢測。

3實驗結果及分析

3.1實驗數據集與實驗性能評價指標

在本實驗中，攝像機安裝在固定角度，實時采集監控區域視頻圖像序列輸入到圖像處理器，本文采用筆記本電腦進行圖像處理。卡爾曼濾波算法在Windows7平臺上使用MATLAB函數庫實現。數據來源于HMDB51數據庫和KTH動作識別數據庫，KTH數據庫包括行走、奔跑、揮拳等6類動作，共有600個視頻片段，序列像素的分辨率大小為160×120。本文選取奔跑、揮拳、正常行走3個動作，倒地的一部分圖像序列來自網絡。識別系統的定量評價指標主要有3個，即虛警率、漏警率和處理速度。

3.2行人檢測結果

圖6-圖9為卡爾曼濾波檢測得到的效果。卡爾曼濾波對采集到的圖像進行運動目標標記和提取，并將檢測到的結果保存起來，以便后續的特征提取。經驗證，該算法對障礙物的檢測率達到95%。

本文的卡爾曼濾波利用迭代遞推計算方法，對存儲空間要求小，實時性更好，可以及時進行背景更新，并且該方法受外界噪聲影響更小，同時減少了對硬件質量的要求，降低了應用成本，具有很好的應用前景。

3.3異常行為分類

3.3.1訓練圖像選取與處理

選取100幅不同姿態的行人圖片作為貝葉斯分類器訓練樣本，包括正常行走，以及異常狀態的奔跑、揮拳和倒地，每種類別各25幅。如圖10所示為每一類的典型樣本。分別提取訓練樣本的3個特征：障礙物的對稱性、邊緣直線水平度和目標長寬比。統計得到訓練樣本特征值的平均值和方差，如表1、表2所示。將得到訓練樣本的平均值和方差作為貝葉斯網絡輸入。

對每一類訓練樣本的3個特征值進行統計分析，觀察其特征值分布。理論上每一類樣本的圖像特征值分布應該是一致的。通過分析圖像特征值分布，可以得到每類圖像特征值的高斯概率分布。

3.3.2貝葉斯網絡分類結果

本實驗在Windows7的計算機上完成，采用MATLAB_R2015a實現代碼編程。貝葉斯分類器有3個輸入：①400（行）×3（列）的訓練樣本特征值矩陣；②100（行）×3（列）的測試樣本特征值矩陣；③分類圖像類別數為4。貝葉斯分類器有一個輸出：1（行）×100（列）的測試樣本分類類別，每個數據表示測試樣本的類別種類。實驗結果表明，行走識別率為98%，倒地識別率為100%，奔跑識別率為93%，揮拳識別率為90%。圖像處理實時性可達每幀0.29s。

為了更有效地與其它分類算法進行對比，在實驗樣本和分類種類選擇與本文方法相同的情況下，從客觀角度對SVM[5]、ShapeFeatures[8]、BP網絡分類[9]、AdaBoost[11]及本文分類結果進行定量比較分析，實驗結果如表3所示。

由表3可知，樸素貝葉斯分類器可得到更好的分類精度。由于傳統的BP算法需要較長訓練時間，容易陷入局部極小值，分類準確率低于其它方法；SVM方法的關鍵在于核函數，而低維空間向量集通常難以劃分，且其核函數選取以及參數確定不具有普遍性，當訓練樣本較大時，難以實施；AdaBoost方法適合于各種分類場景，但當出現多次分類錯誤后，會影響誤差計算與分類器挑選，從而出現典型退化問題。傳統形態特征需要較復雜的算法支持，實時性不強，而且不能智能地判斷出是何種異常。由于本文所涉及的障礙物特征相互獨立，所以采用樸素貝葉斯網絡進行分類可避免模型過于復雜，降低模型維數，有效防止過擬合，節約模型計算成本，從而得到更精確的分類結果。

4結語

本文采用一種基于卷積神經網絡的人體異常行為檢測分類方法。首先利用卡爾曼濾波進行監控區域行人目標的檢測和提取，然后對檢測到的幀圖像進行特征提取，提取目標的圖像熵、不變矩和長寬比特征，將其分為人物正常行走、摔倒、奔跑和揮拳4類行為。貝葉斯分類器依據最大后驗概率進行決策分類，可以減小由于圖像噪聲干擾帶來的分類誤差。但在實際監控分析時，目標檢測受人群密度、天氣、光線等因素影響，情況更為復雜。所以如何找到用于提取異常目標更有效的對比信息、提高算法效率是將來的研究方向。

參考文獻：

[1]宋丹妮，王平，張曉華，等.基于視頻監控的中小群體異常行為檢測[J].計算機工程與設計，2016，37（9）：2507-2514.

[2]張旭光，王夢偉，左佳倩，等.介觀小團體運動聚類的人群異常檢測[J].儀器儀表學報，2015，36（5）：1106-1114.

[3]MOUSAVIH，MOHAMMADIS，PERINAA，etal.Analyzingtrackletsforthedetectionofabnormalcrowdbehavior[C].ApplicationsofComputerVision.IEEE，2015：148-155.

[4]GUOW，CHENG.Humanactionrecognitionviamulti-tasklearningbaseonspatial–temporalfeature[J].InformationSciences，2015，320（C）：418-428.

[5]王威，張鵬，王潤生，等.行人行為的奇異性檢測和正常行為分類[J].計算機工程與應用，2010，46（9）：173-176

[6]GUX，CUIJ，ZHUQ.Abnormalcrowdbehaviordetectionbyusingtheparticleentropy[J].Optik-InternationalJournalforLightandElectronOptics，2014，125（14）：3428-3433.

[7]JIS，XUW，YANGM，etal.3Dconvolutionalneuralnetworksforhumanactionrecognition[J].IEEETransactionsonPatternAnalysis&MachineIntelligence;，2013，35（1）：221-231.

[8]VISHWAKARMADK，KAPOORR，DHIMANA.Aproposedunifiedframeworkfortherecognitionofhumanactivitybyexploitingthecharacteristicsofactiondynamics[J].Robotics&AutonomousSystems;，2016，77：25-38.

[9]ZHANGY，LUH，ZHANGL，etal.Videoanomalydetectionbasedonlocalitysensitivehashingfilters[J].PatternRecognition，2016，59：302-311.

[10]韓飛龍，應捷，朱丹丹.一種新的車輛輔助駕駛動態障礙物檢測與分類方法[J].計算機應用研究，2017，34（6）：1909-1912.

[11]LIX，YEM，FUM，etal.Domainadaptionofvehicledetectorbasedonconvolutionalneuralnetworks[J].InternationalJournalofControl，AutomationandSystems，2015，13（4）：1020-1031.

[12]湯春明，盧永偉.基于改進的稀疏重構算法的行人異常行為分析[J].計算機工程與應用，2017（8）：165-169.

（責任編輯：黃健）