基于深度學習的行人異常行為檢測

摘 要：行人異常行為分析是智能安防領域的研究熱點，但是傳統方法存在計算復雜度高和數據利用率低的缺點，難以滿足實際場景需求。本文采用貪心算法提取視頻圖像中的人體關鍵點，并結合親和度對比規則獲得人體骨架圖特征參量，輸入Inception v3深度學習模型進行訓練，創建行人異常行為判決模型。同時改進Inception v3模型輸出層，以適應行人異常行為識別任務，并引入人臉識別功能。試驗結果顯示，基于深度學習的行人異常行為識別具有更高的準確率和更快的計算速度。該方法為提升行人異常行為識別精度提供了有效解決方案，有望在實際安防場景中發揮重要作用。

關鍵詞：深度學習；人體動作識別；人臉識別

中圖分類號：TP 183 " 文獻標志碼：A

為了保障公共場所的安全，通常需要在各處安裝監控攝像頭。然而，這些攝像頭需要人工管理，可能會導致監控不到位。為了解決該問題，行人異常行為識別技術利用計算機視覺分析視頻或圖像數據檢測異常行為，并通過預警系統及時采取措施，可以有效預防意外事件。該技術可識別街頭斗毆、老人摔倒和可疑人員徘徊等異常行為，特別適用于銀行或珠寶店等特定場景。現有算法包括基于視覺特征、基于物體軌跡和基于深度學習的方法[1-5]。

然而，基于視覺特征的方法的設計和計算較復雜，難以反映行為特性。基于視覺特征和物體軌跡的方法對圖像要求較高，當圖像中的人被遮擋時，其跟蹤性能會明顯下降，導致異常檢測結果的正確率下降。相比之下，基于深度學習的異常行為檢測方法能夠有效表示行為特性，準確率更高，計算復雜性更低，原因是深度學習方法可以利用多層非線性變換，從原始圖像中學習和挖掘復雜的非線性行為特征表示。與基于人工特征的異常檢測相比，由深度學習得到的特征是計算機自適應選擇的特征，具有更強的分類能力。

1 流程設計

基于深度學習的行人異常行為識別主要包括預處理、特征提取、深度學習訓練、深度學習測試、人臉識別和邏輯判斷等流程，如圖1所示。

首先，對監控視頻進行視頻分幀和灰度化預處理等操作。其次，分別提取人體關鍵點，并進行關鍵點分類和連接，定位人臉、提取其特征并保存于人臉庫，獲取人體骨架圖和人臉特征數據。再次，搭建深度學習模型，并用部分人體骨架圖進行訓練。訓練完成后，將剩余人體骨架圖輸入深度學習模型，進行人體異常行為識別測試，獲取行人異常行為等級。同時，逐一比較提取的人臉特征與人臉庫中的特征，評估人臉出現的頻率，得出行人異常行為等級。最后，綜合2個異常行為等級，得出最異常行為評估結果，進行邏輯判斷，并輸出相應結果。

2 特征提取

2.1 人體關鍵點特征提取

人體關鍵點檢測又稱為人體姿態估計，是計算機視覺中的基礎任務，是人體動作識別、行為分析和人機交互等的前置任務。組合15～18個關鍵節點即可表示動作，例如揮拳、踢腿和行走等。因此，本文采用貪心算法提取人體關鍵點來描述行為動作。貪心算法是一種自下而上的方法。傳統的姿態估計采用自上而下的人體關鍵點提取算法，即先檢測每個人，再提取其關鍵點。該方法對單人關鍵點的提取效果較好，但是當處理多人時，速度會隨人數增加而下降，也可能將接近的人誤合并為一個，影響結果準確性，因此在復雜場景下表現不佳。相比之下，OpenPose[6]采用的貪心算法能夠先檢測所有人的關鍵點，再得到完整的人體骨架，提高了準確性，減少了計算時間。該方法具有較好的魯棒性，適用于單人和多人，即使部分人被遮擋也能定位關鍵點位置。

OpenPose框架如圖2所示。OpenPose由2個并行分支組成，一個分支用于人體關鍵點提取，另一個分支用于人體部位親和度計算。首先，對圖像進行特征提取，得到人體關節的特征數據。其次，將這些特征一起輸入分支網絡。分支網絡均包括t個階段，能夠進行細化處理，并對特征圖進行特征結合處理，其中ρ和φ表示卷積神經網絡。在訓練過程中，每個階段均生成損失，以避免梯度消失問題。在預測過程中，僅使用最后一層的輸出。

因此，本文使用OpenPose模型進行人體關鍵點預測和人體部位親和度計算。這些關鍵點包括鼻子、頸部、右肩、右肘、右腕、左肩、左肘、左腕、右腰、右膝、右踝、左腰、左膝、左踝、右眼、左眼、右耳以及左耳。將OpenPose預測的人體關鍵點置信圖中置信度大的區域放大，從該區域中查找置信度最大的點，將其作為人體關鍵點，分別如圖3（a）、圖3（b）所示。

由于OpenPose預測的是不同人的所有人體關鍵點，因此在得到所有人的關鍵點后，需要將其進行分類，為關鍵點連接做準備。所謂人體關鍵點分類就是將人體關鍵點以不同的人為單位進行歸類，其核心思想是將2個候選關鍵點組中的任意2個候選關鍵點進行組合，進而從2個關鍵點間取10個點，再計算10個點的向量，并與OpenPose計算的人體部位親和度進行比較，如圖3（c）所示。如果10個點的向量與OpenPose輸出的人體部位親和度方向具有一定的符合度，那么可以證明是有效的組合。將有效組合保存到同一矩陣中，這些組合包括頸部-右腰、右腰-右膝、右膝-右踝、頸部-左腰、左腰-左膝、左膝-左踝、頸部-右肩、右肩-右肘、右肘-右腕、頸部-左肩、左肩-左肘、左肘-左腕、鼻子-頸部、右眼-鼻子、左眼-鼻子、右耳-右眼以及左耳-左眼，以此順序在純黑色背景中進行連接。值得注意的是，如果人體關鍵點組合中缺失某個人體關鍵點，就不進行與該點相關的連接。待全部關鍵點連接完畢后，將其以圖片的形式保存為人體骨架圖，如圖4所示。

2.2 人臉特征提取

進行人臉特征提取需要先進行人臉定位。本文將視頻分幀獲得的圖片進行了灰度化處理，以消除膚色對人臉檢測的干擾。再采用OpenCV庫中基于haar特征的快速人臉檢測分類器對人臉進行檢測，將定位得到的人臉單獨截取并保存為人臉圖片，如圖5（a）所示。得到人臉圖片后，由于人距離攝像頭的距離不同，因此截取的人臉可能大小不一，會影響特征提取結果。可以在對人臉圖片進行特征提取前，先對人臉圖片進行縮放處理，以消除由人臉大小不同導致的誤差，如圖5（b）所示。對人臉圖片進行縮放后，再使用Dlib庫提取68個人臉特征，例如臉龐輪廓、眼睛、眉毛、鼻子和嘴巴等，如圖5（c）所示。

對人臉68個特征點進行定位后，使用深度殘差網絡，將68個人臉信息特征點提取成一個128維的向量空間，并保存到人臉庫中，用于人臉對比。在該向量空間上，同一個人臉的距離更接近，不同人臉的距離更遠，使用歐式距離進行表示。臉部特征越相似，獲得的值就越小，即可認為二者為同一個人；反之，二者為不同的2個人，如公式（1）所示。

（1）

式中：x1，y1，…，z1為數據庫中的人臉特征；x2，y2，…，z2為定位的人臉特征。

根據多次調試，將閾值定義為0.5，如果得到的結果大于閾值，那么證明不是同一個人，反之則是同一個人。該人臉識別結果可以用于檢測人臉出現頻率。

將獲得的人體骨架圖分為訓練集和測試集2個部分，為訓練集中的數據手工添加標簽，進而導入模型進行深度學習訓練。訓練過程如圖6所示。

試驗證明，經過1000次迭代后，訓練準確率為97%，交叉熵為0.14，使用測試集測試的準確率為80.5%。

3 行人異常行為識別

將人體關鍵點圖導入訓練好的深度學習模型，得到分類結果和所占比例。多次調試后，將異常行為閾值設置為0.55。如果分類結果為異常且所占比例超過閾值，將異常等級增加2級。同時，將監控視頻分幀得到的圖片進行人臉特征檢測，得到人臉128維向量空間，與人臉庫中所有人的128維向量空間進行歐式距離度量，以判斷該人出現次數。如果出現次數超過20%，那么將異常等級增加1級；如果超過35%，那么將異常等級增加2級。最后對異常等級進行邏輯判決，如果異常等級為0，那么說明行人無異常行為；否則，行人存在異常行為，并輸出異常行為等級。

4 結語

本文采用貪心算法提取視頻圖像中的人體關鍵點，并基于人體部位親和度對比規則進行分類和連接，從而獲得人體骨架圖特征參量。這些特征被輸入Inception v3深度學習模型中進行訓練，以創建行人異常行為判決模型。此外，本文改進了Inception v3模型的輸出層，使其更適用于行人異常行為的識別任務。為提升異常行為識別精度，本文引入了人臉識別功能。采用Haar特征提取算法定位視頻圖像中的人臉，并利用Dlib庫精確定位人臉的68個特征點。將這些特征點輸入深度殘差網絡人臉識別模型中，生成表示人臉特征的128維向量空間，用于建立人臉庫和后續的人臉識別任務。試驗結果顯示，與傳統的基于人工特征的方法相比，基于深度學習的行人異常行為識別具有更高的識別率和更快的計算速度。

參考文獻

[1]趙榮泳，韋炳宇，朱文杰，等.公共場所行人異常行為識別方法綜述[J].中國安全科學學報，2024，34（2）：83-93.

[2]胡瑗，夏利民，王嘉.基于軌跡分析的行人異常行為識別[J].計算機工程與科學，2017（11）：88-93.

[3]秦彬鑫，路紅，邱春，等.一種基于運動分析的行人異常行為檢測[J].電訊技術，2022，62（4）：457-465.

[4]熊文靜，袁蒙蒙.基于機器視覺的行人異常行為檢測方法[J].信息與電腦（理論版），2023，35（6）：117-119.

[5]邱鵬，鄧秀慧，霍瑛.復雜環境中一種基于深度學習的異常檢測方法[J].科學技術與工程，2018，18（10）：231-234.

[6]CAO Z，HIDALGO G，SIMON T，et al.OpenPose：Realtime

multi-person 2D pose estimation using part affinity fields[J].IEEE

Transactions on pattern analysis and machine intelligence，2021，43（1）：172-186.

通信作者：金康（1994—），男，湖北荊州市人，本科，武昌首義學院專任教師，研究方向為人工智能/計算機視覺。

電子郵箱：jinkang@wsyu.edu.cn。