基于CNN和LSTM 混合模型的紅外人體行為識別

高 程，唐 超，童安煬，王文劍

（1.合肥學院人工智能與大數據學院，合肥 230601；2.山西大學計算機與信息技術學院 太原 030006）

人體行為識別（Human Action Recognition，HAR）是指通過現代計算機相關技術來識別人的行為動作的一個過程。它是計算機視覺領域中一個活躍的研究課題，在虛擬現實[1]、自動監視[2]、人機交互[3]和智能視頻監控[4]等許多領域都展現出巨大潛力。然而，行為識別提取特征受光照影響嚴重，缺少對時域信息的整合，使得準確高效地識別人體行為仍舊是一個難題。

近年來大多數的人體行為識別研究是在可見光環境下進行的，對于夜間環境下的研究相對較少。由于傳統光學相機在晚上無法正常工作，而許多影響到人身和財產安全的行為動作又常常出現在夜晚或較暗的地方。相比較而言，紅外成像具有很強的魯棒性，基本上可以排除煙塵、雨雪這些惡劣天氣的干擾；具有細節保留性，能夠保留較為完善的圖像邊緣輪廓和細節特征[5]；具備較好的光照不變性，能極大地降低光照影響。因此，后續針對夜間環境下的紅外人體行為識別研究具有發展意義。

本文針對紅外人體行為數據集較少的現象，設計相關的人體行為動作，用專業的紅外攝像機采集了足量的數據集進行實驗研究。提出的混合網絡模型C-L，該混合模型是基于CNN 和LSTM 兩種深度學習網絡，分別提取空間信息和時間信息，再按照一定的置信比進行融合的。最后通過實驗對比得出更加精確的分類結果。……