圖卷積網絡在特殊人群異常行為檢測中的研究與應用

鄒開達

【關鍵詞】異常行為檢測;圖卷積網絡;特定場景

一、引言

隨著人工智能和圖像視覺分析技術的發展[1]，在芯片及算力的支持下，傳統的安防行業已經進入到了智能時代，視頻異常行為檢測是智能監控系統[2]的核心，在學術界和工業界都有較高的研究和應用價值。最新調查研究顯示[3]，我國近50%的老年人為“空巢老人”，居家養老為主要養老模式，居家安全問題的發生率高達38.03%。如何及時發現獨居老人在家發生的異常行為，做到第一時間保證老人的生命健康，成為當今社會的重要課題之一。近年來，家庭場景下視頻監控的普及為解決獨居老人的安全問題提供了新的方案，傳統的視頻監控只能依靠人工的方式確認老人的健康狀態，無法做到及時性與實時性。針對這個問題，本文提出了一套智能化的監控算法及實現，通過將圖卷積網絡與注意力機制相結合，對視頻序列進行特征提取與對比，適用于在醫院、獨居老人或者養老院等看護人員數量不足或者缺失的場景下，對一些特殊人群的行為進行實時檢測，如果發生跌倒、揮手、擊打和抽煙等事先設定的異常行為類別，則向終端輸出發生的異常行為的類別和時間，最大限度上減少生命及財產損失。

二、圖卷積網絡概述

人體骨架是人身體的內在框架，骨架由人體的關節點和骨骼組成。在空間域上，將這些關鍵點按照人體結構進行連接可以得到人體輪廓圖。在時域上，根據關節點坐標信息變化即可對人體行為進行訓練與分類。把骨架簡化為一個由點和邊所構成的無向圖G（V，E）來表示N個關節點與T幀的人體骨架序列中點（V）與邊（E）在空間與時間上的連接關系，圖中藍色的點代表人體骨骼關鍵點V，它們之間按照人體結構進行連接，藍線構成幀內連線，綠線是同一個關鍵點在相鄰幀之間的連線，通過對比在時域上造成的藍綠線條的運動變化從而實現對運動目標行為的檢測和識別。

在t時刻，有N個關鍵點Vt組成的邊Es（t）={vtivtj | （i，j）∈H}作為圖卷積網絡的輸入，輸入圖像為fin，定義節點vti其臨近節點集合B（vti）={vtj |d（vtj，vti）≤D其中d（vtj，vti）表示從vtj到vti的最小長度。即圖卷積的形式：

其中歸一化項Zti（vtj）=|{vtk |lti（vtk）=lti（vtj）}|等于對應子集的基數，平衡不同子集對輸出的貢獻，w（lti（vtj））為訓練過程中更新的權重規則函數，由于人體骨架在空間上是局部性的，所以在劃分過程中利用這種特定的空間結構，設計一種將鄰域集劃分為三個子集的策略：（1）根節點本身;（2）向心集合：距離骨架重心較根節點近的鄰域節點;（3）其他所有節點被分為離心集合。形式上表示為：

三、圖注意力機制

為了提高模型的性能，本文對圖卷積網絡層進行疊加圖注意力機制模塊，使模型通過權值分配的方式優化網絡學習參數，得到更加適合描述行為的圖結構，例如人體揮手的動作其主要關節點變化是在手部和肘部，其余關節點包含運動特征信息很少，所以引入圖注意力機制后，手部和肘部的關節點其權重相對其他關節點會變大，權值矩陣與圖卷積層輸出的特征圖相乘達到特征評估的目的。

在上一節中，我們得到的人體關節點與邊構成一張無向圖G（V，E），其中V={1，2n，...，n}|為節點集合，節點的特征用X=x1，x2，...，xn來表示，使用圖卷積公式G'=G-0.5AD-0.5X新的節點的特征X'，其中A為關節點的鄰接矩陣，D是圖的度矩陣，圖注意力機制的目的就是對節點的特征進行加權平均。用公式表示即：

其中alearn（i，j）代表圖G的鄰接矩陣A的第i行第j列的值，即（i，j）邊的可學習權重，由于Graph的邊是簡單、固定的，因此Convolution加權平均過程中鄰居節點的權值也是簡單、固定的。本文采用基于相似度的注意力計算方式，其權值更新公式為：

四、模型參數及測試結果

首先將輸入的骨架用一個BatchNorm層來規范化網絡模型，一共由9層圖卷積單元塊組成，前三層輸出通道為64，中間三層輸出通道為128，最后三層輸出通道為256，每個層的時間卷積核大小為9，每一個圖卷積塊都使用了殘差結構，并使用概率為0.5的Dropout，防止過擬合在第4層和第7層將時域的stride設為2作為池化層，最后對得到的張量進行全局池化得到256維的特征向量，最后提供給softmax分類。采用SGD，learningrate設為0.01，10個epochs學習率自乘0.1。為了模擬相機的運動，對所有幀的骨架序列進行隨機仿射變換。這種變換被插入到中間幀中，以產生一種在拍攝過程中平滑地移動視角一樣的效果。訓練中隨機抽取原始骨架序列的片段，并在測試中使用所有幀。網絡最后的全局池化使網絡能夠處理長度不定的輸入序列。最后訓練好的模型在NTU-RGB+D數據集上驗證精度，將最終的模型與主流的行為識別方法進行比較，比較結果顯示在表1中。本文模型達到了更高的準確率，具有更好的性能，這有效地證明了本文模型的優越性。

五、結語

行為識別算法的落地具有較高的研究及應用價值，不僅適用于當下火熱的無人駕駛技術，在醫療監護、社會治安等領域也有廣泛的應用前景。本文提出了一種基于圖卷積網絡與注意力機制結合的算法，將視頻幀序列進行特征提取并嵌入網絡模型，完成了在監護人員不足或者確定的場景下對特定的檢測人群進行實時行為分析與識別，如果發生指定的異常行為類別，則向終端輸出異常信息保障第一時間減輕人體安全和財產的損失。未來的工作可以集中在如何更好地融合和利用RGB數據和骨架數據上，進一步改善和提高模型的性能。