應用區域關聯自適應圖卷積的動作識別方法

馬 利，鄭詩雨，牛 斌

遼寧大學 信息學院，沈陽110036

目前，動作識別應用于視頻監控、醫學影像、犯罪偵查等方面，近年來在計算機視覺領域引起廣泛關注。動作識別中所應用的骨架數據能有效表示人體關節的動態3D 位置，對傳感器噪聲具有魯棒性，并且利于計算和存儲。骨架數據通常通過深度傳感器定位關節的2D 或3D 空間坐標或使用基于視頻的姿勢估計算法來獲得?；诠羌軘祿膭幼髯R別方法由于其對動態環境和復雜背景的強適應性而受到廣泛的關注與研究。將骨架數據應用于動作識別主要有基于手工和基于深度學習這兩種方法，基于手工制作方法的性能幾乎都不令人滿意，因此大部分研究更傾向于使用基于深度學習的方法?；谏疃葘W習的方法會自動從數據中學習動作特征，避免手動設置的忽略，其中使用最廣泛的模型是基于遞歸神經網絡（recursive neural network，RNN）和基于卷積神經網絡（convolutional neural network，CNN）?；赗NN 的方法通常將骨架數據建模為坐標向量的序列，每個向量表示人體關節。并且一些RNN 的模型能捕獲連續幀之間的時間依賴性，例如bi-RNN、Deep LSTM、融合特征模型和基于注意力的模型。基于CNN 的方法是通過人工設計的變換規則將骨架數據建模為偽圖像，例如殘差時間CNN和信息增強模型。然而這種將骨架數據表示為向量序列或二維網格的方法不能完全表示骨架數據的結構，因為骨架數據是以圖形的形式，而不是矢量序列或二維網格。

近年來，Yan等人應用圖卷積網絡（graph convolutional network，GCN）來進行骨架數據的動作識別，提出了一種時空圖卷積網絡ST-GCN，將骨架數據直接建模為圖形結構，獲得了比以前方法更好的性能。在此之后GCN 開始廣泛應用于基于骨架的動作識別。Tang 等人提出的DPRL通過深度漸進式強化學習幀蒸餾的方法來選擇一個動作連續幀中最具代表性的幀，然后通過圖卷積網絡抽取空間信息。Shi 等人提出的2S-AGCN在ST-GCN 的基礎上，提出了自學習的鄰接矩陣，并且通過注意力機制為每個樣本計算單獨的鄰接矩陣，應用雙流網絡融合骨架的一階與二階信息。Shi 等人提出的DGNN在2S-AGCN的基礎上將骨架圖變為有向圖。Thakkar等人提出的PBGCN在基于ST-GCN 的基礎上改變了原來的分區策略，將人體骨架分為4 個子圖，使得信息在子圖內部與子圖之間傳遞。Li 等人提出的ASGCN設計了動作結構推斷模塊，以一個編碼器與一個解碼器相結合推斷人體的非物理連接依賴性，并可以預測之后的動作。Li 等人提出的Sym-GNN在AS-GCN 的基礎上加入骨架二階信息，與骨架一階信息融合輸入網絡進行動作預測。

文章采用基于圖的方法進行骨架動作識別，應用自適應圖卷積從數據中自適應地學習圖形拓撲結構,加入注意力機制測定物理連接關節之間的連接性與連接強度，并且應用區域關聯圖卷積捕獲非物理連接關節之間的潛在依賴信息，應用雙流網絡加入骨架的二階信息進一步提升性能。模型在NTURGBD 數據集上正確率有了提升，文章的主要貢獻有三方面：

（1）應用了一種自適應圖卷積網絡，以端到端的方式自適應地學習不同GCN 層和骨架樣本的圖的拓撲結構，從而更好地適應GCN 的動作識別任務。

（2）使用區域關聯圖卷積捕獲非物理連接關節間的潛在依賴關系。

（3）使用骨架數據的二階信息與一階信息相結合的雙流框架，帶來了性能的提升。

1 相關工作

近年來，將卷積從圖像推廣到圖形的圖卷積網絡（GCN）在許多研究中得到了成功的應用。Yan 等人首先應用GCN 對骨架數據進行建模，骨架在GCN中能夠自然地被構造成一個圖，以關節為頂點，關節在人體中的自然連接為空間邊，在連續幀中相應關節之間的連接為時間邊。Yan 等人也提出了一種基于距離的圖卷積層分區策略，構建了時空圖卷積網絡ST-GCN。

1.1 圖定義

將每一幀中的骨架數據看作一個向量序列，每個向量表示對應人體關節的2D 或3D 坐標。由于樣本不同，一個完整的動作包含多個不同長度的幀。使用一個時空圖來模擬這些關節之間的結構信息，包括空間維度和時間維度。圖的結構遵循ST-GCN所提出的原始結構。如圖1 所示，圖1（a）表示一個構造的時空骨架圖，其中圖的頂點為關節，它們在人體中的自然連接表示為空間邊（圖中的綠線）。對于時間維度，兩個相鄰幀之間對應節點的連接表示為時間邊（圖中的粉線）。將每個關節的坐標向量設置為對應頂點的屬性。

圖1 ST-GCN 時空骨架圖Fig.1 Time-space skeleton diagram of ST-GCN

1.2 圖卷積

根據上面定義的圖，ST-GCN提出在圖上應用多層時空圖卷積運算來提取高層特征，然后利用全局平均池層和softmax 分類器根據提取的特征進行動作類別預測。是關節點，在圖中表示為圖的頂點。具體執行時，網絡的特征映射實際上是一個××張量，其中表示頂點數（即關節數），表示時間長度（即幀數），表示通道數。ST-GCN 中在空間維度計算中（先不考慮時間維度），圖卷積運算為：

然而，ST-GCN 中的圖卷積構造過程存在4 個缺點：（1）ST-GCN 中使用的骨架圖只代表人體的物理結構，忽略了非物理連接關節之間的依賴關系。例如，兩只手之間的關系對于識別“拍手”和“閱讀”之類的動作是很重要的。然而由于雙手在骨架圖的定義中相距很遠，ST-GCN 很難捕捉到兩只手之間的依賴關系。（2）GCN 的結構是分層的，不同的層包含多級語義信息。而在ST-GCN 中，所有層的圖的拓撲結構都是固定的。（3）不同類的動作樣本不應該采用同一個固定的圖形結構。例如，對于“洗臉”這樣的動作，手和頭之間的聯系較強，但對于其他一些動作如“坐下”來說，之前判定的手和頭之間聯系加強就不正確，ST-GCN 不支持這種依賴數據的結構。（4）連接到每個頂點的特征向量只包含關節的2D 或3D 坐標,這些坐標可看作骨架數據的一階信息，表示兩個關節之間骨骼特征的二階信息如骨骼的長度和方向等沒有被利用，從而忽略了這些二階數據所提供的動作信息。

2 自適應圖卷積與區域關聯圖卷積

為了解決上述問題，文章提出了一種新的區域關聯自適應圖卷積網絡。在圖的拓撲結構方面，應用自適應圖卷積參數化全局圖和單個數據圖形，在自適應圖卷積中其結構與模型的卷積參數一起訓練和更新，這兩種類型的圖也在不同的層中分別進行優化。這種數據驅動的方法增加了模型對圖形構造的靈活性與模型對于各種數據樣本的通用性。在非物理連接關節依賴關系方面，加入區域關聯圖卷積來捕獲關節之間潛在的依賴性。

2.1 自適應圖卷積

在ST-GCN 提出的基于骨架數據的時空圖卷積中，圖的拓撲結構是固定的，不適用于所有的動作識別，因此文章應用一種自適應圖卷積（adaptive graph convolution，AGC），它使圖形的拓撲結構與網絡的其他參數一起以端到端的學習方式進行優化。自適應定義了兩種圖：一種是全局圖，它表示所有數據的公共模式；另一種是單個數據圖形，它表示每個數據的唯一模式。由于圖對于不同的層和樣本是唯一的，這就增加了模型的靈活性。同時插入殘差分支，保證了模型的穩定性。根據上述公式可知，圖的拓撲實際上是由鄰接矩陣和掩碼決定的，即式（1）中的A和M，A確定兩個頂點之間是否連接，M確定連接的強度。因此自適應圖卷積將式（1）改為：

式中，W和W分別是嵌入函數和的參數。在保留原來公式中A的基礎上加入D，將和的參數初始化為0。這樣就可以在保留原有的情況下加強模型的靈活性。自適應圖卷積的結構如圖2 所示，空間維度內核大小設置與ST-GCN 相同，仍為3。W是式（2）中引入的加權函數。

圖2 AGCk 模塊結構Fig.2 Module structure of AGCk

2.2 區域關聯圖卷積

由于需要對離散分布取樣，并且希望它可導可訓練，這里的softmax 為Gumbel-softmax，其中是隨機向量，服從Gumbel(0,1)分布，控制E的離散化。在本文中設置=0.5。通過此得到連接概率E的近似分類形式。

圖3 RAGC 模塊結構Fig.3 Module structure of RAGC

其中，與之前的加權函數一樣，可訓練權重，捕捉特征的重要性。

3 區域關聯自適應圖卷積網絡

基于自適應圖卷積和區域關聯圖卷積，文章提出了一種區域關聯自適應圖卷積（regional association adaptive graph convolution，RA-AGC）來捕獲空間特征，從而進一步提出區域關聯自適應圖卷積網絡（regional association adaptive graph convolutional network，RA-AGCN）。該網絡堆疊了多個區域關聯自適應圖卷積和時間卷積。此外，文章應用了關節數據一階信息和骨骼數據二階信息融合的雙流框架，以進一步提高性能。

3.1 區域關聯自適應圖卷積塊

為了保證網絡的自適應圖拓撲結構和關節之間潛在依賴性，文章結合自適應圖卷積和區域關聯圖卷積提出了區域關聯自適應圖卷積（RA-AGC）。在式（2）和式（8）中可以分別從AGC 和RAGC 獲得空間維度上的聯合特征。將兩者的組合用作RA-AGC 的響應，數學上，RA-AGC 運算公式為：

其中，是一個超參數，用以得到兩者作用之后的最優值。區域關聯自適應圖卷積的具體結構如圖4 所示，AGC的空間維度設置為3，在3個AGC外添加一個殘差連接，使得AGC可以插入到任何現有模型中（只有輸入通道數與輸出通道數不同時，才在殘差途徑中插入1×1卷積以轉化輸入來匹配通道尺寸中的輸出）。

圖4 RA-AGC 模塊結構Fig.4 Module structure of RA-AGC

在時間維度上，方法與ST-GCN 相同。為了捕獲幀間動作特征，沿時間軸使用一層時間卷積（TCN），即在尺寸為××的特征映射上執行×1 卷積。該層可獨立提取每個關節的時間特征，并在每個關節上共享權重。由于RA-AGC 和TCN 分別學習空間和時間特征，將這兩層連接為一個區域關聯自適應圖卷積塊RA-AGC Block，以從各種動作中提取時間特征。如圖5 虛線框所示?？臻gGCN 和時間TCN后面都經過一個批量歸一化（batch normalization，BN）層和一個線性整流函數（rectified linear unit，ReLU）層。一個基本塊是一個空間GCN、一個時間TCN 和一個附加的Dropout層的組合，下降率設置為0.5。為了穩定訓練，每個塊都增加了一個殘差連接。RAAGC 是僅提取空間信息，RA-AGCN 塊提取空間和時間信息。

3.2 區域關聯自適應圖卷積網絡

區域關聯自適應圖卷積網絡（RA-AGCN）是這些基本塊的堆棧，如圖5 所示。共包括9 個基本塊，每塊的輸入通道數分別為3、64、64、64、128、128、128、256、256，輸出通道數分別為64、64、64、128、128、128、256、256、256，步幅分別為1、1、1、2、1、1、2、1、1。在開始時添加一個數據BN 層來標準化輸入數據，最后執行全局平均池層，將不同樣本的特征映射池化為相同的大小，將最終輸出發送到softmax 分類器以獲得預測。

圖5 RA-AGCN 模塊結構Fig.5 Module structure of RA-AGCN

3.3 雙流網絡

除了非物理連接，二階信息（即骨骼信息），對基于骨架的動作識別同樣重要。在原有的骨架識別中，主要針對關節信息進行提取與識別，關節信息能表示人體關節的位置與關節的運動方向。在文章中，應用一個顯式建模的二階信息，即骨骼信息，與關節信息雙流來加強識別。骨骼信息能在關節位置的基礎上表示人體骨骼的物理連接、骨骼的長度與連接的方向，并且進行更深度的計算。在區域關聯自適應圖卷積模塊中，由于骨骼將關節按照人體骨架方式相連，在識別例如“拍手”“打網球”等可能會出現關節點交叉等動作時，可根據骨骼的長度與連接方向對交叉點進行定位分類與識別。由于每個骨骼都有兩個關節，定義接近骨架重心的關節是源關節，遠離重心的關節是目標關節。每個骨骼表示為從其源關節指向其目標關節的向量，它不僅包含長度信息，而且包含方向信息。例如，假設一個骨骼的源關節位置信息為=(,,)，其目標關節位置信息為=(,,)，則骨骼的矢量計算為e=(-,-,-)。關節的數量比骨骼的數量多一個。為了簡化網絡的設計，在中心關節上添加了一個值為0 的空骨。這樣，骨骼網絡可以設計成與關節相同的結構。整個網絡的構架如圖6 所示。給定一個樣本，首先根據關節的數據計算骨骼的數據。然后，將關節數據和骨骼數據分別輸入RA-AGCN，最后將兩個網絡輸出的softmax分數融合，得到融合分數，預測動作標簽。

圖6 雙流網絡結構Fig.6 Two-stream network structure

4 實驗及分析

4.1 數據集和模型配置

NTU-RGBD：NTU-RGBD是目前應用最廣泛的動作識別數據集，也是基于骨架動作識別的最大數據集之一，它包含60 個動作類中的56 880 個骨架動作序列。這些動作由40 名不同年齡組的志愿者進行采集而成。每個動作由3 個攝像機在相同高度但水平角度分別為-45°、0°、45°拍攝而得。Kinect 深度傳感器檢測到每個志愿者在一個動作中25 個關節的3D 空間坐標，每個骨架序列視頻不出現超過2 個志愿者。數據集的原始論文建議之后的研究使用兩個評估模型的基準：（1）交叉主題Sub：該基準分為訓練集（包含40 320 個視頻）和驗證集（包含16 560個視頻），其中訓練集與驗證集中的參與者是不同的。（2）交叉視圖View：該基準根據攝像機視圖分配數據，其中訓練集包含37 920 個由第二個攝像機和第三個攝像機捕獲的視頻，驗證集包含18 960 個由第一個攝像機捕獲的視頻。文章根據這兩個基準，記錄兩個基準下的top-1 和top-5 識別率。

NTU-RGBD 數據集中關節及其自然連接的定義如圖7 所示。

圖7 NTU-RGBD 關節自然連接定義Fig.7 NTU-RGBD joint natural connection definition

實驗環境：單片NVIDIA GTX-1660Ti 顯卡的主機，Ubuntu 系統環境，所有實驗都是在PyTorch 0.4.1深度學習框架上進行。

模型配置：模型用9 個RA-AGCN 塊構造RAAGCN 的主干，每3 個塊的特征尺寸分別為64、128、256。自適應圖卷積的輸出結構與區域關聯圖卷積相同，使用殘差連接。骨骼和關節數據各訓練50 個周期，采用隨機梯度下降（stochastic gradient descent，SGD）算法作為優化策略，Nesterov 動量設置為0.9，學習率設置為0.1，設置初始的區域關聯自適應圖卷積中=0.5。批處理大?。╞atch size）為4。選擇交叉熵作為反向傳播梯度的損失函數，重量衰減設置為0.000 1。對于NTU-RGBD 數據集，數據集的每個樣本中最多有兩個人。如果樣品中的個體數小于2，用0表示第二個個體。每個樣本中的最大幀數為300，對于小于300 幀的樣本，重復樣本，直到達到300 幀。

對于區域關聯自適應圖卷積，在訓練過程中，將骨骼與關節數據作為輸入，各訓練50個周期。在識別過程中，采用Sub基準的測試集進行測試，在骨骼與關節兩類測試數據集分別進行測試完成后，通過ensemble將測試結果加權融合，得到最終雙流識別率。

4.2 對比研究

如2.1 節所介紹的，自適應圖卷積塊中有兩種類型的圖，即A和D。通過消去實驗手動刪除其中一個圖，并在表1 和圖8 中顯示它們的性能。表中-A表示自適應圖卷積中刪除A（即只保留數據相關圖）；-D表示自適應圖卷積中刪除D（即只保留原有人體骨架圖）。其中準確率為將關節作為輸入數據，單流使用推薦的Sub 基準來訓練得到的Top-1 和Top-5 的識別率。表1 和圖8 的數據表明，刪除A只保留數據相關圖的情況下，D可以判斷兩節點是否連接與連接的強度，識別率高于刪除D只保留原有人體骨架圖A的情況，并且RA-AGCN（joint）- D前期識別率Top-5 只維持在8%左右。但在單流訓練中，RA-AGCN（joint）- A訓練50 epoch 的時間約為110 h，比RA-AGCN（joint）-D訓練50 epoch多約20 h。將兩種類型圖相結合的自適應圖卷積訓練50 epoch的時間約為120 h，且性能優于刪除任何一個圖的情況，這也證明了自適應圖結構的重要性。

圖8 自適應圖卷積有效性對比研究Fig.8 Comparative study on effectiveness of adaptive graph convolution

表1 自適應圖卷積中Ak 與Dk 的有效性研究Table 1 Research on effectiveness of Ak and Dk in adaptive graph convolution %

各種動作可能會激活關節之間的不同動作依賴性。圖9顯示了兩個動作的區域關聯強度。假設區域關聯強度概率大于0.9 的兩個節點之間（可以是非物理連接關節）的虛擬連接顯示為紅色線，其中連接概率越大，線越粗。圖（a）為人打網球時的動作，其中動作的區域關聯性主要集中在握拍那一側的手臂與胯骨部分，因此在那一側的手臂與胯骨部分建立了許多虛擬的紅線。圖（b）為人跑步時的動作，其中動作的區域關聯性主要集中在下肢與手臂部分，因此在人體的下肢與手臂部分建立了許多虛擬的紅線。這些紅線都是虛擬假設的，在真正的實驗可視化圖中，每個動作的區域關聯性由粉色的圓圈表示在關節上，該關節在動作中與其他關節區域關聯的總和越大，則圓圈越大，如圖10所示。這些結果證明，區域關聯圖卷積可以捕獲更多的動作之間的非物理節點的區域關聯性。

圖9 不同動作虛擬表示區域關聯強度Fig.9 Virtual representation of regional correlation strength of different actions

圖10 區域關聯強度可視化表示Fig.10 Visual representation of regional correlation strength

對于區域關聯圖卷積的有效性驗證，采用消去實驗，將骨骼作為輸入數據，單流使用推薦的Sub 基準來訓練得到的Top-1 和Top-5 的識別率，如表2 和圖11 所示。AGCN（bone）表示在原有區域關聯自適應圖卷積的基礎上刪去區域關聯圖卷積模塊，訓練50 epoch 的時間約為105 h，RA-AGCN（bone）訓練50 epoch 的時間約為120 h。表中數據表明，刪去區域關聯圖卷積塊會導致識別率Top-1 大幅降低。

圖11 區域關聯圖卷積有效性對比研究Fig.11 Comparative study on effectiveness of regional association graph convolution

表2 區域關聯圖卷積重要性研究Table 2 Research on importance of regional association graph convolution %

利用骨架的二階信息構成雙流網絡。二階骨骼數據與一階關節數據的數據結構與輸入的網絡都相同，各自都跑50 個周期。文章比較了單獨使用關節和骨骼作為輸入數據的性能以及組合它們之后的性能，如表3 和圖12 所示。joint表示將關節數據作為輸入，bone 表示將骨骼數據作為輸入。兩者訓練50 epoch 的時間都約為120 h。結果表明，雖然將骨骼數據作為輸入的識別率略低于將關節數據作為輸入的識別率，但將兩者相結合可以進行一定的信息補充，使得雙流方法優于基于單流的方法。

表3 雙流網絡重要性研究Table 3 Research on importance of two-stream network %

圖12 雙流網絡有效性對比研究Fig.12 Comparative study on effectiveness of two-stream network

4.3 模型識別方法性能分析

在識別準確度方面，將基于RA-AGCN 的骨架動作識別與NTU-RGBD 數據集上的近年來的方法進行了比較，比較結果如表4 所示。在NTU-RGBD 上，使用推薦的Sub 基準來訓練RA-AGCN，然后在測試階段獲得Top-1 的準確性。

表4 RA-AGCN 與近年來方法的比較Table 4 Comparison of RA-AGCN with recent methods %

近年來提出的幾種方法中，ST-GCN 相比于原有的基于LSTM 的人體動作識別方法，識別率大幅提升，但忽略了非物理連接關節之間的潛在依賴性，并且拓撲結構固定。DPRL 強化學習幀蒸餾，提出類鄰接矩陣策略強化非物理連接節點之間的信息交流，但需要人工定義非骨骼連接。AS-GCN 利用一組編碼器與解碼器來判斷人體骨架間的連接特征和結構特征，但圖的拓撲結構固定。2S-AGCN 引入自學習鄰接矩陣訓練模型的結構，但同樣也忽略了非物理連接關節的依賴性。本文提出的RA-AGCN 通過自適應圖卷積自動訓練模型的結構，通過區域關聯圖卷積捕獲非物理連接關節之間的潛在依賴性，與近年來提出的方法進行比較，該模型在NTU-RGBD 上準確率有了提高。

在實驗運算成本與實時性方面，由于實驗環境有限，對于區域關聯自適應圖卷積，將骨骼與關節數據作為輸入各訓練50周期的單流訓練時間約為120 h，雙流訓練時間為240 h。在識別過程中，本文分別對RA-AGCN、2S-AGCN方法采用基于Sub 基準的測試集和拍攝短視頻上傳給action-recognition 這兩種識別方式進行了測試。在相同實驗環境下，兩種方法識別時間基本相同，但RA-AGCN 的識別率優于2S-AGCN。

5 結束語

對于大部分骨架動作識別研究中圖的拓撲結構固定、遺漏非物理連接關節的潛在依賴關系等問題，提出了基于區域關聯自適應圖卷積的骨架動作識別網絡（RA-AGCN）。它參數化了全局圖和單個數據圖形，在自適應圖卷積中其結構與模型的卷積參數一起訓練和更新，這兩種類型的圖也在不同的層中分別進行優化。這種數據驅動的方法增加了模型對圖形構造的靈活性，并更方便應用于各種數據樣本。在非物理連接關節依賴關系方面，加入區域關聯圖卷積來捕獲關節之間潛在的依賴性。融合這兩種圖卷積提出了一種區域關聯自適應圖卷積以捕獲空間特征。并且應用雙流網絡加入骨架的二階信息進一步提升性能。模型在NTU-RGBD 數據集上進行了驗證，得到了較高的準確率。但本文所提出的網絡側重于空間維度上信息的交流，未來將對該網絡的時空信息交流方式做進一步的研究。