融合注意力機(jī)制的通道拓?fù)浼?xì)化改進(jìn)的圖卷積網(wǎng)絡(luò)

李昊璇，李旭濤

(山西大學(xué) 物理電子工程學(xué)院，山西 太原 030006)

人工智能(Artificial Intelligence)已被我國(guó)政府提升為國(guó)家戰(zhàn)略，推動(dòng) AI 技術(shù)進(jìn)步是我國(guó)搶占科技競(jìng)爭(zhēng)主動(dòng)權(quán)的重要舉措。人類(lèi)動(dòng)作識(shí)別是人工智能中重要的分支之一，基于深度學(xué)習(xí)的骨架動(dòng)作識(shí)別方法主要分為：基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)、基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)和基于圖卷積網(wǎng)絡(luò)(Graph Convolutional Network，GCN)3類(lèi)。早期基于深度學(xué)習(xí)的研究方法主要使用RNN和CNN來(lái)提取關(guān)節(jié)之間的顯式特征。如Du等[1]使用RNN并逐層融合特征來(lái)識(shí)別骨架動(dòng)作，但相近的動(dòng)作卻難以識(shí)別準(zhǔn)確；Fan等[2]設(shè)計(jì)了3階段的CNN網(wǎng)絡(luò)，通過(guò)特征提取、通道融合、多任務(wù)集成學(xué)習(xí)進(jìn)行動(dòng)作分類(lèi)，但這些方法過(guò)多地關(guān)注了周?chē)矬w及無(wú)關(guān)背景，或是使用龐大的網(wǎng)絡(luò)，同時(shí)學(xué)習(xí)到很多無(wú)關(guān)的特征，準(zhǔn)確率不能滿(mǎn)足使用的需求。

近年來(lái)，基于骨架數(shù)據(jù)的圖結(jié)構(gòu)研究多了起來(lái)，原因在于圖對(duì)骨架數(shù)據(jù)的優(yōu)質(zhì)表達(dá)，只關(guān)注對(duì)人體動(dòng)作識(shí)別有效的人體姿勢(shì)，通過(guò)對(duì)不同關(guān)節(jié)運(yùn)動(dòng)變化的學(xué)習(xí)，準(zhǔn)確地學(xué)習(xí)每一動(dòng)作的特征，使其在骨架動(dòng)作識(shí)別方面大放光彩。基于圖的結(jié)構(gòu)，Yan等[3]在2018年首先提出時(shí)空?qǐng)D卷積網(wǎng)絡(luò)(Spatial Temporal Graph Convolutional Network，ST-GCN)利用圖卷積網(wǎng)絡(luò)來(lái)識(shí)別骨架動(dòng)作。之后，在圖卷積領(lǐng)域的研究愈發(fā)多了起來(lái)，如基于GCN進(jìn)行了更加充分的研究，更多的基線網(wǎng)絡(luò)被提出[4-6]。

基于圖卷積的研究大多以ST-GCN為基線網(wǎng)絡(luò)，如多流圖卷積網(wǎng)絡(luò)(Multi-Stream Adaptive Graph Convolutional Network，MS-AAGCN)[7]，通道拓?fù)鋬?yōu)化(Channel-wise Topology Refinement Graph Convolution Network，CTR-GCN)[8]，使用10層時(shí)間空間交替的卷積來(lái)提取特征，這無(wú)疑會(huì)增加網(wǎng)絡(luò)訓(xùn)練的難度和復(fù)雜度。……