基于注意力機制和卷積神經網絡結合的步態識別研究

劉艷麗 任芳

摘要：對于步態樣本不足而出現的過擬合現象，提出將注意力機制和AlexNet網絡相結合的識別算法。算法中對圖像作預處理后，提取步態周期的輪廓，計算步態能量圖;將注意力機制和AlexNet網絡相結合，有效的提取了圖像的高層信息，降低了神經網絡的參數，實驗結果顯示提高了測試樣本的識別率，對跨視角有較好的魯棒性，與AlexNet網絡實驗結果相比較，達到了理想的效果。

關鍵詞：步態能量圖;注意力機制;AlexNet;深度學習

中國分類號：TP31? ?文獻標識碼：A

文章編號：1009-3044（2022）17-0068-02

1 引言

步態識別是一種新興的、非接觸的生物特征識別技術，旨在通過走路的姿態進行身份識別，與其他生物識別如指紋識別、人臉識別、虹膜識別相比，步態識別具有非接觸、遠距離、不容易偽裝和易于獲取等優點，不需要被測對象的配合，唯一的一種可以遠距離檢測和識別的生物特征，因此是智能視頻和信息安全領域研究的重點和熱點[1]。

現有的步態識別方法主要有基于模型和基于非模型兩個類別[2]，基于模型的步態識別是對行人的人體結構或者行人運動進行建模，通過數學建模的參數對行人步態進行識別，如骨架模型，幾何相似模型等。基于非模型的步態識別利用行人運動的特征和規律提取周期性輪廓特征，如步態能量圖GEI、步態流圖GFI 、幀差能量圖 （FDEI）、計時步態圖CGI、步態熵圖 （GEnI）等。

基于非模型的步態識別，對行人外在穿戴較為敏感，如果僅僅使用步態能量圖提取行人的特征，忽略了步態中時空的信息，容易產生樣本集偏小的過擬合問題;基于模型的步態識別，容易受到行人所處環境的影響。為了避免因為樣本不足導致網絡模型過擬合的現象，本文將注意力機制融入AlexNet卷積神經網絡中，在 CASIA-B 數據集為訓練樣本，提取行人運動的特征進行步態識別，步態識別流程圖如圖1所示，實驗結果顯示，該方法提高了步態識別的魯棒性和正確率。

2 步態輪廓分割

把運動目標步態輪廓從背景中分割出來的方法有幀差法、光流法和背景減除法，本文選取背景減除法，背景減除法提取行人輪廓，具有計算復雜度適中，速度快，輪廓邊界較清晰的特點。利用背景的參數模型來近似背景圖像的像素值，將當前幀與背景圖像進行差分比較，實現對運動區域的檢測，其中區別較大的像素區域被認為是運動區域，而區別較小的像素區域被認為是背景區域，提取運動物體的輪廓，然后對提取的輪廓進行形態學和二值化處理，最后歸一化輪廓序列[3]。原圖和去除背景的圖像效果如圖2所示：

3 步態能量圖GEI

GEI是Han等人對前人做法的基礎上總結出來的，提出構造步態能量圖（GEI）的設計理念，既包含行人行走的靜態信息，也包含動態信息;它是將行人一個步態周期內的所有步態二值化提取輪廓圖像，將其均值化處理后得到行人步態輪廓圖像的平均值圖像，實現對步態周期進行能量累積，步態能量圖中運動越頻繁、幅度越大，表示能量越高，則對應的像素值就越大，反正則像素值越小，較好地反映了行人在一個周期的步態特征，包含頻率、幅度、節奏、位置等信息，并減少了視頻中步態的運算量，減低了計算的復雜度，并且GEI步態能量圖與其他的步態模板，更能準確地表征行人的外在特征、速度和行走習慣等特征，對外部環境也有較好的魯棒性[4]。

步態能量圖計算公式如下：

G（x，y） =[1N t=1NFtx，y]

其中，G（x，y）為步態能量圖，N為步態視頻中序列幀數，Ft（x，y）為在t個步態序列中步態輪廓圖中坐標為（x，y）的像素值。以頭頂為中心的步態能量圖如圖3所示：

4 基于注意力機制的卷積神經網絡

4.1 注意力機制

注意力機制[5]來源于對人類視覺的研究，在復雜的信息中，注意力會集中在重要的信息上，而忽略次要信息;在計算機圖像處理中注意力機制是機器學習中的一種數據處理和資源分配方法，核心思想是突出圖像中的重要特征，關注特定的部分，提升系統的效果和效率。在神經網絡結構中，注意力機制是根據數據之間的關聯，賦予重要的信息權重，以凸顯其重要程度，注意力機制有通道注意力，像素注意力，多階注意力等。Squeeze-and-Excitation Networks（SENet）是由自動駕駛公司Momenta在2017年公布的一種全新的圖像識別結構，它通過對特征通道間的相關性進行建模，把重要的特征強化，次要特征弱化來提升準確率。SENet工作原理如圖4所示，主要包含壓縮操作和激勵操作。

壓縮設計（ Squeeze）通過卷積獲得和池化后圖像特征維度為H*W*C，H為Height，W為width，C為channel。壓縮操作的過程就是將H*W*C壓縮為1*1*C，把二位的特征通道轉換為一個實數列，一維的實數獲得了二維參數的全局感知野，輸出的維度和輸入特征的通道數一致，表示在輸出特征通道上響應全局感知野。

激勵設計（Excitation）將壓縮操作后得到的1*1*C實數列，加入一個全連接層，預測每個通道的重要性，得到特征通道權重和特征通道之間的相關性，最后將特征通道權重添加到圖像特征上，完成對圖像特征的重標定。

4.2 基于注意力機制的卷積神經網絡

深度學習在聲音、圖像、視頻等識別領域有較好的效果，通過端到端的訓練方式，自主學習樣本的淺在特征，尋找樣本的內在規律和表示層次，從而獲得樣本深層次的、隱藏的特征。深度學習經典模型之一的卷積神經網絡受人類視覺神經系統啟發，通過卷積層和池化層提取樣本特征，在網絡訓練過程中，前饋機制不斷更新卷積核的參數值，最終獲得合適的權值，卷積和池化簡化了神經網絡模型的復雜度，有效減少了模型的參數，減低了過擬合的風險，得到了廣泛應用。

AlexNet是卷積神經網絡的一個模型，由Hinton和學生Alex Krizhevsky設計，參加2012年ImageNet競賽獲得冠軍，AlexNet網絡是由5個卷積層，有些卷積層后是最大池化層，3個全連接層，原理是基于卷積神經網絡，并探究了更深層次的網絡，激活函數用ReLU代替;使用最大池化代替平均池化，減少模糊化效果。卷積層使用非線性激活函數RELU，特征映射公式如下：

Ft = ReLU（WtUFt-1+βt）

ReLU（x） = max（0，x）

池化層模仿人類的視覺系統進行降維操作，提取圖像更高層次的特征，常用池化操作有平均池化和最大池化，AlexNet網絡采用最大池化，即選取圖像區域中的最大值作為池化后的值。基于注意力機制的AlexNe卷積神經網絡結構如圖5所示。

5 步態識別實驗及分析

本實驗使用的步態數據是由中國科學院自動化研究所提供的專門用于步態研究的CASIA數據庫，CASIA-B是多視角的大規模步態庫，共有124位行人步態數據，分別從11個角度（0°、18°、36°、54°…180°）和三種狀態（正常、穿大衣、背包）步態采集，其中正常狀態（NM）每人6組步態序列，穿大衣狀態（CL）每人2組步態序列，背包狀態（BG）每人2組序列。提取每個人在每種狀態每個角度的步態能量圖。本實驗在AlexNet卷積神經網絡中加入了注意力機制，提高對步態信息中重要信息的關注，因為步態樣本不足單純的卷積神經網絡在卷積和池化操作中容易丟失步態圖像的重要信息，在識別過程中出現過擬合現象;選取CASIA-B步態數據庫中80位行人步態數據作為訓練樣本，44位行人步態數據作為測試樣本。

對圖片進行預處理操作，便于提高網絡的泛化能力和識別效率，將圖片尺寸規格調整為227*227*3。AlexNet網絡的超參數的初始值是隨機生成的，在網絡的訓練過程中，根據卷積神經網絡的反饋機制不斷更新網絡模型的超參數，經過反復實驗最終得到最佳超參數值，本實驗最終的超參數值為：迭代次數為48，步長為96，學習率為0.0089。

將80位行人在不同角度的步態能量圖輸入網絡訓練網絡模型，網絡模型訓練結束后，將測試樣本中44位行人的圖像輸入到網絡模型中進行步態識別。本實驗在使用訓練樣本進行迭代后得到網絡模型后，將測試樣本對訓練好的網絡模型進行驗證，在各個視角三種狀態（正常、穿大衣、背包）情況下的跨視角的平均識別率如表1所示。

從網絡模型訓練過程中得出，在第8次迭代過程后，訓練樣本準確率明顯上升;第8-32次的迭代過程，訓練樣本準確率呈現急速提高的態勢，迭代32-48次的迭代過程，訓練樣本準確率上升緩慢，并達到最大識別率。

通過CASIA-B數據庫樣本實驗，AlexNet卷積神經網絡對于測試樣本的識別正確率在迭代55次就達到了85.9%，但是驗證樣本的正確率只有69%，出現了過擬合的情況，究其原因有兩個，一是數據庫樣本數量不足，每個人只有三種狀態11個角度步態信息;二是參數過多，AlexNet卷積網絡參數達到了6000多萬個，神經元達到了60多萬個;本實驗將注意力機制加入到了AlexNet卷積網絡中，注意力機制增強高層重要的卷積特征圖通道，抑制不重要的卷積特征圖通道，降低卷積參數的維數，提高識別速度和正確率，提高步態識別的魯棒性。

而本實驗基于注意力機制的AlexNet卷積網絡模型，經過48次迭代后，平均識別率達到了87.7%，其中對于正常狀態下的步態識別準確率達到95.6%，背包準確率達到84.4%，穿大衣準確率達到83.2%。比AlexNe卷積網絡模型的平均識別率高出1.8%，正常狀態下識別率高出2.5%，背包狀態識別率高出1.6%，大衣識別率高出1.3%，表明了注意力模型有效的提取了高層的特征，抑制了次要的特征。而正常狀態識別率遠遠高于其他兩種狀態，是因為在CASIA-B步態數據庫中正常狀態的圖片數量要遠遠高于背包和穿大衣的數量，所以正常狀態圖片對網絡模型影響較大，對正常步態識別率較高，而對于背包和穿大衣的識別率就受到影響。

6結論

通過步態識別行人，不需要刻意地配合，不受距離遠近等客觀因素的影響，同時步態識別又是復雜的過程，受到行人穿戴狀態的影響，所以需要更多的圖像來訓練網絡模型，本文通過提取步態周期，并生成步態能量圖，將注意力機制融入了AlexNet卷積神經網絡，有效減少了參數，降低了過擬合現象，在步態數據缺乏的情況下，提高了步態識別準確率。

參考文獻：

[1] 王新年，胡丹丹，張濤，等.姿態特征結合2維傅里葉變換的步態識別[J].中國圖象圖形學報，2021，26（4）：796-814.

[2] 趙黎明，張榮，張超越.基于深度學習的3D時空特征融合步態識別[J].傳感器與微系統，2021，40（2）：23-25，29.

[3] 閆河，羅成，李煥，等.基于步態能量圖與VGG結合的步態識別方法[J].重慶理工大學學報（自然科學），2020，34（5）：166-172.

[4] 李凱，曹可凡，沈皓凝.基于步態序列的跨視角步態識別[J].河北大學學報（自然科學版），2021，41（3）：311-320.

[5] 胡少暉，王修暉.結合注意力卷積網絡與分塊特征的步態識別[J].計算機工程與應用，2022，58（3）：266-273.

收稿日期：2022-01-13

作者簡介：劉艷麗（1979—），女，河南新野縣人，講師，碩士，研究方向為模式識別與人工智能;任芳（1993—），女，甘肅張掖人，講師，碩士，研究方向為圖形圖像處理。