基于深度學習與步態分析的身份識別算法

王金珠

（河北北方學院附屬第一醫院，河北張家口 075000）

新型冠狀病毒疫情的爆發給世界各國的醫療衛生行業帶來了巨大風險和壓力，為了減少醫院的疾病傳播風險，眾多醫療機構采用計算機技術對醫護人員進行身份識別。由于醫護人員通常身著防護服和各種護具，傳統的人臉、指紋、虹膜等生物特征識別方法[1]無法使用。為此，步態身份識別成為一個研究的熱門話題。該種識別方法可以遠距離識別且無需醫護人員進行防護暴露，具有非侵犯性、無需刻意配合和分辨率高等優點[2]。

1 步態識別技術

通常情況下，步態識別的研究方法主要有兩類：基于模型的方法和非模型的方法。目前，大部分研究均是基于模型的，該方法首先將人體模型與系統的輸入圖像進行匹配，然后通過建模提前預測運動者的步態特征，從而實現識別功能[3]。王修暉等人提出了基于連續密度隱馬爾可夫模型，利用自然步態周期進行特征提取，然后構造觀測向量集，最終用Cox 回歸分析實現步態識別[4]。More S A 等人構造了雙通道小波濾波器組來分析雜亂無序的步態，從而進行識別并獲得了較高的準確率[5]。傳統的機器學習算法雖然在步態識別領域有一定的發展，但識別準確率較低，尤其是在視角變化和著裝干擾的情況下，幾乎無法滿足實際應用[6-9]。

目前，基于深度學習算法的步態識別方法雖然取得了較為理想的效果，但由于使用卷積網絡獲取特征，導致圖像特征丟失，只能反映出局部信息，而且當存在外部干擾因素時，如拍攝角度多變、行人穿著多樣，識別效果將顯著降低。為了解決這些問題，文中提出了新的順序殘差卷積神經網絡(SRCN)，其中卷積神經網絡被優化，以理解時間序列的運動特征。具體而言，時空信息學習通過行為信息提取器(BIE)和多幀聚合器(MFA)兩個子塊進行，采用權重共享殘差神經網絡（ResNet）提取每幅圖像的空間特征。然后，BIE 通過學習表示運動的行為模板來分析時間序列中幀之間的關系。最終，MFA 將整合并提取所有特征從而實現步態識別。

2 理論方法與算法設計

文中提出了一種新的順序殘差卷積神經網絡(SRCN)模型來進行步態識別，整體框架如圖1 所示。首先輸入一組圖像序列，然后將每一幀按順序輸入3組類似結構。每個結構包含一個過渡塊和一個步態塊，以此提取出每個幀的時空特征。最后，構造了一個多幀聚合器(MFA)，用一個序列來整合所有特征。

圖1 整體框架圖

2.1 基于運動模板的行為信息提取器

由于卷積神經網絡在處理連續視頻信息方面存在困難，其更適合于處理分析單個圖像。因此，卷積神經網絡更多地關注于每個圖像中人的外觀來進行識別。實際上，步態識別希望利用人們的行走習慣和行為進行識別，因此文中提出了一種新的卷積方法——信息提取器。首先通過一組序列特征計算出運動模板，然后將模板表示的運動信息引入到原始特征中，從而使卷積可以提取時間信息。

運動模板的目的是從一系列特征中提取運動特征。由于卷積網絡無法理解幀之間的順序與關系，因此需要使用模板來探索和分析圖像特征的相關性。該文構建了3 種類型的模板來表達這種相關性，分別基于差異、多差異和去除靜態信息。

基于相鄰幀間特征差異的模板，從每一幀圖像中提取的特征圖代表每個步態輪廓的抽象信息。由于特征是通過權重共享網絡學習的，因此相鄰特征之間的差異可以反映出運動信息。第k個模板td,k可以表示為：

其中，Finput,k為第k幀的特征模板，Td為差異模板。

基于相鄰幀間特征多差分的模板，由于將兩幀作為一個運動單元的可能很小，因此使用相鄰幀間特征多差分的模板來覆蓋更多的運動信息，具體第k個模板tmd,k用公式表示如下：

由于個體的靜態特征在序列的每一幀中均是相同且具有通用性的，因此公共共享特征可看作是靜態信息的近似。該文使用均值濾波來提取靜態特征，如式（5）所示。值得注意的是，其也可以使用式（6）所示的中值濾波方法，兩者并無明顯差異。每個幀的原始特征與靜態特征之間的差異可以表達動態信息tse,k，其表達式為：

2.2 引入殘差神經網絡

該文采用的網絡結構是殘差神經網絡（ResNet）[10]，其解決了梯度爆炸的問題，并能夠加速神經網絡的訓練過程。ResNet 的適用性良好，可以用于目前的多種現成網絡框架。通過在網絡結構模塊中添加一條直連通道，這樣就保留了前一層網絡的輸出特性，可以將最開始的信息傳遞到后續的網絡層，盡可能地保留圖像的特征。而下一層在學習特征時，則只需學習輸入和輸出差別部分的信息即可，這樣就大幅提高了識別效率和準確率，如圖2 所示。

圖2 ResNet殘差學習模塊

根據殘差學習模塊的概念，可以將其定義為：

其中，x、y代表所考慮層的輸入和輸出向量，F(x,{Wi})代表要學習的殘差映射，通過快捷連接和逐元素添加來執行。

2.3 多幀聚合器(MFA)

步態識別的本質是一項視頻理解任務，雖然上述步驟只能學習每一幀圖像的特征，但也考慮了相關的幀間信息。多幀聚合器MFA 的目的是整合所有幀級信息F來學習序列級特征輸出的區別性特征featureoutput：

其中，F={Fi|i=1,2,3,…,n}。由于行人與相機之間的距離變化，步態輪廓大小不同，所以視頻通常需要通過預處理將數據調整為相同的大小。此外，由于步態視頻的長度n在現實生活中是不確定的，難以部署一個固定的地點作為MFA，所以一些經典的方法直接采用統計函數來解決上述問題[11-12]，例如max(·)和mean(·)。但這些方法過于簡單，無法融合幀級信息，該文設計了一個移動聚合器來解決這一問題。

從第一個特征開始，將F切成長度為L的分段，然后將分段送入殘差網絡卷積層，得到相應的集成特征Foutput,1。接著卷積網絡以最小單元為步幅進行滑動，將分段有序地發送給卷積網絡。即卷積網絡在F上滑動，滑動窗口的長度為L，因此Foutput,j是基于每個分段FS,j進行學習的。

3 實驗與數據分析

3.1 數據集

該文使用CASIA-B 數據集進行實驗驗證，該數據集是目前最常用的步態數據集之一。其包含了124 名實驗者的視頻圖像，每個實驗者包含11 個(0°，18°，36°，…，180°)行走視圖和3 個行走條件(正常情況、攜帶包、不同衣服)。每個視圖下的每位實驗者有6 種正常情況下的序列(NM)、兩種攜帶包的序列(BG)、兩種衣服的序列(CL)。所以一個受試者在一個特定視圖上有10 個序列，共110 個序列[13]。在該方案中，前74 名受試者被部署到列車組，其余50 名受試者保留測試。在測試過程中，NM (NM1-4)的前4個序列構成圖庫集，其余6 個序列包含在探針集中，探針集分為3 個子集：NM5-6 的NM 子集、BG1-2 的BG 子集、CL1-2 的CL 子集。

3.2 實驗環境

該文采用的編程語言為Python3.6，實驗服務器配置處理器為Intel Core i7-8550，內存64 GB，顯卡GTX2080×2，操作系統為Linux。由于PyTorch 機器學習框架具有使用簡單、性能優越的特點，故實驗采用該學習框架。

3.3 訓練過程

順序殘差卷積神經網絡SRCN 中的過渡和卷積塊結構是基于殘差學習的，由卷積層、Max Pooling層和Leaky ReLU 激活函數組成，3 個塊的輸出通道依次為32、64 和128。此外，卷積層的核為3×1×1，步長為1，輸出形狀與輸入形狀相等，卷積塊如圖3所示。

圖3 卷積塊

首先得到輸入輪廓的步態邊界框，然后對輪廓幀進行對齊并調整大小為64×44，訓練片段的長度設為30。具體而言，即丟棄長度小于15 幀的原始序列，對長度大于15 幀但小于30 幀的原始序列進行重復采樣。

3.4 實驗結果

為了驗證所提模型框架的有效性，表1 給出了該文方法與同類文獻在NM 子集上的實驗結果數據對比，表中的結果是11 個圖庫視圖實驗的平均值，可以看出文中提出的方法在多視圖中表現出了更優的結果。對于CNN-LB 和步態關節，它的輸入是可以代替視頻的步態圖像GEI 的，這種預處理方法可以降低計算復雜度和計算量，但可能會忽略運動特征，導致精度不理想。Partial RNN 將步態序列視為一組混疊圖像，并將部分方法應用于Partial RNN 中以增強魯棒性。雖然優化設計的網絡可以提取輪廓特征，尤其是部分Partial RNN 的結果與SRCN 同樣較為理想，但其忽略了表明行為模式幀之間的關系，在應用中，難以實現行為模式的準確識別，而且擴展性差。值得注意的是，雖然Partial RNN 和SRCN 從不同的角度解決了步態識別中的障礙，但是SRCN并不注重外形輪廓，相反其可以通過分析時間序列中的順序來學習行為信息。PoseGait 采用骨骼來表示物體的運動，簡單高效，但忽略了物體的外觀，降低了識別精度。GaitNet 可以通過三維卷積和LSTM學習運動特征，這是一種比較復雜的方法，會大幅增加計算量，而該文方法只是基于卷積層，故而較易于實現。

表1 實驗結果數據

4 結束語

該文提出了無需用戶配合的基于深度神經網絡的步態識別模型方法，該方法包含行為信息提取器和多幀聚合器，行為信息提取器通過分析幀間關系的運動模板來理解時間序列中的中間特征圖，從而提取出行走模式信息；多幀聚合器可通過移動卷積層集成可變長度序列的特征。實驗測試結果表明，該文所提出的方法更具優勢，識別率更高。但由于目前各醫療機構所采用的視頻收集設備不統一，且存在人員地域步態差別較大等問題，因此在應用時仍需要進一步優化模型，并優化選取硬件設備。