基于模態辨識的多條件約束步態檢測算法

孫銀收, 熊 智, 邢 麗, 李曉東, 崔 巖

（1. 南京航空航天大學自動化學院, 南京 211106;2. 上海應用技術大學軌道交通學院, 上海 201418）

0 引言

近年來, 隨著智慧城市建設和手持終端的普及, 基于位置服務（Location Based Service, LBS）的應用逐漸從特種專業領域走向大眾消費用戶, 高精度導航定位需求也逐漸從開放的室外區域延伸至復雜封閉的室內空間［1］, 而手持終端內嵌的慣性測量單元（Inertial Measurement Unit, IMU）為實現室內定位提供了基礎。 曹駿等［2］利用智能手機通過行人航位推算（Pedestrian Dead Reckoning, PDR）方法和磁場匹配實現了室內定位; 徐雯琪等［3］設計了一種聯合Wi-Fi 信息和PDR 算法的智能手機室內定位方法。 上述方法中, PDR 方法［4-5］憑借其自主性強、 復雜度低和成本小等優勢引起國內外學者的廣泛關注。

PDR 方法中穩健精準的步態檢測是實現行人準確定位的首要條件。 KANG 等［6］通過快速傅里葉變換從傳感器數據中提取頻域特征, 從而實現計步; LU 等［7］、 劉杰等［8］采用峰谷檢測方法, 提高了步態檢測精度; XU 等［4］將峰谷值、 峰谷值時間間隔作為步態檢測條件; PHAM 等［9］將峰值檢測與最小峰距、 動態閾值等特征相結合, 減小了步態檢測誤差; 畢京學等［10］以智能手機為載體, 將有限狀態與步行過程合加速度變化趨勢相結合, 利用相鄰合加速度差值和上/下坡次數閾值實現步數識別。 然而, 受行人不同運動狀態和終端不同使用模式影響, 上述方法在連續運動模態下難以獲得精確魯棒的步態檢測, 對此國內外學者開展了針對性研究。 GUO 等［11］通過提取傳感器數據的時域特征, 利用主成分分析算法對其降維后, 采用隨機森林以區分終端不同攜帶方式; 鄧平等［12］通過分析和篩選加速度的時域特征, 構建線性支持向量機（Support Vector Machine, SVM） 多分類器,提出相鄰步態約束法完成多種運動狀態的準確識別, 并采用一種改進的單峰值檢測法及零點搜尋規則, 實現了基于多種運動狀態下均適用的步態檢測方法; WANG 等［13-14］利用SVM、 有限狀態機（Finite State Machine, FSM）和決策樹（Decision Tree,DT）算法實現了行人運動狀態和終端使用模式的識別, 根據識別結果提出了一種自適應波峰檢測算法。 上述研究內容一定程度上提高了多運動模態的步態檢測精度, 但依舊存在一些問題, 如: 識別的模態多關注行人運動狀態與終端使用模式的組合, 對行人靜止狀態識別關注較少, 從而導致在非行走狀態下的步態檢測誤識別; 在連續復雜模態下, 步態檢測依舊存在過度計步或計步不足問題; 也有部分研究在遇到相鄰波峰/波谷情況時往往選擇前者較小偽波峰而忽略后者較大真波峰,難以滿足連續運動模態下高精度輕量化步態檢測需求。

圍繞上述問題, 本文引入FSM 思想, 結合行人運動特性和終端日常使用習慣, 構建輕量化分類器識別行人三種運動狀態（靜止、 步行、 跑步）和終端三種使用模式（平端、 電話、 擺臂）, 以實現不同模態下步態檢測閾值的動態調整。 而后, 根據模態辨識結果, 提出多條件約束步態檢測算法,實現了單一和連續運動模態下的高精度步態檢測。

1 信號特性分析及數據預處理

1.1 信號特性分析

在日常生活或特種作業中, 行人二維場景下所涉及的運動狀態主要為站立靜止、 步行和跑步;終端使用模式也多為平端、 電話和擺臂等。 結合行人使用習慣, 將兩者組合為三種靜止模態和四種運動模態（共計七種模態）, 并對其進行定義, 具體內容如表1 所示。

表1 模態分類及定義Table 1 Classification and definition for modal

不同模態下的IMU 數據特征不同, 圖1 為平端靜止、 平端步行、 擺臂步行三種模態下的數據特征示意圖。 由圖1 可知, 平端靜止模態下, 數據波動較小, 加速度計X軸、Y軸、 陀螺儀三軸數據近似為零,Z軸加速度、 模值兩者大小近似重力;平端步行模態下, 由于足部的升降起伏和軀干的左右旋轉, 加速度、 角速度數據呈現規律性波動,一般為先波峰后波谷, 加速度模值數據近似正弦曲線, 并且兩個連續波峰或波谷代表一個單步,即行人左右足跟或足尖先后著地, 電話步行模態與之類似; 擺臂步行模態下, IMU 數據既反映行人足部運動特征, 也受手部周期性擺動影響, 加速度模值呈現規律性波動, 出現大小波峰現象,而Z軸角速度數據近似正弦曲線, 并且一個波峰或波谷代表一個單步, 兩個連續波峰或波谷代表一個復步, 即同側足跟或足尖前后兩次連續著地。

圖1 模態展示及其數據特征Fig.1 Schematic diagram of modal presentation and its data characteristics

1.2 數據預處理

手持終端內置的IMU 基本為低精度消費級,而且由于手部微小抖動和電子器件之間的噪聲影響導致加速度、 角速度數據包含大量噪聲, 對模態辨識和步態檢測造成干擾。 因此, 需要對IMU數據進行預處理。

本文選取Savitzky-Golay（S-G）濾波器［15］進行數據預處理。 該方法是一種時域平滑方法, 可以對窗口內的數據進行加權濾波, 采用最小二乘卷積對局部數據進行高階多項式擬合, 在去除高頻噪聲的同時可以有效保留信號的變化信息。 該方法有兩個重要參數, 即窗口大小和擬合階數, 窗口越大越容易丟失有效信號而且濾波滯后現象越嚴重, 階數越大去噪能力越差。 在本文中, 綜合考慮數據處理的時效性和濾波效果, 將S-G 濾波窗口設置為51, 階數設置為1, 圖2 為電話步行模態下加速度模值濾波前后對比圖。 由圖2 可知, S-G 濾波很好地濾除了原始數據中的高頻噪聲, 并且基本保留了數據特征。

圖2 電話步行模態下濾波前后的加速度模值對比Fig.2 Comparison of acceleration modulus under telephone walking modal before and after filtering

2 基于FSM 的模態辨識方法

一般情況下, 行人的運動狀態和終端使用模式會對IMU 數據產生較大影響, 使得不同模態下的數據特征不同。 如圖3 所示, 不同的數據特征盡管會干擾步態檢測, 但其多樣化的時域特征也便于模態辨識。 因此, 可以借助IMU 數據不同的時域特征識別不同運動模態來動態調整步態檢測算法中的相關參數, 以增強PDR 算法的適應性和定位導航性能。 在FSM 模型中, 當一個條件被滿足,執行一次狀態轉換, 未檢測到狀態切換則保持當前模態［16］。 因此, 將FSM 模型用于模態辨識可以即時地響應不同模態切換, 從而識別各種模態并且減輕終端計算負荷。

圖3 連續不同模態下的數據特征Fig.3 Data characteristics under continuous different modals

2.1 行人運動狀態識別

圖4 為行人運動狀態識別的FSM 模型。 在模型中, 行人運動狀態共分為三種: 站立靜止、 步行、 跑步。 當行人靜止時, 角速度模值Ng保持相對穩定, 變化幅度極小; 當行人運動時, 陀螺儀受多方面因素影響, 其模值會產生較大波動。 因此, 通過角速度模值Ng可以識別行人靜止和運動兩種狀態, 其計算方式如式（1）所示。 此外, 行人在跑步時的運動強度遠大于步行狀態, 借助加速度計X軸方差數據可以區分行人跑步和步行狀態, 其計算方式如式（2）所示。

圖4 行人運動狀態識別的FSM 模型Fig.4 FSM model for pedestrian motion state identification

式（1） 中,gx、gy、gz分別為陀螺儀X軸、Y軸、Z軸的數據。

2.2 終端使用模式識別

圖5 為手持終端使用模式識別的FSM 模型。在模型中, 終端使用模式有平端、 電話和擺臂三種。 由圖3 分析可知, 不同模式下加速度數據不同, 因此利用加速度計X軸、Z軸滑動窗口內的均值, 即可以進行分類, 計算方式如式（3）、式（4）所示。

圖5 手持終端使用模式識別的FSM 模型Fig.5 FSM model for handheld terminal using pattern identification

將行人運動狀態識別結果與終端使用模式辨識結果進行組合, 由此實現七種不同模態的歸納和辨識, 整體識別過程如圖6 所示。 需要說明, 本文只研究了站立靜止、 步行和跑步三種靜止模態,并不涉及其他靜止模態。

圖6 模態辨識流程圖Fig.6 Flowchart for modal identification

3 多條件約束步態檢測算法

由圖1、 圖3 分析可知, 不同模態下IMU 數據特征不同。 靜止模態下行人沒有行進, 數據波動較小, 此時不進行步態檢測, 可以消除非行走狀態下的步態檢測誤差; 運動模態下IMU 數據均呈現規律性波動, 變化趨勢一般為先波峰后波谷。然而, 不同的運動模態使得IMU 各軸方向、 數據不同, 影響了步態檢測精度。 為了進一步降低不同運動模態對步態檢測的影響, 針對平端步行、電話步行兩種模態采用加速度模值進行步態檢測;擺臂步行、 擺臂跑步兩種模態的加速度數據成分復雜, 既反映了行人身體重心的升降, 也包含有手部周期性擺動特征, 其形成的大小波峰現象不利于步態檢測, 較易引起步態漏檢或誤檢, 而陀螺儀Z軸數據主要反映手臂周期性擺動特性。 此外, 從人體運動學角度出發, 手部周期性擺動與足部的步態周期相對應, 利于步態檢測。 因此,在這兩種模態下采用陀螺儀Z軸數據進行步態檢測。 不同運動模態下傳感器數據的選取如表2 所示, 并且將檢測到一個單步作為計步規則, 多條件約束步態檢測算法具體步驟如下所示。

表2 運動模態下的計步數據與規則Table 2 Pedometer data and rules in motion modal

3.1 極值約束

行人運動會引起IMU 數據出現波峰/波谷, 但由于手部的抖動和電子器件間的噪聲影響, 在對數據濾波后依舊存在較多雜峰/雜谷, 因此需要通過極值約束來排除雜波影響。 以極大值imax為例,其判斷條件為當前值ij大于閾值Tp, 且在一定范圍內為最大值, 具體如式（5）所示, 極小值imin與之類似。

式（5）中,Ca、Cb為計數值且初值為0, 其計算規則如下

式（6）、 式（7）中,k=1, 2, 3, …, 10。

3.2 周期性約束

當檢測到極值時, 需要考慮兩個連續波峰或連續波谷之間的時間間隔T1以消除部分無效極值。此外, 處于擺臂步行、 擺臂跑步模態時, 一個波峰或波谷代表一個單步, 因此需要設置相鄰波峰與波谷之間的時間間隔T2并應用至全局。 行人的步態周期一般為1 Hz ～3 Hz［16］, 但行人跑步狀態的快速性會導致擺臂跑步模態下的時間間隔有所減小, 故時間間隔T1、T2可根據實際情況做相應調整。 若當前極值滿足周期性約束, 可以確定其為峰值Tj或谷值Vj, 并令峰值標簽或谷值標簽為1, 判斷條件如式（8） 所示。 需要注意的是,IMU 數據波形是先波峰后波谷, 當檢測到谷值時,應當取當前谷值與當前峰值間的時間間隔進行判斷, 如式（9）所示。

式（8）中,j表示第j步。

3.3 峰谷值匹配機制

不同模態下IMU 數據波形特征基本一致, 往往先出現波峰后出現波谷且兩者在時序上交替出現。 周期性約束結束后, 不同模態下均將單步作為步態檢測標準, 檢測到單步時令步態標簽Sj為10。 因此, 當行人處于平端步行（m=1）、 電話步行（m=2）模態時, 將出現一次峰值和谷值視為一步;當行人處于擺臂步行（m=3）、 擺臂跑步（m=4）模態時, 以出現一次峰值或谷值作為一步, 具體如下

3.4 相鄰波峰/波谷替代機制

在實踐過程中發現, 完成峰谷值匹配后依舊存在滿足極值約束、 時間閾值T2而不滿足時間閾值T1的情況, 即出現了相鄰波峰或波谷, 從而導致波峰/波谷誤識別, 具體如圖7 所示。 誤識別現象往往會干擾步態檢測, 降低步長估計的準確度,最終影響導航定位精度。 因此, 通過相鄰波峰/波谷替代機制以糾正誤識別現象, 即通過對當前峰值imax或谷值imin進行判斷, 如果大于上一峰值Tj或小于上一谷值Vj, 說明上一個步態檢測中的峰值/谷值為偽波峰/波谷, 剔除偽波峰/波谷, 保留真波峰/波谷, 并更改步態檢測結果。

圖7 相鄰波峰/波谷誤識別情況示意圖Fig.7 Schematic diagram of adjacent peak/valley misidentification

4 實驗驗證與結果分析

為了充分驗證本文步態檢測算法的有效性,設計了兩類實驗進行驗證, 并與峰值檢測算法、峰谷檢測算法進行對比。 實驗設備為Redmi Note 11T Pro, 將2022 年IPIN 比賽發布的GetSensorData［17］作為數據采集軟件, 采樣頻率為100 Hz, 實驗場景為南京航空航天大學自動化學院1 號樓5 樓,如圖8 所示。 此外, 為了評估步態檢測效果, 采用式（11）、 式（12）計算計步誤差E、 步態檢測精度A。

圖8 實驗裝備和實驗場景Fig.8 Diagram of experiment equipments and experiment scenarios

式（11）中,St和Sc分別為真實步數和算法估計步數。

4.1 步態檢測參數

由于不同模態下IMU 數據特征明顯, 與模態辨識相關的參數選取較為簡單, 而步態檢測參數即檢測閾值、 時間間隔難以確定。 因此, 只針對步態檢測參數做具體討論, 為了獲取合理參數,每種運動模態各行進90 步進行相關參數統計。

（1）檢測閾值

圖9 為不同模態下每一步的峰值、 谷值統計量。 由圖9 分析可知, 平端步行與電話步行兩種模態下的數據接近, 峰值一般大于10.96 m/s2, 谷值一般小于9.05 m/s2; 擺臂步行模態下, 峰值中最小量為1.78 rad/s, 谷值中最大量為-1.80 rad/s;擺臂跑步模態下, 峰值中最小量為4.54 rad/s, 谷值中最大量為-2.78 rad/s。 擺臂步行模態和擺臂跑步模態的數據相差較大, 但存在包含關系。 為了避免波峰/波谷漏選, 數值選取需要有一定冗余, 并且需要盡可能減少參數數量以增加魯棒性,數據選取如表3 所示。

圖9 檢測閾值統計量Fig.9 Diagram of detection threshold statistics

（2）時間間隔

圖10 為不同模態下每一步的峰谷值間、 峰峰值/谷谷值間的時間間隔。 由圖10 可知, 在平端步行與電話步行兩種模態下, 峰谷值間、 峰峰值/谷谷值間的時間間隔均大于0.21 s、 0.49 s; 在另外兩種模態下, 峰谷值間的時間間隔均大于0.24 s,峰峰值/谷谷值間的時間間隔均大于0.74 s。 與檢測閾值選取原則類似, 時間間隔選取數據如表4所示。

圖10 時間間隔統計量Fig.10 Diagram of time interval statistics

表4 時間間隔的選取Table 4 Selection of time interval

4.2 單一運動模態下的步態檢測實驗

測試人員在單一運動模態下以不同速度, 即在慢速、 正常、 快速三種模式下進行實驗, 每種模式下采集三組數據。 實驗時, 測試人員首先保持相應的靜止模態, 固定行進90 步, 不限制人員拐彎。 其中, 擺臂跑步由擺臂靜止模態出發, 最后測試人員以相應的靜止模態停止運動。 此外,也在相同模態下以不同速度連續行進90 步并采集一組數據。 實驗結果如表5 所示, 本文算法與其他算法的實驗結果對比如圖11 所示。

圖11 與其他算法的實驗結果對比Fig.11 Comparison of experiment results with other algorithms

表5 單一運動模態下的步態檢測結果Table 5 Gait detection results under a single-motion modal

由圖11 可知, 峰值檢測和峰谷檢測算法在平端步行、 電話步行模態下的步態檢測效果較好,計步誤差最大分別為7.78%、 10.00%, 而且峰值檢測算法在兩種模態下的平均計步誤差分別為3.33%、 3.21%, 高于峰谷檢測算法的1.73%、1.23%; 在擺臂步行與擺臂跑步模態下, 兩種算法的計步性能有所下降, 最大計步誤差分別為18.89%、 33.33%, 峰值檢測算法的平均計步誤差分別為3.09%、 11.85%, 而峰谷檢測算法的平均計步誤差分別為8.89%、 6.42%。 原因在于前兩種模態主要反映行人行走特征, 而后兩種模態在含有行人行走特征之外, 也受手臂周期性擺動影響, 其形成的大小波峰現象不利于步態檢測。 本文所提算法在不同模態不同速度下均保持較高的計步精度, 最大計步誤差為1.11%, 平均計步誤差為0.11%, 較另外兩種算法有顯著提高, 最大提升分別為18.89%、 33.33%, 平均提升4.43%、5.24%。

4.3 連續復雜模態下的步態檢測實驗

為進一步驗證本文算法在連續復雜模態下的穩定性與可靠性, 測試人員在相同實驗場景中以不同模態（本文定義的七類模態）連續行進, 每個模態固定行進90 步, 并在第50 步結束時保持靜止一段時間而后繼續行進（擺臂跑步過程中不要求靜止）。 整個實驗過程對速度不做限制且行進過程中進行多次模態切換, 最終累計行進360 步（三種靜止模態行進步數為0）, 全程約310.50 m。 同時,本文為了保證步態檢測方法的對比有效性, 在運行峰值檢測、 峰谷檢測算法時均采用了本文的模態辨識方法, 且步態檢測閾值與本文方法保持一致, 步長模型也均采用文獻［18］中所記錄的方法。本文的步態檢測實驗結果如圖12 所示。 為了在圖形中更好地展示數據, 對模態辨識與步態檢測結果進行相應調整, 但兩者意義一致。

圖12 連續復雜模態下的步態檢測結果Fig.12 Gait detection results under continuous complex modals

表6 為本文算法與其他算法的實驗結果對比。可以發現, 在連續復雜模態下, 峰值檢測和峰谷檢測算法分別誤檢或漏檢了11 步、 12 步, 總體計步誤差分別為3.06%、 3.33%。 數據表明, 在連續復雜模態下, 由于存在較多模態以及偽波峰/波谷, 導致峰值檢測和峰谷檢測算法適應性差, 存在計步不足或過度計步的問題。 在連續復雜模態下, 本文算法總體檢測精度為100%, 整體計步性能較峰值檢測和峰谷檢測算法分別提升了3.06%、3.33%, 準確性和魯棒性方面有了明顯提高。 統計單獨每個模態下的數據, 三種算法在靜止模態下的檢測精度均為100%, 部分證明了本文所提基于FSM 的模態辨識方法的有效性, 即僅在運動時進行步態檢測。 在運動模態下, 峰值檢測算法在電話步行時檢測效果較好, 在平端步行、 擺臂跑步時檢測效果次之, 在擺臂步行時檢測效果最差, 計步誤 差 分 別 為 1.11%、 5.56%、 5.56%、11.11%; 峰谷檢測算法在平端步行時步態檢測效果最好, 電話步行次之, 之后依次為擺臂跑步、擺臂步行, 計步誤差分別為 0%、 2.22%、5.56%、 10.00%。 而本文所提算法在單獨每個模態下步態檢測精度均達100%, 相較于另外兩種算法, 計步性能最大分別提升了11.11%、 10.00%,也證明了本文步態檢測算法中數據選取的合理性和優勢, 即平端步行、 電話步行模態下通過加速度數據進行步態檢測, 擺臂步行、 擺臂跑步模態下采用陀螺儀數據進行步態檢測。

表6 連續復雜模態下的實驗結果對比Table 6 Comparison of experiment results under continuous complex modals

圖13（a）為本文算法在連續復雜模態下的運動軌跡及模態辨識結果, 結合圖12 可以分析得到,本文所提基于FSM 的模態辨識方法應用效果較好,沒有運動狀態相互紊亂的現象, 在連續復雜模態下依舊可以識別平端靜止、 平端步行、 擺臂跑步等七種模態, 使得步態檢測算法可以自適應調整檢測閾值, 一定程度上提高了算法的適應性。圖13（b）為峰值檢測算法、 峰谷檢測算法以及本文算法在連續復雜模態下的運動軌跡, 分別用藍色、橙色以及紅色曲線表示, 圖中的黑色曲線為參考軌跡, 綠色點為誤差評估點, 由輪式里程計標定,整個實驗過程行走約310.50 m。 實驗結果為: 峰值檢測算法的終點誤差為7.03 m, 平均誤差為6.31 m; 峰谷檢測算法的終點誤差為14.36 m, 平均誤差為8.40 m; 而本文算法的終點誤差為5.30 m,平均誤差為4.35 m, 均優于另外兩種對比算法。 數據表明, 本文算法通過施加多種約束條件可以識別真正的波峰/波谷, 解決了過度計步和計步不足的問題, 提高了連續復雜模態下計步性能的同時也提升了定位精度, 這也是本文算法優于另外兩種算法的原因所在。

圖13 連續復雜模態下不同算法的運動軌跡Fig.13 Motion trajectories of different algorithms under continuous complex modals

5 結論與展望

本文針對傳統步態檢測存在檢測精度較低的問題, 在其理論基礎上提出了基于模態辨識的多條件約束步態檢測算法。 通過實驗確定不同模態下的檢測閾值, 引入FSM 模型識別行人三種運動狀態和終端三種使用模式并進行組合, 累計七種模態, 針對每種模態可以自適應選擇閾值; 在此基礎上, 利用極值約束、 周期性約束、 峰谷值匹配機制、 相鄰波峰/波谷替代機制等四種約束條件識別步態。 該算法相較于峰值檢測、 峰谷檢測算法, 在單一運動模態下步態檢測精度平均提升了4.43%、 5.24%, 在連續復雜模態下整體計步性能分別提升了3.06%、 3.33%, 解決了過度計步和計步不足的問題, 提高了步態檢測精度, 為后期提升PDR 定位性能奠定基礎。