腦卒中患者的基本康復動作識別研究

辛在海，邢蒙蒙，曹慧，楊鋒，魏穌濛

1.山東中醫藥大學 智能與信息工程學院，山東 濟南 250355；2.中國康復研究中心，北京 100071；3.山東中醫藥大學附屬醫院 設備處，山東 濟南 250000

引言

腦卒中是一種急性腦血管疾病，俗稱為“中風”。據統計，80%腦卒中患者在治愈之后仍會伴隨不同程度的上肢運動功能障礙，30%～66%的缺血性腦卒中患者在6個月之后上肢運動功能仍不能康復[1-2]。腦卒中患者的術后康復治療主要是依靠中醫的針灸、推拿、康復鍛煉來輔助恢復。上肢運動功能相較于其他部位的運動功能在日常生活中承擔的功能性活動更加復雜和重要，而腦卒中患者的上肢運動功能康復需要漫長的康復鍛煉過程，這個過程無疑給腦卒中患者及家庭造成了巨大的心理和經濟壓力。目前，中醫藥已進入“互聯網+”的新時代，中醫藥領域的各個方面開始與人工智能（Artificial Intelligence，AI）技術接軌，蔡菲菲等[3]綜述了AI在中醫藥領域中的應用，包括智能信息采集、輔助決策、大數據健康管理等方面。隨著科學技術的發展和人體健康的需求，腦卒中患者的肢體運動功能康復現成了醫療健康領域的研究熱點。各種虛擬現實鍛煉[4]、智能訓練[5]方式層出不窮，對腦卒中患者進行作業治療結合虛擬現實鍛煉能夠有效幫助患者恢復上肢運動功能，有助于實現無監督的家庭治療方案[6]。

1 基本康復動作信號采集

人體動作數據的采集主要是采用慣性傳感器采集運動數據信息，例如，Mumtaz等[7]通過使用低成本的無線慣性測量單元開發了行人導航應用程序，并將其與三星Galaxy S5手機中的傳感器進行了比較，實驗發現可以準確跟蹤目標的角度和加速度的信息。慣性傳感器擁有較高靈敏度，也可以用于測量人體關節運動的角度變化。胡成全等[8]基于六軸陀螺儀設計了一種上肢動作識別系統，并采集了6種啞鈴動作數據進行分類實驗，平均識別準確率為94.17%。陳少發等[9]利用九軸陀螺儀采集人體的上肢運動動作，并對Fugl-Meyer運動功能評分法上肢部位同一動作的三種不同難度等級進行分類，分類的準確率為98.68%。Sajeev等[10]通過慣性傳感器采集人體動作數據，以反饋的姿態信息作為監督鍛煉信息，并利用機器學習進行分類識別，對健身動作進行分類并計數。Robert-Lachaine等[11]通過實驗驗證慣性傳感器在關節分析中的有效性，并評估了任務復雜性和持久性對慣性測量單元的影響，結果證明慣性傳感器可以廣泛用于捕獲運動軌跡的過程。

以上研究者的實驗都能實現上肢動作識別，但是所采用的實驗數據差異性較大，應銳等[12]在動作識別研究中提出了動作原語這個概念，意為基本動作單元或子動作，人體所完成的所有的動作包括復雜動作、交互動作，這都是由不同的動作原語組合而成的。侯秀麗[13]采集了六種手部動作的肌電信號進行識別，包括握拳、伸掌、內旋、外旋、屈腕和伸腕，最后利用支持向量機（Support Vector Machine，SVM）進行分類，達到了97.5%的識別率。千承輝等[14]提出識別左肩關節外展、左肘關節屈曲兩種人體上肢部動作進行識別。程紹琿等[15]設計了一套健身動作規范判定的系統，使用SVM識別手部彎曲臂力器動作，準確率為95%。吳榮悅[16]提出識別肩關節外展內收、肩關節前屈后伸和肘關節屈伸的識別系統。胡少康等[17]提出識別動作手臂旋前、手臂旋后動作的方法。本文通過了解人體關節活動的特征，人體上肢部是通過肌肉帶動骨骼繞關節旋轉完成目標動作，以及總結上文研究學者采用的識別動作類別（肩關節屈伸、肘關節屈伸、手部內外旋）將人體上肢基本的康復運動劃分為6種基本動作單元，包括肩關節前屈、肩關節外展、旋轉前臂、肩關節旋轉、肩關節后伸和前臂前伸，通過慣性傳感器捕捉基本動作單元的數據，總結上肢活動過程中的加速度、角速度、角度數據的特征，以期實現上肢基本運動單元的識別，達到監督康復訓練的目的。

1.1 慣性傳感器的選型

慣性傳感器的選型要求低功耗、高靈敏度，確保能夠長時間精準地捕捉人體運動軌跡，同時又不能影響人體正?；顒拥倪M行，基于以上要求，本研究最終選擇使用維特智能公司生產的JY901傳感器來捕捉人體上肢基本康復運動單元的數據。JY901傳感器是9軸姿態角度傳感器，該模塊集成了高精度的陀螺儀、加速度計和地磁傳感器，能夠采集人體運動過程中的角度、角速度、加速度和磁力數據。該模塊加速度的量程在±16 g，穩定性在0.01 g；角速度的量程在±2000°/s，穩定性在0.05°/s，角度的量程在±180°，穩定性在0.01°，符合我們對高靈敏度的要求。研究中使用USB-HID連接到電腦USB接口上實現模塊和電腦的藍牙連接，將采集數據傳輸到上位機中。硬件采集系統的組成框圖如圖1所示。

圖1 硬件系統組成圖

1.2 上肢康復動作數據采集

人體的動作主要是通過骨骼段鉸接在關節上繞關節點旋轉實現的，人體的動作可以分為靜態動作、簡單動作和復雜動作，依次為層級遞進關系。靜態動作是指持續時間很短的靜態活動，如擺出一個姿勢。簡單活動是指基本的活動，如閱讀或散步。復雜活動是指與其他對象進行交互的活動，主要指聚會或會議等，復雜動作可由簡單動作組合而來[18]。

在人體上肢部位中，腕關節相較于肘關節和肩關節的活動范圍較大，將傳感器佩戴于右上肢手腕處，能夠更好地捕捉人體上肢部位的運動數據。Guerra等[19]在進行人體動作識別時通過將復雜的運動動作分為運動原語的方式來進行動作識別。本文參考腦卒中康復訓練動作將人體上肢康復運動分為肩關節前屈、肩關節外展、旋轉前臂、肩關節旋轉、肩關節后伸和前臂前伸6種基本康復運動單元。

數據采集過程：測試員將九軸陀螺儀固定于右手手腕處，保持自然站立姿勢。測試者依次完成上述6種動作，每完成一個動作手臂回到初始位置，利用同一種方式對上肢運動過程中的6種康復動作基本運動單元進行數據采集，每種不同姿態的動作重復50次。每重復10次，測試者進行適當休息。在實驗過程中測試員需按規定完成動作，不得有其他的大幅度身體動作影響數據采集。

2 數據處理與動作識別

2.1 實驗細節

實驗的具體流程圖如圖2所示，主要包括三個部分：動作捕捉、特征提取和動作識別。動作捕捉部分利用慣性傳感器捕捉上肢基本康復運動單元數據。特征提取時，先使用平滑濾波器消除原始數據噪聲，進行數據降噪處理之后，使用固定大小的滑動窗口取樣動作數據進行統計分析以獲得特征數據。最后，使用機器學習算法構建分類器進行動作識別。

圖2 實驗流程圖

2.2 數據預處理與特征提取

加速度傳感器和陀螺儀傳感器在X、Y和Z軸三個方向上同步記錄數據，我們最終獲得的是9維的時間序列數據。慣性傳感器在伴隨人體上肢運動過程中不可避免地會發生抖動，產生噪聲，我們使用平滑濾波器來減少原始數據的噪聲，經過試驗，0.1 s被認為是平滑濾波器的最佳窗口寬度。對于以慣性傳感器（如加速度計和陀螺儀）為特征的動作，研究人員主要采用基于滑動窗口的統計工具來表示運動數據，如均值、方差、最大值、最小值和均方根。

在利用慣性傳感器進行人體動作識別進行相關研究的基礎上，使用大小為2 s、滑動步長為0.8 s的滑動窗口對信號數據進行采樣，然后對采樣的數據利用不同的統計分析方法處理滑動窗口內數據和整個動作序列數據。其中，窗口內數據的平均值如式(1)所示，固定長度滑動窗口內的標準偏差如式(2)所示，固定長度滑動窗口中的最大值、最小值分別如式(3)和式(4)所示，整個動作序列中的峰度值、偏度值和信息熵分別如式(5)～(7)所示。

在腦卒中康復基本動作識別中我們還使用了包括峰-峰值、波形因數、波峰因數和脈沖因數等特征數據。

3 動作識別結果

在圖形圖像和動作序列的模式識別中，SVM、極限學習機（Extreme Learning Machine，ELM）、k近鄰（k Nearest Neighbors，kNN）、隨機森林（Random Forest，RF）是經典的分類器。例如，張俊杰等[20]為了評價腦卒中康復訓練結果，提出利用加速度傳感器采集7種動作的信號數據，并利用BP神經網絡、SVM等進行識別，實驗結果表明利用SVM的識別準確率最高，總體識別率可達到90%。本實驗使用以上四種經典分類器對采集的人體基本動作數據進行分類識別。

本實驗共對基于慣性傳感器采集的6種基本康復動作進行分類。經過特征提取后的數據被隨機分為測試集（70%）和訓練集（30%）。利用訓練集對不同的機器學習算法進行訓練，建立ELM、SVM、RF和kNN分類器模型，并在測試集上進行驗證。以下是四種分類器的簡要介紹。

（1）ELM作為一種前向傳播神經網絡，由輸入層、隱藏層和輸出層組成。與傳統的神經網絡相比，ELM的運算速度更快。在ELM中，改變隱神經元數目為800個時，得到了最優的分類結果。

（2）SVM是傳統機器學習中最經典的分類器算法，利用核函數將數據從低維空間映射到高維空間中，并尋找一個超平面進行分類。在SVM中，以半徑為2.0的高斯徑向基函數為核函數，采用網格搜索法進行五次交叉驗證，得到最優的懲罰因子c=0.5743和核參數g=0.1436。

（3）RF是將多個決策樹集成的一種算法，在本實驗中，RF參數選擇30層。

（4）kNN主要通過判斷k個樣本中哪個類別的樣本數最多。該樣本便屬于此類，本實驗選擇的最優k值為4。

從四次實驗中取100次實驗結果的平均值，得到平均識別率。其中，分類器ELM的準確率為99.11%±1.07%，SVM的準確率為99.49%±0.89%，RF的準確率為99.17%±0.61%，kNN的準確率為98.13%±1.6%，實驗結果已達到較高的分類精度。根據最優的分類結果即SVM的分類結果繪制混淆矩陣分析，混淆矩陣結果如圖3所示，class1～class6分別代表肩關節前屈、肩關節外展、旋轉前臂、肩關節旋轉、肩關節后伸和前臂前伸6種基本康復運動單元。結果顯示，SVM在分類過程中，僅有2例肩關節旋轉動作被SVM誤分類為肩關節后伸動作。由于在數據采集過程中，測試員為了模擬不同人體的狀態和習慣，在演練相同的動作時刻意改變了自身原有的習慣，進而導致不同的動作類別可能會具有一定的相似度。分類器在分類時便會難以區分兩例相似度較高的肩關節旋轉和肩關節后伸動作。

圖3 SVM分類混淆矩陣

4 討論

腦卒中患者的上肢運動功能康復有助于其回歸正常的生活狀態，實現上肢康復運動基本動作單元識別對于預測腦卒中患者的康復情況具有重要意義。前人在上肢動作識別研究中用于分類人體上肢部運動的較少[14,16-17]，相較于其他研究學者采用肌電信號進行動作識別[13,15,17]，本研究采用慣性傳感器進行手部動作數據采集，所采用的JY901模塊可以通過藍牙進行數據傳輸，有效避免了信號線對人體活動的限制，基于運動原語的概念，采集了6種基本康復運動單元用于實驗。針對文章利用慣性傳感器采集的人體上肢部分的肩關節前屈、肩關節外展、旋轉前臂、肩關節旋轉、肩關節后伸和前臂前伸6種基本康復運動單元的數據，為了去除數據噪聲，本研究使用平滑濾波器對數據進行平滑處理，然后利用固定長度的滑動窗口對動作序列進行采樣，提取平均值、標準偏差、最大值、最小值、峰度值、偏度值、信息熵、峰-峰值、波形因數、波峰因數和脈沖因數等統計學特征構成統計學特征向量，將獲得的特征數據隨機分為測試集（70%）和訓練集（30%），構建了適用于小樣本識別的SVM、ELM、RF、kNN分類器，對以上6種基本康復運動單元進行了分類識別，平均識別率達到了99%，驗證了通過慣性傳感器采集人體上肢動作數據并可用于識別的有效性。

本研究主要采用基于慣性傳感器的運動數據進行腦卒中患者上肢康復運動基本動作單元分類，取得了較好的分類精度，但仍存在一定的局限性，實驗采集及識別的動作數據屬于基本動作單元，動作類型較為簡單，僅適用于腦卒中患者的早期康復鍛煉，在后期我們將研究適應環境的交互動作的采集及識別以及具有自適應性的腦卒中患者康復動作識別，盡量幫助腦卒中患者盡快回歸正常生活狀態，為慣性傳感器應用于遠程監督鍛煉、智慧醫療提供可能性研究參考。