基于Kinect和表面肌電傳感器的數字化運動功能評估系統設計

何東浩，王振宇，汪 曦，甘 于，白亞雯

（無錫太湖學院，江蘇 無錫 214064）

近年來，隨著機器學習及圖像處理技術的發展，在醫學康復領域的應用越來越廣泛，并得到臨床醫生的認可。為了彌補傳統量表式評估方法的缺點，便捷評估使用者健康狀況，結合嵌入式、傳感器、串口通信、藍牙模塊及動作識別技術等，本文提出一種基于Kinect傳感器和表面肌電傳感器的上肢運動功能數字化評估系統設計方法，以此滿足更便捷地評估自身健康狀況、更直觀地體會測試結果指數及更有效地消除健康隱患。

1 軟件設計

1.1 Kinect姿態識別子程序設計

開啟Kinect姿態識別應用，進入到Kinect姿態識別主程序，獲取人體深度圖數據和骨骼數據，再進入不同的姿態識別程序，當執行完后進入下一種姿態識別程序，直到最后一個動作識別結束。

接下來將介紹不同動作的動作識別程序及原理，姿態識別程序會在運行時每十一幀采集1次人體姿態信息，在每十一幀的第十一幀，程序開始姿態識別，以下為采集程序代碼及注釋。

1.2 Emg傳感器肌電值采樣程序設計

Emg單導肌肉電傳感器部分，只需把傳感器輸入的端口配置好ADC初始化，再讀取實時信息輸出到OLED模塊中，以下是Emg肌電ADC值采集程序。

1.3 Stm32遙控器及串口程序設計

遙控器部分較為簡單，本設計設置了16個按鈕，當檢測到某個按鈕被按下，執行相關的按鈕處理程序。

此時姿態程序識別會讀取該D：/ccc.txt文本文檔，并根據里面的參數執行不同的姿態識別程序。

2 設計結果與調試

2.1 屈曲共同運動姿態識別

每個姿態動作都有起始動作和結束動作，程序會在每十一幀的第一幀記錄起始動作姿態，在第十一幀識別第十一幀及第一幀是否滿足動作要求，人體的特定關節是否符合特定特征，以此來準確判斷人體姿態動作是否完成。第一個動作，起始動作是左手放在右膝蓋上，而結束動作是左手放在左耳旁。

2.2 伸展共同運動姿態識別子程序設計

伸展共同動作和屈曲共同運動類似，左手放在右膝蓋上方，再舉至頭左一段距離，由此采用類似第一個動作的處理。

2.3 Stm32遙控器及OLED調試

Stm32遙控器上電后，可以看見OLED也亮起來，此時可以通過按鍵輸入希望發送的信息，當遙控器檢測到按了D鍵后，把信息發送到電腦串口，其中4×4的按鍵各對應著數。

可以看到一開始OLED只有“-”符號，此時當輸入幾個數字后，數字可以成功顯示到OLED上，并在程序里記錄到待發送的數組里面。

2.4 藍牙模塊及串口應用調試

藍牙模塊選用的是2塊HC05藍牙模塊，其中電腦串口的藍牙模塊采用藍牙模塊+TTL轉USB方式連接電腦，其中藍牙模塊和TTL的Vcc和GND對應連接，而其rx和tx口交叉連接。2個模塊起初是沒有相互配置的，首先分別將2個模塊上的小按鈕按住，再連接至電腦然后放開按鈕，此時2個藍牙模塊都進入了AT模式，發送AT指令設置好主從模式及綁定地址，下一次上電后2個模塊自動連接起來，可以通過串口程序像普通串口一樣收發數據。

此時發送Stm32遙控器中的數據，可以看見藍牙串口接收到數據并顯示于輸出串口，保存于ccc.txt中，供Kinect姿態識別程序調用。

2.5 Kinect姿態識別調試與結果

連接好Kinect攝像頭，啟動程序后可以看見攝像頭燈光亮起來，如圖1所示。

圖1 Kinect攝像頭

當打開姿態識別程序，程序會打開一個MFC界面，可以看到此時Kinect攝像頭前的人的骨骼圖和深度圖，并有程序設定的打印顯示，如圖2所示。

圖2 程序啟動界面

此時康復訓練者跟隨打印提示一步步完成每個動作的姿態識別流程，如動作一：屈曲共同運動。

由圖3可知，當動作識別成優秀后，可以看到FMA動作計分加了2分，并在窗口打印出下一個動作的提示，此時繼續執行動作二。

圖3 識別成功：動作一

由圖4可知，動作二識別成優秀后，可以看見分數累計成4分，接著依次執行完所有動作。

圖4 識別成功：動作二

由圖5可知，姿態識別全部結束，可以看見調試流程是符合本設計程序設置的，并能實現姿態識別和累計動作評分的功能。

圖5 識別成功：所有動作

3 結論

本文提出一種基于Kinect傳感器和表面肌電傳感器的上肢運動功能數字化評估系統設計方法，本設計整體包含Kinect、表面肌電傳感器、Stm32和藍牙模塊等。經過硬件與軟件設計、測試，本系統功能符合預期要求。

（1）Kinect采集人體骨骼信息傳送到姿態識別應用里，姿態識別程序可以成功識別出每個動作并對此進行打分。

（2）Stm32上的按鍵信息輸出到OLED上，當按下發送鍵時，存在數組里的指令信息通過Stm32上的藍牙模塊傳送到電腦端的串口軟件，串口軟件再保存至本地。由Kinect應用再讀取本地文本文檔的信息，把當前動作識別切換至遙控器指令對應的動作識別并輸出到MFC窗口上。