面向水下機器人的多模態人機交互控制

張學志，谷亞倫，林 高，張道輝

（1.沈陽化工大學 信息工程學院，沈陽 110142；2.中國科學院 沈陽自動化研究所 機器人學國家重點實驗室，沈陽 110016；3.中國科學院 機器人與智能制造創新研究院，沈陽 110169）

地球的海洋面積在地球表面上大約占有71%，蘊藏著非常寶貴的資源，經濟開發和科研探索潛力巨大[1]。然而海洋環境具有危險性及復雜性，想要單純地依靠人工進行海洋開發和海洋調查是不現實的，水下機器人成為了完成人類深海作業的最佳選擇[2]。受限于當前機器人智能水平，相當長一段時間內，研發出完全自主的機器人仍是遙不可及的目標，因此遙控水下機器人（remote operated vehicle，ROV）將在深海環境作業中發揮越來越重要的作用[3]。

人機交互控制技術是決定ROV 能否完成水下作業任務的關鍵因素，然而現有的水下機器人控制方式一般需要多人協同操作共同完成，不僅消耗操作者很大的精力且效率不高。文獻[4]設計了基于腦肌電信號的機械臂控制，通過6 種手勢動作和左右手運動想象產生的原始肌電、腦電信號實現對機械臂的運動控制；文獻[5]設計了一種基于肌電信號控制的上肢假肢系統，通過6 種手勢動作實現對假肢手臂各關節的控制；文獻[6]在復雜仿人機器人遠程操作系統中應用了上肢外骨骼裝置，此裝置可跟蹤操作人員運動并傳遞信息，實現運動測量并具有力反饋作用；美國德克薩斯大學Reneu Robotics Lab實驗室[7]開發的Harmony 雙臂機械外骨骼通過對人體上肢的運動機理分析和肩部機構解剖，能夠為所有關節提供無約束的活動特性，該外骨骼設備在支撐人體上半身的重量的同時還能夠為穿戴者提供輔助力量，使其達到預期的運動；文獻[8]設計了基于Myo 臂環和Kinect 體感設備的多模態人機交互技術，通過檢測右臂的位置和姿態信息以及手勢動作產生的肌電信號實現機械臂的抓取控制，實現了較為自然的人機交互控制效果。目前基于人體生理信息的交互控制研究主要集中于人機交互過程中的自然交互控制方面，但只能完成一些簡單的運動控制，無法適應復雜的水下操作任務。

本文針對以上問題，提出了一種多模態融合的人機交互控制方案，以具有10 自由度的雙臂水下機器人為研究對象，通過外骨骼和Myo 手環檢測操作者運動意圖。采用網絡將控制指令發送到水下機器人端口，通過操作者上肢的自然運動實現了對水下機器人的18 種控制指令的映射。最終進行多模態人機交互控制測試，驗證了多模人機互控制方式的有效性和可行性。

1 系統組成

系統主要采用外骨骼設備和Myo 手環獲取操作者控制意圖，利用可穿戴外骨骼檢測操作者手臂各關節的運動角度，實現對機械臂的運動控制；利用Myo 手環檢測操作者手部動作時的肌電信號，實現對ROV 的運動控制以及機械臂末端夾爪的張合控制。為實現控制效果的可視化，搭建了水下機器人仿真環境，系統框圖如圖1 所示。

圖1 系統框圖Fig.1 System block diagram

可穿戴外骨骼機器人可以真實的還原人體動作，直觀地表達操作者意圖。外骨骼機器人需要與人體相結合，實現檢測人體運動狀態，跟隨穿戴者運動并提供輔助[9]。該系統使用的上肢可穿戴外骨骼主要是由14 個角度傳感器構成的雙臂和末端手柄組成，單側手臂的7 個傳感器分別對應人體手臂的7 自由度運動，末端手柄由5 個按鈕和1 個方向按鍵組成，如圖2 所示。

圖2 上肢可穿戴外骨骼Fig.2 Wearable exoskeleton for upper limb

Myo 手環佩戴于操作者前臂上，檢測操作者前臂肌肉的表面肌電信號的變化，實現判斷操作者手部動作的目的。Myo 手環由8 個通道組成，不同的肌肉群觸發的肌電信號識別到不同的通道中，如圖3所示。為實現控制效果的可視化，搭建了水下虛擬仿真環境，設計了10 自由度的雙臂水下機器人為控制對象。

圖3 Myo 手環Fig.3 Myo bracelet

2 多模態融合的人機交互控制

2.1 肢體動作的控制意圖識別

肢體動作的運動意圖檢測是通過對外骨骼檢測的手臂關節角度值進行分析處理，從而得到操作者手臂的關節運動狀態，肢體動作的意圖檢測流程如圖4 所示。

圖4 肢體動作的意圖檢測流程Fig.4 Intention detection of body movements

當外骨骼打開電源后，會持續向外發送傳感器檢測到的各關節角度數據，采用UDP 通信的方式接收外骨骼端口發送的數據，并去除傳感器的偏移量等干擾，最終獲取操作者手臂各關節運動的實際角度。為了降低手臂運動時各關節間的聯動性影響，采用外骨骼末端手柄上的按鈕控制手臂各關節的數據讀取。經過多次調試，確定各關節運動時傳感器檢測的數值區間范圍，并對其進行合理劃分，從而確定相應的肢體動作指令。

2.2 肌電信號的控制意圖識別

通過檢測操作者前臂肌肉的表面肌電信號變化，從而識別出操作者的手部動作。操作者佩戴Myo手環后，根據提示完成相應動作，采集操作者手部動作時的肌電信號。首先對肌電數據進行去偏置/噪聲的預處理；對處理后的肌電信號進行特征的提取；利用提取的特征樣本訓練肌電指令識別模型；最后將實時采集的肌電信號進行預處理和特征提取操作后，傳入到訓練好的指令識別模型中，即可識別出相應的手部動作。

首先對采集的肌電數據進行預處理操作并完成數據歸一化。采用絕對均值（MAV）的方式完成對肌電時域特征的提取，選取一定長度的滑動窗完成對肌電數據的劃分，通過計算每個滑動窗內肌電信號幅值的絕對均值，從而獲取肌電信號的平均強度，計算過程如公式（1）所示：

利用線性判別分析（LDA）設計分類器，完成肌電特征的分類識別。肌電信號的控制意圖識別如圖5 所示。

圖5 肌電信號控制意圖識別Fig.5 Emg control intention recognition

2.3 基于肢體和肌電的人機交互控制

多模人機交互控制即通過肢體動作和肌電信號共同完成對水下機器人的運動控制。將肢體指令和肌電指令映射為水下機器人的控制指令，通過UDP 通信將控制指令發送到虛擬仿真界面，實現對水下機器人的運動控制，肢體和肌電的指令融合過程如圖6 所示。基于肢體動作和肌電信號的動作指令，共實現了18 種水下機器人的控制指令，具體的指令映射關系如表1 所示。

表1 控制指令映射關系Tab.1 Control instruction mapping relationship

圖6 肢體和肌電信號融合控制Fig.6 Limb and EMG fusion control

3 多模態人機交互控制測試

本文提出了一種多模態人機交互控制方式，使用上肢可穿戴外骨骼控制機械臂各關節的運動；使用Myo 手環控制機械臂末端夾爪的張合以及ROV 的移動。操作者穿戴外骨骼和Myo 手環后，執行相應的動作控制水下機器人的運動，測試控制指令的識別效果，具體的動作控制指令如圖7 和圖8所示。

圖7 肢體動作控制指令Fig.7 Body movement control instructions

圖8 肌電信號控制指令Fig.8 EMG control instructions

選取4 名操作者分別使用3 種控制方式完成對機器人的控制，每位操作者分別完成20 次肢體控制指令和肌電控制指令以及40 次肢體和肌電融合控制指令，統計正確識別指令的次數，具體實驗結果如表2 所示。在手勢動作識別的測試中，沒有出現一種動作識別為另一種動作的情況，但在手部放松（不發布控制指令）狀態下會存在誤識別為某一動作指令的情況。在肢體動作和手勢動作融合控制的實驗中，當手臂進行動作時，會導致手部產生細微運動，從而獲得額外的肌電指令。通過記錄的正確識別指令的次數，統計指令識別的準確率，如圖9 所示。

表2 指令測試實驗結果Tab.2 Experimental results of instruction test

圖9 三種控制方式下指令識別準確率Fig.9 Accuracy of instruction recognition under three control modes

實驗結果表明，肢體控制、肌電控制以及肢體和肌電融合控制的指令識別準確率分別在100%、95%、93%左右。肌電控制與肢體和肌電融合控制的指令識別率相差不大，但多模融合的控制方式，可以大幅增加控制指令的數量，以適應更復雜的任務場景。

4 結語

本文提出了一種多模態人機交互控制方案，通過操作者手臂和手部的自然運動實現對水下機器人的運動控制。通過對手臂關節運動角度的檢測和機器學習算法，完成了對肢體動作和肌電信號的控制意圖識別，并將控制指令發送到水下機器人端口，實現了對水下機器人的多模人機交互控制效果。最后，通過多模態人機交互控制測試的實驗，驗證了多模人機交互控制方式完成水下作業任務的可行性和有效性。

進一步的工作可以從降低肢體動作和肌電信號的干擾方面進行改進，以提高多模態控制方式的指令識別準確率。相信未來的多模人機交互技術在遙操作、康復、助力等領域中定會得到廣泛的應用。