基于人體手臂同步遠(yuǎn)控的智能機(jī)械車(chē)研究

謝銀波，魏天奇，田 元，嚴(yán)志聰，陳世增

基于人體手臂同步遠(yuǎn)控的智能機(jī)械車(chē)研究

謝銀波，魏天奇，田 元，嚴(yán)志聰，陳世增

（武漢大學(xué) 電子信息學(xué)院，湖北 武漢 430072）

設(shè)計(jì)了一種基于人體手臂同步控制的智能機(jī)械車(chē)系統(tǒng)。該系統(tǒng)采用低功耗異構(gòu)多處理器、多核機(jī)電系統(tǒng)，通過(guò)優(yōu)化的游戲引擎人機(jī)交互圖形控制界面，輔以可穿戴式肌電信號(hào)和手臂姿態(tài)傳感器，以手勢(shì)及手臂姿態(tài)無(wú)線遠(yuǎn)程控制智能車(chē)的行進(jìn)、機(jī)械臂的同步伸展和機(jī)械手的抓取等動(dòng)作，車(chē)載高速激光雷達(dá)系統(tǒng)和攝像頭系統(tǒng)實(shí)現(xiàn)，在復(fù)雜未知環(huán)境下，遠(yuǎn)控機(jī)車(chē)的定位、二維和三維場(chǎng)景快速重構(gòu)、無(wú)縫切換顯示，實(shí)驗(yàn)結(jié)果標(biāo)明，系統(tǒng)魯棒性好、實(shí)時(shí)性能滿足應(yīng)用要求，具有較好的應(yīng)用價(jià)值前景。

智能機(jī)械車(chē)；肌電信號(hào)；體感控制；實(shí)時(shí)地圖；機(jī)器學(xué)習(xí)

通過(guò)在人的肢體上穿戴傳感和智能設(shè)備，利用人體的生物機(jī)能反應(yīng)和肢體動(dòng)作，可以更直觀、靈活地進(jìn)行信號(hào)感知和實(shí)施控制過(guò)程。國(guó)內(nèi)外的研究者，針對(duì)利用穿戴式裝置的控制方法及應(yīng)用，特別是以肌電信號(hào)（electro myo gram，EMG）和慣性測(cè)量單元（inertial measurement unit，IMU）為基礎(chǔ)，展開(kāi)了廣泛的研究[1-3]，但鮮見(jiàn)有將EMG與IMU相結(jié)合進(jìn)行相互約束以達(dá)到最優(yōu)解的討論。

為了解決上述問(wèn)題，本文提出并實(shí)現(xiàn)了一種通過(guò)人體手臂對(duì)智能車(chē)及車(chē)載機(jī)械臂進(jìn)行實(shí)時(shí)控制的系統(tǒng)。針對(duì)車(chē)體及機(jī)械臂設(shè)計(jì)與控制在很多文獻(xiàn)[4-5]中有討論，本文主要從穿戴式人機(jī)交互實(shí)時(shí)控制與基于激光雷達(dá)的場(chǎng)景探測(cè)進(jìn)行設(shè)計(jì)與分析。

1 系統(tǒng)結(jié)構(gòu)與功能

通過(guò)自定義手勢(shì)和穿戴EMG傳感器的手臂可無(wú)線遠(yuǎn)程控制智能車(chē)的行進(jìn)狀態(tài)。使用穿戴有姿態(tài)傳感器組的手臂[6-7]，直接操控基于Unity3D實(shí)現(xiàn)的友好人機(jī)圖形控制界面[8]，以及在車(chē)輛控制界面下控制車(chē)載機(jī)械臂的同步伸展和機(jī)械手的抓取等動(dòng)作。同時(shí)，依靠車(chē)載高速激光雷達(dá)系統(tǒng)和攝像頭，可獲得復(fù)雜未知環(huán)境下，實(shí)時(shí)場(chǎng)景原始數(shù)據(jù)，并將數(shù)據(jù)上傳至上位控制系統(tǒng)，上位控制系統(tǒng)對(duì)回傳數(shù)據(jù)進(jìn)行處理，完成實(shí)時(shí)機(jī)車(chē)定位和遠(yuǎn)程三維場(chǎng)景快速重構(gòu)和顯示，二三維圖像可進(jìn)行無(wú)縫切換，協(xié)助人對(duì)車(chē)的操控過(guò)程和機(jī)械臂的抓取。智能機(jī)械車(chē)實(shí)物及系統(tǒng)操控主界面見(jiàn)圖1。

圖2為系統(tǒng)工作原理圖。系統(tǒng)由上位控制系統(tǒng)和智能機(jī)械車(chē)2大部分組成，考慮到智能車(chē)需由電池供電，有低功耗及控制內(nèi)容、種類(lèi)復(fù)雜等特點(diǎn)，系統(tǒng)采用異構(gòu)多處理器、多核心架構(gòu)。智能機(jī)械車(chē)以Intel MinnowBoard嵌入式系統(tǒng)I為車(chē)載主控核心，對(duì)來(lái)自激光雷達(dá)、攝像頭等較大數(shù)據(jù)任務(wù)進(jìn)行處理，并將處理后數(shù)據(jù)通過(guò)Wi-Fi信道及時(shí)傳輸?shù)缴衔豢刂葡到y(tǒng)，輔以Intel Genuino 101和ST STM32低功耗控制板，實(shí)現(xiàn)對(duì)機(jī)械臂、車(chē)底盤(pán)運(yùn)動(dòng)等實(shí)時(shí)性要求較高的控制。上位控制系統(tǒng)由同樣架構(gòu)的嵌入式系統(tǒng)II組成，其對(duì)從智能機(jī)械車(chē)傳來(lái)的擬合地圖數(shù)據(jù)、機(jī)器人位置信息及視頻圖像信息等進(jìn)行融合、重建和生成界面，同時(shí)對(duì)手臂姿態(tài)傳感器和肌電傳感器信號(hào)進(jìn)行采樣和處理，并通過(guò)Wi-Fi信道TCP鏈路將控制指令實(shí)時(shí)發(fā)送到智能機(jī)械車(chē)。

圖1 智能機(jī)械車(chē)實(shí)物及系統(tǒng)操控主界面

圖2 系統(tǒng)工作原理圖

2 穿戴式人機(jī)交互實(shí)時(shí)控制設(shè)計(jì)

2.1 基于EMG信號(hào)的手勢(shì)識(shí)別

手勢(shì)識(shí)別組件中包含一個(gè)加拿大Thalmic Labs的MYO EMG采集臂環(huán)，佩戴在胳膊的肘關(guān)節(jié)上方，通過(guò)低功率的藍(lán)牙接口與上位控制系統(tǒng)進(jìn)行通信連接。當(dāng)帶動(dòng)肌肉運(yùn)動(dòng)的手做出：手指張開(kāi)A、緊握拳B、手左彎折C、手右彎折D、手松弛E 5種動(dòng)作時(shí)，可遠(yuǎn)程控制智能車(chē)分別完成前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)、停止5種運(yùn)動(dòng)。

MinnowBoard嵌入式系統(tǒng)II接收到EMG信號(hào)后，進(jìn)行預(yù)分類(lèi)和細(xì)分類(lèi)的手勢(shì)識(shí)別過(guò)程，流程如圖3所示。

首先從所有手勢(shì)中區(qū)分出放松手勢(shì)，根據(jù)人體手勢(shì)動(dòng)作時(shí)前臂不同肌肉的差異化用力，利用積分肌電值（IEMG）作為首次分類(lèi)的特征向量，對(duì)表面肌電信號(hào)進(jìn)行預(yù)分類(lèi)。

圖3 手勢(shì)識(shí)別流程圖

預(yù)分類(lèi)算法如下：根據(jù)EMG信號(hào)通道數(shù)=8，則EMG信號(hào)絕對(duì)值幅度平均值為

積分肌電值定義式：

式中為總樣本數(shù)。

根據(jù)不同手勢(shì)肌電積分值()的分布情況，選擇線性判別函數(shù)：

()將手部動(dòng)作分為兩大類(lèi)：（放松）與（緊張），對(duì)于有權(quán)矢量，運(yùn)用感知器算法。校正規(guī)則如下式：

線性判別函數(shù)確定后，將測(cè)試集特征向量代入()中，可通過(guò)公式（5）判別規(guī)則進(jìn)行緊張與放松狀態(tài)的分類(lèi)識(shí)別。

經(jīng)過(guò)預(yù)分類(lèi)后，再對(duì)4個(gè)緊張手勢(shì)采用一對(duì)多支持向量機(jī)（support vector machine，SVM）分類(lèi)器進(jìn)行細(xì)分類(lèi)，分別對(duì)應(yīng)智能車(chē)移動(dòng)的4個(gè)自由度，最終判定出可區(qū)別的手勢(shì)。

2.2 基于手臂姿態(tài)控制的人機(jī)交互控制

手臂姿態(tài)獲取由2組MPU-6050與2組CC2540 BLE模塊為核心的電路構(gòu)成。MPU-6050內(nèi)部集成了3軸陀螺儀[9]和3軸MEMS加速度計(jì)。由于姿態(tài)傳感器組對(duì)環(huán)境溫濕度變化和周?chē)姶挪ǜ蓴_極為敏感，故需要對(duì)原始數(shù)據(jù)進(jìn)行濾波。

通過(guò)對(duì)于2路陀螺儀數(shù)據(jù)獲取向量，經(jīng)中值濾波等處理，映射為手臂肘部的關(guān)節(jié)夾角，從而形成手臂控制的運(yùn)動(dòng)姿態(tài)。獲取的加速度值再通過(guò)中值濾波和卡爾曼濾波，獲得控制人機(jī)交互圖控界面中上移動(dòng)激活、下移動(dòng)激活及旋轉(zhuǎn)手臂確認(rèn)的3個(gè)主要UI控制指令，結(jié)合EMG手勢(shì)識(shí)別旋轉(zhuǎn)手臂動(dòng)作，實(shí)現(xiàn)“確認(rèn)”的交互操作。

此外，根據(jù)采集到的手勢(shì)和手臂姿態(tài)信息，可對(duì)智能車(chē)進(jìn)行多自由度控制。通過(guò)8路PWM波實(shí)現(xiàn)智能車(chē)底座的萬(wàn)向運(yùn)動(dòng)，通過(guò)6路PWM波實(shí)現(xiàn)機(jī)械臂的6自由度控制，而且6個(gè)機(jī)械臂動(dòng)力舵機(jī)、2個(gè)機(jī)械臂關(guān)節(jié)上的MPU6050加速度計(jì)及2個(gè)機(jī)械手爪上的壓力傳感器構(gòu)成閉環(huán)負(fù)反饋系統(tǒng)。

3 基于激光雷達(dá)的場(chǎng)景探測(cè)

3.1 RPLIDAR激光雷達(dá)

激光雷達(dá)模塊采用SLAMTEC公司的RPLIDAR A1，主要由測(cè)距子模塊和機(jī)械運(yùn)行子模塊組成，以雷達(dá)身為中心對(duì)范圍場(chǎng)景進(jìn)行激光點(diǎn)云掃描，再通過(guò)串行接口將實(shí)時(shí)測(cè)距數(shù)據(jù)傳輸給智能機(jī)械車(chē)中的MinnowBoard嵌入式系統(tǒng)I中進(jìn)行處理。

同時(shí)，利用車(chē)載機(jī)械臂夾手處的高清攝像頭獲取30FPS/1080P視頻流，編碼為H.264碼流[10]，通過(guò)RTP協(xié)議實(shí)時(shí)傳輸至上位控制系統(tǒng)，最后與由激光雷達(dá)形成的場(chǎng)景圖耦合的互為參照、可切換式視角界面。

3.2 場(chǎng)景探測(cè)算法

場(chǎng)景探測(cè)以激光雷達(dá)模塊采集數(shù)據(jù)為基礎(chǔ)，場(chǎng)景探測(cè)算法流程如圖4所示。

圖4 場(chǎng)景重構(gòu)程序流程圖

MinnowBoard嵌入式系統(tǒng)I軟件系統(tǒng)搭載Ubuntu14和ROS Indigo[11]，輔助導(dǎo)航程序控制激光雷達(dá)獲取點(diǎn)云數(shù)據(jù)，經(jīng)過(guò)濾波和與現(xiàn)場(chǎng)環(huán)境的掃描匹配過(guò)程，結(jié)合圖優(yōu)化SLAM算法進(jìn)行全局優(yōu)化[12-13]，場(chǎng)景地圖數(shù)據(jù)為′維矩陣（為場(chǎng)景地圖寬，為高），通過(guò)Canny邊緣提取[14]與Hough變換獲取精準(zhǔn)的場(chǎng)景邊界[15]，反復(fù)匹配得到比較精確的重構(gòu)結(jié)果。

4 關(guān)鍵性能測(cè)試與分析

針對(duì)系統(tǒng)的主要功能，對(duì)相關(guān)關(guān)鍵組件，包括手勢(shì)識(shí)別、機(jī)械臂姿態(tài)控制、場(chǎng)景重構(gòu)進(jìn)行了性能測(cè)試與分析。

4.1 手勢(shì)識(shí)別測(cè)試

4.1.1 實(shí)時(shí)性

定義手勢(shì)數(shù)據(jù)庫(kù)的總樣本數(shù)為。通過(guò)更換不同的值，測(cè)試手勢(shì)識(shí)別的時(shí)間。通過(guò)記錄手勢(shì)判斷的時(shí)間來(lái)判斷手勢(shì)識(shí)別框架的實(shí)時(shí)性，實(shí)驗(yàn)結(jié)果見(jiàn)表1。

表1 手勢(shì)識(shí)別實(shí)時(shí)性測(cè)試

從測(cè)試結(jié)果可以看出，當(dāng)樣本集數(shù)量控制在10 000時(shí)，手勢(shì)識(shí)別都可以在30 ms左右完成，可以達(dá)到較好的實(shí)時(shí)性要求。

4.1.2 準(zhǔn)確性

手勢(shì)識(shí)別的準(zhǔn)確性決定整個(gè)系統(tǒng)的穩(wěn)定性。分別對(duì)5種手勢(shì)識(shí)別20、40、100次，5種手勢(shì)分別標(biāo)記為A、B、C、D和E，識(shí)別結(jié)果見(jiàn)表2。

表2 手勢(shì)識(shí)別準(zhǔn)確性測(cè)試

從表2可以看出，代表控制智能車(chē)前后行進(jìn)的手勢(shì)A和B以及控制右轉(zhuǎn)的手勢(shì)D達(dá)到了99%以上的正確率，但是控制智能車(chē)左轉(zhuǎn)的手勢(shì)C卻只有97%的識(shí)別率，這是因?yàn)樽筠D(zhuǎn)手勢(shì)較放松，有很小的概率被誤判為無(wú)效手勢(shì)，但由于手勢(shì)控制信號(hào)的發(fā)送頻率很高，無(wú)效手勢(shì)產(chǎn)生概率較低，會(huì)在多次取值判斷中被剔除，并不影響實(shí)時(shí)操作。

4.2 機(jī)械臂姿態(tài)控制測(cè)試

機(jī)械臂姿態(tài)由方向角、天頂角以及半徑?jīng)Q定，而每個(gè)量都由穿戴式傳感器組的各模塊協(xié)同確定，要求很強(qiáng)的實(shí)時(shí)性和準(zhǔn)確性。

4.2.1 機(jī)械臂實(shí)時(shí)性

機(jī)械臂方向角根據(jù)操作者手臂水平移動(dòng)情況進(jìn)行同步操作。手臂從–45°水平移動(dòng)到45°的時(shí)間為(Human)，機(jī)械臂的對(duì)應(yīng)移動(dòng)時(shí)間為(Arm)，D為兩者差值，結(jié)果見(jiàn)表3。

表3 機(jī)械臂方向角實(shí)時(shí)性測(cè)試 s

由實(shí)驗(yàn)結(jié)果可以看出，當(dāng)人體手臂進(jìn)行正常速度移動(dòng)時(shí)，誤差非常小，滿足實(shí)時(shí)控制的要求；但非正常平緩移動(dòng)時(shí)，時(shí)間差D甚至出現(xiàn)了負(fù)數(shù)，這是由于采用了卡爾曼濾波器的緣故，此外舵機(jī)作為機(jī)械臂的驅(qū)動(dòng)體有可能提前到達(dá)預(yù)定角度。

4.2.2 機(jī)械臂移動(dòng)準(zhǔn)確性

讓手臂分別移動(dòng)9個(gè)角度，再分別測(cè)試機(jī)械臂方向角移動(dòng)的對(duì)應(yīng)角度，測(cè)試結(jié)果見(jiàn)表4。

從表4可以看出，誤差具有隨機(jī)性，這與每個(gè)人臂部平移習(xí)慣有關(guān)，同樣的移動(dòng)角度，每一段的移動(dòng)加速度亦會(huì)有差別。

表4 機(jī)械臂方向角準(zhǔn)確性測(cè)試 (°)

4.3 場(chǎng)景構(gòu)建測(cè)試

對(duì)某室內(nèi)規(guī)則區(qū)域進(jìn)行掃描和場(chǎng)景重構(gòu)，測(cè)量側(cè)邊6條較明顯邊界的長(zhǎng)度，測(cè)試結(jié)果見(jiàn)表5。系統(tǒng)可以達(dá)到較好的場(chǎng)景重構(gòu)效果。

表5 場(chǎng)景重構(gòu)精度測(cè)試 m

5 結(jié)語(yǔ)

本文提出了一種將手勢(shì)操作、體感操作、場(chǎng)景重建、實(shí)時(shí)定位、視頻采集和3D體感交互操作界面相結(jié)合的智能機(jī)械車(chē)控制系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，系統(tǒng)交互性強(qiáng)、手勢(shì)及手臂控制實(shí)時(shí)性好、準(zhǔn)確性高、場(chǎng)景構(gòu)建及車(chē)定位精度高，可滿足實(shí)驗(yàn)室環(huán)境下實(shí)時(shí)控制的需要，在野外探險(xiǎn)與救援、智能農(nóng)業(yè)、工業(yè)安全生產(chǎn)等領(lǐng)域有著廣闊的應(yīng)用前景。目前，該系統(tǒng)作為我校電子信息類(lèi)嵌入式系統(tǒng)系列課程設(shè)計(jì)的綜合實(shí)訓(xùn)平臺(tái)之一應(yīng)用于教學(xué)。

[1] DU L Z. Coupling analysis of ECG and EMG based on multiscale symbolic transfer entropy[C]//Research institute of management science and industrial engineering. Proceedings of 2017 2nd International Conference on Mechatronics and Information Technology(ICMIT 2017). 2017.

[2] 趙汗青，李海燕，王立新. 表面肌電信號(hào)采集綜合實(shí)驗(yàn)項(xiàng)目設(shè)計(jì)[J]. 實(shí)驗(yàn)室研究與探索，2016, 35(6): 52–56.

[3] 晉曉飛，王浩，陳媛，等. 基于手臂表面肌電信號(hào)的智能小車(chē)控制系統(tǒng)[J]. 生物醫(yī)學(xué)工程研究，2017, 36(4): 301–306, 317.

[4] 王明明，朱瑩瑩，張磊，等. 麥克納姆輪驅(qū)動(dòng)的移動(dòng)機(jī)器人自適應(yīng)滑模控制器設(shè)計(jì)[J]. 西北工業(yè)大學(xué)學(xué)報(bào)，2018, 36(4): 627–635.

[5] 鄧曉燕，林燦光，施翔宇，等. 五自由度機(jī)械臂三維建模與仿真實(shí)驗(yàn)平臺(tái)的構(gòu)建[J]. 實(shí)驗(yàn)技術(shù)與管理，2018, 35(3): 118–122.

[6] 魯立，劉頌. 非線性SVM融合LDA的sEMG手勢(shì)識(shí)別應(yīng)用分析[J]. 激光雜志，2014(8): 26–29.

[7] 丁其川，趙新剛，韓建達(dá). 基于肌電信號(hào). 容錯(cuò)分類(lèi)的手部動(dòng)作識(shí)別[J]. 機(jī)器人，2015, 37(1): 10–16.

[8] 王開(kāi)宇，李安琪，馬馳，等. 基于仿真技術(shù)的數(shù)字電路3D虛擬實(shí)驗(yàn)室的設(shè)計(jì)[J]. 實(shí)驗(yàn)技術(shù)與管理，2017, 34(2): 11–15.

[9] 董靖川，張朝，溫洋，等. 基于STM32的低碳避障實(shí)驗(yàn)小車(chē)電控設(shè)計(jì)[J]. 實(shí)驗(yàn)技術(shù)與管理，2017, 34(12): 45–49.

[10] 張瑒，許林，孫廣毅. 基于RGB-D攝像機(jī)與IMU數(shù)據(jù)融合的動(dòng)作捕捉系統(tǒng)[J]. 系統(tǒng)仿真學(xué)報(bào)，2015, 27(10): 2582–2588.

[11] 胡春旭，熊梟，任慰，等. 基于嵌入式系統(tǒng)的室內(nèi)移動(dòng)機(jī)器人定位與導(dǎo)航[J]. 華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版)，2013, 41(增刊1): 254–257, 266.

[12] 季秀才，鄭志強(qiáng)，張輝. SLAM問(wèn)題中機(jī)器人定位誤差分析與控制[J]. 自動(dòng)化學(xué)報(bào)，2008(3): 323–330.

[13] 趙建偉，張宏靜，王洪燕，等. 應(yīng)用激光雷達(dá)構(gòu)建室內(nèi)環(huán)境地圖的研究[J]. 機(jī)械設(shè)計(jì)與制造，2017(5): 135–137.

[14] 王植，賀賽先. 一種基于Canny理論的自適應(yīng)邊緣檢測(cè)方法[J]. 中國(guó)圖象圖形學(xué)報(bào)，2004(8): 65–70.

[15] 張佳，程宇龍. 基于隨機(jī)Hough變換的圓形目標(biāo)檢測(cè)實(shí)驗(yàn)[J]. 實(shí)驗(yàn)室研究與探索，2014, 33(7): 130–133.

Research on intelligent mechanical vehicle based on synchronized remote control of human arm

XIE Yinbo, WEI Tianqi, TIAN Yuan, YAN Zhicong, CHEN Shizeng

(School of Electronic Information, Wuhan University, Wuhan 430072, China)

An intelligent mechanical vehicle system based on synchronous control of human arm is designed. This system uses a low-power heterogeneous multi-processor and multi-core electromechanical system. The system adopts low-power heterogeneous multi-processor and multi-core electromechanical system, and through optimized game engine human-computer interactive graphical control interface, supplemented by wearable EMG signal and arm attitude sensor, it can control the movement of intelligent vehicle, synchronous extension of the arm and grasping of the manipulator by gesture and arm attitude wireless remote control. As a result, the vehicle-borne high-speed lidar system and camera system are realized. In complex and unknown environment, the location of the remote control locomotive, fast reconstruction of two-dimensional and three-dimensional scene, seamless switching display are realized. The experimental results show that the system has good robustness and real-time performance, which meets the application requirements and has good application prospects.

intelligent mechanical vehicle; EMG signal; somatosensory control; real-time map building; machine learning

TP242

A

1002-4956(2019)12-0085-05

10.16791/j.cnki.sjg.2019.12.020

2019-04-04

教育部產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目（201601005066，201701003050）；湖北省科技支柱項(xiàng)目（2017AAA027）

謝銀波（1977—），男，湖北天門(mén)，博士，實(shí)驗(yàn)師，研究方向?yàn)榍度胧较到y(tǒng)和無(wú)線傳感器網(wǎng)絡(luò)。E-mail: xyb@whu.edu.cn