基于姿態(tài)識別的機器人人機交互系統(tǒng)設計

石琪琦，莊 杰，黃 煒，張佳東，2，左軒塵

（1.電子科技大學 通信與信息工程學院，四川 成都611731；2.國網(wǎng)成都供電公司，四川 成都611731）

0 引 言

設計基于姿態(tài)識別的人機交互系統(tǒng)關鍵在于姿態(tài)信息的獲取與遠端機器人信息的反饋兩個方面［1，2］。現(xiàn)常用識別人體姿態(tài)的方法為文獻 ［3，4］中所用圖像分析法。這種方法對環(huán)境的依賴性較強，而且無線通信環(huán)境下所輸出的圖像信號可能會受到干擾［5］，這就會給識別帶來較大誤差。為了解決這些問題，本文使用可穿戴設備配備姿態(tài)傳感器的姿態(tài)識別法，此方法更加方便、簡單，受環(huán)境影響更小，且可實現(xiàn)在任何地方對遠程機器人的控制。在本文中采用陀螺儀與加速度傳感器獲取人體姿態(tài)信息，通過對各姿態(tài)傳感器信息的融合進行姿態(tài)識別，利用語音識別作為姿態(tài)控制系統(tǒng)的輔助模塊實現(xiàn)了對遠程機器人更準確地控制。現(xiàn)有人機交互系統(tǒng)中操作員通常是通過基于視頻融合的增強現(xiàn)實技術獲取遠程機器人的反饋信息，但是視頻信息的傳輸存在較大時延，且操作者無法確認遠程機器人的運動軌跡是否與所預期的運動軌跡一致，本文所設計的以雙虛擬模型為主、視頻采集為輔的遠程機器人姿態(tài)信息反饋法很好得解決了這個問題。

1 人機交互系統(tǒng)的總體設計

人機交互系統(tǒng)的整體結構框架如圖1所示。

圖1 人機交互系統(tǒng)總體設計

該人機交互系統(tǒng)主要由多維傳感姿態(tài)識別、自適應性語音識別、雙虛擬機械臂、多維傳感姿態(tài)信息反饋以及3D視頻采集五大模塊組成，其中雙虛擬機械臂顯示模型如圖2所示。人機交互的基本流程為：通過陀螺儀傳感器與加速度傳感器獲取操作者手臂姿態(tài)改變時所產(chǎn)生的三軸加速度值和三軸角速度值；姿態(tài)識別模塊根據(jù)所獲取的三軸加速度值與三軸角速度值進行姿態(tài)解算，得到姿態(tài)角，判斷操作者的動作信息，并將動作指令傳遞給虛擬機械臂1；虛擬機械臂1獲取動作指令后，做出相應的動作，并儲存動作指令，若虛擬機械臂1所做動作正確，則操作者通過語音控制將動作指令傳遞給機械臂，若不正確則操作人員重新做出動作；遠端機械臂獲取動作指令執(zhí)行相關動作，并將自己的位姿信息通過多維傳感姿態(tài)信息反饋模塊經(jīng)無線網(wǎng)絡傳遞給虛擬機械臂2；虛擬機械臂2獲取機械臂的姿態(tài)信息后，更新自己的位姿，操作者便可根據(jù)虛擬機械臂1與2是否重合來判斷遠程機械臂是否做出正確動作。另該人機交互系統(tǒng)的3D 視頻顯示可作為輔助反饋方式使操作者對遠端機械臂的位姿信息進行監(jiān)測。

圖2 雙虛擬疊加顯示模型

2 多維傳感姿態(tài)識別模塊

姿態(tài)識別的步驟為：

（1）通過陀螺儀傳感器與加速度傳感器獲取手臂姿態(tài)改變時的角速度信息與加速度信息。

（2）對所獲取的角速度與加速度值進行解算得到姿態(tài)角信息。

（3）利用D－S證據(jù)理論進行信息融合對姿態(tài)進行判定姿態(tài)解算中采用地理坐標系與設備坐標系兩種坐標系對姿態(tài)的變化進行研究［6］，其中地理坐標系為參考坐標系。設備坐標系相對參考坐標系的轉(zhuǎn)變，可采用設備坐標系分別相對于參考坐標系X、Y、Z 軸所產(chǎn)生的有序旋轉(zhuǎn)運動表示，旋轉(zhuǎn)產(chǎn)生的角度即為姿態(tài)角。其產(chǎn)生的姿態(tài)角可分別使用偏移角φ （Yaw）、傾斜角θ （Pitch）和旋轉(zhuǎn)角γ（Roll）來表示。

2.1 基于陀螺儀傳感器求解姿態(tài)角

若直接采用坐標變換理論計算姿態(tài)角，則必須采用高階積分算法，為降低計算難度，在本文中，采用四元素法與坐標系變換理論相結合的方法對姿態(tài)角進行解算［7］。由姿態(tài)矩陣Cnb可實現(xiàn)設備坐標系到參考坐標系的變換

依據(jù)式 （1）旋轉(zhuǎn)順序，可得到

根據(jù)四元素法可得

2.2 基于加速度傳感器求解姿態(tài)角

加速度傳感器處于靜止狀態(tài)時，由于自身的重力影響，會在3個敏感軸上分別輸出加速度分量。這3個加速度分量共同作用形成的合量大小正好同重力相等，合量的方向又同重力方向相反。并且各輸出分量的大小取決于敏感軸與重力方向的夾角。在設備坐標系b 系下，重力場分量gb＝ ［Gx，Gy，Gz］T，當設備處于靜止狀態(tài)時，參考坐標系n系下的重力場分量為gb＝ ［0，0，－g］T。則可得傾斜角和旋轉(zhuǎn)角的計算公式如式 （4）與式 （5）所示

2.3 基于D－S證據(jù)理論的多傳感器信息融合

D－S證據(jù)理論可用于信息的融合［8，9］。

D－S證據(jù)理論的基本概念：

設θ是一個識別框架，在θ上的基本概率分配是一個2θ→ ［0 ，1］ 的函數(shù)m，稱為mass函數(shù)，并且滿足式 （6）

Dempster合成規(guī)則也稱為證據(jù)合成公式，其定義如下：

通過合成規(guī)則所得到的m（Ai）表示將某事件判定為Ai的概率。

文獻 ［10］中僅對某單一傳感器的加速度信號與角速度信號進行了信息融合。但是由某單一關節(jié)處的姿態(tài)傳感器信息無法正確判定人體的姿態(tài)動作，為了提高姿態(tài)識別精確度，本人機交互系統(tǒng)采用多個姿態(tài)傳感器對操作者的動作進行判定，并采用D－S證據(jù)理論對判定結果進行融合。

3 語音識別模塊

當判定虛擬機械臂1做出正確動作后，需要使用 “控制指令”將所儲存的 “動作指令”發(fā)送給遠端機械臂。當人體姿態(tài)發(fā)生變化時，姿態(tài)識別模塊會對人體的姿態(tài)進行識別，并將識別結果發(fā)送給虛擬機械臂1，若 “控制指令”仍由人體姿態(tài)發(fā)送，會導致系統(tǒng)將 “確認指令”識別為“控制指令”，并使虛擬機械臂1做出錯誤的動作。在本設計中采取語音控制的方式向控制系統(tǒng)發(fā)出 “控制指令”，避免了上述問題。

在本人機交互系統(tǒng)中將 “確認發(fā)送”、“結束操作”作為控制指令。另外，還可將多次正確操作后的動作指令組成成套動作儲存在動作指令庫里，當需要做某個成套動作時，直接使用語音命令調(diào)取動作指令，如“釋放”、“抓取”動作。

語音識別模塊充當?shù)氖遣僮魅藛T同遠程機器人姿態(tài)演示系統(tǒng)之間的一個交互接口。圖3為自適應性語音識別模塊的整體框架。

圖3 語音識別模塊整體框架

為了與虛擬機械臂1進行交互，本人機交互系統(tǒng)中的語音識別模塊采用MFC程序設計實現(xiàn)，可以很方便地調(diào)用孤立詞語音識別系統(tǒng)，進而將識別結果作為指令發(fā)送給控制系統(tǒng)的API接口進行語音識別消息和結果的通信。控制系統(tǒng)及時獲取用戶的語音信息并判斷是否發(fā)送所儲存的動作指令。

4 虛擬機械臂顯示模塊

文獻 ［11，12］中采用的反饋方法存在一些缺點：①由于視頻信息較大，視頻融合技術會造成較大的傳輸時延，系統(tǒng)的實時性較差；②視頻融合技術雖然使虛擬機械臂仿佛在現(xiàn)實環(huán)境中運動，但是僅通過視頻顯示法獲取遠程機器人的真實運動軌跡，且通過視頻顯示技術無法從各個角度觀察到遠程機器人的運動情況；③為了得到視頻反饋信息，需要在特定位置放置攝像頭，而由于遠程機器人工作環(huán)境的特殊性，可能無法準確獲取環(huán)境信息。為了提高遙操作的精確度和安全性，需要設計傳輸時延小、能從任意角度反映遠程機器人的運動狀況的人機交互系統(tǒng)。針對上述問題，本系統(tǒng)采用虛擬機械臂1與虛擬機械臂2疊加顯示的界面及反饋系統(tǒng)。

虛擬機械臂的繪制采用OpenGL和MFC聯(lián)合繪制的方式。雙虛擬機械臂疊加顯示遙操作控制流程如圖4所示。

圖4 雙虛擬機械臂疊加顯示遙操作控制流程

姿態(tài)傳感器獲取機械臂的姿態(tài)信息將其傳遞給虛擬機械臂2。操作者可通過觀察虛擬機械臂1與虛擬機械臂2是否重合來判斷機械臂是否有按照要求做出正確動作。這種反饋方式與基于視頻融合的反饋方式相比所需傳輸?shù)臄?shù)據(jù)小，傳輸時延小，大大縮短了等待時間，提高了作業(yè)效率，并且可以從任意角度觀察兩個虛擬機械臂的運動狀態(tài)。虛擬機械臂2還可以通過角度補償來消除時延的影響，從而實現(xiàn)與真實機械臂運動的基本同步。

5 實驗結果

針對遠程機器人的主要工作部位機械臂，本人機交互系統(tǒng)實現(xiàn)了對機械臂的上、下、左、右、順時針旋轉(zhuǎn)、逆時針旋轉(zhuǎn)6個動作的控制。實驗選擇在操作者腕關節(jié)、肘關節(jié)、肩關節(jié)3個部位固定姿態(tài)傳感器。當操作者分別做出上、下、左、右、順時針旋轉(zhuǎn)、逆時針旋轉(zhuǎn)這6 個動作時，姿態(tài)識別模塊將通過姿態(tài)傳感器獲取加速度值與角速度值，通過第2小節(jié)中所描述的四元素法經(jīng)過計算可以得到各個姿態(tài)傳感器相對于X、Y、Z軸的姿態(tài)角如圖5所示。

圖5 6個基本動作各姿態(tài)傳感器的姿態(tài)角

從圖5看出，可由各個傳感器姿態(tài)角的變化對手臂動作進行識別，定義當3個姿態(tài)傳感器相對于Y 軸的姿態(tài)角向負方向變化時為上移動作，向正方向變化時為下移動作；當肘部姿態(tài)傳感器相對于Z 軸的姿態(tài)角向負方向，腕部姿態(tài)傳感器與肩部姿態(tài)傳感器相對于Z軸的姿態(tài)角向正方向變化時為左移動作，當肘部姿態(tài)傳感器相對于Z 軸的姿態(tài)角向正方向，腕部姿態(tài)傳感器與肩部姿態(tài)傳感器相對于Z軸的姿態(tài)角向負方向變化時為右移動作；當3個姿態(tài)傳感器相對于X 軸的姿態(tài)角向負方向變化時為逆時針旋轉(zhuǎn)動作，向正方變化時為順時針旋轉(zhuǎn)動作。

通常人體的動作無法保證一定為很規(guī)則的動作，會導致不僅僅相對于某單一軸的姿態(tài)角變化，這時可先分別計算出每個傳感器將該動作識別為上述6個動作的概率，再根據(jù)第2小節(jié)中所闡述的D－S證據(jù)理論，對3個傳感器的識別結果進行信息融合，以提高姿態(tài)識別的準確度。

為了計算識別動作概率，通過多次實驗，將6 個動作對應于腕關節(jié)、肘關節(jié)、肩關節(jié)三處傳感器的姿態(tài)角閾值φ分別設為：上移——分別相對于Y 軸減小15 度、15 度、20度；下移——分別相對于Y 軸增大15 度、15 度、20度；左移——腕關節(jié)處傳感器相對于Z軸增大14度，肘關節(jié)處傳感器相對于Z軸減小22度，肩關節(jié)處傳感器相對于Z軸增大13度；右移——腕關節(jié)處傳感器相對于Z軸減小14度，肘關節(jié)處傳感器相對于Z軸增大22度，肩關節(jié)處傳感器相對于Z軸減小13度；逆時針旋轉(zhuǎn)——分別相對于X軸減小28度、10度、5度；順時針旋轉(zhuǎn)——分別相對于X軸增大28度、10度、5度。

令θ為人體姿態(tài)定義的識別框架如 （8）所示興趣事件θi之間是互相排斥的，它們的信任函數(shù)值大于0分別為A1、A2、A3、A4、A5、A6。興趣事件確定以后，必要的基本信任函數(shù)mi（·）也被定義，其中i由某一關節(jié)處的姿態(tài)傳感器所確定。當操作者做出動作時，mi（Aj）代表通過各關節(jié)處傳感器的姿態(tài)角值將所做動作分別識別為6個基本動作的概率。設角度變化值為α，當α的值大于某基本動作的閾值時才判定為該基本動作，由于文中給出的6個基本動作為兩兩相對動作，上下、左右、順逆時針不可能同時發(fā)生，所以操作者的動作只會被識別為其中某3個動作，令μi、m （j）分別為某一姿態(tài)傳感器將所做動作識別為某一基本動作的準確度和概率，則

操作者做出一個不規(guī)則的上移偏左動作，經(jīng)過姿態(tài)角解算后，獲得的各姿態(tài)傳感器相對于X、Y、Z軸的姿態(tài)角如圖6所示。

圖6 不規(guī)則動作姿態(tài)角

腕關節(jié)處傳感器相對于X、Y、Z軸改變的角度值分別為：增大30±1度、減小23±1度、增大20±1度，則

肘關節(jié)處傳感器相對于X、Y、Z軸改變的角度值分別為：增大13±1度、減小25±1度、增大28±1度，則

肩關節(jié)處傳感器相對于X、Y、Z軸改變的角度值分別為：減小6±1度、減小30±1度、增大13±1度，則

通過第2小節(jié)中所闡述的D－S證據(jù)理論合成規(guī)則可將上述3組數(shù)據(jù)進行信息融合，得到

則該動作被判定為向上移動。

當姿態(tài)識別模塊對姿態(tài)進行識別以后將向上移動的指令傳遞給虛擬機械臂1，虛擬機械臂1做出向上移動動作，此時遠端機械臂處于初始狀態(tài)，虛擬機械臂2同樣處于初始狀態(tài)，如圖7所示。

圖7 真實機械臂與虛擬機械臂狀態(tài)1

通過觀察虛擬機械臂1所做動作，判斷姿態(tài)識別結果正確，由語音發(fā)出 “確認”指令，將 “向上移動”動作指令無線發(fā)送給遠端機械臂，機械臂做出對應動作，并通過機械臂上所固定的姿態(tài)傳感器將機械臂的動作信息反饋給虛擬機械臂2，虛擬機械臂2 接收到信息后，做出相應動作。如圖8所示。

圖8 真實機械臂與虛擬機械臂狀態(tài)2

通過觀察虛擬機械臂2所做動作，可判定遠端機械臂做出正確動作。若虛擬機械臂1 與虛擬機械臂2 未重合，存在位置差異，則采用角度補償使虛擬機械臂1與2重合，進而正確模擬遠端機械臂動作。當操作者從返回中的視頻中進一步觀察到遠端機械臂完成任務后，由語音發(fā)出 “結束”指令。

筆者讓10名被測試者在不同環(huán)境各做50個動作進行系統(tǒng)測試，結果表明向上移動、向右移動、順時針旋轉(zhuǎn)，識別正確率達到100%；向左移動識別率為98%；向下移動識別率為99%，逆時針旋轉(zhuǎn)識別率為98%。對數(shù)據(jù)記錄進行分析發(fā)現(xiàn)，錯誤動作的產(chǎn)生是由于被測試者的動作幅度過小，使得姿態(tài)角未達到規(guī)定閾值所產(chǎn)生的。通過訓練，可避免這種錯誤的產(chǎn)生，使得正確率達到99.99%。以上結果表明本文采用的基于姿態(tài)角的人體姿態(tài)識別方法，具有較高的識別率。實驗結果驗證了本文所介紹系統(tǒng)的可行性及可靠性，表明該機交互系統(tǒng)具有很好的工程應用價值。

6 結束語

本文提出并實現(xiàn)了一種高穩(wěn)定、高準確率、易操作的遙操作人機交互系統(tǒng)，該系統(tǒng)采用姿態(tài)傳感器獲取人體姿態(tài)信息，此方法比圖像獲取法成本更低、速度更快；基于D－S證據(jù)理論的多個姿態(tài)角信息融合法，有效提高了姿態(tài)識別準確度；采用的語音輔助控制方式使得操作更方便、動作指令更準確；雙虛擬為主、視頻信息為輔的反饋方法大大縮短了等待時間，提高了作業(yè)效率，并且從任意角度都可觀察到兩個虛擬機械臂的運動狀態(tài)，由此可得到更多反饋信息。

本人機交互系統(tǒng)目前實現(xiàn)了上移、下移、左移、右移、逆時針旋轉(zhuǎn)、順時針旋轉(zhuǎn)6個基本動作。在以后的研究中可應用本文所設計的系統(tǒng)原理計算出操作者的運動距離實現(xiàn)更復雜更精細動作的交互。

［1］CHEN Yimin，ZHANG Yunhua.Research on human－robot interaction technique based on hand gesture recognition ［J］.Robot，2009，31 （4）：351－356 （in Chinese）. ［陳一民，張云華.基于手勢識別的機器人人機交互技術研究 ［J］.機器人，2009，31 （4）：351－356.］

［2］Brahem MB，Ménélas BAJ，Otis MJD.Use of a 3DOF accelerometer for foot tracking and gesture recognition in mobile HCI［J］.Procedia Computer Science，2013，19：453－460.

［3］TAN Tongde，GUO Zhimin.Reserch on location and gesture recognition of hand based on binocular stereo－vision ［J］.Computer Engineering and Design，2012，33 （1）：259－264 （in Chinese）.［譚同德，郭志敏.基于雙目視覺的人手定位與手勢識別系統(tǒng)研究 ［J］.計算機工程與設計，2012，33 （1）：259－264.］

［4］Ren Zhou，Meng Jingjing，Yuan Junsong.Depth camera based hand gesture recognition and its applications in human－computer－interaction ［C］／／International Conference on Information，Communications and Signal Processing.IEEE，2011：1－5.

［5］LI Hui，ZHUANG Jie，WANG Jiaming.High stability mobile terminalof VGA interface design based on ARM and Linux ［J］.Computer Engineering and Design，2014，35 （4）：1236－1241（in Chinese）.［李輝，莊杰，王佳明.基于ARM－Linux的移動終端高穩(wěn)定VGA 接口設計 ［J］.計算機工程與設計，2014，35 （4）：1236－1241.］

［6］XIAO Qian，YANG Ping，XU Libo.A gesture recognition method based on MEMS IMU ［J］.Chinese Journal of Sensors and Actuators，2013，26 （5）：611－615 （in Chinese）.［肖茜，楊平，徐立波.一種基于MEMS慣性傳感器的手勢識別方法［J］.傳感技術學報，2013，26 （5）：611－615.］

［7］Yun X，Bachmann ER，McGhee RB.A simplified quaternionbased algorithm for orientation estimation from earth gravity and magnetic field measurements ［J］.IEEE Transactions on Instrumentation and Measurement，2008，57 （3）：638－650.

［8］Sun Rui，Huang Hongzhong，Miao Qiang.Improved information fusion approach based on D－S evidence theory ［J］.Journal of Mechanical Science and Technology，2008，22 （12）：2417－2425.

［9］Liu Jialin，Gong Bengang.Analysis of uncertainty multi－attribute group decision making process based on D－S evidence theory ［J］.Journal of Computers，2011，6 （4）：711－717.

［10］CHEN Hangke，ZHANG Dongsheng，SHENG Xiaochao，et al.Research on signal fusion technology of attitude sensor based on Kalman filtering algorithm ［J］.Transduce and Microsystem Technologies，2013，32 （12）：82－85 （in Chinese）.［陳航科，張東升，盛曉超，等.基于Kalman濾波算法的姿態(tài)傳感器信號融合技術研究 ［J］.傳感器與微系統(tǒng)，2013，32 （12）：82－85.］

［11］NI Xiaoyun，ZHENG Jianrong，ZHOU Wei.Design and implementation of augmented reality software system ［J］.Computer Engineering and Design，2009，30 （9）：2297－2300 （in Chinese）.［倪曉赟，鄭建榮，周煒.增強現(xiàn)實系統(tǒng)軟件平臺的設計與實現(xiàn) ［J］.計算機工程與設計，2009，30 （9）：2297－2300.］

［12］LI Xin，YOU Bo.The application of video fusion in telerobot system ［J］.Image Processing and Multimedia Technology，2010，9：41－43（in Chinese）.［李鑫，尤波.視頻融合在遙操作機器人系統(tǒng)中的應用［J］.微型機與應用，2010，9：41－43.］

［13］LI Dongjie.Reserch on key technologies of internet－based telerobot control system ［D］.Harbin：Harbin University of Science ＆Tchnology，2009 （in Chinese）. ［李東潔.基于Internet的遙機器人控制系統(tǒng)關鍵技術研究 ［D］.哈爾濱：哈爾濱理工大學，2009.］