Kinect與Darwin機(jī)器人的聯(lián)合調(diào)試與仿真平臺的設(shè)計與實現(xiàn)

鄧曉燕+潘文俊+鄭鎮(zhèn)城+林燦光+付志平+張廣滔

摘 要：機(jī)器人模仿學(xué)習(xí)是機(jī)器人技術(shù)的重要研究方向之一。針對機(jī)器人動作模仿學(xué)習(xí)，設(shè)計了Kinect和Darwin-OP2機(jī)器人的聯(lián)合調(diào)試與仿真平臺。該平臺主要包括圖像采集模塊、運動控制模塊和3D模型仿真模塊，具有人體姿態(tài)解算、機(jī)器人實時狀態(tài)監(jiān)控及姿態(tài)仿真、與下位機(jī)網(wǎng)絡(luò)通信及遠(yuǎn)程實時跟蹤控制等功能。測試結(jié)果顯示，該平臺響應(yīng)迅速、網(wǎng)絡(luò)通信機(jī)制穩(wěn)定、交互界面友好，能較好地實現(xiàn)機(jī)器人動作模仿學(xué)習(xí)。

關(guān)鍵詞：模仿學(xué)習(xí)；機(jī)器人；調(diào)試與仿真

中圖分類號：TP242.6 文獻(xiàn)標(biāo)志碼：A

Design of Joint Debugging and Simulation Platform for Kinect and Darwin Robot

DENG Xiao-yan，PAN Wen-jun，ZHENG Zhen-cheng，LIN Can-guang，F(xiàn)U Zhi-ping，ZHANG Guang-tao

（School of Automation Science and Engineer，South China University of Technology，Guangzhou，Guangdong 510641，china）

Abstract：The joint debugging and simulation platform of Kinect and Darwin-OP2 humanoid robot for imitation learning is desigened.The platform mainly includes image acquisition module，motion control module and 3Dmodel simulation module，which has the functions of human body attitude solution，robot real-time condition monitoring and attitude simulation，communication with the lower computer through network and remote real-time tracking control.The experimental results show that the platform is responsive，the network communication mechanism is stable，the interface is friendly，and the robot action simulation can be realized well.

Key words：imitation learning，robotics，debugging and simulation

傳統(tǒng)機(jī)器人往往按照事先編好的運動軌跡完成固定的動作，這樣的控制方式對于復(fù)雜的動作編程工作量浩大，而且事先建立好的環(huán)境模型深深地影響著控制效果，具有很大的局限性，難以適應(yīng)不同的場景與環(huán)境[1]。而隨著用戶對于人機(jī)交互程度的要求不斷提升，利用動作交互設(shè)備實現(xiàn)遠(yuǎn)程在線控制機(jī)器人成為了一個重要的研究方向[2]。對此，一種更加開放式的模仿學(xué)習(xí)技術(shù)越來越受到大家的青睞。通過模仿學(xué)習(xí)[3]，人們只需要獲取示教者的動作姿態(tài)，進(jìn)而得到機(jī)器人的控制序列，實現(xiàn)對于機(jī)器人的實時任意姿態(tài)控制。

對于模仿學(xué)習(xí)的研究，需要對示教者的行為進(jìn)行檢測與表征，而在過去的做法往往需要通過接觸式的設(shè)備來獲取示教者的姿態(tài)狀態(tài)，對設(shè)備和示教者的要求較高[4]。隨著體感攝像頭價格的不斷下降，通過圖像的方法來提取示教者行為特征成為一種新趨勢，因此，以視覺為基礎(chǔ)的模仿學(xué)習(xí)研究將是未來一個很重要的方向。

在研究機(jī)器人動作模仿學(xué)習(xí)的過程中，若直接在機(jī)器人系統(tǒng)上進(jìn)行調(diào)試控制，開發(fā)過程會較為繁瑣，因此很有必要設(shè)計一個調(diào)試與仿真平臺，實現(xiàn)對機(jī)器人的控制和狀態(tài)觀測。本文以Qt為開發(fā)工具，結(jié)合Kinect體感傳感器和Darwin-OP2機(jī)器人[5]，設(shè)計出一個具有被模仿者骨骼信息提取、機(jī)器人狀態(tài)實時監(jiān)控、機(jī)器人姿態(tài)仿真、與下位機(jī)網(wǎng)絡(luò)通信、遠(yuǎn)程實時跟蹤控制等功能的上位機(jī)動作跟蹤系統(tǒng)。

1 聯(lián)合調(diào)試與仿真平臺的總體設(shè)計方案

本文以Kinect體感傳感器和Darwin-OP2機(jī)器人為研究背景，通過Kinect體感傳感器獲取被模仿者姿態(tài)[6]，作為機(jī)器人模仿的樣例，利用Z-Y-Z歐拉角解算[7]的方法將人體姿態(tài)和Darwin-OP2機(jī)器人各關(guān)節(jié)按級聯(lián)順序直接關(guān)聯(lián)起來，而解析的結(jié)果直接對應(yīng)Darwin-OP2機(jī)器人的各個關(guān)節(jié)轉(zhuǎn)動角度，再根據(jù)重心穩(wěn)定規(guī)則[8]求取其他關(guān)節(jié)的轉(zhuǎn)動角度，經(jīng)過機(jī)器人運動控制程序，達(dá)到對每個電機(jī)轉(zhuǎn)動角度的控制，從而使機(jī)器人復(fù)現(xiàn)被模仿者的動作姿態(tài)，實現(xiàn)在線模仿功能。該過程的整體實現(xiàn)流程如圖1所示。一個良好的調(diào)試平臺可以幫助操作者更好的使用和測試，因此本文將搭建起一個功能模塊化、拓展性良好，網(wǎng)絡(luò)通信機(jī)制穩(wěn)定、交互界面友好的聯(lián)合調(diào)試平臺，以方便用戶對于機(jī)器人的調(diào)試控制，為進(jìn)一步的機(jī)器人模仿學(xué)習(xí)研究提供便利。

Kinect與Darwin-OP2機(jī)器人的聯(lián)合調(diào)試與仿真平臺的框架如圖2所示，主要分為3個部分：圖像采集模塊、運動控制模塊和3D模型仿真模塊，各模塊之間通過上位機(jī)實現(xiàn)連接。

三個組成部分從上到下分別對應(yīng)運動控制模塊、圖像采集模塊和3D模型仿真模塊。圖像采集模塊利用OpenNI提供的Kinect驅(qū)動程序?qū)崿F(xiàn)圖像的采集，通過讀取Kinect傳輸回來的數(shù)據(jù)流，得到人體骨骼信息，以用于后面的姿態(tài)解算。利用解算出來的姿態(tài)角，通過運動控制模塊，經(jīng)過UDP的網(wǎng)絡(luò)傳輸過程，把控制信號發(fā)送到Darwin-OP2機(jī)器人上。3D模型仿真則是通過OpenGL的圖形程序接口，便能很簡單地生成出三維圖像，把姿態(tài)角轉(zhuǎn)換成各個機(jī)器人關(guān)節(jié)的旋轉(zhuǎn)矩陣，通過坐標(biāo)轉(zhuǎn)換就可以實現(xiàn)對機(jī)器人狀態(tài)的3D模型仿真。endprint

實際平臺效果圖如圖3所示，該平臺界面分成了四個部分。左上角（第1部分）為RGB圖像或仿真圖像顯示窗口。右上角（第2部分）為控制信號顯示窗口，用于人為控制Darwin-OP2機(jī)器人各舵機(jī)旋轉(zhuǎn)角度。左下角（第3部分）為控制指令窗口，包含網(wǎng)絡(luò)連接設(shè)置以及各種控制指令按鈕。右下角（第4部分）是Darwin-OP2機(jī)器人各舵機(jī)實時狀態(tài)顯示窗口，反饋了Darwin-OP2機(jī)器人各舵機(jī)旋轉(zhuǎn)角度的當(dāng)前值。

2 各模塊的具體實現(xiàn)

2.1 圖像采集模塊

圖像采集模塊工作流程如下圖4所示。平臺采用OpenNI 1.57版本驅(qū)動，支持Kinect1.0體感設(shè)備的圖像獲取與初步處理，通過加載源碼編譯生成的OpenCV庫，可以實現(xiàn)實時的圖像采集并在用戶界面進(jìn)行彩圖以及人體骨骼點平面化的聯(lián)合顯示。同時，該模塊在后臺將采集到的骨骼信息進(jìn)行適當(dāng)補(bǔ)償與濾波處理，得到相對平滑有效的骨架矢量信息，再通過歸一化處理，得到標(biāo)準(zhǔn)的三維骨骼結(jié)構(gòu)信息。對于得到的標(biāo)準(zhǔn)的三維骨骼結(jié)構(gòu)信息，利用Z-Y-Z歐拉角解算方法進(jìn)行關(guān)節(jié)轉(zhuǎn)動角度的分析與計算，實現(xiàn)了Kinect關(guān)節(jié)解析到Darwin-OP2機(jī)器人的關(guān)節(jié)映射。

2.2 運動控制模塊

圖5展示了運動控制模塊的工作流程。通過UDP網(wǎng)絡(luò)通訊的方法[9]與Darwin-OP2機(jī)器人建立局域網(wǎng)內(nèi)的鏈接訪問，采用用戶自定義協(xié)議加強(qiáng)UDP通訊的可靠性，數(shù)據(jù)均打包成以“$<指令>，<參數(shù)1>，<參數(shù)2>，...，<參數(shù)n>，<校驗位>＼＼r＼＼n”為形式的一個數(shù)據(jù)幀進(jìn)行傳輸。發(fā)送控制指令幀，即可把各舵機(jī)旋轉(zhuǎn)角度控制量發(fā)送到機(jī)器人控制程序中，從而實現(xiàn)運動控制。為了達(dá)到對機(jī)器人舵機(jī)空間的監(jiān)控，該模塊還保留了對舵機(jī)狀態(tài)查詢的功能。平臺向機(jī)器人發(fā)送了讀取狀態(tài)指令后，機(jī)器人通過網(wǎng)絡(luò)，把當(dāng)前舵機(jī)狀態(tài)量以數(shù)據(jù)幀的形式傳輸?shù)狡脚_上，經(jīng)過分割后顯示出20個舵機(jī)的當(dāng)前狀態(tài)量。

同時，還采用自定義的指令集系統(tǒng)和機(jī)器人進(jìn)行交互訪問，并保留了命令行控制模式使其指令拓展更具靈活性，常用指令有：INIT，READ，F(xiàn)ILE，DATA等。其中，常用指令集可以通過按鈕操作直接作用，如控制機(jī)器人進(jìn)行一鍵蹲坐與站立，采集機(jī)器人關(guān)節(jié)信息及軀干傾斜角度，設(shè)置關(guān)節(jié)轉(zhuǎn)動速度等。同時，通過右上側(cè)面板的20個角度控件與20個使能控件，用戶可以以點對點模式控制單個或多個關(guān)節(jié)點轉(zhuǎn)動相應(yīng)角度或者上電與掉電。平臺支持將采集到的機(jī)器人關(guān)節(jié)信息進(jìn)行自動保存，方便用戶對機(jī)器人進(jìn)行各種姿態(tài)的動作庫錄入，為后期的動作模仿學(xué)習(xí)算法研究做準(zhǔn)備。

2.3 3D模型仿真模塊

通過加載OpenGL庫，利用3D模型渲染方法構(gòu)建出機(jī)器人的一般形態(tài)[10]。該模型具有20個關(guān)節(jié)自由度，與Darwin機(jī)器人的關(guān)節(jié)一一對應(yīng)，且其歐拉旋轉(zhuǎn)順序相同，最大程度上確保該解析方式的正確性。用戶在3D界面可以實現(xiàn)任意視角切換，通過鼠標(biāo)左右鍵拖動實現(xiàn)繞不同參考軸旋轉(zhuǎn)從而找尋到最佳觀察視角。當(dāng)選擇實時演示時，右上側(cè)各關(guān)節(jié)的角度值一旦發(fā)生變化，則3D模型機(jī)器人自動按該歐拉角解析的方式進(jìn)行相對應(yīng)的變化。同時分析和計算重心位置，并能自動調(diào)節(jié)腳部關(guān)節(jié)角度使其穩(wěn)定站立。這樣，在不啟用機(jī)器人的情況下，用戶也可以實現(xiàn)Kinect到機(jī)器人之間的映射控制，大大縮短了調(diào)試過程。

該模塊的工作流程如圖6所示。平臺利用解算出來的姿態(tài)角得到各個舵機(jī)的旋轉(zhuǎn)角度，再通過歐拉角解析的方式得到模型各個關(guān)節(jié)的旋轉(zhuǎn)矩陣，最后調(diào)用OpenGL庫中的旋轉(zhuǎn)函數(shù)，實現(xiàn)對模型各個關(guān)節(jié)的旋轉(zhuǎn)控制，從而達(dá)到仿真的目的。仿真結(jié)果顯示在調(diào)試和仿真平臺界面左上角（第1部分），顯示效果如圖7所示。

3 測試結(jié)果及分析

圖8所示為一組機(jī)器人模仿人體動作的效果圖，系統(tǒng)能夠很好地實時跟蹤被模仿者，較好地實現(xiàn)模仿學(xué)習(xí)。由于融合了雙足機(jī)器人重心穩(wěn)定規(guī)則，因此機(jī)器人能自動調(diào)節(jié)重心位置，從而實現(xiàn)全身的動作模仿學(xué)習(xí)。

平臺控制效果測試結(jié)果如表1所示。選取了圖8第一個被模仿動作的數(shù)據(jù)作為參考數(shù)據(jù)，得到了機(jī)器人模仿數(shù)據(jù)，測試結(jié)果顯示兩組數(shù)據(jù)一致性較好，表明控制信號通過網(wǎng)絡(luò)傳輸有效地實現(xiàn)了對機(jī)器人的遠(yuǎn)程控制。

5 結(jié) 語

通過將Kinect體感傳感器和Darwin-OP2機(jī)器人相結(jié)合，搭建了一個交互友好，響應(yīng)迅速，傳輸穩(wěn)定的聯(lián)合調(diào)試與仿真平臺。該平臺實現(xiàn)了對人體肢體動作的捕捉并且映射到機(jī)器人狀態(tài)空間，從而達(dá)到實時動作跟蹤的功能。聯(lián)合調(diào)試與仿真平臺的進(jìn)一步完善的方向是結(jié)合模仿學(xué)習(xí)的內(nèi)容，利用該平臺對機(jī)器人進(jìn)行示教，使得機(jī)器人能自主學(xué)習(xí)并完成特定動作。

參考文獻(xiàn)

[1] 王奇志，徐德，時魯艷.機(jī)器人模仿學(xué)習(xí)與人機(jī)交互的學(xué)習(xí)控制綜述[C].中國控制與決策會議.2013.

[2] 陳家順.基于人機(jī)交互的機(jī)器人動作模仿學(xué)習(xí)[D].廣州：華南理工大學(xué)，2015.

[3] 門玉森.基于軌跡匹配的模仿學(xué)習(xí)在類人機(jī)器人運動行為中的研究[D].北京工業(yè)大學(xué)，2016.

[4] 馬樂.基于非接觸觀測信息的機(jī)器人行為模仿學(xué)習(xí)[D].沈陽工業(yè)大學(xué)，2014.

[5] Li X，Li Y，Cui X.Kinematic analysis and gait planning for a DARwIn-OP Humanoid Robot[C]// IEEE International Conference on Robotics and Biomimetics.IEEE，2017：1442-1447.

[6] 吳秦，陳智，周宇旋，等.基于Kinect骨骼跟蹤技術(shù)的人機(jī)交互[J].常州大學(xué)學(xué)報：自然科學(xué)版，2014，（03）：6-12.

[7] 王勇，呂群松，劉暢，等.剛體定點轉(zhuǎn)動歐拉角的幾何性質(zhì)[J].遼寧大學(xué)學(xué)報：自然科學(xué)版，2009，（03）：197-200.

[8] 付根平，楊宜民，陳建平，等.基于ZMP誤差校正的仿人機(jī)器人步行控制[J].機(jī)器人，2013，（01）：39-44.

[9] 趙飛，葉震.UDP協(xié)議與TCP協(xié)議的對比分析與可靠性改進(jìn)[J].計算機(jī)技術(shù)與發(fā)展，2006，（09）：219-221.

[10] 宋薇，章亞男，見浪護(hù)，等.基于OpenGL的仿人機(jī)器人步行仿真研究[J].系統(tǒng)仿真學(xué)報，2013，（02）：203-208.endprint