基于Kinect的臨場機器人設計與實驗研究

王興偉，錢 鈞

（合肥工業大學 機械工程學院，合肥 230009）

基于Kinect的臨場機器人設計與實驗研究

王興偉，錢 鈞

（合肥工業大學 機械工程學院，合肥 230009）

針對臨場機器人成本過高、不能識別追蹤特定人員的問題，搭建了一款基于Kinect的低成本臨場機器人，可識別追蹤特定人員。基于ROS搭建了機器人控制系統，首先利用Kinect和編碼器實現2D-SLAM；然后利用Kinect通過人臉識別出特定人員并確定人體位置；最后進行路徑規劃追蹤特定人員。通過實驗，該款機器人可有效追蹤特定人員。

臨場機器人；Kinect；SLAM；人員識別與追蹤

0 引言

目前臨場機器人的需求越來越大[1]，但成本較高，難以推廣。機器人主要通過激光、聲吶、視覺等外部傳感器獲取環境信息[2]。文獻[3～5]主要通過激光雷達或者激光雷達配合視覺等其他傳感器實現機器人對周圍環境的感知，得到的數據精確，但成本高昂；且僅依靠激光雷達難以完成人員識別等任務。視覺傳感器成本低、數據豐富，基于視覺傳感器的機器人環境感知技術已日趨成熟。文獻[6～9]主要使用視覺傳感器實現了機器人的環境信息獲取。

綜上，機器人利用視覺傳感器可以更低成本的獲取更豐富的外界信息。本文設計的臨場機器人使用分布廣泛的無線網絡、低成本開源控制器、Kinect視覺傳感器、Ubuntu操作系統和ROS（機器人操作系統），構造簡單、經濟性強、易于功能拓展。機器人平臺實現了SLAM（同時定位與制圖）、人臉識別與人員追蹤，可應用于遠程臨場任務。

1 機器人本體設計及傳感器校準

本文所設計的機器人實體如圖1所示。

機器人為雙輪驅動，電機經過諧波減速器后再通過同步帶將動力傳遞給驅動輪。機器人主要傳感器為Kinect視覺傳感器和編碼器。下位機是安裝有Debian操作系統的BeagleboneBlack開源控制器。上位機為安裝有Ubuntu和ROS的筆記本電腦。遠程控制平臺可為任意一臺接入網絡的計算機。控制平臺可通過遠程控制機器人上位機，進而控制機器人。

圖1 機器人實體

Kinect的RGB攝像頭和紅外攝像頭標定使用MATLAB的Toolbox_calib工具箱完成。標定完成可得到兩個攝像頭的內參分別為Hrgb和Hir，然后進行配準。

設空間某點P在深度攝像頭坐標系和RGB攝像頭坐標系下的坐標分別為Pir和Prgb，則有：

設R、T分別為紅外攝像頭坐標系到RGB攝像頭坐標系的旋轉矩陣和平移向量。則有：

根據式(1)～式(3)可求得：

2 控制系統設計

2.1 機器人控制系統總體設計

機器人使用人員識別與定位程序得到的位置數據和2D-SLAM程序得到的地圖，通過ROS導航功能包完成實時路徑規劃。上位機通過網絡通信將運動指令傳遞給下位機控制機器人動作。機器人控制系統的各程序使用ROS完成整合，總的程序流程為：

1）利用2D-SLAM程序構建環境地圖。

2）人員識別與定位程序識別出特定人員后，實時追蹤該人員并確定其與機器人的相對位置。

3）坐標轉換確定要追蹤的人體在環境地圖中的位置。

4）使用ROS導航功能包規劃出機器人運動路徑。

5）上位機將運動指令傳給下位機控制機器人運動。

2.2 機器人運動學分析

本文所設計的機器人可以實現原地轉向、直行和圓弧轉彎等運動。在此僅分析圓弧轉彎模式，則直線運動轉彎半徑為無窮大，原地轉向轉彎半徑為零。

其中，V和R分別為機器人的運動速度與轉彎半徑，ω1和ω2為兩驅動輪的角速度，r為驅動輪半徑，d為兩驅動輪間距。

2.3 2D-SLAM程序設計

本文主要使用Kinect和編碼器的數據完成臨場機器人2D-SLAM。使用擴展卡爾曼濾波算法（EKF）對基于編碼器的里程計數據和視覺里程計數據進行融合提高機器人定位精度。機器人圓弧轉彎運動模型如圖2所示。

圖2 機器人圓弧轉彎運動模型

利用Kinect傳感器，根據特征提取與匹配算法提取相鄰兩幀圖像的特征點并結合深度圖像得到特征點三維坐標。根據特征點的三維坐標變換得到剛體的旋轉矩陣和平移向量，進而得到機器人的位姿變化。機器人基于視覺里程計的位姿測量模型為：

2D-SLAM程序流程圖如圖3所示。

圖3 2D-SLAM程序流程圖

2.4 人員識別與定位程序設計

本文設計的人員識別與跟蹤程序，首先進行人臉識別以此選定跟蹤區域，并不斷判斷跟蹤區域周圍是否可檢測出人體，如果檢測出人體，即將人體更新為跟蹤目標。然后使用Camshift算法結合卡爾曼濾波算法對目標進行跟蹤，并實時計算出目標中心與機器人的相對位置。其中Camshift算法是對每一幀圖像進行Meanshift算法處理，把前一幀的結果當作后一幀Meanshift算法的初始值，依次迭代[10]。程序流程圖如圖4所示。

在Kinect配準完成以后，兩個攝像頭采集圖像的像素點有對應關系。設RGB圖像中離跟蹤區域中心點最近的深度值不為零的點為C，點C相對于機器人的位置為（X,Y,Z），則有：

圖4 人員識別與定位程序流程圖

其中，（m,n）代表C在深度圖像對應點的像素坐標。z表示（m,n）點的深度值，（Cx,Cy）表示深度攝像頭的主點，fx、fy表示深度攝像頭的焦距。

3 實驗結果及分析

根據以上分析將實驗分為三部分。首先進行Kinect聯合標定實驗，配準深度圖像和RGB圖像；其次進行2D-SLAM實驗生成環境地圖；最后進行人員識別與追蹤實驗，驗證整個方案的可行性。

3.1 Kinect聯合標定實驗

本文采用MATLAB Toolbox_calib工具箱完成對Kinect的標定，得到紅外攝像頭和RGB攝像頭的內參矩陣Hir和Hrgb。兩個攝像頭分別對同一位姿的標定板求外參數得到Rir、Tir和Rrgb和Trgb。

根據標定結果和式(4)、式(5)得：

根據R和T對同時獲取的RGB圖像與深度圖像進行處理生成一幀點云數據，顯示如圖5所示。

圖5 生成的點云圖

點云圖證明兩個攝像頭圖像的配準比較精確。

3.2 2D-SLAM實驗

選擇環境較為復雜的實驗室作為實驗場景。實驗室中間放置桌子和宣傳板等物品，圍繞實驗室中間的物品劃定長方形作為參考運動軌跡?？刂茩C器人沿參考軌跡運動一周得到圖6，圖中紅色方塊表示機器人。根據參考運動軌跡與SLAM得到的定位數據得到圖7。

圖6 2D-SLAM結果圖

圖7 機器人運動軌跡

分析圖7，考慮到機器人的中心很難完全沿參考運動軌跡運動，比較兩條軌跡各取值點間的Δx和Δy近乎相等。因此，機器人的定位是比較精確的。

3.3 人員識別與追蹤實驗

以Kinect的RGB攝像頭中心位置為坐標原點，實測Kinect對人體的檢測范圍得到圖8。Kinect可檢測到人體的范圍是圖8中以三角形為節點的折線所夾的區域，可精確檢測人體位置的范圍為以圓圈為節點的折線所圍成的扇形區域。

圖8 Kinect可檢測人體位置的范圍

根據Kinect參數和實驗數據，本文設定機器人有效檢測區域為圖8灰色扇形區域。該區域是在Y大于零時由以下四個方程所圍成。

在機器人追蹤特定人員過程中要保證人體處于機器人的有效檢測區域內。使用人員識別與定位程序識別出需要追蹤的人員，并且得到人體與機器人的相對位置，如圖9所示。

圖9 人員識別與位置檢測圖

在得到要追蹤的人員相對于機器人的位置后，通過坐標系轉換，確定該人員在地圖中的位置，使用ROS導航功能包完成機器人導航，結果如圖10所示。

圖10 機器人導航結果

4 結論

本文設計了一款雙輪臨場機器人，采用Kinect視覺傳感器、開源控制器等低成本設備和開源的操作系統，成本低廉，擴展性好。機器人可以實現2D-SLAM和對特定人員的識別與追蹤。通過實驗證明了本文方案的可行性。

Kinect傳感器對光線變化敏感，因此本文設計的機器人僅可在室內使用。以后考慮結合其他傳感器擴展其可用范圍。單個Kinect探測范圍較窄，以后考慮使用多個Kinect傳感器擴大機器人探測范圍。

[1] 杜廣龍.面向多自由度機器人的非受限智能人機交互的研究[D].華南理工大學,2013.

[2] 卜范騫,田國會,李曉磊.家庭服務機器人SLAM[A].中國自動化學會華東六省一市學術年會[C],2007.

[3] 周波,戴先中,韓建達.基于激光掃描的移動機器人3D室外環境實時建模[J].機器人,2012,34(3):321-328,336.

[4] 苑晶,劉鋼墩,孫沁璇.激光與單目視覺融合的移動機器人運動目標跟蹤[J].控制理論與應用,2016,33(2):196-204.

[5] 莊嚴,盧希彬,李云輝,等.移動機器人基于三維激光測距的室內場景認知[J].Acta Automatica Sinica,2011,37(10):1232-1240.

[6] 王興偉,錢鈞.基于ROS的全方位移動機器人SLAM實驗研究[J/ OL].中國科技論文在線,2016-5-25.

[7] Raúl Mur-Artal. ORB-SLAM: A Versatile and Accurate Monocular SLAM System[J].IEEE Transactions on Robotics, 2015,31(5):1147-1163.

[8] Engel J,Stückler J,Cremers D. Large-scale direct SLAM with stereo cameras[C].IEEE/RSJ International Conference on Intelligent Robots and Systems.IEEE,2015:1935-1942.

[9] 王曉華,傅衛平.零件的雙目視覺識別定位與抓取系統研究[J].制造業自動化,2010,32(11):129-132.

[10] 張潤澤.基于OpenCV的視覺跟蹤平臺設計與實現[D].吉林:吉林大學,2015.

Design and experimental research of telepresence robot based on kinect

WANG Xing-wei, QIAN Jun

TP242

A

1009-0134(2017)04-0004-04

2017-01-16

國家自然科學基金（51205104）；中央高?；究蒲袠I務費專項資金（2014HGCH0015）

王興偉（1988 -），男，山東濰坊人，碩士研究生，研究方向為輪式移動機器人定位與導航。