基于Kinect的機械臂增強現實示教研究

邵澤燕+邵澤健+陳成軍+李東年+丁文科+劉鵬

摘要：機械臂廣泛地應用在工業自動化生產以及人們日常生活中，機械臂而示教學習作為一種重要的運動規劃方式，是機械臂研究領域的一項重要研究內容。鑒于此，設計了一種基于Kinect的虛擬機械臂增強現實示教系統，通過Kinect傳感器采集人手位置數據，利用機械臂逆運動學模型驅動虛擬機械臂跟蹤人手運動，實現對機械臂的虛擬示教；利用增強現實技術，將虛擬機械臂疊加到真實環境中，實現對機械臂的增強現實示教。實驗結果表明該系統能夠將虛擬機械臂準確地疊加到真實環境中，并實時跟蹤人手運動，系統具有良好的交互性。

關鍵詞：機械臂示教；Kinect傳感器；骨骼跟蹤；逆運動學；增強現實

中圖分類號：TP391 文獻標志碼：A

Abstract：Manipulators are widely used in industrial production and people's daily life， while， manipulator teaching， as an important method for manipulator motion planning， is one of the key issues for the research area of Manipulators. This paper presents a virtual manipulator teaching system using augmented reality based on a Kinect sensor， where， the end-effector of the virtual manipulator follows the movement of the human hand based on a Kinect sensor through an inverse kinematics model， and then the resulting virtual manipulator is added into the real working environment by using augmented reality. The experimental results show that， in our system， the virtual manipulator can be accurately registered into the real working environment and follow the movement of the human hand in real-time.

Key words：manipulator teaching； Kinect sensor； skeleton tracking； inverse kinematics； augmented reality

1 引 言

機械臂在工業制造、軍事、娛樂、醫療等領域都具有廣泛的應用。早期的機械臂只從事一些簡單的自動化生產任務，在線示教編程就可以滿足生產需要。隨著社會發展，機械臂的工作任務日趨復雜，而且在線示教編程過程必須依賴實體機械臂，示教過程變得煩瑣。隨著計算機仿真技術的出現，機械臂虛擬示教方式也得到了發展。機械臂虛擬示教是利用計算機仿真技術進行機械臂模型以及工作環境的模擬，基于機器人運動學算法，對機械臂模型進行相應的控制和操作，完成機械臂模型示教的過程[1]。機械臂虛擬示教過程不需要機械臂實體，從而把機械臂從在線編程中解放出來，提高了機械臂示教過程的直觀性和安全性[2]。

機械臂虛擬示教方式，雖然具有很多優勢，但是與實際工作場景脫離，缺乏真實性。一些研究者將增強現實技術引入機械臂示教學習過程，將虛擬機械臂與真實場景融合。Fang等[3.4]采用增強現實技術對機械臂進行運動路徑規劃及末端執行器方向規劃。Chong等[5]基于增強現實技術為機械臂規劃與物理實體無碰撞的運動路徑。而Kinect傳感器的出現為機械臂示教學習和增強現實應用提供了新的交互方式。林海波等[6]設計了基于Kinect的無標定人機交互控制系統，該系統利用Kinect獲取的人手骨骼數據控制機械臂運動。王祎等[7]利用Kinect深度圖像，基于增強現實技術，進行了虛擬物體與真實場景的碰撞交互實驗。

鑒于此，提出了一種應用Kinect進行虛擬機械臂增強現實示教的方法。系統通過Kinect實時地獲取人手的運動軌跡，將運動軌跡傳遞給計算機中的機械臂模型，基于機械臂逆運動學算法，實現機械臂末端執行器對人手運動的實時跟蹤，同時采用增強現實技術，實現機械臂模型在真實環境的示教運動。該系統不僅具有虛擬示教的優勢，又能實現虛擬機械臂與真實場景的融合，使示教過程顯得更自然、更真實。

2 系統框架

構建的虛擬機械臂增強現實示教系統可分為三個部分：人手部位置數據提取、機械臂逆運動學求解、增強現實注冊。系統整體框架如圖1所示。

系統硬件部分主要由Kinect傳感器和計算機組成。Kinect傳感器能提供深度數據流、彩色視頻流、骨骼數據流等數據信息[8]。系統利用Kinect傳感器進行彩色工作場景的采集和人右手骨骼位置數據的提取，利用計算機進行機械臂三維模型的構建、機械臂逆運動學方程的計算和增強現實注冊。本系統的具體工作流程如下：首先，利用Kinect獲得人右手骨骼數據和彩色場景數據；然后，將獲取的人手骨骼數據傳遞給計算機中已構建的虛擬機械臂系統，基于逆運動學算法，實現機械臂末端執行器對人手運動的跟蹤；最后，進行增強現實注冊，將Kinect獲取的真實工作場景數據與計算機中構建的虛擬機械臂融合，令機械臂直觀地顯示在工作場景中，實現虛擬機械臂的增強現實示教過程。

3 手部位置信息獲取

3.1 Kinect骨骼數據提取

Kinect傳感器設備由一個紅外光源、一個深度攝像頭和一個RGB彩色攝像頭構成，如圖2所示。Kinect通過紅外線光源和深度攝像頭可以獲取場景的深度信息，通過Kinect的內置人體運動姿態識別程序又可以從獲取的深度信息識別出場景中人體的骨骼數據。骨骼點位置數據用三維坐標（單位為m）進行表示，其坐標系以Kinect的深度攝像頭為原點，其Z軸垂直于相機平面，X軸沿水平方向，Y軸沿豎直方向，如圖3所示。

Kinect可以實現人體20個骨骼關節點的跟蹤，圖4所示為這20個骨骼關節點的具體分布，分別為：頭部（head）關節、雙肩中央（shoulder center）關節、脊柱中段（spine）關節、臀部中央（hip center）關節、左臀部（hip 1eft）關節、右臀部（hip right）關節、左手（hand left）關節、右手（hand right）關節、左腕 （wrist left） 關節、右腕 （wrist right）關節、左肘（elbow left）關節、右肘（elbow right）關節、左肩（shoulder left）關節、右肩（shoulder right）關節、左膝蓋（knee left）關節、右膝蓋（knee right）關節、左踝（ankle left）關節、右踝（ankle right）關節、左腳（foot left）關節和右腳（foot right）關節。

3.2 Kinect SDK骨骼對象模型

Kinect SDK中定義的人體骨骼對象模型包括Skeleton Stream，SkeletonFrame，Skeleton和

Joint四部分[9]。SkeletonStream為骨骼數據流對象，SkeletonFrame則為骨骼數據幀對象，用于存儲一幀的骨骼數據，其數據提取自SkeletonStream對象。Skeleton類定義了一系列字段對骨骼信息進行具體描述，包括骨骼的位置信息以及骨骼中關節的位置信息。Joint類則用于描述骨骼跟蹤引擎跟蹤和獲取的骨骼數據中單個關節點的信息。

4 三自由度機械臂逆運動學求解

4.1 機械臂D-H模型

系統選用的是三自由度串聯機械臂，使用Denavit-Hartenberg（D-H）方法來描述相鄰兩桿的位置關系。用i表示連桿序號，i=1，…，n，則D-H方法涉及四個連桿參數：繞 軸旋轉，使 軸轉到與 同一平面內的關節角 （兩連桿夾角）；沿 軸平移，把 移到與 同一直線上的距離 （兩連桿距離）；沿 軸平移，把 移到與 同一直線上的距離 （連桿長度）；繞 軸旋轉，使 軸轉到與 同一平面內的偏角 （連桿扭角）[10]。本文采用D-H模型建立的機械臂坐標系如圖5所示。表1所示為機械臂D-H模型的連桿參數。

4.2 機械臂逆運動學

機械臂的運動學主要包括正運動學和逆運動學，機械臂運動學一直是機械臂設計人員研究的重點，尤其是機械臂逆運動學[11]。機械臂逆運動學是指給定了末端執行器的位置，求解相鄰連桿的夾角的過程。在本文中，已知機械臂末端位置即人手位置 ，求解 ， ， 。

在D-H模型下，連桿i對連桿i-1相對位置關系 可用四個齊次變換矩陣來描述：

5 增強現實注冊

增強現實是指在同一環境中實現虛擬物體與真實環境的融合，并實現真實世界與虛擬物體的交互。增強現實的關鍵技術是三維注冊技術[12]。三維注冊是指虛擬物體和真實場景在三維空間中位置的一致性，即在空間上的整合。三維跟蹤注冊方法很多，基于標識物的注冊技術無需復雜的硬件設備，標識物的獲取較為容易，且此類方法精度較高，所以本文采用基于標識物的注冊技術進行跟蹤注冊。本文系統的注冊過程為：首先，Kinect設備采集彩色視頻圖像，增強現實系統對每幀圖像進行檢測，識別到標識物后，計算攝像機坐標系相對于標識物坐標系的坐標轉換矩陣；然后，根據此轉換矩陣，將虛擬機械臂注冊到標識物坐標系的原點上；最后，通過攝像機坐標系與屏幕坐標系的坐標轉換，將虛擬機械臂渲染到真實場景中，實現虛擬機械臂與真實場景的融合顯示[13]。圖6顯示了基于標識物的三維注冊過程，涉及到攝像機坐標系、屏幕坐標系、標識物坐標系這3個坐標系之間的變換。

6 實驗結果與分析

系統硬件部分由一臺Kinect傳感器、一張增強現實標識卡和一臺普通計算機組成，如圖7所示。以三自由度虛擬機械臂為被控對象，采用Kinect傳感器采集彩色場景并獲取三維人手骨骼位置數據，利用計算機進行機械臂三維模型的構建、機械臂逆運動學方程的計算和增強現實注冊。所采用的軟件開發環境為：VS2010 C++，Kinect SDK-v1.8，ARToolKit-2.71.2。系統流程如圖8所示。

為了驗證本系統的可行性，分別用人手指引虛擬機械臂末端執行器進行上、下、左、右四個方向的運動，觀察機械臂的運動情況。

圖9和圖10分別顯示的是虛擬機械臂跟蹤人手左右運動和上下運動的實驗結果。由圖9和圖10可以看出虛擬機械臂不僅可以準確地顯示在真實場景中，還可以實時準確地跟蹤人手運動。實驗表明本文所提出的基于kinect的虛擬機械臂增強現實示教系統具有良好的直觀性和交互性。

6 結束語

系統以三自由度虛擬機械臂為被控對象，利用Kinect獲取彩色場景圖和人右手位置數據，將這些數據作為輸入傳遞給計算機，通過對機械臂進行逆運動學求解實現機械臂末端跟蹤人手運動，通過采用增強現實注冊技術將虛擬機械臂直觀地顯示在真實工作場景中。實驗證明系統具有良好的實時性和交互性。在今后的研究工作中，將進一步針對不同的機械臂應用場合，以Kinect骨骼跟蹤技術作為人機交互方式，研究基于增強現實的具體的機械臂無碰撞路徑規劃方式。

參考文獻：

[1]張華文. 六自由度機器人三維可視化虛擬示教系統[D].

四川省綿陽市：西南科技大學，2014.

[2]李想，錢歡，付莊，等. 基于QT和OpenGL的機器人離

線編程和仿真系統設計[J]. 機電一體化，2013，（4）：

56-59.

[3]Fang H C， Ong S K， Nee A Y C. Novel AR-based interface

for human-robot interaction and visualization[J].

Advances in Manufacturing， 2014， 2（4）： 275-288.

[4]Fang H C， Ong S K， Nee A Y C. Orientation planning

of robot end-effector using augmented reality[J].

International Journal of Advanced Manufacturing

Technology， 2013， 67（9）： 2033-2049.

[5]Chong J W S， Ong S K ， Nee A Y C， et al. Robot

Programming using augmented reality： An method

for planning collision-free paths[J]. Robotics and

Computer-Integrated Manufacturing， 2009， 25（3）：

689-701.

[6]林海波，王浩，張毅. 基于Kinect的無標定人機交互控

制系統設計[J]. 計算機工程與設計，2015，36（2）：

551-555.

[7]王祎. 基于深度圖像的具有虛實物體碰撞交互功能的增

強現實系統 [D]. 北京：北京林業大學，2015.

[8]吳秦，陳智，周宇旋，等. 基于Kinect骨骼跟蹤技術的

人機交互[J].常州大學學報（自然科學版），2014，26（3）：

6-12.

[9]李恒. 基于Kinect骨骼跟蹤功能的骨骼識別系統研究

[D].西安：西安電子科技大學， 2013.

[10]陳桂，王建紅，湯玉東. KUKA機器人運動學仿真與實

驗研究[J]. 組合機床與自動化加工技術，2014，（8）：

94-97.

[11]陳魯剛，平雪良，徐稀文. 平面三自由度機械臂的軌跡

規劃及仿真[J]. 工具技術，2011，45（9）： 26-30.

[12]桂振文. 面向移動增強現實的場景識別與跟蹤注冊技

術研究[D].北京：北京理工大學， 2014.

[13]高凈業. 增強現實人機交互系統的研究[D]. 浙江杭

州：杭州電子科技大學， 2011.