基于Kinect的裝配仿真系統設計與開發

徐敏+姚年春

摘要：在搭建了裝配仿真系統整體架構的基礎上，文章對基于Kmect的虛擬場景的建立、仿真工具與產品模型的創建等關鍵技術進行了較為深入的討論，并以此為依據開發了汽車零配件裝配仿真系統。應用結果表明，人機交互技術的應用顯著提升了裝配工作效率與學習體驗感。

關鍵詞：Kmect；人機交互；裝配仿真

裝配仿真是虛擬現實技術在工業領域中的一個重要應用，可以利用裝配仿真及時發現設計缺陷，提高裝配流程的效率與合理性。本文將基于Kmect的人體運動數據獲取技術與計算機仿真技術相結合，研究了虛擬場景的建立、仿真工具與產品模型的創建等問題，實現了虛擬裝配系統的仿真。

1人體交互技術與Kinect介紹

人機交互技術主要研究的是使用者與計算機之間的互動聯系。使用者利用對計算機的相關操作以實現二者之間的雙向數據交換，將使用者的需求準確傳輸至計算機，后者能夠有效完成信息的分析、計算、管理等工作。人機交互技術作為計算機用戶界面設計中的一項重要內容，其與計算機技術同步發展，并與人機工程學、認知科學及語言學等多學科領域緊密相關[1]。

目前，隨著計算機圖形學、機器視覺、圖像識別與虛擬現實等技術的迅速發展，人機交互技術的輸入輸出方式更加多元化、人機對話方式更加便捷自然、交互過程的智能化程度更高。

Kmect作為微軟XBOX360體感周邊外圍設備，在開發過程中運用了基于深度圖像的骨骼追蹤算法，不需要任何其他輔助工具就能夠進行人體運動姿態的識別與捕捉[2]。

Kmect前方從左向右依次配置有紅外線發射器、RGB攝像頭、紅外線接收器。其中，RGB攝像頭能夠以30巾貞/秒的速度獲取彩色圖像；兩側的紅外發射、接收器用于獲取深度圖像；兩側不對稱的麥克風陣列具有聲源判斷、音頻處理、語音識別等功能；底座馬達可調節其俯仰角度。

2虛擬裝配系統的實現

2.1系統架構

本文設計的系統從Kmect獲取的深度圖像中提取手勢區域，并依據特征進行分類以作為鼠標的輸入；獲取Kmect采集的不同骨骼節點數據，并以各自的位置信息分別定義交互動作，同時將右手骨骼坐標換算為計算機屏幕坐標，以右手的動作取代光標操作，實現以更自然、便捷的方式與虛擬現實場景之間的動態交互。

2.2交互動作的定義

虛擬現實場景通常以操作者的手勢與一定的動作來控$|J，以達到人機交互更加自然的目的。而上述特定的動作的定義則是依據對手勢的識別或者判斷骨骼節點間相對位置。以右手伸展、右臂抬起與肩平齊動作為例，需判斷右手與右肩骨骼節點縱坐標的相似性，右手與右肩骨骼節點橫坐標的距離差值。

常用交互動作的定義和功能有：（1）右手手掌完全打開定義松開鼠標左鍵，實現零件抓取的功能；（2）右手握拳定義按下鼠標左鍵，實現零件釋放的功能；（3）右手水平移動定義鼠標在桌面的移動；（4）右手擺動定義由虛擬裝配界面退出；（5）右手伸展、右臂抬起與肩平齊定義裝配零部件向右旋轉；（6）左手伸展、左臂抬起與肩平齊定義裝配零部件向左旋轉[3]。

2.3場景的建立

裝配仿真是以場景的創建為前提與基礎的，其具體的搭建流程包括：實際場景的捕獲、工位建模、目標建模（含產品、工具、人體等）以及系統初始化。

本文設計的系統基于對虛擬模型的組合創建了仿真場景。虛擬模型的創建可直接利用數字化企業的互云力制造應用（Digital Enterprise Lean Manufacturing Interactive Application，DELMIA）軟件或配合交互式CAD/CAE/CAM系統（Computer Aided Three-dimensional Interactive Application，CATIA）完成，其中，DELMIA能夠有效實現仿真環境的可控及真實性需求。然后再選用事件驅動模式完成安放、觀察角度的變換等，并進一步搭建仿真場景。

2.4產品模型和裝配工具模型的創建

仿真工具與產品模型是實現虛擬裝備的重要條件。由于在交互操作過程中，涉及對產品模型的拆卸、組合、安裝等工作，因此系統創建采用基于模型的方法。而其中最核心的項目為三維幾何建模，利用該方法在仿真環境下呈現出實際物體的形狀、大小等物理特性，同時表征了數字模型各構成部分的運動與約束關系。此外，在對操作資源進行查找、分析的基礎上，使用建模軟件，能夠達到對裝配工具參數化建模的目的[4]。

3基于Kinect的人體運動數據的獲取

由Kmect骨骼追蹤所創建的人體模型主干節點組成如

圖1（a）所示，可以明顯看出頭、手、腳都僅有一個節點，即說明依靠Kmect骨骼追蹤并不能可靠地識別手指的運動，同時也不能判斷使用者面部的方向。但是，在DELMIA互動軟件中創建的人體模型除了與上圖類似的部分外，還增添了若干手、腳指（趾）部關節點，如圖1（b）所示。

在不考慮手、腳指（趾）的微小動作的情況下，DELMIA所創建的人體模型中絕大多數繞節點做旋轉運動的地部位均可以對應Kinect模型中的球關節，如表1所示。

在Kmect軟件中，人體模型的頭、手、腳等主干關節在僅發生位移而沒有進行旋轉運動的時候，可利用其自身和節點的位置坐標來計算DELMIAS動軟件中相關節點間對應部位的轉動角度。同理，可利用右（左）肩和雙肩中部位置節點的位置坐標來計算右（左）鎖骨的轉動角度。此外，在Kinect軟件中，被認為能夠進行獨立位移運動的左、中、右臀，對應于DELMIA中作為整體發生位移運動。

4運行實例

汽車零配件裝配仿真場景包含汽車、置物架、人體模型。在操作環境中配置完成Kmect軟件，在與計算機連接成功后進入系統運行狀態。當人體進行抓取、防止等操作動作時，能夠看到DELMIAS動軟件中的虛擬操作者進行相關操作動作[5]。

5結語

在搭建了裝配仿真系統整體架構的基礎上，重點介紹了基于對虛擬模型的組合創建仿真場景、基于Kinect的人體運動數據的獲取，其中包含人體模型在DELMIA與Kmect中的相互對應關系，并采取這些方法開發了汽車零配件裝配仿真系統。應用結果表明，基于Kmect的裝配仿真系統極大提升了設計效果與學習沉浸感。

[參考文獻]

[1]王朝增.基于Kinect的裝配仿真及其人機工效分析[D].杭州：浙江理工大學，2013.

[2]廖宏建，曲哲.基于Kinect體感交互技術的虛擬裝配實驗系統開發[J].實驗技術與管理，2013（7）：98-102.

[3]趙陽，何漢武，吳悅明，等.增強現實交互環境下發動機裝配序列呈現方法研究與實現[J].裝備制造技術，2015（4）：146-149.

[4]羅凌峰.基于行為交互的虛擬裝配及展示研究[D].北京：北京交通大學，2015.

[5]趙陽.增強現實環境下汽車發動機裝配訓練系統研究[D].廣州：廣東工業大學，2015.endprint