虛擬環(huán)境下面向裝配培訓(xùn)的人機(jī)交互技術(shù)

袁 偉，郎 璞，張孫嘉，趙 潔，姚壽文

(1.中國(guó)人民解放軍駐318廠軍事代表室， 北京 100053；2.內(nèi)蒙古第一機(jī)械集團(tuán)有限公司，內(nèi)蒙古 包頭 014032;3.浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院(軟件學(xué)院)， 杭州 310014; 4.北京理工大學(xué)， 北京 100081)

沉浸(Immersion)、交互(Interaction)和想象(Imagination)是虛擬環(huán)境的三大特點(diǎn)，即所謂的3I。沉浸性是指虛擬環(huán)境給人提供聲臨其境的感覺(jué)。交互性是指參與者與虛擬環(huán)境的溝通。想象性是指虛擬環(huán)境應(yīng)能用于解決工程實(shí)際問(wèn)題，即開(kāi)發(fā)的虛擬環(huán)境可滿足于某種應(yīng)用需求[1]。其中，交互是實(shí)現(xiàn)人在虛擬環(huán)境的沉浸感以及知識(shí)探索的重要條件，是虛擬現(xiàn)實(shí)為用戶提供體驗(yàn)、走向應(yīng)用的核心環(huán)節(jié)[2]。交互一般指通過(guò)手、身體、聲音、觸覺(jué)、味覺(jué)等和虛擬環(huán)境的交互，以及虛擬環(huán)境也提供給人聲音、視覺(jué)、觸覺(jué)等反饋。人與虛擬環(huán)境的交互是通過(guò)特定的輸入設(shè)備，如Data Glove數(shù)據(jù)手套、LeapMotion手勢(shì)捕捉裝置、Kinect動(dòng)作捕捉、眼球追蹤裝置等作為輸入，計(jì)算機(jī)將計(jì)算處理過(guò)后的數(shù)據(jù)信息以圖片、視頻、聲音等多種渠道反饋給使用者。

Valve公司、Facebook公司和微軟公司分別開(kāi)發(fā)的HTC Vive系列頭盔顯示器、Oculus rift系列頭盔顯示器和微軟公司的HoloLens集成全息頭環(huán)，是目前主流的虛擬現(xiàn)實(shí)輸出設(shè)備。HTC Vive和Oculus rift利用雙目立體視覺(jué)原理，左右兩個(gè)透鏡分別渲染圖片，并通過(guò)高精度陀螺儀定位頭部位姿，能夠給佩戴者提供高沉浸感的體驗(yàn)，而這些輸出設(shè)備的驅(qū)動(dòng)程序需要使用渲染引擎進(jìn)行程序開(kāi)發(fā)及調(diào)試，目前常用的渲染引擎有Unity3D、UnReal4和OSG等。

面向裝配培訓(xùn)與傳統(tǒng)CAD的裝配相比，人性化的人機(jī)交互是重點(diǎn)，即在虛擬環(huán)境中,應(yīng)當(dāng)通過(guò)直接操作零件和自然語(yǔ)言命令完成裝配操作[3]，且應(yīng)包含培訓(xùn)人員與待裝配對(duì)象(包括零件拾取、零件信息顯示)的交互以及與裝配培訓(xùn)過(guò)程中對(duì)應(yīng)的信息輸出兩個(gè)方面。人機(jī)交互中不僅需要輸入設(shè)備及算法，電腦及虛擬環(huán)境的反饋和信息顯示也是至關(guān)重要的部分,可以基于文字和特征表示的增強(qiáng)信息為用戶提供裝配知識(shí)來(lái)引導(dǎo)裝配操作[4]。目前，應(yīng)用虛擬裝配技術(shù)進(jìn)行一些培訓(xùn)方面的研究[5]，但缺乏良好的交互性。此外，目前的虛擬培訓(xùn)重點(diǎn)關(guān)注的是培訓(xùn)人員與待裝配對(duì)象的交互，即培訓(xùn)人員用手或工具拾取零件進(jìn)行裝配這種交互，而裝配對(duì)象通過(guò)碰撞檢測(cè)、參數(shù)匹配等手段對(duì)能否裝配以及裝配難易對(duì)培訓(xùn)者的反饋則相對(duì)缺乏，更不用說(shuō)，電子培訓(xùn)手冊(cè)與培訓(xùn)者的交互了。

1 面向裝配培訓(xùn)交互平臺(tái)框架

裝配培訓(xùn)人機(jī)交互中除了人與裝配對(duì)象交互外，還需要人與電子手冊(cè)的交互，即提供基于文字和特征表示的增強(qiáng)信息為用戶提供裝配知識(shí)來(lái)指導(dǎo)操作者進(jìn)行裝配操作。在虛擬裝配中，之所以應(yīng)用虛擬環(huán)境是為了追求極高的沉浸感，良好的沉浸感包括人的感官體驗(yàn)和認(rèn)知。從認(rèn)知角度出發(fā)，人與環(huán)境若有足夠的交互手段將場(chǎng)景中的信息直觀顯示給用戶，除了提升用戶體驗(yàn)，還可以增強(qiáng)用戶的培訓(xùn)效果，達(dá)到事半功倍的效果。

采用硬件進(jìn)行數(shù)據(jù)輸入，硬件本身的性能指標(biāo)基本決定了最終所能實(shí)現(xiàn)的功能。考慮到實(shí)際裝配過(guò)程中是通過(guò)手和工裝裝配零件，因此應(yīng)該選擇具手勢(shì)識(shí)別功能的設(shè)備作為硬件輸入，并配合工裝工具的模擬以提高裝配的真實(shí)性和增強(qiáng)交互性。目前，應(yīng)用的手勢(shì)捕捉裝置有三維數(shù)據(jù)手套[6]和LeapMotion手勢(shì)捕捉裝置[7-8]。其中，三維數(shù)據(jù)手套配套設(shè)備復(fù)雜、成本高并且沒(méi)有較好的二次開(kāi)發(fā)接口，LeapMotion手勢(shì)捕捉裝置價(jià)格便宜，且可與HTC Vive頭顯設(shè)備裝配為一體，并且有支持各類開(kāi)發(fā)平臺(tái)的工具包，也是今年來(lái)人機(jī)交互的研究重點(diǎn)。本文的交互設(shè)備包含HTC手柄、LeapMotion及定位裝置，輸出設(shè)備為HTC Vive頭顯及配套設(shè)施。由于HTC Vive提供了大量支持Untiy3D的源碼和資源。因此，本文采用了Unity3D作為程序開(kāi)發(fā)和渲染引擎。圖1為虛擬裝配培訓(xùn)交互平臺(tái)數(shù)據(jù)的流向圖，包括人機(jī)交互硬件及軟件及各組成的功能。

2 虛擬手與零件交互技術(shù)

2.1 基于LeapMotion的手勢(shì)數(shù)據(jù)采集

人手是裝配操作者最重要的交互裝配手段。人手是一個(gè)靈活而復(fù)雜的多肢節(jié)系統(tǒng)，由手掌、手腕和手指組成。手上的骨頭共有27塊，為8塊腕骨、5塊掌骨和14塊指骨，骨之間由不同的關(guān)節(jié)連接，關(guān)節(jié)具有移動(dòng)自由度或轉(zhuǎn)動(dòng)自由度，使之可以做屈伸、收展或旋轉(zhuǎn)運(yùn)動(dòng)，如圖2所示。

本文選取LeapMotion作為裝配操作時(shí)人手捕捉輸入工具，主要原因是：首先，LeapMotion配備了雙攝像頭，采用立體視覺(jué)原理，除了捕捉目標(biāo)外，還可通過(guò)實(shí)時(shí)計(jì)算目標(biāo)的視差，實(shí)現(xiàn)空間物體的坐標(biāo)定位。其次，在捕捉手的空間圖像數(shù)據(jù)后，LeapMotion對(duì)目標(biāo)進(jìn)行過(guò)濾，實(shí)時(shí)返回操作者雙手各29個(gè)關(guān)節(jié)點(diǎn)的空間位置坐標(biāo)(如圖2圓點(diǎn)的位置數(shù)據(jù))，并以齊次四階行列式的位姿矩陣保存，可供使用者的后續(xù)程序開(kāi)發(fā)。同時(shí)在檢測(cè)算法上，LeapMotion采用了跟蹤前檢測(cè)(Track-Before-Detect：TBD)技術(shù)，實(shí)現(xiàn)了捕捉到手的圖像后，在手消失在攝像頭之前，LeapMotion都可以準(zhǔn)確跟蹤并捕捉手的數(shù)據(jù)。因此，LeapMotion可以滿足真正意義上人手拾取零件，模擬產(chǎn)品的實(shí)際裝配過(guò)程。

2.2 培訓(xùn)者手勢(shì)判斷方法

工人在實(shí)際裝配中，利用不同的手勢(shì)拾取工具或零件，通過(guò)人手拾取工具輔助或利用人手完成相應(yīng)的裝配操作。因此，虛擬手抓取虛擬物體是關(guān)鍵，如文獻(xiàn)[9-13]對(duì)虛擬手手型及抓取等相關(guān)問(wèn)題進(jìn)行了研究。一般而言，操作者在裝配過(guò)程中手的變化主要是各個(gè)手指的彎曲角度以及骨骼關(guān)節(jié)點(diǎn)的相對(duì)位置關(guān)系。例如，操作者做出一個(gè)抓取的手勢(shì)時(shí)，圖3中所有的5個(gè)指節(jié)都會(huì)發(fā)生彎曲，每一節(jié)指骨的指向都呈現(xiàn)一個(gè)特定的角度。手捏取時(shí)，除了指骨關(guān)節(jié)有角度彎曲之外，食指和拇指的第一節(jié)之間的空間位置也會(huì)近似重合。其他的各類手勢(shì)也類似，骨節(jié)的角度和骨節(jié)的位置都會(huì)發(fā)生改變。手掌翻轉(zhuǎn)時(shí)，手掌平面的法向量也會(huì)發(fā)生改變，方向與指節(jié)位置相關(guān)。手勢(shì)判斷是裝配培訓(xùn)工人與虛擬環(huán)境交互的關(guān)鍵，但僅憑LeapMotion提供的接口函數(shù)實(shí)時(shí)返回操作者手部各個(gè)關(guān)節(jié)點(diǎn)的空間位置坐標(biāo)，計(jì)算機(jī)是無(wú)法判斷當(dāng)前操作者采用的是何種手勢(shì)以及手勢(shì)是否合理，因此需要研究手勢(shì)的判定方法。

根據(jù)以上分析，本文對(duì)LeapMotion采集的骨節(jié)數(shù)據(jù)進(jìn)行處理，獲得手勢(shì)的基本判斷數(shù)據(jù)：

2) 手指特定骨節(jié)之間的空間距離，

為提高LeapMotion采集數(shù)據(jù)處理的魯棒性以及消除計(jì)算誤差，為了保證虛擬環(huán)境中手勢(shì)抓取物體的穩(wěn)定性，本文研究了常用的幾類抓握零件手勢(shì)，并進(jìn)行分類，通過(guò)虛擬環(huán)境中虛擬手抓握物體的實(shí)驗(yàn)，設(shè)計(jì)了相應(yīng)的閾值，建立了判定條件，實(shí)現(xiàn)滿足裝配需求的手勢(shì)基本功能。

如圖4所示，操作者在進(jìn)行操作時(shí)，LeapMotion實(shí)時(shí)捕捉到了手的位置數(shù)據(jù)，計(jì)算三類數(shù)據(jù)，根據(jù)實(shí)驗(yàn)設(shè)定好的角度和位置閾值判斷抓握是否合理，且當(dāng)手滿足抓取姿勢(shì)且手指(哪個(gè)關(guān)節(jié))關(guān)節(jié)點(diǎn)位置與零件位置接近時(shí)，零件抓取要求滿足，零件被拾取，此時(shí)零件將伴隨手的移動(dòng)而移動(dòng)，若手勢(shì)不能滿足閾值條件，則零件被釋放，手與零件分離。

同理，對(duì)手勢(shì)、點(diǎn)選、托舉等進(jìn)行分類，定義各類手勢(shì)所對(duì)應(yīng)的手指骨節(jié)的相應(yīng)彎曲角度以及閾值，并與對(duì)應(yīng)的響應(yīng)函數(shù)進(jìn)行匹配，可以實(shí)現(xiàn)多種手勢(shì)識(shí)別及功能。

2.3 手型建模

在虛擬場(chǎng)景中，虛擬手的形態(tài)和實(shí)際手的形態(tài)越一致，操作者的沉浸感越好，越能讓操作者置身于裝配操作培訓(xùn)中，越能提升虛擬培訓(xùn)的價(jià)值。為了逼真的復(fù)現(xiàn)人手，本文使用骨骼蒙皮模型建立虛擬手手型，并采用骨骼動(dòng)畫的方式實(shí)現(xiàn)手指、手掌和關(guān)節(jié)等手部動(dòng)作的模擬。

骨骼蒙皮(Skinned Mesh)是一種應(yīng)用于3D模型動(dòng)畫的技術(shù)。3D模型動(dòng)畫的基本原理是讓模型中各頂點(diǎn)的位置隨時(shí)間變化，主要有Morph動(dòng)畫，關(guān)節(jié)動(dòng)畫和骨骼蒙皮動(dòng)畫。從動(dòng)畫數(shù)據(jù)的角度來(lái)說(shuō)，三者都采用關(guān)鍵幀技術(shù)，即只給出關(guān)鍵幀的數(shù)據(jù)，其他幀的數(shù)據(jù)使用插值得到。

骨骼蒙皮動(dòng)畫可以解決關(guān)節(jié)動(dòng)畫的裂縫問(wèn)題，且具有非常好的網(wǎng)格隨動(dòng)效果。骨骼動(dòng)畫的基本原理可概括為：在骨骼控制下，通過(guò)頂點(diǎn)混合動(dòng)態(tài)計(jì)算蒙皮網(wǎng)格的頂點(diǎn)，而骨骼的運(yùn)動(dòng)相對(duì)于其父骨骼，并由動(dòng)畫關(guān)鍵幀數(shù)據(jù)驅(qū)動(dòng)。骨骼是模型運(yùn)動(dòng)時(shí)的主要運(yùn)動(dòng)變換節(jié)點(diǎn)，骨骼決定了模型整體在世界坐標(biāo)系中的位置和朝向。蒙皮則是一個(gè)網(wǎng)格化繪制的物體整體模型。骨骼蒙皮設(shè)計(jì)的關(guān)鍵是網(wǎng)格模型中各個(gè)關(guān)鍵節(jié)點(diǎn)和各個(gè)骨骼綁定的權(quán)重。如圖5所示，紅色曲線表示骨骼以不同的權(quán)重影響著周圍網(wǎng)格模型節(jié)點(diǎn)的位置。當(dāng)骨骼的位置發(fā)生變換時(shí)，整個(gè)網(wǎng)格模型也會(huì)隨之改變外形。

在程序運(yùn)行時(shí)，根據(jù)LeapMotion捕捉到的關(guān)鍵骨骼節(jié)點(diǎn)位置坐標(biāo)，以設(shè)計(jì)好的權(quán)值對(duì)骨骼位置進(jìn)行實(shí)時(shí)更新，虛擬環(huán)境中虛擬手外形效果如圖6所示。通過(guò)上述方法最終實(shí)現(xiàn)在虛擬環(huán)境中虛擬手對(duì)操作者手勢(shì)的模擬復(fù)現(xiàn)功能。

3 虛擬環(huán)境下電子手冊(cè)交互設(shè)計(jì)方法

交互式電子手冊(cè)(Interactive Electronic Technical Manual,IETM)綜合應(yīng)用了計(jì)算機(jī)技術(shù)、專家系統(tǒng)、數(shù)據(jù)庫(kù)管理和多媒體信息表示等先進(jìn)技術(shù)，將內(nèi)容豐富的技術(shù)資料有機(jī)地組織管理起來(lái)，充分利用計(jì)算機(jī)與人的交互能力，以聲音、圖像、影像、文字等方式生動(dòng)準(zhǔn)確地展現(xiàn)產(chǎn)品的各種技術(shù)信息，為訓(xùn)練、使用和保障活動(dòng)提供有效的技術(shù)支持。然而，目前人與電子手冊(cè)的交互還是以鍵盤為主或觸屏技術(shù)實(shí)現(xiàn)交互，培訓(xùn)者缺乏直觀的感受，對(duì)結(jié)構(gòu)和原理的理解主要以文字為主，造成學(xué)習(xí)效率不高，操作繁瑣。

許多傳統(tǒng)的虛擬環(huán)境人機(jī)交互方式過(guò)于單一，信息傳遞方式有限，觸發(fā)條件的激活僅僅依靠硬件按鈕或鼠標(biāo)點(diǎn)擊，場(chǎng)景、物體都只能提供一個(gè)畫面展示的效果，因此達(dá)不到良好的沉浸感，使得裝配過(guò)程體驗(yàn)不佳。本文從信息顯示和操作輸入兩個(gè)角度出發(fā)，利用計(jì)算機(jī)圖形學(xué)相關(guān)知識(shí)，進(jìn)行虛擬環(huán)境內(nèi)界面設(shè)計(jì)和操作平臺(tái)開(kāi)發(fā)。

3.1 基于HUD技術(shù)的實(shí)時(shí)信息顯示

在虛擬環(huán)境中進(jìn)行裝配時(shí)，場(chǎng)景中存在許多零件，許多零件功能近似、尺寸接近，僅靠外形難以進(jìn)行區(qū)分，即便在實(shí)際裝配中也需要對(duì)零件進(jìn)行匹配確認(rèn)后再進(jìn)行裝配，因而在虛擬環(huán)境中需要有一個(gè)在裝配過(guò)程中能夠顯示被拾取零件信息的機(jī)制。此外，限于目前碰撞檢測(cè)技術(shù)和觸覺(jué)反饋技術(shù)的制約，虛擬環(huán)境中裝配時(shí)的零件及裝配特征不匹配無(wú)法直觀通過(guò)感覺(jué)體現(xiàn)，且對(duì)裝配錯(cuò)誤和參數(shù)不匹配等裝配錯(cuò)誤也無(wú)法通過(guò)直觀的感覺(jué)體現(xiàn)，因此需要提供一個(gè)能夠?qū)Σ僮髡哌M(jìn)行信息提示的交互界面。

HUD(Head Up Display)技術(shù)是一個(gè)從軍事領(lǐng)域起源的技術(shù)，最初運(yùn)用在航空器上的飛行輔助儀器中，能將影像直接投射在飛行員的頭盔前方，飛行員可以不需要低頭就能夠看到所有重要資訊，并且無(wú)論頭部如何移動(dòng)，圖像一直投射在視角正前方。在虛擬環(huán)境中，操作者也是佩戴著頭盔進(jìn)行操作，操作過(guò)程中頭盔所處的位置和視角也會(huì)不斷發(fā)生變化，將HUD技術(shù)原理應(yīng)用到虛擬環(huán)境當(dāng)中，將裝配相關(guān)信息投射在眼前，可以實(shí)現(xiàn)裝配過(guò)程中信息資訊實(shí)時(shí)顯示。

HUD技術(shù)提供隨視角而變換位置且視距固定的顯示界面，關(guān)鍵在于求取顯示界面的空間位姿矩陣和確定信息顯示內(nèi)容。頭盔作為虛擬場(chǎng)景中相機(jī)節(jié)點(diǎn)的定位基礎(chǔ)，可以通過(guò)其內(nèi)部的高精度陀螺儀獲得頭盔視點(diǎn)的空間位置和方向。當(dāng)視距確定以后，可以通過(guò)數(shù)學(xué)推算獲得信息面板的位姿矩陣，具體參考文獻(xiàn)[8]。

3.2 虛擬環(huán)境中操作者與電子手冊(cè)交互設(shè)計(jì)

在虛擬環(huán)境中進(jìn)行虛擬裝配，操作者的目的不同，使用意義也不同。對(duì)于研發(fā)人員來(lái)說(shuō)，對(duì)虛擬樣機(jī)進(jìn)行裝配可以檢驗(yàn)設(shè)計(jì)上的一些缺陷，以及分析裝配可達(dá)性。而對(duì)于維修人員，則是起到訓(xùn)練的功能，如大型機(jī)械和重型裝備的維修訓(xùn)練，使用實(shí)物進(jìn)行訓(xùn)練，實(shí)際條件難以滿足，成本高，因此虛擬環(huán)境的使用是很好的選擇。在虛擬環(huán)境中為裝配培訓(xùn)和教學(xué)提供電子指導(dǎo)手冊(cè)，以圖文說(shuō)明、影像資料及演示動(dòng)畫等信息在虛擬電子屏上向使用者展示，可以充分滿足相關(guān)人員的自學(xué)要求。

交互電子手冊(cè)主要由以下組成部分構(gòu)成：交互式虛擬按鈕，在虛擬環(huán)境中模擬實(shí)際操作按鈕用作輸入操作。虛擬顯示屏幕窗口，模擬大屏幕進(jìn)行零件圖片和裝配教學(xué)視頻的顯示。資源和響應(yīng)管理器，存儲(chǔ)視頻圖片資源并接受按鈕響應(yīng)控制資源的顯示輸出。交互按鈕的開(kāi)發(fā)主要考慮到與虛擬手之間的觸碰響應(yīng)和功能函數(shù)映射，因此每一個(gè)按鈕都有自身的碰撞包圍盒用于和虛擬手進(jìn)行碰撞檢測(cè)，根據(jù)包圍盒的穿透深度來(lái)確定按壓程度，當(dāng)按鈕完全按下之后，該按鈕綁定的功能函數(shù)被調(diào)用。

本文中的交互式電子手冊(cè)實(shí)現(xiàn)了裝配培訓(xùn)教學(xué)功能，可以在虛擬環(huán)境中展示實(shí)際裝配過(guò)程圖及播放教學(xué)視頻。操作者可以根據(jù)教學(xué)圖片和視頻進(jìn)行虛擬環(huán)境中零件裝配操作。圖7是使用電子手冊(cè)進(jìn)行裝配培訓(xùn)的示例，可知在虛擬環(huán)境下操作與實(shí)際操作保持了一致，教學(xué)直觀，訓(xùn)練效果顯著。

圖8是電子手冊(cè)交互操作的截圖，可以看到當(dāng)手掌面朝操作者時(shí)，在虛擬環(huán)境中會(huì)調(diào)出一個(gè)交互式操作面板，可以用虛擬手對(duì)面板上的按鈕操作，從而控制電子手冊(cè)屏幕內(nèi)容的顯示。

4 結(jié)論

本文建立了面向交互裝配培訓(xùn)的技術(shù)流程，為更好滿足裝配培訓(xùn)人機(jī)交互需求，針對(duì)手勢(shì)捕捉裝置LeapMotion所提取的數(shù)據(jù)，研究了手勢(shì)識(shí)別判斷和響應(yīng)功能，采用了HUD技術(shù)實(shí)現(xiàn)了裝配過(guò)程中裝配信息實(shí)時(shí)顯示，并研究了電子手冊(cè)的交互方法。

構(gòu)建了包含手勢(shì)捕捉裝置LeapMotion、HTC Vive頭顯和虛擬場(chǎng)景的渲染引擎Unity3D的人機(jī)交互平臺(tái)系統(tǒng)；采用了LeapMotion作為虛擬環(huán)境輸入的硬件設(shè)備，根據(jù)特定節(jié)點(diǎn)之間的距離和節(jié)點(diǎn)連線所在向量，研究了手勢(shì)劃分；使用骨骼動(dòng)畫技術(shù)重構(gòu)手模型，根據(jù)捕捉到的人手關(guān)鍵節(jié)點(diǎn)的位置驅(qū)動(dòng)虛擬手模型，實(shí)現(xiàn)了虛擬手的空間運(yùn)動(dòng)，滿足了虛擬環(huán)境裝配培訓(xùn)人手的交互需求。為了更好地滿足裝配培訓(xùn)人機(jī)交互性需求，應(yīng)用HUD技術(shù)實(shí)現(xiàn)了虛擬培訓(xùn)環(huán)境下培訓(xùn)信息的輸出顯示，開(kāi)發(fā)了基于虛擬面板交互操作的電子手冊(cè)，更好地提升了裝配培訓(xùn)效果。