應(yīng)用虛擬現(xiàn)實(shí)技術(shù)的人機(jī)交互仿真系統(tǒng)開(kāi)發(fā)

曹文鋼， 王 銳， 張紅旗， 陳帝江， 彭五四

（1. 合肥工業(yè)大學(xué)機(jī)械與汽車(chē)工程學(xué)院，安徽 合肥 230009；2. 華東電子工程研究所，安徽 合肥 230058）

虛擬現(xiàn)實(shí)（Virtual Reality簡(jiǎn)稱(chēng)VR）技術(shù)是20世紀(jì)90年代最重要的科技成就之一，與傳統(tǒng)的計(jì)算機(jī)系統(tǒng)相比它具有多感知性、沉浸感、自治性、交互性4個(gè)顯著的特征[1]。該技術(shù)可以對(duì)真實(shí)世界的行為活動(dòng)進(jìn)行仿真，并對(duì)用戶(hù)的位置、姿態(tài)、語(yǔ)言等做出實(shí)時(shí)響應(yīng)，借助一些交互設(shè)備可以使參與者以接近自然的方式與虛擬環(huán)境中的對(duì)象進(jìn)行交互，從而使參與者和虛擬環(huán)境之間建立起實(shí)時(shí)的交互關(guān)系，產(chǎn)生與真實(shí)環(huán)境中相似的感覺(jué)體驗(yàn)。

人因工程是研究人和機(jī)器、環(huán)境的相互作用及其合理結(jié)合，使設(shè)計(jì)的及其和環(huán)境系統(tǒng)適合人的生理、心理等特點(diǎn)，達(dá)到在生產(chǎn)中提高效率、安全、健康和舒適的目的的學(xué)科。它要求設(shè)計(jì)者在設(shè)計(jì)時(shí)充分考慮使用者的能力和限制，為用戶(hù)提供一個(gè)應(yīng)用便利、交互友好的設(shè)計(jì)[2]。然而由于前期設(shè)計(jì)階段缺少可用的評(píng)價(jià)模型和手段，人因工程學(xué)方面的要求難以被充分考慮，經(jīng)常需要反復(fù)設(shè)計(jì)，消耗大量時(shí)間和成本。虛擬現(xiàn)實(shí)技術(shù)的引入將為這一問(wèn)題的解決帶來(lái)一種新的思路，其主要優(yōu)勢(shì)有以下幾點(diǎn)：

（1） 利于擺脫對(duì)物理模型的依賴(lài)；

（2） 利于在設(shè)計(jì)早期發(fā)現(xiàn)缺陷并及時(shí)修正；

（3） 利于快速調(diào)整所關(guān)心的變量；

（4） 利于記錄、保存相關(guān)操作數(shù)據(jù)。

基于VR技術(shù)多方面的優(yōu)勢(shì)，國(guó)內(nèi)外一些研究機(jī)構(gòu)都在進(jìn)行這方面的嘗試。例如，美國(guó)Marshall空間飛行中心研制出載人航天器的VR 座艙進(jìn)行人因工程學(xué)研究，指導(dǎo)座艙布局設(shè)計(jì)并訓(xùn)練航天員熟悉航天器的艙內(nèi)布局、界面和位置關(guān)系，并演練飛行程序[3]。國(guó)內(nèi)方面，北京航天醫(yī)學(xué)工程研究所也在進(jìn)行這方面的研究工作，如應(yīng)用VR技術(shù)開(kāi)展載人航天器乘員艙內(nèi)顏色匹配性的工效學(xué)研究，提高艙顏色匹配性工效設(shè)計(jì)的逼真性、靈活性和經(jīng)濟(jì)性[4]。目前這些研究還主要集中在航空航天領(lǐng)域，在軍事中應(yīng)用較少，而現(xiàn)代武器控制系統(tǒng)大多界面復(fù)雜、交互性強(qiáng)、危險(xiǎn)性高，人因工程研究非常重要。本文應(yīng)用虛擬現(xiàn)實(shí)技術(shù)開(kāi)發(fā)了一套可用于人機(jī)交互研究的集成仿真系統(tǒng)，以實(shí)現(xiàn)對(duì)雷達(dá)顯控臺(tái)布局的測(cè)評(píng)和改善工作，從而提高其安全性、可靠性和可用性。

1 系統(tǒng)的構(gòu)成及實(shí)現(xiàn)原理

該系統(tǒng)的硬件設(shè)備主要包括：SGI VSS80工作站、科視Montage LX50被動(dòng)立體投影系統(tǒng)、視頻信號(hào)分配器、數(shù)據(jù)手套（5DT Data Glove 16）、跟蹤器（Ascension FOB)、立體眼鏡。軟件：Division Mockup2000i2、RapidVRM、Trackd、Pro/E。其集成方式如圖1所示。本系統(tǒng)采用1塊尺寸為2.6米（寬）×2.0米（高）的屏幕、1臺(tái)仿真計(jì)算機(jī)、1臺(tái)視頻信號(hào)分配器和2臺(tái)5000 ANSI流明的投影儀組成一個(gè)單通道被動(dòng)立體投影顯示系統(tǒng)，將虛擬顯控臺(tái)顯示在屏幕上。操作者佩戴立體眼鏡在實(shí)際尺寸的虛擬顯控臺(tái)前進(jìn)行實(shí)時(shí)交互操作，如按啟動(dòng)鍵來(lái)啟動(dòng)設(shè)備，調(diào)節(jié)旋鈕控制參數(shù)。系統(tǒng)中用戶(hù)進(jìn)行操作的虛擬顯控臺(tái)模型包括幾何模型和控制邏輯模型兩部分[5]。

圖 1 系統(tǒng)集成圖

幾何模型使用Pro/E進(jìn)行建模，然后通過(guò)格式轉(zhuǎn)換導(dǎo)入Division中通過(guò)紋理貼圖，打開(kāi)立體開(kāi)關(guān)投影就可以直觀地呈現(xiàn)出顯控臺(tái)場(chǎng)景；圖2為本文所設(shè)的顯控臺(tái)的簡(jiǎn)化幾何模型，約1.5米長(zhǎng)，含18個(gè)指示燈，12個(gè)按鍵，4個(gè)旋鈕，4個(gè)儀表和1個(gè)顯示屏。

控制邏輯模型是對(duì)控制邏輯的定義，如按鍵、旋鈕與指示燈、儀表之間的對(duì)應(yīng)關(guān)系等。這里借助Division的事件觸發(fā)機(jī)制實(shí)現(xiàn)控制邏輯。例如，當(dāng)操作人員按下開(kāi)機(jī)按鍵R1時(shí)，邏輯模型會(huì)控制A指示燈亮，同時(shí)開(kāi)機(jī)音樂(lè)被觸發(fā)，其后臺(tái)控制過(guò)程如圖3所示。

圖 2 幾何模型圖

圖3 邏輯控制原理圖

2 關(guān)鍵技術(shù)

2.1 三維建模與數(shù)據(jù)轉(zhuǎn)換

Division 本身沒(méi)有建模功能，需要先用Pro/E對(duì)顯控臺(tái)進(jìn)行建模然后通過(guò)三維數(shù)據(jù)接口模塊MockupConverter 進(jìn)行數(shù)據(jù)轉(zhuǎn)換。通常情況下有兩種方式往Division 入模型：① 數(shù)據(jù)量小的模型可以通過(guò)Proewildfire2.0 或之后的版本轉(zhuǎn)換成Productview 的*.ed 文件；② 利用第三方軟件object_adapters_11.0 在 DOS 環(huán)境下調(diào)用proe2pv_init.exe 文件對(duì)已有的模型進(jìn)行處理，然后輸出包括幾何文件、材料文件、材質(zhì)文件和VDI 文件在內(nèi)的結(jié)果文件（可以處理大型模型）。

2.2 外設(shè)集成

由于數(shù)據(jù)手套、跟蹤器不能直接跟Division 進(jìn)行交互，這里選擇VRCO 公司的Trackd 軟件和Visual Advantage 公司的RapidVRM 插件架設(shè)一座“橋梁”。其原理過(guò)程如圖4 所示。

圖4 外設(shè)集成原理圖

以上過(guò)程的實(shí)現(xiàn)需要對(duì)trackd.conf 文件進(jìn)行重定義和修改，并創(chuàng)建一個(gè)reg文件將RapidVRM插件的信息導(dǎo)入注冊(cè)表，從而實(shí)現(xiàn)對(duì)Trackd 獲取信息的解析和 Division 信息的反饋。并在trackd.conf 文件中需要預(yù)定義外設(shè)名、數(shù)據(jù)傳輸速率、內(nèi)存地址標(biāo)示、數(shù)據(jù)流關(guān)鍵字等：

DeviceOption DX controller Rumble 0 （Rumble 0 為本機(jī)對(duì)應(yīng)的外接設(shè)備名稱(chēng)）

DeviceOption DX baud 19200 定義傳輸速率

ConnectorOption Shm2 key 4127 定義內(nèi)存地址標(biāo)識(shí)

DefineConnector Shm2 shm out 1 定義共享內(nèi)存和跟蹤傳感器個(gè)數(shù)和數(shù)據(jù)流關(guān)鍵字

2.3 運(yùn)動(dòng)跟蹤和手指姿勢(shì)跟蹤

系統(tǒng)中使用5DT公司的Data Glove 16 數(shù)據(jù)手套共有16個(gè)光電傳感器，由合成彈力纖維制造而成，其中嵌入16 個(gè)光學(xué)纖維傳感器，分別用于測(cè)量各個(gè)手指1、2 關(guān)節(jié)的屈伸角度、做收展動(dòng)作時(shí)手指間的夾角、基部關(guān)節(jié)和中間關(guān)節(jié)的彎曲曲率、相鄰兩個(gè)手指之間的伸展角度、拇指的平移和手腕部的彎曲曲率。（各個(gè)傳感器的輸出數(shù)據(jù)在0～1之間，對(duì)應(yīng)的角度范圍為0°～90°。）通過(guò)16個(gè)傳感器返回的實(shí)時(shí)數(shù)據(jù)跟蹤手指姿勢(shì)。

位置跟蹤器（Ascension FOB）是數(shù)據(jù)手套交互中的輔助設(shè)備，用于測(cè)量腕部的6個(gè)自由度值和控制虛擬手的空間位置和方向。通過(guò)發(fā)射器發(fā)射形成磁場(chǎng)，然后由接受器感受磁信號(hào)，通過(guò)信號(hào)處理器計(jì)算出傳感器相對(duì)于發(fā)射器中心的空間位置和方向[6]。（跟蹤器在工作范圍（±1.5 m）內(nèi)工作效果較好，但是其精確性容易受到工作空間中導(dǎo)磁導(dǎo)電體影響，因此位置跟蹤器的發(fā)射器、傳感器等元件應(yīng)遠(yuǎn)離金屬、磁導(dǎo)體。）位置跟蹤器與數(shù)據(jù)手套配合使用，實(shí)現(xiàn)對(duì)虛擬手運(yùn)動(dòng)跟蹤和手指姿勢(shì)跟蹤。

2.4 操作識(shí)別和命令獲取

本系統(tǒng)研究對(duì)象只有兩種操作動(dòng)作：按按鍵和擰旋鈕。通過(guò)控制文件中預(yù)定義語(yǔ)句，即時(shí)判斷動(dòng)態(tài)捕捉到的操作人員的手的動(dòng)作是否有效。計(jì)算機(jī)可以對(duì)這兩種動(dòng)作進(jìn)行識(shí)別，控制文件中預(yù)定義語(yǔ)句的邏輯定義如下：同時(shí)滿(mǎn)足以下條件時(shí)，“按按鍵”動(dòng)作有效：

（1） 食指伸直；

（2） 食指位置與按鍵有接觸；

（3） 接觸時(shí)間大于設(shè)定值。

同時(shí)滿(mǎn)足以下條件時(shí)，“調(diào)節(jié)旋鈕”動(dòng)作有效：

（1） 拇指和其他四指都處于彎曲收縮狀態(tài)；

（2） 兩指或兩指以上數(shù)目的手指與旋鈕有接觸；

（3） 接觸時(shí)手指呈順時(shí)針旋轉(zhuǎn)或逆時(shí)針旋轉(zhuǎn)。

從系統(tǒng)開(kāi)始運(yùn)行，計(jì)算機(jī)將所有的操作命令數(shù)據(jù)保存在計(jì)算機(jī)內(nèi)，研究人員通過(guò)檢測(cè)和分析這些數(shù)據(jù)，可以對(duì)操作人員的工作績(jī)效和作業(yè)標(biāo)準(zhǔn)進(jìn)行評(píng)估和測(cè)試。例如，誤操作次數(shù)，操作反應(yīng)時(shí)。

2.5 系統(tǒng)顯示技術(shù)

系統(tǒng)中的模型顯示，采用單通道被動(dòng)立體顯示技術(shù)。在顯示信號(hào)的轉(zhuǎn)換過(guò)程中，使用立體信號(hào)轉(zhuǎn)換器，解決計(jì)算機(jī)主動(dòng)式輸出信號(hào)轉(zhuǎn)換為被動(dòng)式信號(hào)的問(wèn)題。把圖形工作站輸入的一路主動(dòng)式信號(hào)源，轉(zhuǎn)換成兩路被動(dòng)式信號(hào)輸出給兩臺(tái)投影機(jī)，將一個(gè)視點(diǎn)自動(dòng)調(diào)整為左右眼兩個(gè)視點(diǎn)，使圖像映射在銀粉屏幕上。觀測(cè)者佩戴過(guò)立體眼鏡觀看時(shí)，根據(jù)偏振原理，通過(guò)偏振光眼鏡，用戶(hù)的左右眼都只能看見(jiàn)各自的圖像（即被動(dòng)同步的立體投影）。這種在虛擬系統(tǒng)中直接模擬左右眼圖像，與傳統(tǒng)的單一圖像偏振立體顯示系統(tǒng)相比，不僅不需要昂貴的視頻分離器，而且立體效果更加逼真。圖5 為系統(tǒng)單通道被動(dòng)立體顯示原理圖。

圖5 單通道被動(dòng)立體顯示原理圖

3 實(shí)驗(yàn)應(yīng)用

為驗(yàn)證本實(shí)驗(yàn)系統(tǒng)的可行性，對(duì)3種基于不同布局原則設(shè)計(jì)的顯控臺(tái)設(shè)計(jì)方案，進(jìn)行了操控績(jī)效測(cè)評(píng)實(shí)驗(yàn)。方案A按照重要性原則，將最重要的控件集中放置在最便于操作的位置，如將按鍵1、按鍵2等所有的按鍵集中地放置在面板中央，便于手動(dòng)操作，指示燈1、指示燈2等所有儀表集中放置在面板上方，便于眼部觀察。

方案B使用頻度原則，將使用頻率最高的控件集中放置在最便于操作的位置，如將旋鈕1、旋鈕2等所有的按鍵集中地放置在面板中央，便于手動(dòng)操作，儀表1、儀表2等所有儀表集中放置在面板上方，便于眼部觀察。

方案C按照功能性原則，將完成同一功能的相關(guān)部件成組進(jìn)行布置，如儀表1與控制它的旋鈕1、儀表2和控制它的旋鈕2全部放置在控制面板的A區(qū)；相應(yīng)地，按鈕1、按鈕2和指示燈1、指示燈2放置在B區(qū)，依此類(lèi)推；設(shè)計(jì)A、設(shè)計(jì)B和設(shè)計(jì)C都放置了4個(gè)儀表、18個(gè)指示等和12個(gè)按鈕，實(shí)驗(yàn)開(kāi)始后，儀表會(huì)隨著旋鈕的旋轉(zhuǎn)改變指示范圍，任意一個(gè)儀表的指針超出正常范圍（誤操作），對(duì)應(yīng)的報(bào)警燈都會(huì)變亮，警報(bào)聲響起，需要操作者按下相應(yīng)的按鈕才能消除警報(bào)。如果有按鍵被按下而警報(bào)未解除即產(chǎn)生了誤操作。

實(shí)驗(yàn)?zāi)康氖菫榱吮容^這3種設(shè)計(jì)的操作反應(yīng)時(shí)、誤操作率等操控績(jī)效參數(shù)有無(wú)差異及差異大小。實(shí)驗(yàn)共邀請(qǐng)了20名有相關(guān)操作經(jīng)驗(yàn)的人員參加實(shí)驗(yàn)，按照有關(guān)實(shí)驗(yàn)設(shè)計(jì)方法和控制方法嚴(yán)格實(shí)施實(shí)驗(yàn)，所得初步實(shí)驗(yàn)分析結(jié)果如表1。

實(shí)驗(yàn)結(jié)果表明，方案C的平均操作反應(yīng)時(shí)要長(zhǎng)于方案B，方案A又長(zhǎng)于B，但三者的誤操作率按C、A、B依次增高，因此，對(duì)于操作正確率要求更高的情況，宜采用方案C；對(duì)于操作反應(yīng)時(shí)間要求更高的情況，可采用方案B。上述實(shí)驗(yàn)很好地驗(yàn)證了本仿真系統(tǒng)的應(yīng)用可行性，為開(kāi)展更多類(lèi)似實(shí)驗(yàn)提供了參考。

表 1 顯控臺(tái)布局設(shè)計(jì)實(shí)驗(yàn)數(shù)據(jù)結(jié)果

4 結(jié) 論

本文基于虛擬現(xiàn)實(shí)技術(shù)開(kāi)發(fā)了一個(gè)可應(yīng)用于人因工程研究的集成仿真系統(tǒng)。使用磁跟蹤器和數(shù)據(jù)手套解決運(yùn)動(dòng)跟蹤和手指姿勢(shì)跟蹤問(wèn)題；通過(guò)先建立邏輯定義，再預(yù)定義語(yǔ)句對(duì)操作動(dòng)作進(jìn)行判斷從而識(shí)別有效動(dòng)作；利用Division的事件觸發(fā)功能實(shí)現(xiàn)對(duì)操作動(dòng)作的實(shí)時(shí)響應(yīng)；應(yīng)用單通道被動(dòng)立體投影系統(tǒng)實(shí)現(xiàn)立體顯示。初步實(shí)驗(yàn)結(jié)果驗(yàn)證了該系統(tǒng)的可行性，為虛擬現(xiàn)實(shí)環(huán)境下的人因工程學(xué)研究探索了一新方法。

[1] 張樹(shù)生, 楊茂奎, 朱名銓, 等. 虛擬制造技術(shù)[M]. 西安: 西北工業(yè)大學(xué)出版社, 2006. 32-33.

[2] 孫林巖. 人因工程[M]. 北京: 中國(guó)科學(xué)技術(shù)出版社, 2001. 2-3.

[3] TICKER R L, AZZOLINI J D. 2000 survey of distributed spacecraft technologies and architectures for NASA’s earth science enterprise in the 2010-2015 time frame [R]. NASA Technical Memorandum, NASA/TM-2000-209964, NASA Goddard Space Flight Center, Greenbelt, MD, 2000: 107-110.

[4] 周前祥, 曲戰(zhàn)勝, 姜國(guó)華, 等. 載人航天器乘員艙內(nèi)顏色匹配性設(shè)計(jì)虛擬現(xiàn)實(shí)系統(tǒng)的研究[J]. 系統(tǒng)仿真學(xué)報(bào), 2002, 14(9): 1171-1174.

[5] 王 穎, 廖可兵, 郭 陽(yáng), 等. 集成人機(jī)交互仿真系統(tǒng)研制與應(yīng)用[J]. 系統(tǒng)仿真學(xué)報(bào), 2007, 11(19): 2493-2495.

[6] 羅 斌, 何鐵凝, 鄭 澎. 基于WTK 的數(shù)據(jù)手套交互控制模塊設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)仿真, 2004, 21(8): 2493-2495.