大型產品虛擬裝配環境的視點漫游技術

熊　巍，王清輝，黃仲東，許晨旸

(華南理工大學設計學院，廣東 廣州 510641)

大型產品虛擬裝配環境的視點漫游技術

熊巍，王清輝，黃仲東，許晨旸

(華南理工大學設計學院，廣東 廣州 510641)

針對大型產品虛擬裝配環境中的場景漫游問題，提出一種簡單且高效的視點運動控制策略。以認知心理學和人機工程學理論為指導，首先建立人手作業空間，然后對作業空間進行功能劃分，分為對象操作區和視點漫游區，最后在功能分區的基礎上建立人手運動感知與視點運動控制的映射模型。通過實驗證明，操作者對大型產品進行虛擬裝配的過程中，可以輕松地利用該方法實現場景漫游，進而實現虛擬環境中對象操作和場景漫游的無縫集成。

虛擬裝配；人機工程；運動感知；視點漫游

虛擬裝配(virtual assembly，VA)是虛擬現實技術(virtual reality，VR)在裝配領域的一項重要應用[1]。設計人員在計算機生成的虛擬環境中，通過三維直接操作交互手段，對產品的數字化樣機進行裝配，從而對產品的可裝配性作出直接評價。人機交互是虛擬裝配系統設計需要考慮的重要因素，直接關系到產品裝配仿真過程中的交互效率和用戶體驗。一般來說，虛擬環境中的人機交互包括場景漫游(scene navigation)、對象操作(object manipulation)和系統控制(system control)三個方面[2]，其中前兩項直接用于實現用戶的交互任務。針對虛擬裝配中的交互式對象操作技術，國內外學者進行了深入的研究。如Gomes和Zachmann[3]

提出了基于“碰撞檢測”和“位姿近似捕捉”的虛擬裝配定位算法，楊潤黨等[4]提出基于約束的交互式裝配操作，劉振宇等[5]研究了基于語義的交互操作。這些研究主要是集中于對桌面式的虛擬裝配系統的開發，用戶在小范圍的工作空間即可完成產品的裝配建模。然而在大型產品的裝配環境中，用戶需要在不同的工位和設備之間往返或進入產品內部以完成相應零部件的裝配工作，如對于飛機或汽車的總裝配。因此，對于大型產品的虛擬裝配，還需要通過場景漫游來銜接各道裝配工序。

場景漫游，也稱為視點漫游，是指計算機通過變換相機在虛擬環境中的位置和方向，將實時渲染的畫面由顯示設備反饋給用戶，模擬用戶在虛擬環境中行走的效果。目前VR中的交互式漫游主要通過三維鼠標或游戲外設來實現，例如將三維鼠標在三個軸向的推拉和旋轉操作映射到視點的空間運動，實現用戶在三維場景中的漫游。詹榮開等[6]運用 Logitech三維鼠標作為控制傳感器實現了一個視點跟蹤輸入的漫游演示程序，郝愛民等[7]利用操縱桿實現了人在回路的虛擬直升機漫游。但是基于虛擬外設的漫游方法并不能很好地適用于虛擬裝配任務，其存在如下3個方面的問題：

(1) 用戶通過手直接操作虛擬零部件，需要佩戴數據手套及其他位置跟蹤設備，不方便操作三維鼠標或操縱桿；

(2) 在沉浸式虛擬裝配環境中，用戶不會始終處于單一的作業姿勢，難以使用固定放置在桌面上的控制設備；

(3) 對象操作和場景漫游作為兩種相對獨立的操作模式，用戶需要在這兩種模式之間切換，才能滿足交互任務的要求。

總而言之，目前虛擬裝配環境下的交互式漫游主要存在用戶操作不便、交互模式不符合人的認知方式、用戶體驗不佳的問題。劉國華[8]設計的一種行走運動感知裝置，用戶可以在該裝置上完成直線行走及左右轉向，從而實現虛擬環境中的漫游功能。但該裝置體積龐大，構造復雜，而且現有的研究中并未針對用戶體驗做出有效評價。

本文提出一種簡單而有效的虛擬裝配環境交互漫游方法，其理論背景包括了認知心理學和人機工程學。認知心理學認為知識不僅存在于人腦中，而且也存在于外部世界的對象中，人類對世界進行感知和認知以及決策是通過這兩種知識的結合進行的[9]。人機工程學認為在設計和制造中，應將“人的因素”作為一個重要條件來考慮，人體尺度參數是指導設計的重要依據[10]。綜合考慮，該方法首先對人手作業空間進行功能劃分，設計人手運動與視點運動的映射關系，然后通過感知人手的空間運動，捕捉用戶的交互意圖，最終實現虛擬零件操作和場景漫游的無縫集成。

1　虛擬裝配環境下的用戶作業空間

1.1用戶坐標系

對于需要捕捉用戶身體動作的虛擬仿真系統，一般需要建立世界坐標系和設備坐標系。世界坐標系(world coordinate system，WCS)用來對場景中所有幾何對象的空間位置和姿態進行描述，是物體碰撞檢測和裝配運動仿真的基礎。設備坐標系(device coordinate system，DCS)可用來保存和表示由傳感器捕捉的用戶身體運動數據，如位置跟蹤設備捕捉手的空間位姿。

另外，為了對用戶的作業范圍以及手在作業范圍中的空間位置和姿態進行簡潔且高效地描述，本文還建立以用戶為中心的坐標系——用戶坐標系(user coordinate system，UCS)。UCS的建立需要滿足 2個原則：①能夠表示用戶身體的空間位置和姿勢；②從用戶為中心的角度，能夠對用戶的作業范圍以及手在作業范圍中的空間位置和姿態進行簡潔的描述。

如圖1所示，UCS的坐標原點OU位于人體右肩關節處，XU軸垂直人體矢狀面并指向右方，YU軸垂直人體冠狀面并指向正前方，根據右手法則可確定ZU軸，ZU軸沿鉛垂方向指向正上方。圖1中的XWYWZWOW表示WCS，XDYDZDOD表示DCS。

圖1　用戶坐標系

UCS可以用于對作業空間及作業空間中手的當前位姿進行描述，但是虛擬手與場景中的虛擬零件發生交互關系時，如碰撞檢測，還需要將手的位置轉換到世界坐標系下進行統一計算。通過矩陣運算可以實現虛擬對象的坐標在不同坐標系下的轉換。

1.2作業空間

人手的作業空間是人在自身物理限制范圍內可執行操作任務的有效空間，其范圍是由人手的功能尺寸和關節可活動區間決定。人體各關節的活動有一定的限度，超過限度將會造成損傷。當人處于站立姿態，肩關節的最大活動范圍如表 1所示。

表1　肩關節活動范圍

由于后擺的姿勢對于裝配操作沒有實際意義，因此可將人手作業范圍簡化成位于人體前方的半球空間，即以UCS的坐標原點為球心，以Yu軸正向為半徑方向的半球區域，如圖 1所示。另外，根據 GB/T 13547-92標準提供的中國成年人常取姿勢功能尺寸數據，為保證人手作業范圍具有一定普遍性，取男性第95百分位數的上肢功能前伸長尺寸為作業半球的默認半徑大小，如表2所示。因此，人手作業空間可看成位于身體前方半徑 r為789 mm的半球區域。

表2　人手功能尺寸(mm)

2　用戶作業空間的功能分割

通過對虛擬裝配過程分析，發現裝配任務執行過程中有如下特點：

(1) 雖然零件操作是虛擬裝配的主要活動，但對于復雜操作環境下的裝配任務，需要變換操作者的空間位置才能完成；

(2) 操作者會自覺地調整身體的位置和姿態，以滿足最佳的操作姿勢，讓操作行為能夠在舒適操作狀態下得以完成；

(3) 人在準備抓取或操作遠處的零件時，會下意識地更大幅度地伸展肢體。

根據以上結論，將用戶作業空間劃分為兩個功能區，即對象操作區和視點漫游區。對象操作區和視點漫游區都是用戶作業空間的子空間，當手在UCS中的當前位置處于對象操作區，則可以執行虛擬零件的裝配操作；當手位于視點漫游區，則虛擬手可控制視點運動，實現場景漫游。

圖2表示各功能區在UCS的XuYu平面上的水平投影，人手的作業范圍被以r1和r2為半徑的兩個半圓分割為 3個區域，其中中間的環形區域(B區)為對象操作區，而外環(A區)和內部小半圓(C區)都是視點漫游區。

圖2　用戶作業空間的功能劃分

由于人手的大部分操作活動是在對象操作區中進行，為了提高工作效率，減輕長期工作負荷產生的疲勞感，可根據人機工程學原理，從人手舒適程度和視覺因素兩個方面來確定對象操作區的邊界，以保證在零件操作時人手始終處于手眼協調區。圖3表示立姿單臂作業的近身作業空間，以第5百分位數的男性為基準，當物體處于地面以上110～165 cm高度，并且在身體中心線左右46 cm范圍內時，大部分人可以在直立狀態下在身體前側46 cm的范圍手臂處于身體中心線處操作，其舒適作業空間最大可及弧半徑為54 cm。

圖3　立姿單臂舒適作業范圍(cm)

對象操作區的邊界還要考慮人的視覺因素，即視距。視距是指人在操作系統中正常的觀察距離。視距過遠或過近都會影響觀察的速度和操作的精確性，一般裝配任務的操作視距范圍在38～76 cm之間。綜合考慮人手舒適度和視覺舒適度，設置對象操作區的邊界：r1=50 cm，r2=20 cm。

3　基于人手運動感知的漫游方法

3.1視點運動

關于計算機圖形學中的視點漫游，其本質是通過控制相機的運動來模擬視點的運動。相機運動的主要參數包括相機的位置eye，相機鏡頭對準的目標點位置target和相機向上的方向up。其中eye確定視點的位置，由eye指向target的連線確定了視線方向。本文模擬的漫游方式是人的行走，因此對相機模型進行簡化，包括：①將eye和target約束在視平面上，即視線始終保持在過視點的水平面上；②不考慮相機繞著視線的旋轉，即忽略相機向兩側的翻滾。因此，相機模型可簡化為視平面上一條由eye(xe, ye, h)指向target(xt, yt, h)的有向線段P，線段的方向表示視線的方向，其中h為視點高度，如圖4(a)所示。設則虛擬環境中的視點漫游可表示成P在WCS中的旋轉變換和平移變換。

圖4　視點運動模型

設ti到ti+1時間間隔△t內，△t=ti+1–ti。

(1) P繞eye旋轉△θ角度(圖4(b))，則：

其中，R=R(△θ)為繞eye逆時針轉△θ的旋轉變換矩陣，R＝TRzT–1

(2) P沿旋轉后的視線方向平移△s距離(圖4(c))，則：

其中，Ts=T(△x, △y)為平移變換矩陣，即：

△x和△y分別表示沿WCS的X軸和Y軸的平移分量，△x=△s×sinθ，△y=△s×cosθ，θ為當前視線的方向角，視點的位移方向應與視線的方向角一致。當虛擬場景初始化時，設相機的初始方向為標準方向，標準方向與南北方向線平行，如圖5(a)所示。在相機運動過程中，當前時刻視線方向角 θ為視線方向與標準方向所夾的銳角(θ＜π/2)，圖5(b)～(e)表示不同方向角的情況。

圖5　視線的方向角

3.2基于人手運動感知的視點運動控制

接下來討論用戶手對視點運動的位移距離△s和旋轉角度△θ的控制，即建立UCS中手的位置與視點運動之間的映射關系。

若手在UCS中的位置hand(xh, yh, zh)，這里僅考慮手的x, y坐標，那么人手在XUYU平面上正投影的位置矢量為H(xh, yh)，rh表示hand到坐標原點的距離，設在△t時間間隔內，視線的初始方向角為θi，視線的終止方向角為θi+1，視點的運動線速度大小為v，角速度大小為ω，可計算視點的位移△s和轉角△θ。其中，k1和 k2分別是線速度和角速度大小的比例系數，d為hand沿H方向上到對象操作區邊界的距離。φ稱為控制角，用來映射相機偏離標準方向的角速度，是位置矢量H與YU軸正向的夾角。當hand處于XUYU平面的第一象限，φ取負值，此時可控制相機向右方偏航（順時針旋轉），如圖6(c)、(e)所示；當hand處于XUYU平面的第二象限，φ取正值，此時可控制相機向左方偏航(逆時針旋轉)，如圖6(b)、(d)所示。

圖6　人手處于用戶作業空間的區域分析

下面根據人手在不同功能區域的 3種位置情況，討論如何得到視點的旋轉變換矩陣 R(△θ)和平移變換矩陣T(△x, △y)。

(1) 用戶手位于B區(r2＜rh＜r1)：此時v=0，ω=0，用戶只能操作虛擬零件，而不能對視點運動進行控制，如圖6(a)所示。

(2) 用戶手位于A區(r1≤rh≤r)：可控制視點朝前進方向運動，如圖6(b)、(c)所示。此時d=rh–r1，θi+1的大小與θi的方向有關。

當θi為北偏東向或南偏西向時，

當θi為北偏西向或南偏東向時

為了保證視點的位移方向與視線當前方向一致，△x、△y的正負號與θi+1的方向有關，如表3所示。

表3　視點位移方向

(3) 用戶手位于C區(0＜rh＜r2)：可控制視點朝后退方向運動，此時d=r2–rh，如圖6(d)、(e)所示，視線方向角θi+1的計算與上述方法相同。△x、△y的正負取值與方向角θi+1的關系如表4所示。

表4　視點位移方向

由△x、△y和△θ，則可得到視線旋轉變換矩陣 R(△θ)和平移變換矩陣T(△x, △y)。在虛擬裝配交互過程中，將虛擬手的位姿矩陣也乘以R(△θ)和T(△x, △y)，則可實現以用戶為中心的第一視角漫游。

4　實　例

為了驗證本文提出的視點漫游方法，其分別以多通道立體投影和頭盔顯示器作為視覺輸出設備，搭建兩套虛擬裝配實驗平臺，如圖 7和圖 8所示。兩套系統的輸入設備都是數據手(CyberGlove，Immersion)和電磁位置跟蹤器(Fastrak，Polhemus)。系統的硬件平臺為BOXX(3DBOXX W3960)圖形工作站，軟件開發平臺為 OpenGL圖形庫和 MFC應用程序框架。Fastrak(圖9)的兩個接收器分別固定于用戶的肩關節(UCS的坐標原點)和手腕處，用于采集身體和手的空間位姿。

圖7　采用多通道立體投影的虛擬現實系統

另外，通過開發一個航空活塞發動機虛擬裝配程序，以測試視點漫游方法的交互性能。實驗選擇10名學生用戶，在熟悉實驗系統后，進行虛擬裝配實驗。實驗流程如下：用戶進入虛擬場景(圖10(a))；在場景漫游模式下，通過手部運動來控制視點漫游，實現從不同視角對裝配部件進行觀察(圖10(b))；在對象操作模式下，拾取待裝配零件，并再通過視點漫游功能移動到合適的裝配位置(圖10(c))；完成零件裝配(圖10(d))。

圖8　采用頭盔顯示器的虛擬現實系統

圖9　電磁位置跟蹤器

圖10　虛擬裝配仿真

實驗完成后，用戶對虛擬裝配系統做出可用性評價(見表5)。

表5　用戶體驗評價

根據實驗結果，各項評價指標的平均分都高于8分。因此，用戶采用本文提出的方法，可以輕松地在虛擬裝配環境中漫游，而不需要其他虛擬外設輔助，同時能實現對象操作和場景漫游這兩種交互模式無縫集成。

5　結　論

大型產品的虛擬裝配往往需要通過漫游來銜接各道工序，本文提出一種簡單且高效的視點運動控制策略來實現場景漫游功能。以人機工程學的數據為基礎，首先建立人手作業空間，然后對作業空間進行功能劃分，分為對象操作區和視點漫游區，最后在功能分區的基礎上建立人手運動感知與視點運動控制的映射模型。通過實驗證明，操作者對大型產品進行虛擬裝配的過程中，可以輕松地利用該方法實現場景漫游，并且能夠比較自然地在對象操作和場景漫游這兩種交互模式之間過渡。

[1] 許晨旸, 張瑞秋, 劉林, 等. 集成幾何約束與物性仿真技術的虛擬裝配[J]. 圖學學報, 2015, 36(3): 392-395.

[2] Hand C. Survey of 3D interaction techniques [J]. Computer Graphics Forum, 1997, 16(5): 269-281.

[3] Gomes de Sa, Zachmann G. Virtual reality as a tool for verification of assembly and maintenance processes [J]. Computer and Graphics, 1999, 23(3): 389-403.

[4] 楊潤黨, 武殿梁, 范秀敏, 等. 基于約束的虛擬裝配運動導航技術[J]. 農業機械學報, 2006, 37(3): 113-118.

[5] 劉振宇, 譚建榮, 張樹有. 基于語義識別的虛擬裝配運動引導研究[J]. 軟件學報, 2002, 13(3): 382-389.

[6] 詹榮開, 王宏偉, 任敏, 等. Logitech三維鼠標及其在三維場景漫游中的應用[J]. 計算機工程, 2001, 27(1): 187-188.

[7] 郝愛民, 龐國峰, 紀玉春. 虛擬珠峰飛行漫游系統逼真性的研究與實現[J]. 系統仿真學報, 2000, 12(7): 356-359.

[8] 劉國華. 大型產品虛擬裝配系統中人機交互關鍵技術的研究[D]. 哈爾濱: 哈爾濱工業大學, 2006.

[9] Norman D A. The design of everyday things [M]. New York: Basic Books, 2002: 54-58.

[10] 程能林. 工業設計手冊[M]. 北京: 化學工業出版社, 2007: 465-469.

Viewpoint Navigation Techniques for Virtual Assembly Environment of Large-Scale Products

Xiong Wei,Wang Qinghui,Huang Zhongdong,Xu Chenyang
(School of Design, South China University of Technology, Guangzhou Guangdong 510641, China)

A high-efficiency navigation strategy is proposed for virtual assembly environment of large-scale products. Based on the theory of cognitive psychology and ergonomics, a workspace of human hand is constructed. Then the workspace is divided into object operation space and viewpoint navigation space. Finally a motion mapping relationship between human hand and viewpoint is developed. It has been proven by experiments that the users can easily navigate the virtual environment in the virtual assembly process. So the two interactive modes, object operation and scene navigation, can be integrated seamlessly.

virtual assembly; ergonomics; motion perception; viewpoint navigation

TP 391

A

2095-302X(2015)06-0937-07

2015-04-10；定稿日期：2015-07-16

國家自然基金資助項目(51105144)；華南理工大學中央高校基本科研業務費(2014ZM0026)

熊巍(1979–)，男，江西南昌人，講師，博士研究生。主要研究方向為虛擬現實技術。E-mail：weixiong@scut.edu.cn