虛擬環境下的多維視覺幾何匹配方法研究

張 華,徐 亮，劉滿祿,2,張 靜,2 ，王 姮,張興宇

(1.西南科技大學信息工程學院，四川 綿陽 621010；2.中國科學技術大學信息科學技術學院，安徽 合肥 230026)

0 引言

虛擬裝配技術是常用的工程技能訓練技術之一。在工業生產過程中，新員工的裝配技能訓練需要消耗大量的工時。而虛擬裝配正是解決該類問題的有效途徑[1-5]。目前，虛擬裝配系統存在的問題有：①虛擬感知信息不足，操作者極易疲勞；②操作臨場感不強；③復雜操作環境中，操作對象視覺受限，致使操作效率降低。

針對上述問題，王念東等人提出了虛擬現實(virtual reality，VR)集成裝配系統，系統復雜，成本較高，不利于實現[6]。沈佳中等人提出了力覺虛擬裝配系統，盡管操作效率有所提升，但操作視覺較為單一，裝配中一旦有物體遮擋，操作者不能及時感知，極容易發生碰撞現象[7]。盧麗婷等人提出了單點式力反饋器的虛擬裝配[8]，通過力覺反饋技術，操作者可感受到操作對象外形，優化了裝配性能，但仍未彌補視覺信息缺陷。

基于此，本文提出了一種多視角輔助虛擬裝配方法。根據虛擬空間操作任務與操作對象的復雜程度，適當增加輔助視覺維數。通過增加操作視角，操作者在操作過程中可同時看到各個輔助視覺窗口信息，并實時修正裝配過程中出現的偏差，以此降低操作難度。

1 虛擬裝配系統

虛擬裝配系統的主端為力反饋裝置，從端為虛擬裝配環境。通過主從端之間的空間匹配關系，將操作主端的末點工具坐標點映射至虛擬環境中，形成代理點。操作者通過操作主端，實現對從端虛代理點的位置和姿態控制。當代理點影射至操作對象時，操作對象位置與姿態會隨代理點的變化而變化，實現對裝配對象的運動控制。系統框圖如圖1所示。

圖1 系統框圖 Fig.1 Block diagram of the system

2 視角空間匹配

2.1 視覺維數關系

虛擬裝配系統作為訓練平臺，當系統視角過多，系統顯得極其復雜，操作人員無法同時顧及過多的視角信息；當視角太少，模擬訓練裝配效率太低，操作者極易操作疲勞。因此，視角維數是判斷虛擬裝配系統好壞的關鍵。人的視野維數與裝配復雜度有著密切關系。視野維數由視野中的位置因素和視線因素所決定[9-10]。

2.2 空間關系匹配

在虛擬裝配系統中，虛擬工作空間的視覺錐體需要與實體工作空間進行映射匹配，確保操作者有良好的視覺角度。Geomagic Touch設備工作空間[11]為扇形體，虛擬空間與之匹配時，為確保不出現盲區，需要將視椎體映射至操作空間中[12-14]。傳統裝配系統一般只有一個窗口。現對系統進行改進，分別添加主視角、俯視角和左視角作為輔助窗口。在三維坐標中，需要設定其中一個軸向比例，其余方向比例依據映射計算得到[15]。

2.2.1 主視角關系映射

在主視圖空間匹配中，視錐體與視覺角度相反。當Z軸方向比例固定后，需根據X軸和Y軸的映射關系，求解出主視圖視椎體在操作空間對應的比例系數，完成視錐體在操作空間中的匹配。主視角X軸方向映射關系如圖2所示。

圖2 主視角X軸方向映射關系圖 Fig.2 Mapping relation of the X-axis direction of the main viewing angle

在XOZ平面中：l1和l2分別為映射區前端和后端平面長；β為視錐體寬度方向視覺半角；L1和L2為視錐體遠平面和近平面寬；dz為映射代理點沿Z軸方向微小距離。幾何關系為：

(1)

(2)

(3)

由式(1)～式(3)可得主視角X軸方向的比例系數：

(4)

主視角Y軸方向映射關系如圖3所示。

圖3 主視角Y軸方向映射關系圖 Fig.3 Mapping relation of the Y-axis direction of the main viewing angle

在YOZ平面中：s為工作空間映射區的高；γ為高度方向視覺半角；h1和h2為視錐體近端和遠端裁剪面高。

映射幾何關系為：

(5)

(6)

由式(5)～式(7)可得主視角Y軸方向的比例系數：

(7)

當kzx和kzy系數確定后，則完成了主視圖的視錐體與操作空間的映射匹配。

2.2.2 俯視角關系映射

在俯視圖匹配中，當Y軸比例關系確定時，需通過求解出Z軸和X軸的對應比例關系，完成左視圖的視錐體與操作空間的匹配。俯視角Z軸方向映射關系如圖4所示。

圖4 俯視角Z軸方向映射關系圖 Fig.4 Mapping relation of the Z-axis direction of the top viewing angle

在XOZ平面中：v為設備工作空間映射區的長度，β為長度方向視角視覺半角；L1和L2為視錐體近裁剪面和遠裁剪面長度。映射幾何關系為：

(8)

(9)

由式(8)和式(9)可得俯視角Z軸方向的比例系數 ：

(10)

俯視角X軸方向映射關系如圖5所示。

圖5 俯視角X軸方向映射關系圖 Fig.5 Mapping relation of the X-axis direction of the top viewing angle

在XOY平面中：f為設備工作空間映射區的寬度；γ為寬度方向視角半角；n1和n2為視錐體近裁剪面和遠裁剪面寬度。幾何關系為：

(11)

(12)

由式(11)和式(12)可得俯視角X軸方向的比例系數:

(13)

2.2.3 左視角關系映射

在俯視圖匹配中，X軸方向比例固定后，只需映射Y和Z軸的對應比例關系，即可求出視椎體在操作空間的關系。左視角Y軸方向映射關系如圖6所示。

圖6 左視角Y軸方向映射關系圖 Fig.6 Mapping relation of the Y-axis direction of the left viewing angle

在XOY平面中：w1和w2為映射區前端和后端平面的長；β為視錐體長度方向的視角半角；L1和L2為視錐體近裁剪平面和遠裁剪平面寬；dx為沿X軸方向位移。幾何關系為：

(14)

(15)

(16)

由式(14)～式(16)可得左視角Y方向的映射比例系數：

(17)

左視角Z軸方向映射關系如圖7所示。

在XOZ平面中：P為設備工作空間映射區的高；γ為高度方向的半視角；n1和n2為視錐體近裁剪面高和遠裁剪寬。幾何關系為：

圖7 左視角Z軸方向映射關系圖 Fig.7 Mapping relation of the Z-axis direction of the left viewing angle

(18)

(19)

由式(18)和式(19)得左視角Z軸方向的映射比例系數：

(20)

3 力覺計算

在虛擬裝配系統中，代理點與虛擬物體接觸時產生虛擬力覺，計算機將力覺信息實時反饋至操作主端，操作者可感受到從端虛擬力。根據力覺信息和輔助窗口，操作者操作主端完成虛擬物體的拾取、移動、旋轉、釋放等操作功能。在虛擬空間中，力覺產生的大小和方向與代理點和物體接觸的穿透深度和接觸位置有關。當代理點穿入物體深度越大，產生力覺效果也就越明顯。

4 試驗仿真與結果分析

為驗證改進后裝配系統的視覺效果和交互性能，采用力反饋設備與OpenGL圖形庫構建虛擬仿真環境，計算機硬件環境為CPU酷睿i5-4590,3.30 GHz，顯卡為GTX960-4 GB。裝配模型為3Dmax 2015繪制，保存后綴為3DS文件供系統調用。選取了10名用戶，對傳統裝配系統和有輔助視覺系統進行5次虛擬裝配訓練試驗。

試驗完成后，用戶從視覺感知性能和操作性能，分別對兩種系統進行評價并給出分數，用戶評價分數滿分為10分。平均分結果如表1所示。

表1 平均分結果Tab.1 Average result

由表1可以看出，具有輔助多維視覺虛擬裝配操作系統的性能要優于傳統虛擬裝配系統，尤其是視覺顯示與沉浸感有了較明顯的提高。

分別記錄每位用戶在兩種系統下完成5次虛擬裝配時間，用戶完成任務時間如表2所示。

表2 用戶完成任務時間Tab.2 User completion task time s

由表2可以看出,較未改進的單一窗口裝配系統，具有輔助多維視覺虛擬裝配操作系統的操作耗時間明顯縮短，最低可達37.0%，最高可達53.7%，表明多維視覺能夠解決視覺信息反饋不足的問題。試驗過程中，對操作時間求取平均值，從而避免試驗數據的偶然性。同時，10名用戶在相同的操作環境下的操作時間和相對節約時間不盡相同，這是由每個用戶在操作過程中學習的熟練程度不一樣所致。在多維視覺輔助下，系統的操作效率高。

5 結束語

本文著重研究了基于力反饋設備的虛擬裝配系統中輔助視覺實現方法，提出了多維視錐體與操作空間匹配的幾何方法，并設計了多維視覺輔助裝配系統。引入的多維輔助視角實現虛擬裝配輔助功能，解決了傳統虛擬訓練系統在裝配過程中的視覺信息反饋不足的問題。

多名用戶在單一視覺裝配系統和多維視覺輔助裝配系統分別完成了試驗。試驗結果表明，所設計的多維視角輔助訓練裝配系統較傳統單一視角裝配系統而言，能夠解決視覺信息反饋不足的問題，有效降低了訓練者的操作難度，提高了訓練者的操作效率，增強了系統交互性能。試驗證明了多維視覺虛擬裝配操作系統的有效性、可行性。在下一步的研究工作中，應進一步優化視覺匹配方法，盡量避免繁雜的幾何運算，實現多維視覺系統快速的匹配。

參考文獻:

[1] 王純祥,孫文磊,趙群,等. 面向虛擬現實技術的風機裝配與風場模擬[J]. 自動化儀表,2012(10):56-58.

[2] 張曉朋. 虛擬儀器技術在智能家居監控系統中的應用與設計[J]. 自動化儀表,2016(10):86-88.

[3] 覃亮，鄧德茹，馬麗欣，等. 虛擬裝配技術在化工仿真培訓系統中的應用研究[J]. 計算機與應用化學,2016(5):543-547.

[4] 羅仕鑒，龔蓉蓉，朱上上．面向用戶體驗的手持移動設備軟件界面設計[J]．計算機輔助設計與圖形學學報,2010,22(6):1033-1041.

[5] 王發麟，廖文和，郭宇，等. 線纜虛擬裝配關鍵技術研究現狀及其發展[J]. 中國機械工程,2016(6):839-851.

[6] 王念東,劉毅.面向虛擬裝配的VR與CAD系統信息集成技術[J].機械科學與技術,2009,28(1):25-28.

[7] 潘仁宇，孫長樂，熊偉，等.虛擬裝配環境中碰撞檢測算法的研究綜述與展望[J].計算機科學,2016,11(43):136-149.

[8] 盧麗婷，劉林.基于單點式力反饋器的虛擬裝配研究[J].圖學學報，2014,35(2):280-284.

[9] ATSUKO E,NORIAKI Y,TASUYA S.Automatic estimation of the ergonomisc sparameters of assemble operations [J]. CIRP Annals Manufacturing Technology,2013,62(1):13-16.

[10]戶艷，邵曉東，高巍.考慮人的因素的虛擬裝配引導方法[J].計算機集成制造系統,2016,22(3):695-704.

[11]岳龍旺,王樹新,贠今天.顯微外科手術機器人協同工作空間分析[J].中國機械工程,2005,16(20):1851-1855.

[12]熊巍，王清輝，李靜蓉.面向虛擬裝配的層次化交互手勢技術[J].華南理工大學學報,2016,44(1):78-84.

[13]XIA P,LOPES A,RESTIVO M.Design and implementation of ahaptic-based virtual assembly system[J].Assembly Automation,2011,31(4):369-384.

[14]吳亞峰，于復興.Unity3D游戲開發技術詳解與典型案例[M].北京：人民郵電出版社,2012:158-160.

[15]BRUNO F,ANGILICA A,COSCO F,et al.Reliable behaviour simulation of product interface in mixed reality [J].Engineering with Computers,2013,29(3):375-383.