虛擬現實技術在工業設備裝配訓練中的應用

□ 畢 航

上海電氣集團股份有限公司 中央研究院 上海 200070

1 研究背景

虛擬現實是一種以計算機技術為核心,綜合模擬出一個與真實環境高度相似的虛擬環境,并能夠與虛擬環境進行交互的新興技術,特點可以概括為沉浸感、交互性、構想性[1-2]。隨著計算機圖形學、感知技術、人機交互技術等的迅速發展,虛擬現實技術已經被廣泛應用于教育培訓、商業、游戲娛樂、軍事、醫療等行業中,應用范圍不斷擴大,深度也不斷提高[3]。

在工業裝備領域中應用虛擬現實技術,能夠在產品物理樣機實際投入生產之前,有效地解決產品研發中遇到的問題,便于企業縮短研發周期,提高研發效率,規避錯誤,節約研發成本[4-5]。因此,虛擬現實技術已經被廣泛應用在工業裝備領域的產品設計、制造、裝配、車間管理、過程模擬、培訓、測試、營銷等各個環節中[6]。

2 虛擬現實裝配訓練

裝配是工業裝備制造中的重要環節。根據相關資料,直接或間接參與到裝配工作的人數占總生產人數的30%以上,裝配時間一般占生產總時間的20%～50%,裝配費用占整個生產成本的30%～50%[7]。先進的裝配工藝可以降低人員的參與度,提高生產效率。裝配技術能夠對工業裝備的性能和質量產生直接影響。現有的工業裝配培訓方式仍以工廠實地培訓為主,培訓效果較差,而且效率偏低,成本較高[8]。

將虛擬現實技術應用于工業裝備的裝配中,產生了虛擬裝配技術[9]。虛擬裝配允許設計和可裝配性調試在同一階段進行,以便根據虛擬裝配的反饋來及時修改產品的模型信息,能夠避免在制作物理模型時產生的浪費,節約物理模型的生產成本,還能夠提高產品的質量,縮短產品的研發周期,提高產品的研發效率[10]。在虛擬現實裝配訓練中,通過在虛擬場景中產生三維沉浸感,按照各種裝配約束關系對模型零件進行三維裝配模擬,實時檢查裝配的可行性和合理性,并保證裝配訓練的真實性[11]。受訓人員可以根據對工業裝備結構和裝配工藝的學習,按照零件約束關系和裝配工藝,對各種零件模型進行虛擬現實裝配操作訓練。

通過虛擬現實裝配訓練,可以在虛擬現實環境中反復進行學習和操作,最終通過測驗對學習效果進行評估。學員能夠及時發現裝配訓練過程中的錯誤并及時糾正,大幅提高了培訓的有效性和效率,降低了培訓成本。

3 虛擬現實裝配訓練系統總體設計

筆者以某型碗式中速磨煤機為對象,基于Unreal Engine、3DS MAX等軟件和HTC VIVE頭盔顯示器等硬件,開發磨煤機虛擬現實裝配訓練系統。

對于磨煤機虛擬現實裝配訓練系統的設計和開發,按照簡單易用、交互性強、沉浸感體驗好的要求進行。系統主要采用Unreal Engine軟件進行開發,并且使用HTC VIVE頭盔顯示器達到虛擬現實體驗的效果。

為滿足受訓人員有更好的沉浸式體驗效果,系統需要具有一個較逼真的虛擬工廠環境。受訓者可以在虛擬工廠環境中進行任意虛擬漫游,并在虛擬工廠環境中自由快速移動。設置跳躍和平移兩種運動方式,并通過設置語音和輔助畫面提示,幫助初次參加培訓的人員迅速掌握在虛擬環境中自由移動的方法。

為了提升虛擬現實裝配訓練效果,使受訓人員能夠全方位地對磨煤機的基本結構和裝配過程進行有效掌握,需要設置結構展示模塊、裝配過程學習模塊和手動操作訓練模塊,受訓人員可以在不同模塊之間進行自由切換。結構展示模塊通過語音介紹和爆炸圖展示,對磨煤機的主要結構進行詳細介紹。裝配過程學習模塊通過語音介紹和裝配過程自動展示,對磨煤機的裝配過程進行詳細介紹。手動操作訓練模塊是系統的核心模塊,允許受訓人員對磨煤機進行手動裝配訓練。

4 虛擬現實裝配訓練系統開發流程

虛擬現實裝配訓練系統開發流程如圖1所示。

圖1 虛擬現實裝配訓練系統開發流程

系統開發流程可以分為四個階段:準備階段、場景搭建和模型渲染階段、裝配訓練功能開發階段、軟硬件結合階段。

4.1 準備階段

在準備階段,核心工作是對磨煤機三維模型的處理。三維模型的質量會對虛擬現實系統運行的沉浸感和流暢程度產生至關重要的影響。SolidWorks等計算機輔助設計軟件建模獲得的工業計算機輔助設計模型,數據量龐大,并且包含所有的模型間配合信息。模型的零件數量多,導致面數總量非常驚人。如此多的面數如果直接在虛擬現實系統中運行,會對圖形處理系統造成巨大負擔,導致嚴重的卡頓、丟幀等現象,影響用戶在虛擬現實系統中的沉浸感和體驗感。

在虛擬現實場景中的模型不需要任何模型間信息,并且要求模型數據盡量少,面數也盡量少。因此,工業計算機輔助設計模型不能直接導入Unreal Engine軟件使用,需要使用3DS MAX軟件對模型進行處理。模型處理包括三個步驟。

(1) 模型合并。工業計算機輔助設計模型往往包含大量零配件,如螺栓、螺母、螺桿等,一個完整部件可能包含成百上千個各式零件。在虛擬現實展示中,需要將工業計算機輔助設計模型的許多部件合并為一個完整的整體,方便程序控制和調用。

完成這一步驟,需要對需求進行有效整理,得出完整的程序腳本。根據程序腳本對模型進行分類,確定零件的合并計劃。在3DS MAX軟件中,按照確定的合并計劃合并零件,最終將磨煤機模型整合為裝配訓練所需的多個大型部件。

(2) 模型減面。工業計算機輔助設計模型的一個重大缺陷是模型復雜、面數多。在虛擬現實程序中,面數的增多會對圖形處理系統造成巨大負擔,最終導致虛擬現實程序卡頓、掉幀等問題,嚴重影響虛擬現實體驗。因此,需要在3DS MAX軟件中對工業計算機輔助設計模型進行減面,最終將面數總量減少到原模型的15%。

(3) 模型UV拆分。對于一些需要進行重點展示的部件,使用復雜的材質或貼圖,由此需要對模型進行UV拆分。UV拆分又稱UV展開,指將一個三維模型展開為一張二維UV平面的過程。UV拆分后,將貼圖貼在UV平面對應的位置上,就可以實現在三維模型上貼圖。通過UV拆分,可以有效提升場景和模型渲染的逼真度,進而有效提升用戶的沉浸感和體驗感。

最終將處理好的模型以.FBX三維格式文件導入Unreal Engine軟件。

4.2 場景搭建和模型渲染階段

(1) 虛擬場景搭建。虛擬現實系統需要模擬出一個工廠的虛擬場景,與真實的磨煤機裝配工廠場景比較接近,使受訓人員在進行虛擬現實裝配培訓時有更好的體驗。虛擬工廠場景如圖2所示。進入虛擬工廠場景后,可以看到一臺完整的磨煤機,位于虛擬場景的中央。

圖2 虛擬工廠場景

(2) 光照設置。Unreal Engine軟件的光照設置會極大影響虛擬現實場景的虛擬體驗效果。對于磨煤機虛擬場景,使用一個直射光束作為光源,在磨煤機主廠房范圍內設置聚光場,使廠房采光效果優于其它位置,創造出更好的光影效果。光照設置界面如圖3所示。

圖3 光照設置界面

(3) 材質包制作。模型材質的細膩程度直接影響虛擬現實程序內各部件的真實感,從而影響最終虛擬現實體驗效果。為了提升體驗效果,制作了專用材質包,如圖4所示。

圖4 專用材質包

4.3 裝配訓練功能開發階段

(1) 虛擬現實人機交互框架。需要制作一個虛擬現實人機交互框架,虛擬現實體驗者的所有動作,包括虛擬漫游和虛擬交互,均需要通過這一框架完成。定義一個虛擬現實體驗者的虛擬化身,將虛擬現實頭盔與虛擬現實手柄綁定。這樣,虛擬化身能夠繼承虛擬現實體驗者所使用的虛擬現實頭盔、虛擬現實手柄所有六個自由度的移動和轉動,并且能夠使體驗者通過虛擬現實手柄實施交互指令,與虛擬現實環境進行交互。由此,可以將虛擬化身視為體驗者在虛擬現實環境中的化身,實時向體驗者傳輸虛擬現實環境中的場景,并完成與虛擬現實環境的交互。

為了使虛擬現實體驗者能夠在結構展示模塊、裝配過程學習模塊和手動操作訓練模塊之間進行自由切換,需要開發一個三維交互界面模板,接收來自虛擬化身的交互指令。在虛擬化身中添加三維交互界面的觸發事件,使虛擬現實體驗者能夠通過點擊手柄觸發三維交互界面事件。

(2) 虛擬漫游功能開發。虛擬現實體驗者處于虛擬環境中,自然需要有在虛擬環境中移動的能力,這種能力就是虛擬漫游。虛擬漫游也是所有虛擬現實程序都需具備的基礎功能。在虛擬現實裝配訓練系統中,虛擬漫游功能主要包括上下、左右、前后平動和瞬間跳躍。

在虛擬現實程序中,瞬間跳躍是最常見的一種人物運動模式。這種模式的好處是跳躍前后,人物位置瞬間變化,沒有位置的緩慢移動,配合適當的鏡頭淡入淡出,能夠有效避免虛擬現實體驗中常見的不適情況,如暈動病等。因此,瞬間跳躍是虛擬現實程序中通用的人物移動模式。平動功能以視角正前方為標準,沿前后左右上下六個方向進行位置平移。這種漫游方式可以允許體驗者移動到虛擬現實場景中的任何位置,因此具有最好的自由漫游能力,但可能會引發體驗者的不適,導致暈動病。在虛擬現實裝配訓練系統中,可以通過兩種漫游功能的配合使用,獲得最佳的虛擬漫游體驗。

(3) 結構展示模塊功能開發。結構展示模塊通過語音介紹和爆炸圖展示,使受訓人員在開始裝配訓練之前,詳細了解磨煤機的主要結構。

進入虛擬現實場景后,可以看到一臺完整的磨煤機。受訓人員可以通過虛擬漫游的方式,近距離查看磨煤機的基礎結構。也可以直接進入磨煤機內部,從內部更詳細地了解結構。

點擊三維交互界面爆炸圖按鈕,可以使磨煤機各部件按照一定順序依次爆炸展開,同時配合語音講解,使受訓人員對磨煤機各部件和主要結構進行詳細了解。

(4) 裝配過程學習模塊功能開發。點擊三維交互界面自動裝配按鈕,磨煤機各部件將按照裝配順序,從散落狀態逐漸組裝為一臺完整的磨煤機。配合裝配工藝指導書語音講解,使受訓人員對磨煤機的裝配過程進行有效學習。

(5) 手動操作訓練模塊功能開發。受訓人員完成結構展示模塊和裝配過程學習模塊的學習后,可以開始進行手動操作,對磨煤機裝配進行虛擬操作訓練。

點擊三維交互界面自動裝配按鈕,磨煤機零件散落布置在廠房內。使用手柄射線部件時,部件會高亮顯示,顯示出部件名稱和部件在裝配中的順序。操作者需要按照裝配順序依次選擇部件,按住手柄扳機選中部件,并對部件進行拖動。根據實際裝配訓練的需要,為各部件設置兩種不同的操作模式:自由拖動、沿坐標軸拖動。

通過手柄射線指向部件,扣住手柄扳機,能夠自由拖動選中的部件。此時可以移動手柄位置,部件會隨之移動。通過虛擬漫游功能移動操作者位置,部件也會隨之移動。在右手手柄頂部的觸摸盤上,用拇指上下滑動,部件位置就會沿著手柄射線快速移動。

沿坐標軸拖動時,通過手柄射線指向部件,按下手柄特定按鍵后再按下手柄扳機,會顯示出基于部件自身中心位置的直角坐標軸。此時,該部件無法再通過扣住手柄扳機拖動來自由移動,需要將手柄射線指向某一坐標軸,扣住手柄扳機后進行拖拉,使部件沿坐標軸移動。這種操作用于模擬工業裝備實際裝配過程中,使用吊車、起重機等設備進行裝配的操作。

手動操作訓練如圖5所示。

圖5 手動操作訓練

為模擬實際裝配廠景,各部件之間設定裝配順序和碰撞干涉模擬。受訓人員必須按照裝配順序,依次選取各部件,拖動到最終裝配位置。如果受訓人員選擇錯誤的部件,部件就無法被選中和移動。

受訓人員通過使用虛擬現實裝配訓練系統,可以在虛擬現實環境中對磨煤機的裝配過程進行充分的操作訓練,進而極大提高了裝配訓練的效率和有效性。

4.4 軟硬件結合階段

裝配訓練功能開發結束后,將程序打包成可執行文件,部署在圖形處理性能較好的圖形工作站上,使用HTC VIVE頭盔顯示器作為虛擬現實顯示設備。還可以將圖形工作站與大屏幕相連,將受訓人員的第一視角投放在屏幕上,供其他受訓人員實時觀看,進一步提高培訓效率和有效性。硬件系統構成如圖6所示。

圖6 硬件系統構成

5 結束語

筆者討論了虛擬現實技術在工業裝備裝配訓練方面的應用前景和價值,并以某型碗式中速磨煤機為對象,開發了一套磨煤機虛擬現實裝配訓練系統。受訓學員可以在虛擬現實環境中對磨煤機總體結構進行了解和學習,并通過操作虛擬現實設備進行虛擬裝配訓練。

結果證明,將虛擬現實技術應用于工業裝備裝配訓練,可以減少實地進行設備裝配培訓,有效節約培訓成本,大幅提高培訓的效率和有效性。