VR／AR與智能制造：應用領域、核心技術

陳和恩 何漢武 吳悅明

關鍵詞：智能制造;VR/AR;核心技術;交互技術

0引言

智能制造（Intelligent Manufacturing）是制造技術、數字技術、智能技術及新一代信息技術的融合。數字技術是制造裝備智能化、設計過程智能化、加工工藝優化、管理信息化和服務敏捷化、遠程化的關鍵。

為了使制造業變得越來越智能，新的智能制造系統需要無縫連接物理世界和數字世界。虛擬現實/增強現實，即VR（Virtual Realilv）/AR（AugmentedRealitv），因為具有強大的數據可視化和交互性、沉浸性的特點而被譽為是一種可以拓展人類感知能力、改變產品形態和服務模式的新興技術。對制造業而言，其改變了產品研發過程中的信息流;為制造過程提供可視化、輔助和擴展空間;有助于在開發過程的早期階段發現并避免設計錯誤;減少了物理原型的數量，并為企業節省了時間和成本。在許多智能制造應用中，VR/AR被認為是改善和加速產品和工藝開發的寶貴工具。

VR/AR作為新一代計算平臺，支持人類對智能制造系統產生的大量數據進行實時的、與生產背景相關的可視化訪問。雖然人工智能、數字化技術取得長足發展，但很長一段時間內人類仍將在制造操作中扮演著不可或缺的角色，VR/AR是實現以人為本的智能制造的核心技術。

虛擬現實技術具有“3I”的基本特性：沉浸（Immersion）、交互（Interaction）和想象（Imagina-tion）。增強現實技術具有3個基本特征：虛實融合、實時交互以及三維注冊。

VR/AR主要有可視化模塊、傳感器模塊、跟蹤模塊、交互模塊4個功能模塊，具體如下。

（1）可視化模塊

增強現實的可視化模塊顯示虛實融合的內容。

（2）傳感器模塊

該模塊獲取物理世界信息。攝像機是獲取周圍環境信息最多的傳感器。三維體感交互技術飛速發展，飛行時間（time of flight，TOF）和Lidar設備不斷小型化和降低成本，使得這些傳感器也逐漸成為VR/AR的應用配置。

（3）跟蹤模塊

跟蹤模塊實現對VR/AR設備的空間姿態求解，以根據姿態疊加虛擬信息。

（4）交互模塊

交互模塊除了傳統的鼠標鍵盤交互方式，還有手勢識別交互，有些體感交互設備能夠將真實世界的人體運動映射到虛擬空間中，從而拓展了人機交互通道。

本文通過綜述VR/AR在裝配應用、維護和培訓、產品測評、智能工廠布局、物流和倉儲管理5個領域的研究和應用現狀，分析了其中的核心技術和當前面臨的挑戰，給出未來的發展方向。

1 VR/AR在智能制造中的應用

VR/AR在其他行業，如游戲、娛樂以及物流業都發揮重要作用。但在制造業，很多的VR/AR應用都處于探索和發展階段。

隨著市場需求增多，VR/AR獲得技術以及資金的支持力度也大幅度增加，其已經滲透到智能制造中的各個階段。VR/AR在裝配應用、維護和培訓、產品測評、智能工廠布局、物流和倉儲管理發揮廣泛作用，能大幅度提升設計、生產、裝配、規劃和物料管理效率。

1.1裝配應用

虛擬裝配通過建立一個多感知通道的虛擬環境，使用戶可以進行人機交互式的裝配操作，利用虛擬裝配技術可以優化機械產品的設計和規劃，亦可以用于培訓裝配操作人員。眼部和頭部追蹤技術是該應用的核心技術，快速精準的眼部和頭部追蹤可以提供良好的拆裝體驗。

國內外對虛擬裝配與拆卸系統已經有不少研究成果。西門子公司利用虛擬現實進行沉浸式設計，精準的頭部和眼部跟蹤可讓工程師通過虛擬數字空間和產品數字孿生進行交互，通過評估產品的人機工程細節，可以減少初期設計問題，圖1所示為西門子虛擬裝配應用。Nicholas等研發了以數據手套和頭戴式顯示器進行交互的醫療器械裝配訓練系統，該系統利用質量一彈簧一阻尼器模型構建了碰撞檢測交互，抓取仿真度高，從基于任務到基于動作的多級訓練場景，學員可在系統中以難度遞進的方式訓練。

當前VR/AR在裝配應用中面臨的挑戰：由于追蹤技術無法實時、準確求解用戶的位置和姿態，導致了圖像刷新滯后，產生用戶視覺畫面無法精確匹配用戶的運動，長時間使用會產生暈眩感。因此，VR/AR的追蹤傳感器和相應算法需要進一步發展，同時，實時顯示圖像的渲染、刷新速度以及策略，需要針對裝配應用場景進行研究和開發。為了增加沉浸感，虛擬模型物理屬性的重構和交互也是未來的發展方向。

1.2維護和培訓

國際數據公司（IDC）預測，在未來4年中，基于AR/VR技術的維護操作指引將吸引的投資高達3.62億美元。到2021年底，工業維修預計將成為最大的行業藍海，引來預計高達52億美元的投資。通過增強的三維虛實融合技術，解放操作者雙手，為維修人員、裝配技術工人邊查看資料邊對設備進行裝拆的現狀提供了新方法與新思路。

物體跟蹤和虛實配準技術是AR在維護和培訓應用的核心技術。跟蹤指的是確定某設備在物理世界中的位置和姿態。配準是在跟蹤的基礎上，把虛擬信息疊加在真實設備上，從而完成虛實融合的目標。裝配體驗需要魯棒穩定的配準技術作支撐。

德國汽車生產商BMW公司提出的一套基于增強現實技術的裝配訓練指引系統，如圖2所示。操作者通過頭盔顯示屏，閱讀三維裝配指引信息，對發動機進行裝配。

廣東工業大學何漢武教授團隊設計了基于微軟公司新型AR頭盔Hololens的基站天線板布線輔助裝配系統，讓操作者根據增強現實的指引完成多個工序的接插線操作。系統帶有錯誤檢測模塊，能對誤裝、漏裝進行檢查和提示。

當前VR/AR在維護和培訓應用方面面臨的挑戰是由于跟蹤技術無法實時準確求解用戶的位置和姿態，導致了無法實時進行虛實配準，實際運行過程中環境光線、抖動等都會影響系統的運行。同時，如何把傳統二維的維護和培訓說明書轉成面向AR應用的三維可視化信息也是VR/AR發展面臨的難題。因此，高效的跟蹤算法和配準算法是當前研究的主要方向，方便、易用、功能強大的VR/AR三維可視化內容開發工具和平臺將受到青睞。

1.3產品測評

產品測評是產品設計的重要階段，對于從用戶對功能、美學或可用性等不同領域的看法中獲得反饋，以及確保產品特性滿足用戶需求有重要意義。數字孿生是VR/AR在產品測評應用的核心技術。為了提高測評的可信度，要提高數字孿生產品的真實程度。需要對產品的幾何、材料、顏色、光照、物理以及應用環境進行重構和建模。

ESI公司開發的虛擬現實測評應用系統，可從不同階段對產品進行測評，從而降低開發成本，減少開發周期，如圖3所示。上海通用汽車廠開發了一個通過增強現實技術對汽車擋風玻璃進行性能評測的系統。用戶坐在一個沒有擋風玻璃的實驗平臺上（經改裝過的汽車），當用戶戴上頭盔，系統會自動把設計好的虛擬擋風玻璃疊加到真實環境中去，讓用戶可以直觀地感受加裝擋風玻璃后對路面產生的變形是否能滿足要求。通用電氣旗下意大利機械工廠的工人采用增強現實技術，在燃氣輪噴嘴制造中疊加虛擬圖像，能對噴嘴的數十個指標進行精確測量。

當前VR/AR在產品測評面臨的問題是由于孿生模型不夠逼真、不具備相應的物理屬性，因而無法產生有效測評數據。在下一步的研究中，需要針對特定制造領域，根據模型的復雜程度和真實期望，采用多種方法進行建模，形成合理的模型數據。

1.4智能車間布局

智能制造中，生產場地車間的布局是一個關鍵環節。布局要解決的問題是合理利用場地空間使得生產和物流合理、高效。除此之外，為了滿足對定制產品日益增長的需求，要讓制造過程變得更靈活并具有自適應性。針對市場需求的產品，快速布置生產線，調整車間布局，實現快速市場響應是VR/AR在智能車間布局的重要應用。

精準是AR在智能車間布局應用的關鍵要素。AR為車間布局、重建或生產線重置提供決策依據，其必須可靠。這需要通過相應的硬件和軟件來提供準確的輸入數據。

精確的跟蹤、配準和數字孿生技術是AR在智能車間布局應用的核心技術。為了提供可靠的車間布局可視化信息，首先要降低來自硬件的誤差，對標定、相機去畸變、傳感器狀態要建立優化模型;其次要實現車間生產線、設備與相應數字孿生的一致性映射，讓數字孿生能真實模擬車間運行狀況，提供可靠的決策信息和數據。

吳悅明等采用數據手套和磁跟蹤器作為手勢輸入設備，使用移動終端作為輔助可視化設備，設計一套可用于設備擺放、車間布局的AR系統，系統對環境要求不高，對光照有很好的魯棒性，如圖4所示。該系統對車間工作環境以及各種虛擬生產設備的進行建模，通過VR/AR交互界面，在虛擬或現實空間中進行車間布局，可以模擬車間制造過程，通過仿真和交互，發現設計中的不足并進行改善。Pen-tenrieder開發了Roivis車間布局系統，對布局可靠性和誤差進行量化分析。

應用VR/AR進行快速車間布局可以降低布局決策錯誤、提高生產效率，但目前面臨的挑戰是虛實配準不夠精確，數字設備模型和真實的設備仍有差異，不能為生產提供真實的模擬和仿真。提高跟蹤配準精度和建模精度，對AR智能車間布局的可靠程度進行量化，利用數據分析進行布局決策是今后一個重要發展方向。

1.5物流與倉儲管理

信息流和物流是智能工廠正常運行的兩條動脈。相比而言，針對物流和倉儲的可視化研究不是很多，但是這個行業的發展可以促進AR技術的成熟。目前已有一些商業和研究機構開始涉足物流與倉儲可視化技術。

物流行業中，分揀步驟耗費時間最多。根據DHL的調查報告，倉儲管理的分揀和運輸貨物占物流總成本的11%～13%。分揀人員利用AR可以擴展視角，從而確保更多的可見性、靈活性、指引性以及前瞻性。從而節省了搜索和分類時間，大大提高工作效率。

AR在物流與倉儲管理中應用的核心技術是掃描技術。掃描精度和掃描速度將決定AR能否在物流應用得到推廣。當前多數AR分揀指引系統都是基于視覺的掃描技術，如何提高掃描精度和速度，是AR在物流和倉儲管理應用面臨的挑戰。為了提高產品可用性，降低掃描設備體積和重量，提高掃描算法準確率、識別速度，增加魯棒性是未來研究重點和方向。

圖5所示為利用AR進行物流和倉儲管理的兩個例子。

2存在問題及發展方向

雖然VR/AR技術可以為智能制造提供很好的支撐，VR/AR也取得很大的進展，但仍有很多問題有待解決。本文從技術層面和應用角度兩個方面進行分析和闡述。

（1）技術方面。現有設備的計算能力有待提高。把CPU計算、圖像渲染和顯示、存儲模塊小型化和可穿戴帶來的后果是VR/AR的硬件計算能力難以滿足日益增長的應用需求。與設備小型化相關的是電池變小了，續航能力也跟著下降，導致用戶體驗變差。與技術相關的還有跟蹤注冊技術。當前的VR/AR設備需要在合適的光照環境中才能運行，一旦光照或裝配環境發生變動，則跟蹤可能失敗，這一問題在無標跟蹤的應用場景中特別明顯。

（2）應用層面。VR/AR設備的人機工程設計仍有很大的提升空間。很多的設備雖然已經設計得很出色，但應用起來仍顯得笨拙，主要問題還是不夠輕便。另外，長時間使用后產生視覺疲勞也是另一個讓人詬病的地方。與應用相關的還有用戶的接受程度。由于上述種種因素加上價格的影響，很難在整個生產線或者公司全盤推行VR/AR技術，因此，VR/AR的很多理論和技術仍停留在實驗室階段，有待在大規模工程應用中驗證。

VR/AR在智能制造領域必定具有十分廣闊和激動人心的應用前景，但同樣面臨著諸多方面的挑戰，主要體現在以下方面。

（1）提高算力是首要任務。隨著5G的來臨，一部分運算可以放在云端執行，但如何保護用戶隱私將成為一個不可忽視的問題。

（2）VR/AR設備，如頭盔等，需要進一步提高可用性。減輕頭盔重量、提高圖像分辨率、減輕用戶視覺疲勞是VR/AR技術在制造業大規模鋪開的基本條件。

（3）VR/AR內容制作必不可少。如何提供數字模型精度，如何把傳統的生產工藝工序、使用說明書的二維平面內容轉成三維可視化數據，需要一些易用、靈活、功能強大的制作軟件。

此外，提高跟蹤技術、提高用戶接受程度、發展在智能制造過程中對VR/AR效率的評估方法等，都值得研究和關注。

3結束語

本文通過VR/AR在裝配應用、維護和培訓、產品測評、智能工廠布局、物流和倉儲管理5個領域的應用，綜述了VR/AR與智能制造的關系，對5個應用領域的核心技術進行介紹，分析當前面臨的挑戰，并在最后探討了未來的發展方向。

在生產制造過程中，VR/AR能實現三維可視化和相互間的交互，其有效性不僅體現在可視化，對空間的增強和擴展也是顯著的。VR/AR的數字化特性使其成為智能制造的關鍵技術之一，將使管理者的工作變得有條理、易掌控，并能提升工人的操作經驗和技術。智能制造代表了生產的技術革命，而VR/AR與智能制造的結合正在成為討論最多的主題之一。