虛擬增強現實技術在焊接技術與自動化專業建設方面的應用研究

嚴瀚林 陳有祿 楊新田 蘭州職業技術學院

虛擬增強現實技術是將圖像、音視頻、文字等數字信息通過虛擬與現實信息疊加，形成三維交互式立體畫面，使用戶在真實環境中與數字對象進行交互的技術，這項技術以其沉浸性、生動性、可視性的體驗、無縫交互等獨特的教育特性。焊接技術與自動化專業在教學過程中理論教學與實操教學需要很好的有機結合才可達到教學要求，但是在理實一體化課堂中，學生施焊危險性較高、耗材較多、操作時間較少、部分知識較難觀察，不能很好焊接保證教學質量，如果將虛擬增強現實技術應用到焊接專業建設中可以實現焊接學習情境可視、焊接抽象概念形象具體、豐富學習資源、多媒體數據生動教學內容、虛擬和現實對比實現思維方式高階化、將知識豐富優化認知負荷。

1 虛擬與增強現實技術應用與特點

虛擬與增強現實技術是一種基于現實場景的功能實現與為達到對現實場景功能實現增強的虛擬數據實現功能性結合的一種技術。現實場景的特定時空條件下原本存在的實際存因為各方面的局限性而人體不能全部收集到所有需要的信息，但虛擬與增強現實技術可以將人體能夠接收的信息量增大，將更多的視覺、聽覺、味覺、觸覺等方面的信息，通過三維設計軟件、模擬仿真、數據平臺搭建等技術，將虛擬信息投影到真實世界，被人所感知，同時達到超出現實的感官體驗，能夠實現把真實的場景和虛擬添加的信息實時地疊加到同一個畫面或空間存在。

1.1 虛擬增強現實技術應用

虛擬與增強現實技術總體具有三大技術特征，實時交互性、虛擬與現實相結合、三維注冊（也叫三維配準），其中三維注冊是虛擬與增強現實技術最重要的特征。例如，三維注冊是主要強調計算機生成物和現實場景的對應與疊加的關系，計算機生成物（虛擬存在）的三維坐標系和現實環境的空間坐標必須重合，并且虛擬存在的尺寸必須現實場景中的尺寸達到1：1的完美融合。

虛擬與增強現實技術的實現目前主要是通過Maya、solidworks、3D Max等3D建模渲染軟件，以及Unity3D軟件平臺搭建數據平臺，再使用計算機、目鏡、手柄等硬件系統構成AR技術使用平臺。下面以使用Unity3D、Maya、計算機、目鏡、手柄等硬件系統搭建實現CO2保護焊增強現實實操系統為例，簡單介紹虛擬與增強現實技術的應用。

傳統CO2保護焊實操過程中，由于弧光較強學生在施焊過程中對于弧光觀察不夠，而且對于剛開始練習的學生對電弧電壓掌握不夠，還有可能存在不規范、不安全的操作。使用虛擬與增強現實技術在實操中進行以下兩方面的現實增強：設置安全規范操作要求、提示、及矯正；在施焊過程中仿真弧光及熔滴過渡方式，可以實現學生以第一人稱方式對焊接參數的不同引起的焊接聲音、飛濺、弧光、過渡方式、焊接質量不同的理解，可以很好讓學生在實操過程中規范安全操作，同時也可以提升教學效果，節約教學資源。

在此基礎上，CO2保護焊增強現實實操系統的搭建內容和思路為：

(1）搭建課程體系，設計教學目標，提煉CO2保護焊實操過程中的知識要點、難點，分析學生預期學習達到的效果。教學目標設計決定了增強現實的實現過程中具體內容要求、效果要求和引用的技術手段。

(2）構建3D模型及工位。在場景設計方面，使用Maya軟件嚴格按照1：1的比例對教學過程中實操工位進行場景建模布景，提升沉浸效果。1：1比例對CO2保護焊供氣、送絲、焊機、線纜、焊槍建模以及渲染。在此基礎上，根據CO2保護焊實操教學目標要求的各個學習單元沉浸式學習效果，完成第一人稱控件設計、各個學習單元響應模式及效果設計。

(3）音頻錄制。項目擬設計使用3Dio公司的Free Space系列ProⅡ雙耳音頻麥克風雙耳音頻的錄制。要達到一個健康人實際通過聽覺感受現實世界環境的方式來捕捉聲場的效果，是將兩只萬向麥克風背對背放置，相互間距離約為17.78厘米（模擬成）雙耳間的距離，3Dio公司的Free Space系列ProⅡ雙耳音頻麥克風雖然不是安裝在仿真頭型內，忽略了頭部形狀，但保留了反向對稱心耳。兩只耳朵安裝在兩個圓盤上，相距約17.78厘米，模擬成人雙耳的間距，從而可以用于完整體驗與頭部相關的傳遞函數和雙耳聽覺，能夠到學生能夠完全沉浸在虛擬教學環境中的要求。項目擬使用未壓縮的WAV音頻文件，達到保真效果。

（4）開發虛擬與增強現實技術學習軟件平臺。這部分為本課非常重要的一部分，決定學生能否良好沉浸在學習過程中。學生實操過程的學習過程可以完全看成學生以第一人稱場景（first—person shooter）在進行某款游戲操作，每一個單元的學習也可以認為是某一游戲關卡的通過。所以在平臺開發過程中，需要選擇功能齊全、可視化、可多平臺部署的編輯器。在項目中擬使用Unity3D現代游戲引擎。該引擎具有非常不錯的3D渲染、友好的可視化工作流程，支持多維度跨平臺，加入了自定義的教學藝術資源、自定義交互代碼，實現焊接工位、模擬的物理操作系統，法線貼圖，屏幕空間環境光遮蔽，學習單元各個部分的動態陰影等。編輯語言使用強類型的C#。開發沉浸式學習平臺具體研究內容有：

構建第一人稱置身的3D實訓工位。建立空間，創建地板和內部墻體；設置燈光與攝像機；導入實操過程中各個學習單元的3D模型；編寫移動及觀察周圍組件腳本。構建第一人稱控件 ：響應按下焊機、氣閥、檢氣、送絲機等的各項功能鍵，設置獨立于計算機運行速率的運動速率、使用CharacterController應用接觸檢測和反饋。

在3D空間添加系統控制組元。在增強現實學習平臺添加交互的手柄。交互的手柄作用有三部分。一是用來焊接系統各類按鈕的功能實現；二是用來作為學生選取某個特定實操學習單元的命令發射器；三是作為CO2焊接系統的焊槍。

通過游戲中射線射擊的效果，學生可以使用手柄作為焊槍進行施焊。學生也可以同學手柄，選擇其他操作學習單元。在創建學習單元預設后，產生學習單元預設。當學生在進入沉浸式學習中，我們將創建學習單元編寫腳本，使它相應學生對學習目標單元的單獨選取。在使用手柄過程中，使用射線發射原理發現學習單元中設備或者系統，利用ScreenPointToRaylai“發射”，并為準心和擊中點的單元點或者設備添加可視化提示。

使用基本漫游AI，實現電信號的轉移視覺效果，學生可跟蹤電信號轉移進入其他學習單元。

為沉浸式學習平臺創建美術資源。構建3D場景的同時使用2D圖像給場景貼圖，在重要的學習單元中創建HUD，插入屏幕文字，顯示學生需要記憶、理解的重要知識點。

建立焊接模擬系統數據庫。一般需要使用Access建立數據庫，同時數據庫要可以基于Unity3D平臺的虛擬現實系統可以成功調用，需要實現兩個條件：一是要在本地電腦上配置ODBC數據源，同時需要數據庫數據模板的存儲地址與Unity3D訪問地址關聯；二是在Unity3D平臺編寫相關程序及腳本。

使用Unity粒子系統創建施焊過程中電弧變化、熔滴過渡方式、飛濺等的視覺效果。

導入WAV音頻文件并實現代碼觸發音效或者音頻。因為Unity在導入音頻后會壓縮音頻，所以通常應該選擇WAV文件格式。

整合各個部分，搭建沉浸式教學平臺開發總體的沉浸式學習平臺結構，通過控制任務流來處理學生學習過程中各個單元學習進度。

將平臺構建到Windows PC上。

（5）體驗論證。在沉浸式學習平臺建成以后，項目團隊進行體驗論證。該論證主要論證項目實現的交互、視覺、聽覺效果與預期設計的教學目標契合程度；沉浸式學習系統本身給學生帶來的不適感程度。

1.2 虛擬與增強現實技術在焊接職業教育中的研究應用現狀

1.2.1 在國內研究應用現狀

在國內搭建實訓平臺方面，由天津大學提出的一種基于虛擬現實觸感技術而開發的電弧焊訓練系統，該系統能夠通過觸感反饋裝置測量焊縫長度，通過焊槍角度、焊接速率、電弧電壓進行即時檢測來調用焊接系統來形成相應的焊縫或者焊接軌跡，該系統還能實時向施焊人員反饋，使得施焊水平得到提升。

由裝甲兵技術學院開發了一個用于焊條電弧焊仿真系統，該系統使用了軟件、交互技術、光電傳感技術實現了對焊接過程中運條軌跡、施焊速率、焊槍角度以及弧光等十幾項施焊參數等模擬。

在建立虛擬現實焊接系統方面。目前已有技術支撐建立虛擬現實焊接系統，其中一部分是普通存在的主要是用來開展實際焊接任務并通過攝像機實時觀測熔池信息的焊接機器人操作系統的UR－5焊接機器人，該機器人有六個自由度，手臂末端裝有GTAW焊槍和攝像機；另一部分為虛擬焊接系統，由投影儀將攝像機拍攝到的熔池實時投射到虛擬工件上，焊工可以根據熔池狀態及時調整虛擬焊槍的運行速度，同時傳感器還可以監測焊槍的運動情況，并通過以機器人語言控制機器人機械臂運動。

1.2.3 在國外研究應用現狀

VRTEX360焊接模擬教學系統是由德國林肯電氣開發處出用于輔助加強傳統焊接培訓方式的教學培訓工具，支持全位置施焊。值得學習的是該系統中的專用焊槍和支架的力學反饋，讓模擬更真實。另外，設備中的磁定位系統可以精準評判施焊人員對工藝的操作規范程度，促進和改進焊接技能和焊接身體姿勢向高質量和高效率方向轉換，同時相比傳統焊接培訓大大減少材料浪費，是同類最佳的高端焊接培訓系統。該系統經專門設計可在簡單易用且吸引人的焊接培訓工具中提供功能全面擴展式平臺。對于基礎至高級焊接培訓有極高效率，并且對于員工可以進行深層次的技能評估和實時打分，讓公司能對現有焊工的技能有一個指導性的評估，然后根據評估設計出針對每一個焊工的焊接方法和工藝技能培訓，使得工廠所有焊接工人的工藝方法完全統一，提高焊接質量。

2 虛擬與增強現實技術與焊接技術與自動化專業建設

在焊接教學中，將知識、技能能夠在安全、節能、形象、直觀的情況下讓學生學習到知識、技能是最理想的狀態。但是，對于職業院校的學生在學習手工焊接實操技能過程中，對于初學者的安全規范操作不足，由于弧光刺眼，對電弧與熔滴過渡的狀態及對焊接熔池觀察不足，焊槍角度把握不夠，影響了學生實操學習效果，同時還存在安全隱患。如果將虛擬與增強現實技術應用到實操教學中，就可以及時提醒學生規范操作，對學生焊接姿勢及時提醒調整，實時調用焊接數據展現熔滴過渡方式及焊接熔池狀態，這樣不僅提升了教學質量，而且節約了能耗。當然，焊接變形處理、焊接結構失效、焊接電源學習等知識的教學虛擬與增強現實技術都可以作為教學手段，提升教學效果。如果將從專業建設角度應用虛擬與增強現實技術，焊接技術專業與自動化專業建設將有很大的提升。

2.1 焊接技術與自動化專業建設和虛擬與增強現實技術

合理配置職業教育資源，優化課程結構體系，推行一體化、多樣化教學。在專業課程改革中，需要將焊接專業課程建設所需資源整合配置合理。同時，在專業核心課程的基本知識框架和體系中，以成果為導向，緊跟企業生產技術要求，產教融合，利用虛擬與增強現實技術，選擇最優教學手段，設計教學過程，實現實訓先模擬練習掌握基本操作要領，后實際施焊的模式，提高焊接理論教學效率，提高焊接實訓教學質量及時效性。

不斷深化焊接技術與自動化專業教學改革，教學大綱、教學計劃、教材等開展將虛擬與增強現實技術綜合應用的綜合研討，以提升學生理論應用能力，提高創新、創業意識，養成新時代中國工匠為培養目標的一體化課程體系的建設。依據《國家職業教育改革實施方案》以及國家焊工職業標準及職業能力要求，確立教學標準與目標，精化教材主體內容，利用虛擬與增強現實技術優勢，構建合理完善的教學體系。依據焊接生產化、工程化的特點，綜合性重視工程識圖制圖、焊接基礎知識、材料焊接性知識、焊接設備基本知識、工業機器人基礎等基本理論與實踐綜合的教學，其中焊機的維修，焊接產品分析，焊接熔池的觀察，焊接機器人的接線原理，焊接參數對焊接質量、熔滴過渡、焊接飛濺的影響等學習抽象，并且觀察學習因各種因素較困難知識點可以利用虛擬與增強現實技術較好實現教學效果，同時虛擬與增強現實技術的利用還可以在教學中實時、形象的開展安全意識、規范及職業守則的職業道德教學。在虛擬與增強現實技術使用中，還要根據教學目標要求，注重技能提升，保障學時。

重視創新創業與虛擬與增強現實技術融合，優化教學手段，加強實訓教學。教師需要不僅需要較強的工業生產技術能力，還要利用先進技術，具有使用豐富教學手段的能力。創新教育教學手段，以項目式教學為主導，融合理論和操作技能教學情境，推行虛擬與增強現實技術使用在“理實一體化+工程化培訓一體化”課程中。

虛擬與增強現實技術可以將零散的大量的知識融合到項目學習中通過語音推送、2D貼圖、粒子效果渲染等現實增強技術，建立學生能夠在基礎理論、技術、前沿的理論課程與制造技術、質量管理、焊后熱處理課程相結合的完善教學體系中學習。

在虛擬與增強現實技術使用中，重視實際操作技能貼近生產教學，推行小班教學，加強焊接生產的教學環境建設，提高學生主體的教學效果。

針對典型焊接結構生產，將不同的手工焊接方法、半自動焊、自動焊協同應用，可以通過虛擬與增強現實技術提供不同焊接實施方案為學生提供進行復雜焊接工藝生產練習的機會。

將虛擬與增強現實技術與虛擬現實、大數據、5G技術、多媒體等手段多樣化應用，提升教學效率。

重視教學效果反饋，發現教學現狀，從專業建設的角度進行教學反思，修正教學方法與策略，提升教學滿意度。

鼓勵學生在虛擬與增強現實技術進行專業知識基礎上進行技能創新創造，參加技能大賽，鼓勵學生積極參加資格考試，多方位提升學生學習熱情以及知識技能應用能力，提升學生將新技術使用到焊接中。

重視學生主體地位，虛擬與增強現實技術指導學生分層學習。項目式教學中需要突出學生主體地位，針對職業院校學生特點，根據學生的差異設計分層教學方案，學生在學習中可以通過虛擬與增強現實技術進行學習項目分層選取。分層教學中，教學目標、技能水平、成績考核上，可以細分考核點，合理安排教學重點難點，提升學生水平的同時提升學生獲得感。重視優化考核指標，項目中細分的考核點，突出開放性和應用性，為不同層次學生得到相應能力提升。同時，結合職業教育課程考核方式要多樣化，從平時成績、實操效果、課堂表現、項目成果等多方面考核，強調使用虛擬與增強現實技術對學生學習習慣和職業能力、創新意識的培養以及提高。

重視“雙師型”教師隊伍培養，提升教師生產性教學指導水平。專業建設需要以焊接專業的操作技能為主線，重視教師職業技能和專業素養的培養，同時拓寬專業教師引進和聘用方式。鼓勵教師進入企業積累專業經驗、學習前沿理論和技術的同時，要求教師要轉變教學理念提升教學手段多樣化的駕馭能力，積極學習增強現實技術，培養出跨領域多技能的專業教師。

2.2 虛擬與增強現實技術在焊接技術與自動化專業建設中需要解決的一些問題

虛擬與增強現實技術在職業教育領域有著驚人的應用潛力，在教育領域最早期也最成功的應用是培養特定的實踐類型的技能，如教授特定技術勞工知識、焊接培訓、噴漆培訓等。虛擬與增強現實技術在教育領域大有可為，但在多數應用中，僅提供一定的商業用途的配置技術，但是在職業教育的方法藝術和科學上，虛擬與增強現實技術在焊接技術與自動化專業建設方面需要熟悉新技術或者接受過培訓的老師以及安排嚴謹的課程配置，以及充實的硬件及技術發展成熟程度。

沉浸式顯示體驗往往面臨著核心延時問題，即體驗者發起動作之后經過計算位置和方向計算，應用程序控制，畫面傳輸，目鏡顯示來完成體驗。這個過程中存在延時問題，這種延時是因為信號處理、傳輸以及關鍵系統元件的同步延遲，是一項關鍵性能和適用性標準方面用戶動作與系統響應間的延時長短。使用增強現實目鏡往往會產生視覺誘發暈動，這種延時會降低用戶的沉浸感、身體表現、低臨場感、和舒適程度，目前將這種現象稱為視覺誘發暈動癥（VIMS）。在體驗中延時不可能完全消除，而且還取決于具體位置傳感器、CPU功能、顯示器類型、以及畫面復雜度。焊接過程中，即時性非常關鍵，如觀察弧光、熔滴過渡等過程中如果延時較大，會嚴重影響焊接質量以及用戶的體驗，因此，焊接技術與自動化專業對虛擬增強現實設備的應用要求較高。

目前，虛擬增強現實技術商業用途較多，但是將這項技術應用到焊接技術與自動化專業建設中去，就需要焊接專業人才和虛擬增強現實專業人才聯合開發，焊接材料、焊接方法、焊接參數的不同就要有焊條運條軌跡模擬、施焊速度、焊槍角度以及弧光等十幾項施焊模擬來支撐，開發周期長，成本較高，對于一所院校專業來說，這種建設費用過高，較難完成。如果將開發商業化，多所高校共同使用，可節省成本也可使資源有效利用。

3 結語

新時代，我國的虛擬增強現實技術在職業教育中進行系統性的應用尚處于起步階段，且在職業教育中的應用還未普及，但是通過院校開展虛擬增強現實相關通識課程、強化學校虛擬增強現實硬件配置和軟件開發條件、提升教師虛擬增強現實應用能力、校企合作構建“虛擬增強現實技術—專業建設”生態產業鏈，由學生、教師、教學資源、成本控制等多個方面一同發力，促進虛擬增強現實技術與焊接技術與自動化專業職業教育建設有機深度融合，使焊接技術與自動化專業建設信息化邁上一個新的臺階，從而培養出更多更好的高端技能型人才。