基于VR/AR的無人機操控培訓系統

林一平

隨著無人機迅速發展，大量新機陸續裝備，各單位普遍缺乏合格的無人機操控人員。在短期內培養出大批合格的操控員，須要運用高科技手段加強人員培訓和考核，而VR/AR技術運用其中能取得事半功倍的實效。

當代高科技發展帶動了VR/AR技術在無人機領域的應用，尤其是操控培訓領域，使用者能獲得沉浸式學習體驗、掌握高難和復雜的操控技能、降低風險、縮短培訓周期、節約成本、富有實效。

隨著世界無人機市場迅速發展，用戶購置的各種無人機在短時間內紛紛到貨，裝備機隊后引發了操控員短缺問題。而合格和有豐富經驗的操控員又不能在短期內培養出來，而且培訓成本相當昂貴。為此，客觀上須要尋求一種行之有效的解決方法，而VR/AR技術的運用則發揮了事半功倍的作用。

現代無人機技術具有實踐性、實用性和探索性。為了降低技術風險性，科技人員須要進行一系列模擬仿真試驗，以獲得海量數據，進而對在研項目進行分析研究，對新課題進行預研，對未知領域進行探索，而VR/AR技術的出現與應用，可為科技人員提供有力支持。

應用領域

當前VR/AR技術在多個領域均有實際應用。國外已將VR/AR技術應用于航空航天領域，如在地面模擬太空環境，對航天器進行飛行測試。外國汽車制造公司則將該技術應用于汽車駕駛測試，模擬人員的真實駕駛感受。在飛機部件裝配過程中，國外相關單位也在嘗試其在飛機總裝工序中的應用。

我國相關單位已對VR/AR技術進行了一段時間的探索和研究，在應用領域取得了成績，尤其是教育培訓領域，如仿真系統和虛擬教學場景建立，飛行模擬，汽車駕駛、地鐵駕駛、船舶駕駛，火災逃生模擬，電工安全培訓，起重運輸機械駕駛培訓等。目前，我國正著手將VR/AR技術應用于無人機飛行動作解析，并用于無人機飛行力學、仿生學、人工智能等方面的研究。

實踐表明，VR/AR技術應用于無人機系統飛行模擬和演示，具有廣闊前景且操作簡單。由于無人機使用受許多條件限制，在傳統操控培訓中，學員不可能經常在外場練習飛行操控。但是，學員利用VR/AR技術，可以重復模擬飛行；另外，VR/AR技術可適時記錄并演示每個學員的操控過程，當場糾錯和指導，提升學員的操控熟練度和技能，在實操過程中，降低因失誤造成的墜機風險，減少損失。

圖1 國外已將VR/AR 技術應用于制造業。

建模與交互實現

VR/AR技術用于無人機操控培訓離不開建模，其全程技術演示需要交互。其中無人機尺寸參數測量、精細模型建立、飛行程序編制、頭盔數模接入、虛擬現實交互實現等各環節均不可或缺。

建模編程

（1）無人機尺寸參數測量

首先須要對無人機各部件進行精確測量。為了精確測量各型無人機及各部件實物尺寸參數，可利用掃描儀等工具進行精確測量，并對照無人機手冊中的詳細數據，為建模提供原始記錄。

（2）精細模型建立

目前用于建模的軟件眾多。例如，3DSMAX軟件可建立模型，采用Unity3D及Visual Studio 2017軟件進行C#語言編程等。在軟件中通過點線連接、多邊形編輯等方法，將無人機模型做得更精準。但也要注意數字模型不宜太精細化，不然會占據過多計算機內存，降低運行速度，還容易導致影像卡頓，故可使用減面軟件工具PolygonCruncher8.03來減面。

（3）飛行程序編制

在編制程序前，需要了解無人機的飛行控制系統，掌握其飛行性能和在飛行過程中須要遵守的注意事項，明確飛行流程及相關步驟，為后續創建無人機數字模型，編寫飛行程序和飛行手冊奠定基礎。

虛擬現實交互

（1）無人機數模接入數字頭盔

將文件格式改為FBX，并導入Unity3D軟件中。在場景中添加地面、山河、草原、公路、高鐵、高樓、小區、學校、廣場等背景，再添加燈光，融入影像讓無人機出現在VR/AR頭盔中，經材質球對模型進行渲染，使無人機在VR/AR頭盔中的展現更為逼真。當然，也可根據實際需要對無人機模型進行完善、改進和升級，使之更科學、合理，適用性更廣。

（2）虛擬現實交互實現

在培訓過程中，通過撰寫代碼，調試飛行軟件，改進動作細節，實現無人機飛行環境的虛擬現實交互。VR/AR技術可模擬無人機的真實飛行場景和操控過程，方便教學講解和演示，便于糾正學員的操控錯誤。

配套裝備

基于VR/AR技術的無人機操控系統配套裝備通常有數字頭盔、遙控器等。

（1）數字頭盔

頭盔須戴在操控者的頭部，頭盔上的兩個顯示屏分別向雙眼提供影像，該影像由計算機驅動，有細微差別，類似于人的雙眼視差。頭盔顯示器提供的VR沉浸感勝過立體眼鏡好多倍，而AR的增強效果則更優。頭部實時跟蹤使用現成的頭盔顯示器（HMD）和三維空間傳感器。

（2）遙控器

遙控器是VR/AR操控系統的主要裝備之一。學員使用遙控器對無人機飛行進行操控，涵蓋飛行控制指令下達、變更、執行等。

圖2 美國空軍利用VR 技術開展軍機維修。

圖3 愛好者使用VR/AR 頭盔和遙控器操控無人機飛行。

圖4 一位學員正在體驗沉浸式無人機飛行場景。

遙控器使用

掌握遙控器的使用方法是進行VR/AR沉浸式操控的一個主要環節。首先要了解遙控器的各個功能區，然后熟悉功能區中的功能鍵和推桿的作用，再學習操控要領，熟悉后再反復練習，提高使用熟練程度，降低失誤，確保高準確率。

遙控器與VR/AR頭盔聯機后，使用者可逐步獲得沉浸式環境中的多種無人機操控體驗，感受“眼-腦-手”三者間的響應和動作連貫性與協調性，反復體驗不同的手感。期間，尤其要注意遙控器操縱的切換動作要準確無誤、自然連貫，推桿調整動作要柔和，切不要貪快、動作過猛，更不能動作粗暴。

無人機地面控制站

地面控制站可以同時管控多架無人機的同框飛行。通過接收遙控信號，把無人機飛行中的外界三維測量、物理空間定位和方位測定、運動跟蹤等數據傳輸給計算機處理。這些數據經計算機識別、運算處理后，得到空間坐標及運動軌跡、動態參數，并在顯示屏上顯示，供教員全程跟蹤、全面掌握，對空中飛行的多架無人機進行集中控制。

基于VR/AR的操控培訓

在操控培訓中，根據飛行教學大綱要求，學員應結合課程，分階段利用VR/AR沉浸式操控方法，學習單項飛行操控、多項飛行操控、綜合飛行操控、定點飛行操控、航線飛行操控、任務飛行操控。由于VR/AR系統融合了自然環境及地形地貌，學員能身臨其境，獲得逼真的動感，增強了學習主動性，較快地檢驗學習效果。

無人機的基本操控練習是基礎，包括定點起降、爬升、下降、前進、后退、懸停、左轉彎、右轉彎、左側和右側飛行、打轉克服等。在經過足夠的練習后，可嘗試沿目標周邊繞飛和對準目標做交叉及正交飛行練習。

四旋翼無人機操控培訓

當學員戴上VR/AR頭盔，練習四旋翼無人機爬升、下降飛行操控時，在數字頭盔中可見自己把遙控器左操縱桿向上推，這時旋翼轉速增大，無人機便上升飛行；當向下推左操縱桿，旋翼轉速減慢，無人機便下降。

當學員戴上VR/AR頭盔，練習四旋翼無人機前進、后退飛行操控時，在數字頭盔中可見自己把遙控器右操縱桿向上推，這時無人機向前飛；當向下推右操縱桿，無人機向后退。

當學員戴上VR/AR頭盔，練習四旋翼無人機左轉、右轉飛行操控時，在數字頭盔中可見自己把遙控器左操縱桿向左推，無人機便向左轉；當向右推左操縱桿，無人機向右轉。

當學員戴上VR/AR頭盔，練習四旋翼無人機左側和右側飛行操控時，在數字頭盔中可見自己把遙控器右操縱桿向右推，無人機便向右側飛行；當向左推右操縱桿，無人機向左側飛行。

當學員戴上VR/AR頭盔，練習克服四旋翼無人機打轉操控時，在數字頭盔中可見無人機出現向左打轉時，此時應連續按右微調按鈕，直到無人機不打轉為止。反之，當無人機出現向右打轉時，須連續按左微調按鈕，直到無人機不打轉為止。

為保持四旋翼無人機的懸停狀態，學員在數字頭盔中可見自己操縱遙控器進行適時調整的各種響應。下面說明具體操控方法。

如果無人機向右側飛，學員應連續推動遙控器左側飛微調按鈕，直到無人機不再向右移動為止。

如果無人機向左側飛，學員應連續推動遙控器右側飛微調按鈕，直到無人機不再向左移動為止。

如果無人機向前飛，學員應連續推動遙控器后退微調按鈕，直到無人機不再向前移動為止。

如果無人機向后飛，學員應連續推動遙控器前進飛微調按鈕，直到無人機不再向后移動為止。

學員在完成上述無人機基礎操控訓練并鞏固后，可逐步升級到特技飛行操控。在練習無人機特技飛行操控時，學員應操控無人機上升到3m以上高度，再點擊翻滾鍵，并將右操縱桿（方向舵）向一個方向推動，此時無人機可實現此方向的前翻、后翻、左翻、右翻等翻滾動作。

由圖5可見，基于VR/AR的無人機操控須經歷包括垂直起飛、爬升、巡航、任務執行、返航、下降、垂直降落在內的整個飛行過程。其中，巡航階段的飛行大都為超視距飛行，在以前的教學中，學員僅憑肉眼很難觀察到無人機超視距飛行，更難體驗任務執行的過程?，F在，學員應用VR/AR技術，能同步觀察和體驗沉浸式飛行細節，實訓效果非常理想。在操控過程中，學員能熟悉電力巡檢、物流運輸、高樓消防、快遞件投放、農作物植保等各種任務場景，體驗無人機搭載重物如何起降、規避風險、平穩飛行、延長續航時間等。

圖5 多旋翼無人機的典型任務剖面。

無人機集群操控培訓

無人機多機編隊飛行用途廣泛，但其飛行操控技術具有更高的要求。以節日夜晚的“燈光秀”為例，無人機集群升空后各單機不僅須要正確定位，而且還要在動態飛行中互相配合，以完成整體隊形的變化。在諸多變化中，相鄰單機之間須保持上下、左右、前后間距，以確保同臺表演動作準確、精彩及飛行安全。在表演結束后，無人機集群中的單機需要嚴格按程序分批退場，降落地面。常規無人機集群人工操控非常復雜、操控工作量大、耗時長，且不允許出現失誤。如果采取VR/AR沉浸式操控培訓，整個無人機集群矩陣變化過程歷歷在目，而且能隨時發現問題、及時糾正錯誤，從而提高操控練習的質量、縮短培訓時間、提升培訓效率，最終確保任務順利完成。

VR/AR 操控培訓是系統工程

基于VR/AR的無人機操控培訓是系統工程，關系到技術運用、在線培訓、考核評定、綜合教學管理等方面。

技術運用

從理論到實踐，學員獲得無人機系統知識，正確理解無人機飛行原理，熟悉操控要領，糾正錯誤操控方法，減少失誤，把握正確的操控流程，養成良好操控習慣，確保無人機飛行安全。

在線培訓

在線培訓應按運行規則、無人機型號、飛行手冊等要求，對新學員進行具體指導和技術培訓，注重培養操控的正確性、準確性和熟練程度。

考核評級

按運行規則及無人機型號要求，定期或不定期對操控員的業務能力和技術水平進行考核，并做出客觀、公正的評級。

教學綜合管理

對操控員、設備、器材、倉儲、物流等進行科學管理。

圖6為VR/AR無人機操控培訓系統的若干層面，主要涉及基礎層、技術層、應用層和網絡層。其中，與基礎層有關的是數字模型和算法框架。與技術層有關的是結構仿真、系統仿真和人工智能。應用層面向操縱和飛行場景，以解決實際問題為主旨。網絡層通過互聯網面向行業內外開展飛行業務溝通，擴大安全飛行范疇。

圖6 VR/AR 無人機操控培訓系統架構圖。

用戶評價

國內VR/AR技術目前主要用于無人機教學和操控培訓。VR/AR系統能夠為學員提供生動、逼真的學習環境。在廣泛的飛行操控科目中，為學員提供無限的虛擬體驗，從而加速并鞏固學員所學的專業知識。與在課堂聽教師講授理論課相比，學員親自、主動感受人-機交互操控，獲得了實踐性學習機會。利用VR/AR技術，相關單位可以建立各種虛擬現實飛行試驗室，開展多種沉浸式技術培訓、演練，具有傳統培訓方法難以比擬的優勢。

節省經費

在學校，學員甚至可以足不出戶在教室里做各種飛行操控練習，獲得與真實操控同樣的效果。在保證教學質量的前提下，操控練習不再受設備、場地、經費等條件制約，許多原來不能做的練習現在都可以完成，節省了大量教學經費，降低了教學成本。

人員培訓規模擴大

通過VR/AR操控集訓，學員可獲得理論和實踐知識，相關單位能在較短周期內完成大批量操控員培訓和考核，進而提高從業人員的技術素質和技術等級，推動無人機行業不斷發展和進步。

校際廣泛交流

圖7 VR/AR 系統應用于無人機操控班集體培訓。

目前國內有關院校已經自主開發了VR/AR應用軟件，編制了無人機操控手冊，解決了培訓器材短缺的難題。在一次操控培訓中，多名學生可以一起體驗無人機操控，加深對專業理論知識的理解，師生使用后普遍反映很好。經完善后的教學經驗值得推廣，也便于在更多院校專業教學中交流、學習、互動和提高。

風險規避

某些真實操控練習往往存在高風險。利用VR/AR技術進行無人機操控練習，學生可在老師指導下，在虛擬現實環境中放心地開展無風險飛行操控練習。采用虛擬飛行操控教學系統，可避免學員因操空失誤而造成的墜機事故。

滿足新時代需要

為滿足無人機時代的新需要，建立VR/AR操控培訓系統工程勢在必行。

運用VR/AR操控培訓系統可化繁瑣為簡明，化抽象為現實，非常實用，達到以低成本解決難題的效果。在操控體驗中，學員不僅能學習新知識，還可學懂一些以前尚不清楚或似懂非懂的飛行原理，熟練操控技術，增長專業技能，甚至樂在其中。