基于個人智能終端的分布式虛擬現實實踐教學系統的設計

宋 鷹， SONG Sean

（1.中國石油大學（華東）地球科學與技術學院，山東青島266580；2.坎特伯雷大學工學院，新西蘭克賴斯特徹奇8011）

0 引 言

虛擬現實技術（Virtual Reality），簡稱VR技術，是以計算機技術為核心，結合全景攝影、圖形渲染、姿態傳感、伺服反饋、網絡通信、人機交互等最新技術，建立和營造出一個可以實現多感官體驗的三維虛擬世界，進而為用戶提供身臨其境的沉浸式體驗［1-2］。VR技術可以廣泛地應用于航空航天、軍事、高端設計與制造、醫療、娛樂、遠程通信、教育與培訓等領域。VR技術最早應用于教育領域是在20世紀90年代初，由Mclellan等學者提出將虛擬現實作為一種學習媒體技術創造虛擬情景的學習，為高等教育的教學活動提供可能性的變革［3］。

現場實踐、實訓、實習教學是各類教育教學活動中時空跨度最大、最為復雜的組織形式［4］。為了達到最好的教學示范效果，需要有先進的技術手段作為支撐。與其他技術方法相比，結合了虛擬現實技術和網絡通信技術的分布式虛擬現實系統（Distributed Virtual Reality）［5］，可以將不同用戶通過網絡連接成一個共享的虛擬世界系統，實現資源的共享和協同式交互。該系統具有群體協作性、情景沉浸性、動態操作性和實時交互性等特點，可以為地礦油、農林水、軍事、交通等對實踐場地和安全要求高的學科的實踐類教學活動提供一種全新的技術支撐方法和理論創新工具［6-10］。

本文以現場實踐、野外實習教學和演示的具體需求為基礎，設計了一種以智能手機和硬紙板為近眼顯示器主體、以民用無人機為搭載平臺、全景攝像機為視頻采集設備、5G移動網絡為信息傳輸介質的符合我國國情的分布式虛擬現實實踐教學系統，開展野外實踐現場的虛擬現實交互式教學，提高實踐教學的質量。

1 分布式虛擬現實系統的基本原理

分布式虛擬現實系統，通常由圖形顯示器（客戶端）、控制設備（主控端）和數據網絡3大部分組成。其中位于客戶端的圖形顯示器，又稱為近眼顯示器（Near Eye Display，NED），是虛擬現實系統最重要的客戶端設備。

成人雙眼瞳孔中心點之間存在55～75 mm水平距離，造成雙眼視網膜上的物象存在一定程度的水平差異，這種水平像位差稱為雙目視差［11-13］（見圖1）。而人腦內視覺神經皮層可以將雙眼觀測的不同圖像融合，消除雙目視差，在人腦中形成一幅立體的圖像。虛擬現實系統正是借鑒人類眼球結構和視覺神經系統的視覺信息采集和加工機制進行仿真模擬，借助水平位置不同的多組相機同時拍攝，獲取多組圖像后，在近眼顯示器內并列放置，從而使觀測者產生三維立體的視覺，實現視覺上的沉浸感。常見近眼顯示器除了高分辨率屏幕外，還內置有陀螺儀、加速度計等慣性傳感器和全球導航定位系統，可以實時跟蹤佩戴者的朝向、方位等姿態變化，并相應調整顯示屏幕畫面的視場角，這就使得佩戴者擁有如同完全置身于虛擬世界之中的沉浸式體驗。

圖1 人類眼球成像原理及視覺雙目視差示意圖［11］

隨著虛擬現實技術的迅速發展，作為客戶端的近眼顯示設備也成為研發的焦點［14］。然而，目前市場上常用于虛擬現實教學的近眼顯示系統，通常為國外進口產品，成本高昂，難以成規模的應用于實踐教學等活動之中，更無法適應我國高等院校實習活動一般集中安排和大班制教學的現狀。

2 分布式虛擬現實系統設計

2.1 設計目標

本系統將光機電一體化、近眼顯示（NED）、無人機全景攝影（UAV Photography）、人工智能（AI）、5G 物聯網、地理信息系統（GIS）等關鍵技術深度融合，利用智能手機等個人智能終端為顯示媒介、多旋翼無人機和全景攝像機為視頻采集裝置、5G高速互聯網為數據傳輸媒介，設計分布式虛擬現實實踐教學系統，以滿足室內和現場等不同情景下大班制教學和示范的需求。

2.2 硬件設計

本系統的硬件部分由近眼顯示器、移動視頻采集裝置和主控終端三大部分組成（見圖2）。分別實現虛擬現實圖像顯示和交互、移動全景圖像采集和直播、5G物聯網構建和系統控制等不同功能。

近眼顯示器由機殼、遮光罩、透鏡組、調節螺母、軟墊、粘扣、尼龍帶、控制盒、連接線和個人智能終端組成［見圖2（a）］。機殼是由硬紙盒折疊或ABS塑料加工成形的箱式結構，也是近眼顯示器的主體，與其前端蓋板之間用粘扣連接，在前端蓋板上粘貼有軟墊以增加摩擦力固定智能手機等個人智能終端；機殼后端安裝有遮光罩和尼龍頭帶，分別用于屏蔽光線和方便佩戴；機殼內部包括若干獨立空腔，空腔之間開有通孔用以安裝透鏡組。透鏡組由兩片平凸透鏡（d＝4 cm，f＝1.5 cm）和筒形外殼組成，其外表面上有螺紋，可配合調節螺母調節焦距。控制盒安裝于機殼右側，其外表面設有控制按鈕，內部空腔安裝有主控模塊和5G網絡模塊，用于接收和放大5G網絡信號，并控制個人智能終端。連接線一端連接個人智能終端，利用個人智能終端電池為控制盒供電，另一端則連接控制盒。個人智能終端包括常見的基于Android或IOS等操作系統的智能手機或其他小型智能裝置，該類裝置一般配有高分辨率顯示屏、導航定位芯片、陀螺儀和加速度計等。

移動視頻采集裝置由多旋翼無人機和全景攝像機組成［見圖2（b）］。多旋翼無人機采用常見的民用級四旋翼無人機，其機身底部或機腹可外掛不少于0.5 kg載荷，飛行距離不低于1 km，直播回傳距離不小于0.75 km，續航時間不少于20 min，抗風能力不小于4級（風速20～28 km／h）。全景攝像機安裝于無人機機身底部或機腹，通過4個魚眼攝像頭實現360°全景拍攝，內載視頻拼接處理芯片，通過算法處理實現實時全景拍攝并將視頻信號直播回傳至主控終端。

主控終端由無人機遙控器、5G網絡天線和總控模塊組成［見圖2（c）］。遙控器包括4個控制通道：第1通道控制副翼，第2通道控制升降舵，第3通道控制油門，第4通道控制方向舵。網絡天線，一方面用于傳輸主控終端與無人機之間的通信信號，增加無人機遙控距離并提高信號傳輸穩定性；另一方面，該天線還用于在野外現場組建5G局域網，實現主控終端與客戶端（近眼顯示器）之間通信信號的穩定傳輸。總控模塊用于控制和管理整個分布式虛擬現實實踐教學系統的運行，并實現野外路徑智能規劃等功能。

使用時，①實習教員通過主控終端在野外實習現場組建5G無線局域網，并指導所有實習學員的個人智能終端接入該局域網；②實習學員將手機等個人智能終端固定于機殼內，并用數據線與控制盒連接，從而構成完整的近眼顯示系統；③實習教員通過主控終端放飛和控制移動視頻采集裝置，移動視頻采集裝置在飛行過程中通過5G網絡實時回傳信號至主控終端，主控終端再通過5G局域網將視頻信號發送和共享到各實習學員所佩戴的近眼顯示系統中。實習學員可以轉動調節螺母調節透鏡組與屏幕之間的距離，以達到最佳的立體顯示效果，觀看無人機拍攝的實習區圖像（見圖3），還可以通過頭部的上下左右移動來轉換觀測視角。通過控制盒上的按鍵實現人機交互操作，實現各種功能（見圖4）。

圖2 分布式虛擬現實實踐教學系統硬件結構圖

圖3 近眼顯示器內屏幕影像圖

圖4 近眼顯示器實拍圖（黃色機殼由硬紙板折疊而成，白色控制盒安裝于機殼外側）

2.3 智能路徑規劃算法

實習路徑規劃，常被稱為踏勘或野外踏勘，通常是在開展現場調查和實習工作之前，對實習區的基本情況、各實習點的基本位置進行摸底，規劃最優的實習路線，以保證實習任務的圓滿完成。其目標是從起點出發，以最安全最高效的方式訪問所有實習點［15］。城郊、平原等實習區的路徑規劃相對簡單，只需考慮實習點的地理位置和實習區當地路網分布即可。然而對山區、沙漠、灘涂、采坑等復雜地貌或地形切割劇烈的實習區進行路徑規劃時，還需要考慮實習區當地其他因素，主要包括：① 懸崖、巨石、河流、沼澤、灘涂、滑坡、施工現場等各類障礙性地物分布情況；②實習區主要植被類型和覆蓋程度；③實習區地貌地形特征。

如何對復雜地貌實習區進行快速分析，并自動規劃出最安全最高效的實習路線是野外現場實踐系統的核心技術。本系統所用的路徑智能規劃算法基于Python語言編寫，應用數組與矩陣運算庫［16］和Open CV3庫［17］的計算和圖像處理函數等人工智能算法，對實習路線進行合理規劃。

智能路徑規劃主要包括影像采集、圖像增強、數字高程信息提取、智能分析與規劃等4個步驟。

（1）影像采集與生成。在主控終端輸入實習區4點坐標。無人機圍繞實習區飛行一周后，采集全景圖像，并自動拼合生成4點坐標所圍限區域的高分辨率影像圖（鳥瞰圖）（見圖5），定義為fieldpanorama.tif。

圖5 某露天礦區全景影像及實習路徑規劃圖

（2）圖像增強與識別。① 調入Python語言自帶的數組與矩陣運算擴展程序庫NumPy（Numerical Python）［16］及計算機視覺擴展程序庫OpenCV3［17］。②程序讀取無人機拍攝的高分辨率影像圖fieldpanorama.tif，將圖像劃分成一個m行n列的矩陣柵格。③根據實習區地理環境，設定目標色區間。例如，對植被覆蓋的花崗巖露頭區進行實習作業時，將植被典型顏色—綠色和深綠色設定為背景色，將野外小路與巖石露頭的典型顏色—黃色系設為目標色，即150＜R＜255，150＜G＜255，0＜B＜150。④ 程序對圖像逐個柵格進行掃描，識別柵格內顏色是否落在目標色區間內。最后將符合條件的目標色柵格存儲為critri數據包內，就可以區分出實習區內所有無植被覆蓋的區域，作為后續路徑規劃的基礎。

import numpy as np

import cv2

img ＝ cv2.imread（‘fieldpanorama.tif’）

m，n，p ＝ img.shape

critri＝ np.zeros［m，n］

for i in range（m）：

for j in range（n）：

if img［i，j，0］＞0 and img［i，j，0］＜150：

if img［i，j，1］＞150 and img［i，j，2］＞150：

critri［i，j］＝ 1

（3）數字高程信息提取。利用在線高程數據庫的應用程序編程接口（Application Programming Interface，API），提取實習區數字高程［18］（Digital Elevation Model，DEM）數據。由于不同的DEM數據服務商所提供的數據精度各不相同，建議在實際操作中數據精度精確到以秒為單位（1″≈30 m）。接入DEM數據庫后，由程序按照實習區4點經緯度坐標逐秒提取其對應的1″×1″網格內海拔高程信息，并且將所有高程信息存儲到height數據庫。

api＿key ＝ ″account name″

serviceurl＝ ″url address ″

data ＝ serviceurl.read（）

point＿1 ＝ （c，a）

point＿2 ＝ （c，b）

point＿3 ＝ （d，a）

point＿4 ＝ （d，b）

left＿corner＝ point＿1［1］

right＿corner＝ point＿2［1］

upper＿corner＝ point＿2［0］

lower＿corner＝ point＿3［0］

longitude ＝ left＿corner；latitude ＝ upper＿corner

i＝0：j＝0

while longitude＜b：

i＝ i＋1

longitude＋ ＝longitude＿delta

while latitude＜c：

j＝j＋1

latitude＋ ＝latitude＿delta

height［i，j］＝ data.reverse＿decode（″height″）

（4）智能分析與規劃。① 輸入位于實習區內的起點坐標sp，實習點坐標ep。② 將已經生成的高程信息（height）數據包與目標色（critri）數據包進行疊合及匹配。如果起點和實習點之間，在矩陣內有路徑相連，那么就利用二階拉普拉斯方程對所有可能路徑的高程求導，利用梯度下降（gradient descent）算法計算出高程梯度最小的相連路徑，即最優路徑（best path）。如果實習區植被覆蓋嚴重，即起點和實習點之間在critri矩陣內無法直接相連。那么直接對高程信息（height）數據包求導，得出由起點到實習點的高程梯度最小的相連路徑，即備選路徑（secondary path）。在野外實習中，一般要途徑多個實習點，可以通過在程序內多次輸入起點和實習點的坐標得以實現。

try：path ＝ connect（sp，ep，critri）

best＿path ＝ find＿path（sp，ep，path，critri*height）

except：secondary＿path ＝ find＿path（sp，ep，height）

def find＿path（sp，ep，critri，height）：

path ＝ connect（sp，ep）

laplace＿result＝ laplace（height，2）

preferred＿path ＝ minconvotre（path，laplace＿result）

return preferred＿path

cv2.imshow（path）

3 系統的工作模式

根據教學活動中的不同應用情景，本系統有多種工作模式：

（1）實驗室室內演示模式（Demo mode）。該模式主要利用近眼顯示器作為虛擬現實圖像顯示端，實習教員在室內播放系統內存儲的全景影像視頻，實習學員則通過佩戴近眼顯示器觀摩學習，達到身臨其境的沉浸式實習效果。

（2）現場鳥瞰模式（Cruising mode）。又稱為現場巡航模式。實習教員現場操作移動視頻采集裝置，飛行至實習區各實習點（如野外地質露頭）上空懸停后觀測拍攝。實習學員佩戴近眼顯示器實時觀看視頻直播回傳畫面，逐一了解各實習點概況并聽取實習教員的現場講解。實習教員還可以對特定實習點進行抵近觀察、拍照和講解。在植被覆蓋茂密或地形特別復雜、無人機無法施行抵近觀察的地區，則可以利用無人機搭載的全景攝像機的變焦功能實現遠程放大觀察。

（3）路徑規劃模式（Routing mode）。該模式主要用于實習現場路徑規劃，尤其是植被覆蓋茂密、人煙稀少、地形復雜的地區。實習教員設定實習區4點坐標并放飛移動視頻采集裝置，無人機環繞實習區一周，采集和自動生成實習區全景圖像。在實習教員確定所有實習點空間分布位置后，利用系統的人工智能算法，智能規劃從起點出發依次訪問各實習點的最優實習路徑，并標注于現場圖像之上，生成實習路徑圖（見圖5）。實習人員可以根據自身情況，對照實習路徑圖進行實習勘查。

4 系統的應用效果

（1）本系統提供了一種具有自主知識產權的、符合我國國情的、實用可行的虛擬現實教學系統的解決方案。本系統的客戶端由普及程度最高的個人智能手機和低成本的硬紙盒或塑料殼組合而成，而系統端使用的則是國產消費級的無人機和全景相機，降低了至少90%的采購成本，后期使用和維護成本也很低。其實際應用效果與國外進口成套的虛擬現實教學系統基本一致，特別適合我國高等院校大班制實踐教學的實際需要。

（2）突破實習現場條件限制，保障實習人員安全。利用沉浸式、分布式虛擬現實系統，可以彌補高校實踐教學條件的不足，即便是在室內環境，也可以通過近眼顯示器營造出實習現場情景，這樣就可以突破實習器材、自然條件、實習經費等因素的限制和制約，在降低實踐實訓教學成本的同時消除各類安全隱患，保障了實習人員的安全。

（3）增強實習活動的現場體驗感，優化實習教學效果。虛擬現實系統的最大特征就是沉浸性、交互性和構想性。通過頭戴式近眼顯示器，實習學員可以通過轉頭、抬頭、低頭等動作切換觀測視角，實現感同身受、人機互動，并且可以從多維、動態的角度對實習對象進行精細觀察，突破認知尺度的局限性。充分調動學生的積極性，增強對研究對象的感知和理解，提升實踐教學活動的效果。

（4）創新虛實結合的實踐實訓新模式。在現場實踐活動開始前，實習學員首先通過虛擬現實實踐系統熟悉實習區環境、實習路線、各實習點概況等基本信息。再在實習教員的帶領下，前往各實習點進行現場觀察，做到虛實結合，豐富了現場實習實訓教學的組織形式。

5 結 語

以分布式虛擬現實理論為基礎，通過將光機電一體化、近眼顯示、無人機全景攝影、人工智能算法、5G物聯網、地理信息系統等關鍵技術深度融合，提供一種分布式虛擬現實現場實踐教學系統的解決方案。該系統有3種工作模式，可以分別滿足室內教學、野外現場教學、路徑規劃等不同需求。系統直接以智能手機等個人智能終端作為客戶端顯示器和處理器，降低了90%以上的硬件采購成本，可以滿足我國高校大班制實習實踐教學活動的需求。