虛擬全景技術(shù)在野外實(shí)踐教學(xué)平臺開發(fā)中的應(yīng)用

鐘正，葛婉茹

(華中師范大學(xué) 國家數(shù)字化與工程技術(shù)研究中心，湖北 武漢 430079)

虛擬全景技術(shù)在野外實(shí)踐教學(xué)平臺開發(fā)中的應(yīng)用

鐘正*，葛婉茹

(華中師范大學(xué) 國家數(shù)字化與工程技術(shù)研究中心，湖北 武漢 430079)

應(yīng)用虛擬全景技術(shù)開發(fā)野外實(shí)踐教學(xué)平臺，通過高精度影像采集與全景合成，將以往難以親身到達(dá)的野外自然環(huán)境在室內(nèi)移動端VR平臺上展示，使學(xué)生能夠?qū)σ巴庾匀画h(huán)境進(jìn)行系統(tǒng)完整地認(rèn)識與學(xué)習(xí)，創(chuàng)設(shè)一種身臨其境般的學(xué)習(xí)體驗(yàn)。該教學(xué)平臺以智能手機(jī)+GearVR頭顯為運(yùn)行終端，可直觀動態(tài)顯示全景影像，教學(xué)內(nèi)容分享傳播更加便捷，促進(jìn)了學(xué)生學(xué)習(xí)興趣的培養(yǎng)和實(shí)踐感知與認(rèn)知能力的提升。

虛擬全景技術(shù)；教學(xué)平臺；野外實(shí)踐

1 引 言

野外實(shí)踐教學(xué)是生物、地理、地質(zhì)等專業(yè)教學(xué)和實(shí)施素質(zhì)教育的重要基礎(chǔ)，要求學(xué)生對野外自然環(huán)境和現(xiàn)象有深入了解。然而，受教學(xué)大綱和經(jīng)費(fèi)條件的限制，目前仍以課堂教學(xué)為主，內(nèi)容枯燥、形式單一[1]，有限理論以及實(shí)驗(yàn)課時使學(xué)生無法獲得野外環(huán)境完整的認(rèn)知，造成理論學(xué)習(xí)與實(shí)際應(yīng)用脫節(jié)，難以快速適應(yīng)野外現(xiàn)場考察的要求。另外，傳統(tǒng)地以簡單的認(rèn)知、實(shí)地考察和記錄等為主的野外實(shí)踐模式受學(xué)生生源的擴(kuò)張、實(shí)習(xí)經(jīng)費(fèi)緊張和指導(dǎo)教師缺乏以及安全等因素的制約，導(dǎo)致產(chǎn)生一些無法預(yù)期的教學(xué)情境，影響野外教學(xué)的實(shí)際效果。

虛擬全景技術(shù)( Virtual Panoramic) 的快速發(fā)展為實(shí)景教學(xué)提供了一種新的表現(xiàn)方式。該技術(shù)以應(yīng)用實(shí)景中的某一觀測點(diǎn)為中心，通過多角度的影像拍攝和拼接，構(gòu)建水平和垂直環(huán)視360°的全視角影像。相對于傳統(tǒng)的二維視頻，虛擬全景影像突破了傳統(tǒng)的單視角和單次拍攝焦距的限制，通過在影像內(nèi)部增加人與場景的交互，豐富了視頻內(nèi)容，以更加全方位和具有真實(shí)感的動態(tài)影像重現(xiàn)野外場景的現(xiàn)場全貌。基于以上特點(diǎn)，將具有高危險性和難以實(shí)踐的野外場景或者自然區(qū)域(如高山叢林區(qū)、河灘地貌、機(jī)場跑道等)通過全景影像在課堂內(nèi)重現(xiàn)，創(chuàng)設(shè)身臨其境般的學(xué)習(xí)體驗(yàn)，進(jìn)而展開實(shí)踐的教學(xué)。

因此，筆者開發(fā)了基于虛擬全景技術(shù)的野外實(shí)踐教學(xué)平臺，將其應(yīng)用于專題學(xué)科野外實(shí)驗(yàn)教學(xué)。在全景影像拍攝設(shè)備與技術(shù)、圖像變形控制與全景拼接、全景呈現(xiàn)與應(yīng)用方式上進(jìn)行改進(jìn)與創(chuàng)新。以高像素級別的全景影像再現(xiàn)真實(shí)的現(xiàn)場體驗(yàn)的和交互感受，提高實(shí)踐教學(xué)的質(zhì)量，培養(yǎng)學(xué)生的創(chuàng)新精神和科研能力。

2 基于全景技術(shù)的野外實(shí)踐教學(xué)平臺設(shè)計(jì)

為了使用更加真實(shí)的野外自然環(huán)境來展示專題學(xué)科信息，本平臺通過在實(shí)際場景中拍攝全景影像，通過影像的拼接合成以及系統(tǒng)的設(shè)定[1]，使學(xué)生未去復(fù)雜的實(shí)際場景環(huán)境前就能練習(xí)、體驗(yàn)本課程的考察學(xué)習(xí)的目的。

2.1 導(dǎo)覽系統(tǒng)設(shè)計(jì)

在導(dǎo)覽系統(tǒng)設(shè)計(jì)上，主要包括三個層次：表現(xiàn)層，交互層和數(shù)據(jù)層。表現(xiàn)層主要是在用戶進(jìn)入系統(tǒng)后，可以觀察到的信息，包括實(shí)踐區(qū)專題信息的介紹，首頁地圖的預(yù)覽，各航拍點(diǎn)和地面點(diǎn)拍攝的全景影像預(yù)覽；交互層主要是用戶在系統(tǒng)中可進(jìn)行交互的基本場景操作功能，包括全景資源的分享、場景的選擇和切換、對場景的放大縮小和移動、專題知識點(diǎn)解說的播放以及查看和切換有關(guān)專題信息的圖集；數(shù)據(jù)層是通過Web服務(wù)器進(jìn)行連接的后臺數(shù)據(jù)庫，包括專題知識信息數(shù)據(jù)庫、場景地理位置信息數(shù)據(jù)庫以及全景數(shù)據(jù)庫。系統(tǒng)架構(gòu)設(shè)計(jì)如圖1所示。

圖1 導(dǎo)覽系統(tǒng)設(shè)計(jì)

2.2 平臺系統(tǒng)設(shè)計(jì)

目前常用的全景拍攝相機(jī)主要是使用單個相機(jī)通過旋轉(zhuǎn)角度和控制重疊區(qū)域以及開始結(jié)束時間進(jìn)行拍攝，即使利用三腳架也很難控制重疊區(qū)域大小的相同，在時間的同步上也存在很大的問題。因此導(dǎo)致了在全景的后期拼接縫合上要下很多工夫，拼接的效果也很難高度還原真實(shí)場景。在全景影像展示方面，大多數(shù)依據(jù)現(xiàn)有的桌面式計(jì)算機(jī)平臺，用戶主要利用鼠標(biāo)的拖動和點(diǎn)擊來進(jìn)行場景角度的切換，很難產(chǎn)生身臨其境的真實(shí)體驗(yàn)，限制了全景影像的立體效果展示。

針對以上問題，以智能手機(jī)+GearVR作為運(yùn)行終端，開發(fā)野外實(shí)踐教學(xué)平臺客戶端程序。通過采集手機(jī)內(nèi)部傳感器數(shù)據(jù)，獲取當(dāng)前觀影的位置信息。借助GearVR，教師通過頭部的移動，利用頭部追蹤功能，感應(yīng)系統(tǒng)會接收使用者頭部的轉(zhuǎn)動從而改變虛擬世界里面的視角。再將手機(jī)與課堂投影設(shè)備進(jìn)行影像的共享，學(xué)生可以同步以教師的視角觀察全景影像，從而改進(jìn)傳統(tǒng)虛擬全景操作和體驗(yàn)方式。通過完善客戶端程序，滿足課堂學(xué)習(xí)、分組討論、問題分析等環(huán)節(jié)的需要。實(shí)踐教學(xué)平臺客戶端的開發(fā)流程如圖2所示。

圖2 開發(fā)流程

3 實(shí)踐教學(xué)平臺實(shí)施

3.1 場景信息采集

根據(jù)所學(xué)知識點(diǎn)的相關(guān)要求，選取動植物分布較為集中、種類較為豐富的野外場景進(jìn)行影像的采集，采集內(nèi)容包括大廳(主界面)的三維地圖的展示、各場景的航拍點(diǎn)以及航拍點(diǎn)底部的地面點(diǎn)、各種生物的所在點(diǎn)。使用的器材包括GoPro Omni 6目全景相機(jī)和三腳架。全景影像采集的過程中，保持三腳架對齊觀測點(diǎn)且與地面垂直，全景相機(jī)固定于三腳架頂部水平臺上，拍攝過程中保持相機(jī)的穩(wěn)定性。將相機(jī)的FOV設(shè)置為寬，此時每個攝像機(jī)的廣角視角約為170°，獲得最大視角的場景，為后期方便拼接，如圖3所示。

6目的GoPro全景相機(jī)由6個小的GoPro Hero4 Black數(shù)碼相機(jī)組合而成，在空間的上、下、左、右、前、后分別固定一個數(shù)碼相機(jī)，因此構(gòu)成了水平環(huán)繞方向360° 4個相機(jī)，垂直環(huán)繞方向360° 4個相機(jī)的組合，兩個方向上每個相機(jī)的拍攝范圍都有重疊區(qū)域，如圖3所示。該設(shè)備采用了特殊的技術(shù)，使得6顆攝像頭之間能實(shí)現(xiàn)“像素級別的同步”，它由一個主機(jī)(1號相機(jī))來控制其他5臺相機(jī)進(jìn)行同步拍攝，使得視頻的后期工作變得更加簡單。

圖3 拍攝視角

通過將相機(jī)放置在觀測點(diǎn)，利用設(shè)備自帶的遙控器遠(yuǎn)程控制拍攝的開始和結(jié)束，借助GPS坐標(biāo)信息和百度地圖，確定當(dāng)前的觀測位置。

3.2 全景影像合成

將影像素材從全景相機(jī)中導(dǎo)出，初步利用Adobe Premiere對各片段影像的亮度、飽和度以及對比指標(biāo)等進(jìn)行微調(diào)整，減緩迎光面與背光面光照角度和光照強(qiáng)度差異，獲得曝光水平均勻連續(xù)的圖像素材。

利用Autopano Video進(jìn)行影像的拼接與縫合。將各視頻片段導(dǎo)入軟件中，選擇魚眼縫合方式，焦距 20 mm，軟件會自動根據(jù)相鄰圖像邊界之間的重疊區(qū)域確定它們的相互位置，通過對每個圖像邊界建立關(guān)聯(lián)點(diǎn)來識別圖像之間的相似點(diǎn)，然后對鏡頭畸變和影調(diào)的調(diào)整進(jìn)行運(yùn)算，進(jìn)而拼接成一幅全景圖像。如圖4所示。

圖4 全景圖像拼接分區(qū)

軟件自動拼接完成后，會出現(xiàn)重影、變形等問題，這就需要對每一幀的圖像進(jìn)行編輯處理，利用Autopano Video的圖像編輯軟件Autopano Giga進(jìn)行單幀圖像的編輯。對于出現(xiàn)重影的問題，可以通過設(shè)置“消除疊影”來處理。如果兩幅相鄰的圖片錯位重影的問題比較嚴(yán)重或者利用消除疊影依然無法解決，可以通過在兩幅圖像重疊區(qū)域的相同位置添加控制點(diǎn)，軟件會自動根據(jù)兩幅圖像的相同點(diǎn)進(jìn)行重合，從而達(dá)到消除重影的效果，如圖5所示。

圖5相鄰圖像之間增加控制點(diǎn)

3.3 全景展示與教學(xué)應(yīng)用

本平臺中的虛擬全景體驗(yàn)可通過移動頭顯GearVR+智能手機(jī)的方式來完成，使用者佩戴頭顯，通過移動和頭部轉(zhuǎn)動等姿態(tài)變化，利用GearVR的頭部跟蹤功能，感應(yīng)系統(tǒng)會自動接收使用者頭部的轉(zhuǎn)動從而改變?nèi)坝跋窭锏囊暯牵M(jìn)而刷新移動VR中的全景內(nèi)容，使用者便可比較直觀動態(tài)地觀看手機(jī)屏幕里的全景畫面。借助頭顯上的按鈕觸控、面板調(diào)節(jié)等操作，還可對畫面中特定角度進(jìn)行比較仔細(xì)地觀察，從而獲得比較真實(shí)的場景體驗(yàn)。對于場景中的交互功能，可通過眼睛長時間注視(凝視操作)完成場景的切換、信息的查看等。

當(dāng)應(yīng)用于實(shí)驗(yàn)教學(xué)時，可將全景平臺導(dǎo)入到PC端或者直接將手機(jī)與GearVR頭顯配合使用，連接投影設(shè)備，使學(xué)生能夠通過大屏幕實(shí)時以教師的角度觀看操作過程和全景影像，學(xué)生體驗(yàn)感受對教師形成反饋，構(gòu)成完整的互動教學(xué)流程，如圖6所示。

圖6 課堂實(shí)踐教學(xué)互動流程[1]

以湖北省神農(nóng)架野外自然景區(qū)動植物展示為例，應(yīng)用虛擬全景技術(shù)平臺開展實(shí)驗(yàn)教學(xué)。具體流程如下：

(1)首先通過客戶端程序調(diào)取神農(nóng)架觀察點(diǎn)全景影像資料，教師講解實(shí)踐區(qū)基本環(huán)境，組織學(xué)生觀看野外場景，并對其中的動植物的分布以及種類進(jìn)行觀察。

(2)結(jié)合在全景影像中所觀察到的動植物的分布和介紹，了解豐富的植物資源及其用途，了解動物物種多樣性，認(rèn)識哺乳類、鳥類、兩棲類、昆蟲等類群(如圖7所示)。觀察和記錄動物行為與活動規(guī)律。

(3)觀察影像之后，查閱資料，將內(nèi)容分成不同的課題，學(xué)生進(jìn)行分組討論和學(xué)習(xí)，了解各種動植物類群的主要特征，掌握識別與鑒定方法；考察生物的生長環(huán)境，了解動植物與環(huán)境之間的適應(yīng)與相互作用。并對知識點(diǎn)中的一些問題進(jìn)行總結(jié)，及時向教師反饋并解決。

(4)通過再次觀看影像，以測評為導(dǎo)向，為學(xué)生設(shè)置一些問題，在觀察影像的同時，回答問題進(jìn)行鞏固學(xué)習(xí)，從而形成完整的教學(xué)流程。

圖7 生物信息展示

4 野外實(shí)踐教學(xué)平臺特色分析

4.1 高精度的全景影像采集方法

傳統(tǒng)野外現(xiàn)場的照片采集都是以單相機(jī)移動不同的角度進(jìn)行拍攝，很難控制視角的精確定位和后期拼接的精準(zhǔn)度，不能很好地還原真實(shí)場景，用戶的全景體驗(yàn)也有待提升。

對此，利用GoPro Omni一體的全景相機(jī)，各分塊影像之間的相互位置以及重疊區(qū)域都是固定的，并且通過自帶的軟件可以自動識別拼接，提高后期全景合成的精確度和縫合的緊密度。而且全景相機(jī)的6臺運(yùn)動相機(jī)由一個主相機(jī)控制其他5臺進(jìn)行同步拍攝，使得視頻的后期工作變得更加簡單，不用再費(fèi)勁找同步點(diǎn)。通過該方法采集的全景影像能夠改進(jìn)全景影像變形控制水平和還原效果，實(shí)現(xiàn)對野外自然環(huán)境場景的真實(shí)再現(xiàn)。

4.2 全景展示和體驗(yàn)的優(yōu)化

與VR游戲相比，虛擬全景影像不需要建立復(fù)雜龐大的三維數(shù)字場景，對硬件設(shè)備和軟件的質(zhì)量性能要求都有所降低。與傳統(tǒng)的桌面式全景展示方式相比，通過移動端VR作為教學(xué)應(yīng)用平臺，充分發(fā)揮了智能終端方便快捷的優(yōu)勢，以第一視角作為課堂中學(xué)生的視角，大大提高了全景體驗(yàn)的真實(shí)感和交互水平，突破了傳統(tǒng)桌面全景展示的刻板印象。

4.3 豐富教學(xué)手段、方便知識共享

虛擬全景影像在生活各個方面的應(yīng)用都充分體現(xiàn)出了其優(yōu)勢，隨著教育教學(xué)的發(fā)展變革，將虛擬全景影像的直觀動態(tài)優(yōu)勢發(fā)揮到教學(xué)中，結(jié)合多學(xué)科知識，對于日常難以實(shí)現(xiàn)的野外實(shí)踐教學(xué)，建立真實(shí)直觀的現(xiàn)場場景。此平臺即可用于個人學(xué)習(xí)的體驗(yàn)，也可用于課堂集體教學(xué)，對于全景中的場景和知識點(diǎn)可進(jìn)行傳分享，有利于知識的傳播與共享。基于虛擬全景技術(shù)的教學(xué)方式，大大提高了學(xué)生的參與度與積極性。

5 結(jié) 語

基于虛擬全景技術(shù)開發(fā)的野外實(shí)踐教學(xué)平臺，實(shí)現(xiàn)了在室內(nèi)課堂教學(xué)環(huán)境下對高危的野外自然環(huán)境的全景體驗(yàn)，以還原更加真實(shí)的現(xiàn)場場景幫助學(xué)生獲得身臨其境的學(xué)習(xí)體驗(yàn)，提高學(xué)生的實(shí)踐和創(chuàng)新能力，培養(yǎng)學(xué)生的綜合素質(zhì)和創(chuàng)新精神。

[1] 李岳，蔡靖，宗一鳴等. 虛擬全景技術(shù)在工程實(shí)踐教學(xué)平臺開發(fā)中的應(yīng)用[J]. 高等建筑教育，2016(5)：173～175.

[2] 陳璐. 實(shí)時視頻拼接系統(tǒng)的研究與實(shí)現(xiàn)[D]. 南京：南京理工大學(xué)，2015.

[3] 鐘正，張曉露，周東波等. 基于LBS的戶外地理教學(xué)系統(tǒng)設(shè)計(jì)與應(yīng)用[J]. 中國教育信息化，2014(15)：14～18.

[4] 鐘正，胡鵬，張曉露等. 戶外地理移動學(xué)習(xí)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 城市勘測，2013(5)：5～8.

[5] 趙曦，劉耀林，劉艷芳等. 綜合性大學(xué)野外實(shí)踐教學(xué)模式初探——以武漢大學(xué)廬山地理野外綜合實(shí)習(xí)為例[J]. 高等理科教育，2008(3)：121～124.

ApplicationofVirtualPanoramicTechnologyintheFieldPracticeTeachingPlatform

Zhong Zheng，Ge Wanru
(National Engineering Research Center for E-Learning，Central China Normal University，Wuhan 430079，China)

Applying virtual panoramic technology develop field practice teaching，through the high-precision image acquisition and panorama synthesis，the wild natural environment that has never been reached before is displayed on the indoor mobile terminal VR platform，enabling students to understand and learn systematically and completely about the natural environment in the field，creating an immersive learning experience.The teaching platform based on intelligent mobile phone +GearVR as terminal operation，can display panorama image directly and dynamiclly.Teaching content is convenient to share and spread，promotes the cultivation of students' learning interest，practical perception and cognitive ability.

virtual panoramic technology；teaching platform；field practice

1672-8262(2017)06-19-04

P208，G434

A

2017—05—25

鐘正(1978—)，男，博士，副教授，主要研究3D GIS、移動GIS和GIS在地理教學(xué)中的應(yīng)用。

國家自然科學(xué)基金項(xiàng)目(41201413)