智慧虛擬現實實驗室的構建研究

湯嘉立, 習海旭, 黃純國

(江蘇理工學院 計算機工程學院, 江蘇 常州 213001)

實驗是人類認識世界的主要科學方法。實驗教學在自然科學的課程教學中具有重要的作用[1-2]。通過實驗教學,可以再現計算機科學的原理和規律,加深學生對計算機知識的記憶,促進學生計算機操作技能的發展,同時可以進一步發展學生的創新實踐能力[3-4]。目前,在計算機實驗教學中存在什么樣的問題,如何順應信息技術的最新發展,構建良好的計算機實驗教學環境,以提高計算機實驗教學的效果,一直是計算機課程教學研究者關注的主要研究內容。

1 計算機實驗教學現狀

高校的分型發展,使得應用型本科院校更加關注學生實踐能力的培養,理實一體化的教學模式在計算機課程教學中得到廣泛的關注和應用[5-6]。目前,計算機實驗教學普遍存在以下3大問題,成為制約理實一體化教學的主要障礙。

1.1 課程內容更新頻繁,實驗系統建設和維護成本較大

近年來,計算機學科在推動社會信息化革命中起到了越來越重要的作用。計算機應用熱點經歷了云計算、大數據應用和虛擬現實應用等發展階段。為了讓學生掌握行業應用前沿科技,計算機學科課程的內容更新頻繁,需要建設相應的學科實驗室,實驗室建設成功之后,在使用過程中需要后期的技術維護和培養相應的實驗管理人員,建設和維護成本較大。

1.2 實驗指導工作繁重,知識獲取路徑單一

實驗班級大多是大班教學,由于學生獲得知識和技能的能力有差異,教師需要花費大量時間進行實驗指導工作,或吸引優秀生輔助指導工作,即便如此,還是存在學生獲取實驗相關知識的途徑較少、實驗指導力度不夠等問題[7-8],學生實驗走過場,學習態度被動。

1.3 實驗限制條件過多,實驗體驗的真實感較差

一方面,實驗管理人員出于規范管理的需要,往往在電腦上安裝保護卡[9],也嚴格規范了師生對實驗系統的操作權限,這導致在計算機實驗教學過程中無法根據教學需要,更改計算機系統環境,所進行的實驗和真實情景有差異,也無法進行激發學生創新能力的探究性實驗。另一方面,虛擬軟件所提供的功能,對真實實驗和行業工作環境進行了一定程度的抽象,實驗知識和技能還不能順利地遷移到真實工作情景中。

2 智慧虛擬現實實驗室的規劃與建設

2.1 智慧虛擬現實實驗室的特征和功能

為了從一定程度上解決計算機實驗教學的現存問題,需要基于先進的信息技術構建一種可動態擴展的、智能的和支持自然操作交互的計算機實驗支持系統。該系統使用軟件虛擬技術對實驗軟硬件環境進行模擬仿真,以學習分析技術對實驗過程進行智能指導,采用虛擬現實技術創設實驗臨場感。

(1) 以軟件虛擬技術對實驗環境進行模擬仿真。計算機軟硬件實驗課程都可以采用軟件虛擬的方式進行構建。采用Flash技術可以繪制計算機實驗的硬件設備,編寫AS腳本控制硬件設備的操作邏輯,仿真實現硬件功能；采用虛擬機技術構建虛擬計算機系統,構建多樣化的計算機操作環境。基于軟件虛擬實現的實驗室,教學資源方便更新,不同學習系統的資源便于集成共享,系統升級和后期維護成本較小。

(2) 以學習分析技術對實驗過程進行智能指導。學習分析技術采用數據挖掘算法,分析學習者在實驗教學系統中的學習過程數據(例如訪問時間、時長、交互次數、交互操作過程、交互路徑等)[10],識別共性問題及學習困難者,對學習者進行智能的學習指導推送,為教師聚焦學習指導的重點,提高指導效率。

(3) 以虛擬現實技術創設實驗臨場感。虛擬現實技術基于計算機生成一種人造的三維世界[11],學習者通過立體感官設備(例如立體頭盔、耳機等)感知逼真的虛擬世界,通過自然交互設備(例如操作手柄、數據手套、數據衣等)與虛擬世界中的對象進行交互,獲得實時反饋。通過虛擬現實技術,一方面可以彌補軟件虛擬仿真中缺乏的真實感操作體驗,更有利于知識和技能遷移到實際工作場景中；另一方面可支持學習者進行自由創作,直觀地驗證假設,有效地激發了創新能力的發展。

滿足以上3個特性的計算機實驗支持系統,可稱為具有智能的虛擬現實實驗室(簡稱智慧虛擬現實實驗室)。該實驗室不僅可以應用于計算機學科課程的實驗教學,也可以應用于自然科學研究、工程產品原型的設計和仿真模擬、建筑和藝術設計等需要創造性能力培養的學科教學。

2.2 智慧虛擬現實實驗室的組成

如圖1所示,智慧虛擬現實實驗室由計算機圖形生成系統、立體顯示系統、虛擬現實跟蹤系統(簡稱VR跟蹤系統)、音響系統和智慧實驗教學系統5個模塊組成。

圖1 智慧虛擬現實實驗室架構圖

(1) 計算機圖形生成系統主要由虛擬現實仿真服務器(簡稱VR服務器)和虛擬現實圖形工作站(俗稱渲染主機)和虛擬現實仿真軟件組成。VR服務器基于虛擬現實仿真軟件來控制渲染主機生成并更新場景立體圖像對,發送指令控制立體顯示系統動態顯示場景,識別人的位置和交互動作,進行運算并給予實時反饋；渲染主機主要負責實時生成三維場景。

(2) 立體顯示系統以三維的形式高清顯示虛擬可視化環境。

(3) VR跟蹤系統捕捉人體的眼點位置信息并實現手部的操作跟蹤,實現與場景或物體的人機交互操作。

(4) 音響系統模擬環境的聲音,能夠播放來自渲染主機和VR服務器的聲音,具有足夠的聲音還原清晰度和響度。

(5) 智慧實驗教學系統由內容服務器(包括Web、數據庫和教學資源服務器)、學習過程數據集成處理、學習分析和內容生成模塊組成。實現對學生實驗操作過程數據的統一處理和集成,進行學習困難診斷、個性化內容提示和實驗指導[12]。

3 智慧虛擬現實實驗室下的計算機實驗教學

根據教學需要,可構建立體投影、響應工作臺和立體頭盔3類虛擬現實系統。

(1) 立體投影虛擬現實系統由立體投影儀、投影幕、VR服務器、渲染主機、立體追蹤眼鏡、跟蹤攝像頭和交互手柄組成。立體投影儀分別將虛擬場景的立體圖像對投影到投影幕上,立體追蹤液晶眼鏡片同步分別打開左、右眼鏡片,使得具有左右眼視差的圖像分別進入大腦,合成立體圖像,通過交互手柄可對虛擬場景進行漫游、單擊、拖拽、旋轉等常規操作。

(2) 響應工作臺虛擬現實系統由立體投影儀、反射鏡、顯示平板、VR服務器、渲染主機、可移動車、立體追蹤眼鏡、跟蹤攝像頭和交互手柄組成。立體投影儀投影出立體圖像對,經過反射鏡反射到顯示平板,觀察者佩戴立體追蹤液晶眼鏡觀察立體場景,通過交互手柄操作場景對象。整套設備安裝在移動車上,是一個可根據實驗需要隨時移動的虛擬現實系統。

(3) 立體頭盔虛擬現實系統由頭盔顯示器、定位裝置、VR服務器、渲染主機和交互手柄組成。立體圖像對顯示在立體頭盔中,觀察者佩戴立體頭盔觀看虛擬場景,定位裝置跟蹤觀察者在一定空間內運動的位置,實時更新虛擬場景,觀察者還可以通過交互手柄操作場景對象。

3.1 虛擬現實系統的教學特征

智慧虛擬現實實驗室中的實驗教學一般是教師首先講解實驗原理,說明實驗內容和實驗步驟,然后讓學生先使用虛擬軟件進行實驗,再通過虛擬現實系統進行真實感體驗,強化實驗中獲得的技能。碰到復雜的實驗,教師分步驟帶領學生進行實驗。在掌握基本實驗知識和技能的基礎上,最后需要進行小組協作性或綜合設計性實驗,以促進學生合作和創新能力的培養。實驗過程一般包括了教師演示、自主操作、小組協作和設計創作4個環節,如表1所示,不同類型的虛擬現實系統對這4個環節具有不同的適合度。

表1 虛擬現實系統對實驗環節的支持度

3.2 智慧虛擬計算機實驗教學模式

根據虛擬現實系統的教學特征,從完成實驗的參與人數和實驗目標兩個維度將計算機實驗教學模式分為如表2所示的4種類型。

表2 智慧學習環境中的常見活動模式

3.2.1 個人驗證性實驗

個人驗證性實驗由學生個人進行,目的是驗證知識、獲得技能。首先,學生在智慧實驗教學系統中按照實驗指導書的要求自行實驗,實驗過程中系統根據學生的實驗情況,在智能更新的專家庫中提取指導內容,較復雜的問題由教師現場進行指導。然后,根據實驗內容的特點決定是否使用立體頭盔虛擬現實系統進行真實感操作體驗,以進一步獲得直觀的經驗、知識和更真實的操作技能。例如,在微機組裝實驗中,學生進行軟件虛擬的虛擬裝機之后,可佩戴立體頭盔,體驗真實感的裝機操作。

3.2.2 多人協作性實驗

多人協作性實驗由若干個學生組成小組進行,目的主要是驗證知識、獲得技能、培養合作能力。首先,學生根據實驗任務分工,過程中可隨時討論合作,使用軟件虛擬的方式完成各自的任務,形成實驗成果。然后,根據實驗內容的特點決定是否使用立體投影虛擬現實系統進行真實感更強的協同工作。智慧實驗教學系統和教師在上述實驗階段中都可承擔實驗指導工作。例如,在計算機網絡組網實驗中,學生進行軟件虛擬的組網實驗之后,可佩戴立體眼鏡,觀看到真實感很強的網絡機房,進行體驗感逼真的組網操作。

3.2.3 個人探究性實驗

個人探究性實驗是學生為解決某個問題提出假設并進行驗證的實驗,可以培養學生的創新能力。首先,學生按照實驗任務設計出解決方案,使用軟件虛擬的方式分別實現系統模塊并仿真系統的運行結果,檢驗是否解決了問題。然后,根據實驗內容的特點決定是否使用立體頭盔虛擬現實系統進一步檢驗真實環境下該解決方案的可行性。例如,在單片機設計實驗中,為解決學生上機實驗簽到的問題,設計出一種人臉識別簽到系統，和已有的一卡通校園系統進行數據集成,需要學生選擇合適的電子元器件組裝起來,然后進行硬件編程。為驗證單片機系統的實際應用效果,學生可佩戴立體頭盔,將單片機系統安裝在真實感很強的虛擬實驗室環境中,進行多場景下的實際應用,發現存在的問題并進行改進。

3.2.4 多人探究性實驗

多人探究性實驗是學生群體為解決復雜的系統性問題提出假設并進行驗證的實驗,可以培養學生的創新及合作能力。首先,學生針對問題提出系統的整體方案,學生分工實現自己擅長的部分,使用軟件虛擬的方式合成系統并仿真。然后,根據實驗內容的特點決定是否使用立體投影或響應工作臺虛擬現實系統驗證真實環境下系統整體方案的可行性。例如,在嵌入式設計實驗中,需要設計并實現一種智能農業種植系統,有學生專門設計傳感器,有學生專門設計嵌入式控制單元,有學生專門設計軟件系統。進行軟件虛擬實驗后,學生可在虛擬農場中進行應用,也可將響應工作臺虛擬現實系統移動到真實農場中實施增強現實實驗,以發現存在的問題并進行改進。

3.3 智慧虛擬計算機實驗教學實施

3.3.1 智慧虛擬現實實驗室的建設

江蘇理工學院虛擬現實實驗室于2015年建成,該實驗室占地約110 m2,分為背投間、虛擬現實實驗活動區和系統監控管理區，相關軟硬件見圖2。

圖2 江蘇理工學院智慧虛擬現實實驗室軟硬件配置

3.3.2 智慧實驗教學系統的構建

江蘇理工智慧實驗教學系統基于Unity3d引擎構建了整個計算機工程學院的機房和專業實驗室,其中專業實驗室包括多媒體網絡教學實驗室、虛擬現實實驗室、嵌入式實驗室、機器人實驗室和虛擬演播實驗室。采用Visual Studio.net開發環境,C#編程語言實現了設備的操作交互,實現了動態加載教學資源庫里的三維素材資源,采用數據挖掘算法并結合SQL Server數據庫實現實驗過程的智能指導功能。圖3所示是嵌入式實驗室的虛擬實驗場景；圖4是虛擬演播室的虛擬實驗場景。

圖3 嵌入式實驗室的虛擬實驗場景

圖4 虛擬演播室的虛擬實驗場景

3.3.3 智慧實驗教學的實施效果

計算機工程學院16數媒兩個班級共82名學生在智慧虛擬現實實驗室中進行了虛擬演播室的初步操作實驗項目。學生都表示對此種學習方式有很大的興趣。系統提供的實驗指導具有針對性,教師的實驗指導工作壓力得到了緩解。學生更快地掌握了實驗所涉及的基礎知識和技能,能夠很好地將虛擬實驗中的操作技能遷移到實際操作中去。

4 結語

智慧虛擬現實實驗室是實驗教學實踐中的新模式,是實驗室建設在新一代信息技術發展下的產物。后續研究工作還需對智慧虛擬現實實驗室軟硬件環境的設計影響因素進行進一步探討。對其支持下的實驗教學的有效性進行實證研究。