Web 與VR 結合的植物實驗教學系統(tǒng)建設

林志瑋，楊素慧，黃聯(lián)發(fā)

（福建農林大學 計算機與信息學院，福建 福州 350002）

1 VR 技術用于高校植物實驗教學的必要性

我國國土遼闊，跨越熱帶、亞熱帶、溫帶和寒帶，植物的物種多樣性高度富集[1]。在眾多植物中，不乏具有食用或藥用等價值的植物，也存在危害生境的植物，認識植物及其病害是利用和保護植物的前提。植物實驗教學是植物學課程中的重要一環(huán)，教學內容包括課程實驗、野外實習、畢業(yè)設計、創(chuàng)新實踐4 部分，涉及植物細胞與整體的宏觀微觀理解、鑒別科屬采集標本、設計實驗撰寫論文、參加科研項目及競賽等一系列植物實驗教學內容，有助于提高學生對所學植物的深入認識，是提高學生動手能力和思辨能力的必要途徑[2-4]。

VR 技術用于植物實驗教學具有眾多優(yōu)點：

（1）沉浸式體驗。中國植物種類眾多，若想盡可能多地觀察植物，實地考察不易實現(xiàn)。早期植物實驗教學是將植物照片與文字匯編為植物百科全書，但檢索和查閱信息比較費時。隨著互聯(lián)網(wǎng)技術的發(fā)展，快速檢索植物變?yōu)榭赡?。已有二維信息系統(tǒng)可完成植物物種的鑒別，使用者輸入植物名稱、設置參數(shù)后，系統(tǒng)會呈現(xiàn)檢索內容，但視覺感受不理想，且無法給予用戶觸覺體驗[5]。VR 技術用于植物實驗教學可令學生對植物的認識途徑由二維拓寬到三維，且增加了觸覺感官的調動。

（2）沒有時間限制。對于單株植物，其生長周期包括萌發(fā)、生長發(fā)育、開花結果、產生新的種子并逐漸凋亡。不同的植物生長周期不同，既有一年生植物，也有多年生植物。VR 技術用于植物實驗教學，可呈現(xiàn)植物一年四季乃至整個生命周期的狀態(tài)，減少學生觀察植物的時間成本。對于一個植物種群，從其出現(xiàn)到滅絕是一個漫長的過程，使用VR 技術記錄的種群進化過程，是一筆寶貴的財富[6]。

（3）突破空間限制。許多珍稀植物（例如高山植物）生長在環(huán)境惡劣、人難以到達的地方。將最初采集植物的數(shù)據(jù)資料輸入植物教學系統(tǒng)后，可以將這些空間上難以接近的植物呈現(xiàn)給學生，降低野外實習發(fā)生意外的風險。

（4）保證實驗的完整性。VR 技術用于植物實驗教學，由于沒有實驗場地要求和時間的限制，能夠較好地保證植物實驗的完整實施。

為了給學生更好的沉浸式植物實驗體驗，開發(fā)了基于Web 的VR 植物實驗教學系統(tǒng)。

2 結合Web 和VR 的植物實驗教學系統(tǒng)開發(fā)

在基于Web 的VR 植物實驗教學系統(tǒng)中，教師負責開啟服務器與Kinect 體感設備，學生只需使用自己的移動設備訪問該網(wǎng)站，并將手機放入紙板（cardboard）頭盔形成VR 眼鏡，就可以透過VR 眼鏡進入該VR 教學網(wǎng)站。該網(wǎng)站內置文字、語音、動畫，含有豐富手部操作的人機互動方式，學生可體驗聽覺、視覺、觸覺的沉浸式虛擬現(xiàn)實教學。VR 植物實驗教學系統(tǒng)的架構分為前端UI 層、展示層、業(yè)務層、系統(tǒng)運行環(huán)境、硬件層，如圖1 所示。

圖1 系統(tǒng)架構圖

前端用戶界面（UI）層采用HTML + CSS + jQuery設計，頁面轉換模擬書本翻頁的效果，二維植物或昆蟲圖片采用旋轉木馬輪播特效，植物多級科屬采用伸縮導航。該層的文件格式包括html、css、json 和jpg等，3D 模型由json 文件反序列化得到。

展示層涉及LayaAir 3D 引擎以及WebSocket 互動通信協(xié)議，使用LayaAir 引擎實現(xiàn)3D 植物的原地旋轉，自定義放大、縮小的動畫效果，并在前端UI 層中渲染場景。WebSocket 協(xié)議可實現(xiàn)由服務端向客戶端主動推送信息，減少服務端和客戶端的連接次數(shù)，降低資源浪費。

業(yè)務層由前端業(yè)務層與后端業(yè)務層構成。前端業(yè)務層負責3D 引擎中資源的數(shù)據(jù)化處理，為3D 引擎提供可供解析的模型數(shù)據(jù)、燈光和天空等場景組成因素的設置、模型位置和大小的設置，重點是對3D 植物模型進行動畫處理以及用戶交互方式的處理與整合；后端的業(yè)務層負責處理Kinect 體感設備接收到的人體肢體動作數(shù)據(jù)。

系統(tǒng)運行環(huán)境層要求主機的運行系統(tǒng)至少為Windows8 系統(tǒng)，并安裝Kinect 2.0 的SDK，使用node.js搭建服務器。

硬件層包括VR+植物實驗教學系統(tǒng)運行時所需要使用的硬件設備：（1）負責實現(xiàn)與用戶進行復雜交互的Kinect 體感設備，本系統(tǒng)開發(fā)使用Kinect 2.0 版本；（2）個人PC 設備，作為系統(tǒng)服務器使用。

目前常用的VR 設備可分為2 種：一種是由谷歌等公司研發(fā)、已投入市場的成熟產品，如Oculus VR眼鏡、愛普生VR 眼鏡及延伸產品；另一種是專門為特定人群設計的VR 設備，如軍用作戰(zhàn)裝備仿真。本系統(tǒng)使用的VR 設備較前者加入了Kinect 體感設備來捕捉用戶動作信息，用戶可通過肢體動作與VR 世界互動，而不僅局限于轉動頭部改變視角；而較后者，由于用手機與紙板頭盔形成VR 眼鏡，大幅降低了系統(tǒng)開發(fā)成本和開發(fā)門檻，適合在高校普及使用。另外，本系統(tǒng)采用B/S 架構，只需維護服務器，從而降低了維護成本 。

3 結合Web 與VR 的植物實驗教學系統(tǒng)構成

VR+植物實驗教學系統(tǒng)包含系統(tǒng)功能模塊和教學單元，二者相輔相成，構建出完整的植物實驗教學系統(tǒng)，如圖2 所示。

系統(tǒng)功能模塊用于多模態(tài)、多角度地進行植物實驗教學，例如以動畫、文字、語音、圖像等模態(tài)，從宏觀至微觀介紹植物病蟲害預防和治理課程中的重點知識，采用先進的教學手段達到豐富教學內容、開拓教學形式、提升教學水平的效果。

圖2 VR+植物實驗教學系統(tǒng)

3.1 植物展示模塊和病蟲害介紹模塊

植物展示模塊以及病蟲害介紹模塊是VR+植物教學系統(tǒng)中的核心模塊，其功能為以平滑動畫為主、文字語音為輔的方式介紹植物及病蟲害的以下內容：

（1）植物名稱、科屬、外部形態(tài)等植物信息，如圖3 所示。

（2）植物受到病蟲害后外部形態(tài)、內部構造，害蟲分布、習性、危害等病蟲害信息。

植物動畫包括植物生長動畫、植物病變動畫、植物治愈動畫、植物病變進度的微觀動畫等。

圖3 系統(tǒng)植物介紹場景

植物生長動畫與植物病變進度的微觀動畫同屬于逐幀動畫，不同的是植物生長動畫每一幀就是一個植物模型。為保持畫面的連貫性，本系統(tǒng)的逐幀動畫最低播放要求為25 幀/s，最終呈現(xiàn)流暢的植物生長動畫，且時間軌跡覆蓋春、夏、秋、冬4 個季節(jié)，如圖4 所示。另外，植物生長動畫采用分組進行，以求達到不同植株的生長速度不一的景象。本系統(tǒng)的植物生長動畫的植物模型目前約有60 個，今后將與相關部門合作，持續(xù)擴充系統(tǒng)素材庫。

圖4 系統(tǒng)植物生長動畫

植物病變進度的微觀動畫每一幀就是一張圖片，為了配合植物病變動畫的時長，微觀動畫用到的圖片達102 張，時長約為5 s。植物病變動畫與植物治愈動畫都為材質動畫，通過改變模型材質達到動畫效果。

植物生長動畫是對當下野外植物考察的替代與加強工具。首先，對于某些生長于險峻地形的珍貴植物，如高山植物，可先由專業(yè)人士采集植物的三維數(shù)據(jù)，錄入系統(tǒng)植物素材庫，從而幫助無法到達實地觀察的群體了解珍貴植物，擴大對植物的觀察次數(shù)及觀察人數(shù)，避免野外考察發(fā)生意外的風險。其次，植物生長周期緩慢，每一年和每一季節(jié)植物的外觀和內部形態(tài)都有很大不同，借助VR 技術展示植物生長動畫，可動態(tài)呈現(xiàn)植物的生長變化，能豐富課堂內容呈現(xiàn)方式，提高學生的學習積極性。

3.2 病蟲害防治模塊

病蟲害防治模塊是用戶交互功能中的一個重要模塊。病蟲害防治模塊不僅為用戶提供選單供用戶自行選擇簡單操作，還允許用戶親自實踐，例如用戶可操作虛擬放大鏡觀察植物的病害。該模塊通過體感設備偵測用戶的肢體動作并作出判斷，用戶可以用手控制虛擬場景中的小刀，對指定的植物進行病蟲害防治操作，如圖5 所示。

病蟲害防治模塊有多樣互動設計。用戶進入網(wǎng)站后，可通過旋轉頭部選擇植物模型，握拳后張開手掌以喚起輪盤選單，通過左右滑動選單輪盤，搭配發(fā)病組合或者進入系統(tǒng)自定義病變情況，然后左手持小刀或其他工具刮除植物病變組織，再用右手給植物涂抹保護劑或蠟等保護物質，最后包扎塑料布，結束操作。互動操作充分調動了學生的眼睛和雙手，可以培養(yǎng)學生實踐動手的能力，鞏固學生對植物知識的掌握。

圖5 用戶進行病蟲害防治操作

3.3 教學單元

Web 與VR 結合的植物實驗教學系統(tǒng)能夠運行多個教學單元。教學單元的選取參考了相關課程建設方案，聽取了相關專家的建議，并發(fā)揮出本校的學科優(yōu)勢。教學單元包括植物病害癥狀及病原物形態(tài)觀察、糧食作物與茶樹病害識別與防治、蔬菜與果蔬病害識別與防治等，單元下設多個實驗任務，使實驗內容具有趣味性、連貫性和完整性，培養(yǎng)了學生的動手實踐能力和思維創(chuàng)造性，滿足了植物實驗教學的需要[7-8]。

4 結語

VR+植物教學系統(tǒng)整合 LayaAir 3D 引擎搭配HTML5 前端、node.js 后臺、基于Windows 的Kinect交互設備這3 項技術。該系統(tǒng)在瀏覽器端實現(xiàn)VR，用Kinect 設備實現(xiàn)了良好的交互性，使植物學實驗效果有較大的提高。作為該系統(tǒng)的進一步建設設想，將在系統(tǒng)中增加傳感器，為用戶提供更加真實的植物操作體驗，如加入植物氣味的制造裝置，為學生識別植物和植物病變提供更豐富的信息[9]。