基于可穿戴人休感知的教學休驗系統設計

姜麗萍 李小平 張琳 陳建珍 董銀銀

摘要：該文在人體機理感知信息科學理論和交互技術成果分析的基礎上，對人體感知與環境感知問題、人體機理感知信息獲取問題、感知覺與記憶的關系問題、人機交互感知與輸入機理問題、5G環境下VR人機信息獲取問題、虛擬學習環境設計等問題進行了系統性研究，并針對虛擬現實教學設計中缺乏客觀感知回饋設計和無法有效獲取控制變量的弱點，提出了基于人體機理感知的虛擬現實可控學習體驗環境的設計思想，設計了可穿戴學習體驗系統設計模型。并通過《英語視聽說》進行探索，嘗試了人體感知環境下沉浸式體驗課程設計，部分實現了虛擬教學體驗空間的控制設計。

關鍵詞：第五代移動通信技術;人體感知;虛擬現實;穿戴系統

中圖分類號：G434

文獻標識碼：A

一、引言

隨著技術的發展與進步，人們的學習需要尋求一個更加有效的、真實的、更加自然態的學習環境，追求獲取知識的真實感和自然態，這種真實感和自然態主要來源于人們對知識的感知和獲取技術的實現。而知識的感知是一個認定的知識進行自然態轉化的過程，如仿真學習、虛擬現實化學習、游戲化學習等，這些學習環境具有返璞歸真的意境，同時在原始學習并維持知識保真度的基礎上，對知識的獲取過程、理解過程進行科學的有效性設計，在媒體技術和人機技術可允許的范圍內，實現感知的自然獲取，這其中包括：聽覺、視覺、觸覺的獲取和計算，情感計算與分析[1]。

在第五代通信個體及群體多連接、多傳感器信息的獲取環境的基礎上，筆者試圖找到知識獲取的多通道的設計方法，以逼近真實的理解感知過程，構造以教學為目標的仿真環境，讓環境中的知識獲取元素和體驗過程向知識“熵”逼近。讓學習者在完成向自我建構的過程中體驗知識“熵”逼近的過程。如何完成逼近過程的關鍵就是要研究VR學習空間每—個分目標是否都能與體驗者人體體驗效果相一致，是否符合人性化的設計，換句話說，體驗者對內涵知識VR學習空間的體驗效果決定于體驗者感知的舒服和享受程度，如果感知越舒服證明這個部分空間設計和元素設計就越成功，反之亦然。從研究中我們發現人體感知與VR學習空間設計是密切相關的，從體驗上它們是一一對應的（如圖1所示）。

要想獲得在VR體驗過程中最佳的知識獲取方法，最直接、最有效的方法就是以人體對知識元素和知識表達環境的感知為研究重點，即通過獲取測量人體生理信號，實時計算用戶心理狀態，提取并計算生理信號的相應特征，推測用戶在VR體驗的心理狀態，判斷人對當前的知識元素的感知，找到在VR環境中知識傳遞和獲取的最佳設計，而人體感知效應與環境感知問題研究將成為本問題研究的基礎。

二、人體感知效應與環境感知問題的研究

（一）人體感知與環境感知的關系

人體感知即人的意識對內外界信息的覺察、感覺、注意、知覺的一系列過程，分為感覺過程和知覺過程。感覺過程中被感覺的信息包括有機體內部的生理狀態、心理活動，也包含外部環境的存在以及存在關系信息。感覺不僅接受信息，也受到心理作用影響。知覺過程中對感覺信息進行有組織的處理，對事物存在形式進行理解認識。環境感知是文化地理學借心理學新的研究或成果來分析人地關系的。人與自然環境關系中的各種可能性進行選擇時不是任意的、隨機的和毫無規律的，而是有一定的客觀規律可尋的。它受一種思想意識的支配，這種思想意識就是環境感知。每個人總是生活在一定的環境中，由于受其環境及文化的影響，在人們頭腦中必然形成一種印象，這種由環境影響而形成的印象，就稱之為環境感知。因此，要對知識獲取的各種方法進行科學過程的研究，就要掌握人們在這些環境下獲取內容的手段和對知識反應的感知度。想了解人們對知識的感知，就必須了解人們在碰到外界環境條件刺激到產生記憶意識轉化的過程。這個過程大致如下，人體在周邊環境刺激下，將會在人體內部產生相應的感知現象，同時引起人體外在相應的情緒變化;根據刺激所帶來的變化程度，大腦將產生不同程度的記憶、意識狀態（如圖2所示），進而形成了外界刺激到記憶的轉換。

VR教學空間體驗是一種瞬間的感覺，也是一系列感知過程的綜合，觸摸和視覺在感知過程中起到重要的主導、直接、刺激的作用;不同的視覺強度會產生不同程度的感知效應嘲，不同的觸摸強度會產生不同程度的刺激神經的感知效應。體驗者對知識的認知和理解與體驗者當時所獲得的磁場位置和磁場強度有關，與體驗者即時心理狀態和外界的刺激狀態有關，與此體驗者對這方面知識的陌生程度有關;但以上這些不定性因素我們無法辨別或同步獲取，對研究教學問題也是意義不大的，而真正有意義的是要同步獲取在外界環境的刺激條件下視聽觸覺表象信息和人體感知效應信息。

同步確認感知效應的真實性和準確性。這個感知獲取過程是一種在生理機理基礎上建立起來的形態感知過程[3];這個過程可能映射的是特定環境因素，而這個特定環境可能又映射的是人的情緒積累因素，也可能映射的是當下環境磁場的作用，也可能是人們在對某種知識狀態和知識領域的理解的基礎上產生的感覺和體會;而這種生理機理所獲得的反應是客觀的、有效的、自然的和真實的，是人們在復雜綜合環境下獲取知識時的真實生理反應。

（二）人體感知的信息獲取

人體感知的信息主要包括：腦電、心電、皮膚電、皮膚溫度、呼吸、眼電和肌電等[4]。

1.腦電信號：從生物物理角度來看，腦電信號與人的記憶、知覺情緒、語言、行為等認知過程具有一定的關系，當大腦處于深度睡眠和無意識狀態時，主要產生δ波;當處于深度、放松無壓力、潛意識狀態時主要產生θ波;α波通常對應于身體放松，思維活躍的狀態;β波，通常產生于緊張、充滿壓力的狀態;當人注意力高度集中緊張時，會產生頻率更高的γ波。

2.心電信號：可顯示人心理狀態的變化，在時域上主要檢測心率和心率變異性，計算其均值和標準差。

3.皮膚電信號：用來衡量皮膚和阻抗的。當人感到壓力，覺得緊張時會流汗，導致皮膚電發生變化。也就是說，皮膚電可以反映一個人的心理狀態。

4.皮膚溫度：通過測量皮膚溫度來檢測人的心理狀態是放松，還是較為緊張。

5.呼吸：與人的心理狀況關系密切，當人處于較為放松的時候，呼吸會較為緩慢，當人的心理狀態比較緊張的時候，呼吸會處于不平穩狀態。

6.眼電信號：眨眼的頻率與學習體驗時的緊張和焦慮的狀態有關，當人處于高負荷疲憊狀態時，眨眼的時間會變短，頻率下降。人眨眼時，眼部肌肉會放出一個電信號。

7.肌電信號：人在學習和體驗時會產生不同的心理狀態，在愉快時微笑，憂郁時皺眉，受到驚嚇時打哆嗦，此時面部和頸部相應部位的肌肉收縮，導致肌肉表面的電壓發生變化，即可檢測到肌電信號的波動。

目前人體感知信息獲取均可以通過時域或者頻域信號獲取技術來完成[5]，以上生理信號的分析、采樣、計算對于工業是一個較為成熟的技術，從技術實現的角度上分析，將其技術應用在VR教學體驗可嵌入學習體驗穿戴系統設計上，是完全可行的。

人體機理感知的信息是交互行為的物質基礎，是心理狀態最直接的體現;在交互感知上，我們可以通過VR穿戴系統完成人際交互，實現更加自然的、協調的、相容的、適用的交互形態和生理感知信息的獲取方法;可以通過生理感知信息獲取用戶在VR環境下與知識元素交互的行為意圖，獲取在VR體驗過程中的心理變化，評測用戶認知狀態，以及交互自然性的客觀評價指標。

三、人機交互感知與輸入機理的研究

（一）感知覺與記憶的關系

人機交互情景是通過影響人的心理狀態來影響人的整個信息加工過程和人的交互行為的，交互行為當中感覺器官感受到的信息會被短暫地存儲，會有一小部分信息被進一步加工，視覺感覺圖像記憶保持容量為7-17個字母之間，保持的時間為200毫秒;聽覺感覺記憶保持容量為4.4-6.2個字母之間，保持的時間為1500毫秒，如果不及時加工就會被很快遺忘。

知覺是對感覺信息的組織識別和理解，只有通過注意篩選，信息才能從感覺進入到知覺階段[6]。人的記憶是經過感知覺加工后的信息，如果人有意將這些內容記住，就會將其轉移到長期記憶中，人們需要這些內容的時候，就從長期記憶中進行檢索，并將其轉移到短期記憶進行處理。人在長期記憶里存儲信息和知識時，新的內容和已有的內容聯系到一起，規模不斷增大，這就是長期記憶的特點，其人腦記憶模型如圖3所示。以上這些視覺聽覺感知指標為我們VR教學空間設計和記憶空間設計提供了設計依據，反過來也可以從感知記憶效果反饋評價證明VR空間相應的設計是否成功。

在VR空間設計和元素設計當中，要有意地增加感知認知過程的自然度，保持人體最為習慣的知識感知獲取方式，把握好獲取的最佳時間，對重點現象和最富有特征的知識現象進行描述，達到人機現象、感知反饋的自然，達到展示個體狀態和規律的自然，構造出適合不同人的體驗空間[7]。

VR體驗設計的主要目的是在短時記憶和原有知識加工的基礎上實現長期記憶;而虛擬現實環境下的刺激、VR元素的交互以及交互時的觸覺等短時記憶為VR教學長期記憶奠定了基礎。在VR體驗過程中，人們通過元素瞬時聽覺、觸覺和視覺等感知信息的捕捉完成內容的記憶，而這些瞬間感知、短期記憶和長期記憶的有效性和正確性，將對知識內容體驗效果正確評測起重要作用。有關瞬間感知、短期記憶和長期記憶的關系如圖4所示。

（二）人體感知信息獲取與虛擬輸入

為了高效的VR信息獲取，就應該在人體感知的特性上進行研究，讓信息接收部件、顯示設計、觸摸感知設計、音頻視頻設計符合人體生理機理規律，實現對內容元素知識關聯的設計，為瞬時記憶、短時記憶向長時記憶的“精準”轉化創造條件。

如果VR教學體驗空間人機輸入方式和界面設計得好，在VR學習空間中減輕多余的操作，提供加強記憶的元素，就能夠幫助用戶對信息進行快速的結構化加工，縮短用戶的學習時間，減少交互時的心理負荷，減輕體驗者的記憶負荷，加強長時間記憶的效果，在無意識記憶的基礎上完成體驗者對知識的自我個性化建構[8]。

VR教學體驗空間的輸入方式主要體現在虛擬空間進行虛擬指向、眼神定位、虛擬空間鍵盤、語義輸入、人體傳感信息、圖像傳感信息、觸摸壓力傳感信息等獲取，信息獲取的手段和設置與教學體驗反饋有關，與體驗效果評測有關。VR教學體驗輸入以自然的、不經意的信息獲取為主，以故事敘事轉折方式為主線，以解決問題為目標進行設計，其輸入方式充滿著非準確位置性、聯想性、無意識性、友好性、自然性、寬泛性、環境融合性，以及界面與故事引發性和隨機輸入性。目前出現了許多這樣的VR/AR交互系統，其中包括：語音輸入、手勢控制輸入、眼動輸入、腦電輸入等;并推出了相應的AR眼鏡，如Leap Motion等設備;還有頭動輸入、空中打字、單位手勢輸入等。其中眼動交互就是通過捕捉眼球的運動來計算出視點，并配合眨眼動作來實現眼動交互，實現對設備的操控。以上這些人體感知信息獲取設備的實現為VR/AR交互輸入奠定了輸入心理模型基礎。

人體感知機理的信息獲取必須建立在人可接受的、無任何干擾和命令前提下、無任何行為障礙和干擾思維的環境基礎上，必須具備多性能、高密集型的設備集成，應具有包括VR知識手套、隱形眼鏡、心電傳感器、肌電傳感器、溫度傳感器等設備的集合，并在此基礎上形成可穿戴學習體驗系統。

四、可穿戴學習體驗系統模型設計

（一）設計準則

VR教學體驗是為學習者獲取知識、體驗知識、自我建構知識體系服務，突出體驗個性化服務。所以VR教學體驗系統模型設計的宗旨是以學習者的需求和感受、以逼近知識熵的最大程度為指標進行設計，以VR環境、體驗空間等系列設計元素為控制對象，以人體感知作為修正控制量進行閉環式控制模型的設計，形成可穿戴學習體驗系統。

這種可穿戴學習體驗系統在獲得人體生理機理和行為動作信息的過程中，形成系列的感知獲取過程，為VR教學空間與體驗者之間的平衡和綜合評價提供了必要的技術支撐，是實踐、探索、效仿、環境自適應、方法的探索、知識的靈活應用、多種途徑解決問題的試探，是對體驗者心理素質、技術素質、知識水準、抗壓能力、創新力、辨識力、解決問題能力等的測試，是設計適應體驗者逐級挑戰問題空間的探索，是逐漸引導體驗者向優秀解決途徑方面逼近的過程[9]。

虛擬現實的體驗性學習是以第一視點、第一人稱進行的，是對現象的觀察、操作的感知、環境的聯想、記憶的觸發、沖突中的認識、搏擊當中的意識、多種感知綜合下的知識環境渲染和領悟。VR化學習體驗空間既需要心流理論指導下的沉浸體驗設計，又需要人體感知下的測試反饋自適應設計，需要在人體正確的感受下，正常的生理狀態和心理狀態達到最優的條件下，在VR的自我建構設計原則基礎上完成體驗。要達到最好的體驗效果，設計當中就需要有明確的、“精準的”感知元素，有可產生短時記憶的視聽觸感知，有能轉為長時記憶的聯想空間、背景元素和音樂配音等“精準”元素，要有能讓其產生能力輸出和創造力的知識運用元素;同時要給出虛擬環境下的人體的承受力的評價，技能能力的評價、心理承受能力的評價、對環境恐懼度的評價、對問題敏感度的評價、對所設元素反應的評價、對對抗元素心理的評價、對過程進程緊張性的評價、對空間友好性和興趣度等“精準”評價，以此來實現捕捉真實的、 “精準的”感知效果[10]。

感知獲得的效果和質量將決定VR體驗設計的效果和質量、VR問題認知的效果和個性化設計的效果。我們要在虛擬空間行動感知中不斷地測試人機環境、人機因素，不斷地精準調整VR環境對人的適應度，讓VR體驗空間與體驗者形成閉環控制的回路，達到精準控制的VR體驗學習過程，達到有依據性的個性化體驗控制調整。

（二）可穿戴VR教學體驗系統控制因素的設計

VR教學體驗設計的控制目標是圍繞著體驗者對周邊元素的感知進行控制和調整，以此來達到知識接受程度和自我建構程度最佳化的目的;那么在設計中具體如何控制，控制什么，根據什么依據進行控制成為了系統設計的核心，下面我們就可穿戴VR教學體驗系統模型設計中主要涉及到的控制元素設計展開研究。

1.周邊環境的控制元素設計

在VR可穿戴學習體驗系統設計中，認知狀態對交互過程有著一定的關聯作用，人體機理感知信息的大規模獲取與在線VR過程信息的同步采集比對、關聯分析，將為VR學習體驗提供較為完整的控制閉環系統。我們要在反饋、分析當中找到交互行為過程中行為與生理結構的適合度，提高接口界面與心理模型協調相容性，提升積極情緒的體驗，減少體驗當中的工作負荷，提升注意水平認知狀態。情緒狀態的變化是VR體驗中多個生理信號維度的體現（女口圖5所示）。情緒狀態變化的測量是一種多模態的生理測量，可為人機交互體驗提供更加精細的評價指標[11]，以及工作負荷和注意水平的測量指標;我們將在可穿戴學習體驗系統人體感知信號獲取中關注情景中特定事件中的生理響應，找出情緒引發的原因，也就是我們所要找的引發控制的因素對象，我們目的就是對因素對象進行自適應的優化、升級。

2.體驗沉浸控制元素設計

體驗沉浸控制元素設計是VR體驗學習中最重要的一個環節，即通過人體感知給出每一個體驗者適應的體驗程度和體驗級別，根據人體感知信號捕捉的人體特征，結合人體感知與沉浸式體驗的關系[12]進行體驗級別的定位，為VR智能型自適應控制提供了判別條件，同時作為閉環體驗控制分量對VR級別進行調整和控制。有關人體感知與沉浸式體驗的控制元素對應關系如圖6所示。

（三）可穿戴學習體驗閉環可反饋控制系統模型

可穿戴學習體驗系統本質上是一個閉環可反饋的控制系統，是一個可調節的VR學習體驗空間自適應、個性化建模系統，是具有人工智能、5G環境技術特征和生理特征的系統，體現了強烈的輸入感知和輸出感知，吸收了空間描述形態的外界因素，融合了情景化、故事編導化的人類自然態的落地描述，給出了挑戰與技能的體驗沉浸控制模塊，提供了以知識和問題為核心的、綜合的人體機理感知效應的學習體驗客觀評價，采用了控制系統的回饋多通道的調節與建議，學習體驗科學化構架，為體驗者自我知識建構，為設計中信息“熵”的優化逼近，提供了良好的設計模型[13][14];筆者在《大學英語視聽說》設計、《汽車發動機》VR化教學課程、《汽車變速箱》VR化教學課程等設計和實現的基礎上，提出了可穿戴學習體驗閉環可反饋控制系統模型（如圖7所示）。

五、人體感知環境下沉浸式體驗課程設計實踐

（一）設計內容

本團隊開發了《大學英語視聽說》VR化教學課程的設計，以人體感知環境下的沉浸式體驗為設計理念，進行英語教學與VR體驗融合性問題的研究，將視聽說英語教學形態融入到VR化體驗交流的形態當中，通過體驗行為的人體感知提升整體環境和元素的有效性，將英語語言知識完美地融合于跨文化交際中，突出生動、活潑、感知、刺激的視覺特性，通過對各種情景下語言和交際知識的理解、運用，使體驗者在提高英語運用能力的同時掌握跨文化的基本知識和技能、熟悉不同的文化環境并通曉交際規范。在VR設計中，以自我設計行為為主導，引用了大量的VR化設計元素，其中包括：享受（樂趣、享樂和放松）、心流（集中、吸人）、想象沉浸（故事、同理心）、感官沉浸（在場感）、懸念（挑戰、緊張和壓力）、負面情緒（失望和挫敗感）、控制（自主、力量）、社會存在感（與他人的聯結、同理心）、以及勝任力（驕傲、精神歡快）等[15]元素，利用VR沉浸式體驗手法，來達到自我提升英語視聽說能力的目的。

此次人體感知環境下沉浸式體驗課程設計嘗試，實現了自主探究式智能性虛擬語境空間設計、英語配音體驗空間設計、VR化情景漫游導航、VR化漫游雙語體驗空間設計、VR化敘事空間設計等體驗設計，將網絡漫游、虛擬人物智能對話、影視配音、網上出國實踐、視頻填空組合、故事講解、虛實教學單元等進行組合，體現英語體驗空間的獨有特性，在語言體驗的基礎上嘗試了游戲化形態與語言形態的融合，體現出探索式學習的應用框架。

在控制設計方面提煉出了游戲化英語體驗的控制因素和成分[16]，即：技巧/技能、挑戰、情緒、控制/自由度、專注/集中、實體呈現、參與感/好奇度、故事/戲劇性、社交屬性、互動/可操控性等。并嘗試人體感應測試和自適應VR沉浸式級別的調整，并實現部分功能。