容積攝影構建MR 智慧藝術教學創新模式

姚建東

（內蒙古藝術學院,內蒙古 呼和浩特 010010）

近年來，隨著教育技術的不斷發展和教育教學改革的不斷深化，依托現代科技的新型教學模式不斷出現，由此催生的新型教學形態也層出不窮。沉浸式體驗、互動情境等新型教學理念和形態不斷涌現，在5G網絡技術、數字交互技術、媒體融合技術等前沿信息技術的助力和加持下，5G+MR智慧教學新模式應運而生。在藝術類院校的教學活動中，這種創新型教學模式能夠強化學生的學習氛圍，激發學生的學習熱情，提高學生的學習興趣，從而有效解決藝術專業教學中的難題，幫助學生取得理想的學習效果。

1 智慧藝術教學創新模式研究的政策背景

以混合現實（Mixed Reality,MR）技術為代表的新一代信息技術正以前所未有的規模和速度影響著傳統教育模式的發展，因此，高等院校對應用型人才的培養模式也發生了深刻變革。2017年7月，教育部辦公廳印發了《教育部辦公廳關于2017—2020年開展示范性虛擬仿真實驗教學項目建設的通知》，指出“根據《教育信息化十年發展規劃（2011—2020年）》和《2017年教育信息化工作要點》等相關要求，深入推進信息技術與高等教育實驗教學的深度融合，不斷加強高等教育實驗教學優質資源建設與應用，著力提高高等教育實驗教學質量和實踐育人水平，經研究，決定在高校實驗教學改革和實驗教學項目信息化建設的基礎上，于2017—2020年在普通本科高等學校開展示范性虛擬仿真實驗教學項目建設工作”[1]。開展示范性虛擬仿真實驗教學項目建設，是推進現代信息技術與實驗教學項目深度融合，提升實驗教學質量和水平的重要舉措。2018年4月，教育部印發的《教育信息化2.0行動計劃》明確提出，要加快建設在線智能教室、智能實驗室、虛擬工廠（醫院）等智能學習空間，形成泛在化、智能化學習體系，推進信息技術和智能技術深度融入教育教學全過程[2]。

2020年3月，為加快實施“寬帶中國”戰略，著力推進“新基建”建設，國家發展改革委辦公廳、工業和信息化部辦公廳聯合發布《關于組織實施2020年新型基礎設施建設工程（寬帶網絡和5G領域）的通知》，明確指出5G+智慧教育應用示范。基于5G、VR/AR等技術，打造百校千課萬人優秀案例，探索5G在遠程教育、智慧課堂/教室等場景的應用，重點開展5G+高清遠程互動教學、AR/VR沉浸式教學等業務[3]。

2 藝術專業教學痛點

長期以來，我國藝術類高等學校普遍采用的是以學科系統化教學為主的教學模式，在教學實踐中主要表現出了以下幾個方面的教學痛點。

2.1 專業理論課和實踐課缺乏有效的互動與銜接

當前國內藝術類院校的專業課程基本分為三類，分別是專業理論課程、專業基礎性課程和專業實踐課程。對于藝術專業的學生而言，完成優秀的藝術作品離不開扎實的專業實踐能力，而培養專業實踐能力除了需要社會實踐和創作實踐環境，還需要專業實踐課與理論課有效銜接和互動。然而，傳統的學科系統化教學體系對這兩類課程教學效果的互動和銜接重視程度不高，使得藝術專業理論課與實踐課在教學形式上各自分開，這就導致專業理論課和實踐課教學不能充分發揮各自應有的作用[4]。

2.2 專業理論課教學方式單一，教學效果欠佳

目前，大多數高校教師最熟悉、最善于運用的教學方式是學理化的教學模式，教師在課堂上往往比較注重邏輯的推演和理論的講解。藝術專業學生具有感性思維能力強、理性思維能力弱、自我表現欲強以及自我意識突出等特點，而理論課教學方式單一，教學內容不夠形象化，學生被動接受知識，會顯得枯燥、乏味，難以激起學生的學習興趣。此外，教師在講授理論知識點時受傳統講授方法限制，發揮的空間有限，很難講出新意，因而也就很難產生良好的教學效果。

2.3 藝術專業課程示教性教學局限性大

藝術專業教師的示教教學（言傳身教）在傳統藝術類專業課程教學中普遍存在。例如，在舞蹈類、雕塑類課程中，學生通過觀察舞蹈老師的舞蹈動作，或雕塑老師的雕刻刀法和動作，反復地進行模仿和練習，以學會相應的舞蹈動作或雕塑技藝。示教教學方式在“師傅帶徒弟”式的教學情境下有著較好的教學效果，但也存在一定的不足：一是教師反復進行示教消耗大量的精力和體力；二是示教過程無法隨時暫停和回放，雖然教師可通過分解動作的方式進行教學，但這樣會影響示教效率；三是學生很難脫離教師自主學習，缺乏教師指導學習效率將大大降低。

2.4 傳統的視頻教學等教育技術手段效果有限

教育技術手段很早就被應用于藝術專業教學中，如視頻課程，其在一定程度上解決了傳統示教教學的痛點問題。但受傳統視頻的2D屬性和非自然尺寸的屏幕播放的局限，只能從固定的特定角度去捕捉教師的示教動作，由于自遮擋等因素影響，學生在觀看2D視頻模仿學習時，可能出現關鍵動作和關鍵手法學習不到位的問題，達不到藝術專業教師在身旁指導學習的效果。

3 藝術專業教學模式創新的必要性

藝術類專業學生具有較強的感性思維能力、突出的自我表現意識、較高的審美能力和水平，這些明顯的個性特征導致其學習模式以觀摩、跟練為主[5]。加之藝術類院校傳統教學模式固有的理論與實踐相脫節的弊端以及教學手段和方法的相對落后，難以滿足現代信息社會環境下藝術教學的需要，藝術專業教學模式亟待引進新思路、新技術和新方法，與時俱進，開拓創新。深度融合5G技術、混合現實技術、容積攝影技術等現代科學技術，有助于推進藝術教學模式的改革和創新。

4 混合現實技術賦能藝術教育改革創新

4.1 混合現實的基本概念

混合現實（Mixed Reality,簡稱MR）將虛擬世界與現實世界相融合，創造出一種新的交互式環境。它不同于虛擬現實（Virtual Reality,簡稱VR），在VR中，用戶完全沉浸在虛擬世界中，而在MR中，虛擬元素與現實世界相互交織。MR通常使用頭戴式顯示設備或智能手機，通過增強現實（Augmented Reality,簡稱AR）應用程序將虛擬對象投影到真實世界中。混合現實對虛擬現實和增強現實進行了創新融合發展，實現了同一場景內虛擬物體和真實物體實時共存與交互。與虛擬現實和增強現實相比，混合現實在沉浸感、交互性和視覺顯示等方面得到顯著改善，可在學習過程中為學習者帶來全新的視覺感受和交互體驗[6]。

4.2 混合現實在藝術教育中應用的優勢

混合現實技術在教育領域具有廣泛的應用前景，在藝術教育中主要體現在以下幾個方面。

4.2.1 營造沉浸式學習體驗的三維立體場景

MR技術可以創造出三維立體教學空間場景，學生置身于該學習環境中能夠獲得身臨其境的學習體驗。學生可以與虛擬藝術作品互動，從不同角度欣賞、觀摩、學習和探索，加深對藝術元素的理解，強化藝術創作技法的學習。

4.2.2 創意思維培養和創造性表達

在MR場景中，學生能夠接觸到大量的MR藝術學習資源，從而拓寬他們的視野，培養他們的創意思維。無論是表演、演奏、繪畫、雕塑還是其他形式的創作實驗，學生都可以使用混合現實工具來創作自己的藝術作品，從而訓練他們創造性表達的技法與技能。

4.2.3 教學實時反饋

MR應用程序可以提供實時反饋，在教學過程中實時捕獲教學信息并進行反饋。例如，教師利用MR應用程序實時觀察學生的學習進程，了解學生的學習狀態。這不僅能夠幫助教師及時調整學習進度，改進教學形式，還能夠幫助學生改善學習方法，提高藝術實踐技能和技法。這種實時互動的教學反饋能夠最大限度優化教學過程，提高學生學習效率。

4.2.4 跨越時空進行學習

MR可以將學生帶入豐富的藝術作品資源世界，讓學生身臨其境觀摩優秀藝術作品并了解藝術作品背后的故事，從而促進他們對藝術作品的全方位、多角度理解。例如，了解藝術作品的歷史背景、創作過程、文化底蘊、藝術價值等，可以激發學生的學習興趣，增強學生專業學習的歷史感、使命感和責任感。

5 容積攝影技術構建藝術教育新場景

5.1 容積攝影的基本概念

容積攝影（Volumetric Photography）技術是一種用于創建具有立體感的圖像或視頻的高級攝影技術。它通過捕捉被攝主體的多個視角或多個時間點的圖像，并將它們合成到一個三維場景中，以產生一種具有深度感和立體感的效果。這種技術常被應用于虛擬現實、增強現實、混合現實、電影制作和游戲開發等領域[5]。

容積攝影具有多角度捕捉、立體視覺和時間合成的特點。容積攝影通常使用多個攝像頭或攝像機，從不同角度或位置拍攝同一場景或對象。這些視角的拍攝畫面可以在后期進行合成，以創建一個具有深度感的三維場景。容積攝影能夠通過合成多個視角的圖像、視頻，產生立體視覺效果，使觀眾感受到圖像、視頻中的對象或場景具有深度和立體感，從而增強觀眾的沉浸感。容積攝影技術還可以通過拍攝多個時間點的圖像來捕捉運動或動態效果，進行時間合成，這對于創建動態的虛擬場景或捕捉運動中的對象非常有用，例如舞蹈表演、樂器演奏等。

5.2 容積視頻及其特點

容積視頻是通過容積攝影技術產生的一種全新類型的視頻文件。該視頻是把三維空間中的場景、角色、物體等“物體所占三維空間的量化”以3D的形態錄制編碼的視頻格式。例如，傳統NTSC制式視頻由每秒30幀的靜態畫面記錄而成，而容積視頻由每秒以一種“記錄體積”的形態攝錄30個3D靜態的空間模型，進而融合成一個全息場景[7]。容積視頻的特點主要表現在以下四個方面。

5.2.1 記錄真正的三維內容

容積視頻所拍攝的是真正的三維對象，具備在空間中的相對關系以及物理屬性，不僅可以用于視頻展示，還可以用于記錄實際的空間數據。容積視頻能夠作為素材進行后期編輯，既可以方便地置入用虛擬數字構建的三維空間中，也可以制作成虛擬現實作品，通過5G+MR的方式在現實空間中觀看和使用。觀看者既可以選擇和變換觀看的角度，也可以變換觀看的位置。

5.2.2 記錄事物的真實性

傳統三維影像節目在制作時需要先進行三維建模，生成虛擬的三維模型，例如3D角色，然后通過動作捕捉設備把真人表演的動作捕捉下來建立骨骼運動文件，再通過Autodesk MotionBuilder等三維動畫軟件把動作文件和3D角色模型綁定起來，使得3D角色能夠依照動作文件產生運動，最后渲染生成視頻動畫。容積視頻則是直接拍攝三維場景，完整、真實地記錄真實世界中人物的樣貌、動作、表情等信息，直接生成三維視頻。容積視頻是目前唯一可以用于教學、表演等需要記錄和呈現三維場景的視頻文檔。

5.2.3 可共享和復用的數字資產

容積視頻所記錄的三維影像，可以自然且簡單地置入任何數字虛擬環境，在虛擬環境中完美地融合不同的光源，任意替換虛擬場景以及任意設置虛擬攝像機位置，甚至可以在后期任意替換表演者的服飾和特效。例如利用容積攝影拍攝的舞蹈表演視頻，可以調入三維軟件制作的虛擬舞臺環境中，打上虛擬燈光，配上虛擬道具，就可以制作完美的舞蹈節目。在實際應用中，容積視頻經常作為視頻素材來實現共享和復用。

5.2.4 適應全自動化的生產方式

不同于傳統三維動畫的制作模式，容積視頻的制作不需要三維建模、運動捕捉等復雜過程和環節，能夠由容積攝影系統一次性拍攝獲得表演者的形體、動作、表情、服飾等所有信息。因此，容積視頻是一種完全自動化的三維運動影像生產方式的產物。

5.3 容積攝影開創藝術教學新模式

5.3.1 提升示教教學的空間維度

容積攝影技術可以把傳統二維的視頻資源錄制、制作升級為三維的數字資源制作，維度的增加能夠記錄更加豐富的教學示教信息，更加真實、完整地將優質的示范教學過程資源化，讓學生可以沉浸式、重復地、交互地使用這些資源。

5.3.2 有效激發學生藝術創意

容積攝影技術可以激發學生的創造力，并與他們的創意互動。學生可以使用容積攝影技術實時編輯和改進他們的藝術作品，觀察不同的效果，從而更好地理解藝術理論和創作技巧。容積攝影技術可以根據學生的需求提供個性化的學習體驗，幫助他們在藝術領域發揮潛力。

5.3.3 滿足個性化學習

容積攝影可以更好地滿足學生個性化學習的需要。容積攝影技術為藝術教學帶來了更多的交互性、創造性和實踐性，為學生提供了更多的機會來探索藝術世界，以及表達自己的想法和感情。同時，可以幫助學生更深入地理解藝術原理和技巧，提高他們的創造性和批判性思維。

5.3.4 高效實現藝術作品的展示和共享

藝術院校或專業教師可以創建在線畫廊，展示利用容積攝影捕捉的藝術作品，提升藝術作品的呈現效果。學生可以通過互聯網在線訪問這些展覽，獲得身臨其境的沉浸式觀賞體驗。此外，學生之間還可以借助容積攝影技術合作創作藝術作品，也可以輕松便捷地分享他們的作品和創意。

6 構建5G+MR智慧藝術教學空間

6.1 技術路線

本研究在第五代移動通信網絡（Fifth Generation Mobile Communication Network,5G）技術的基礎上，利用MR技術、容積攝影技術構建5G+MR智慧藝術教學空間，其主要包括“容積攝影教學資源創作區”及“MR多人大空間互動教學區”，如圖1所示。5G+MR智慧藝術教學空間與舞蹈、美術、雕塑、繪畫、播音、演奏等多學科多專業的藝術教學需求緊密結合，構建多形態的智慧藝術教學體系。

圖1 5G+MR智慧藝術教學空間

6.1.1 充分發揮5G技術的優勢

5G技術具有大帶寬、無延時、高速率的優異網絡傳輸特征，能夠適應海量移動數據的爆炸式增長，加快新業務新應用的開發[8]。本研究中，5G技術主要解決虛擬現實（AR/VR/MR）應用場景下3D內容實時傳輸及延遲造成的穿戴設備佩戴眩暈問題，強化提升用戶體驗速率、流量密度、時延、能效和連接數等指標，可真正實現教學場景的數字化移動互聯。

6.1.2 示教教學容積視頻拍攝

由不同專業的藝術教師在容積視頻拍攝區進行示范教學，通過容積攝影的全機位拍攝，將教師的示范教學細節完全錄制下來，經過后期處理制作之后形成MR教學資源。

6.1.3 混合現實學習

借助5G技術大帶寬、高速率的優勢，突破學習人數和空間的限制，讓足夠多的學生佩戴混合現實設備后，完美復現專業教師的示范教學，讓每一位學生都能和專業教師進行“一對一”教學。

6.1.4 多人大空間互動學習

混合現實技術可實現在課堂上、在大空間范圍內，多人協同互動的效果。例如多人舞蹈教學時，多個學生可選擇不同教師的容積視頻示教舞蹈角色，根據教學需要分別學練，又可相互配合，共同組成一支多人舞蹈組合。

6.2 系統架構

6.2.1 容積攝影教學資源創作區

容積攝影教學資源創作區的核心是容積攝影視頻拍攝系統，采用多臺工業相機，組成多個方向的采集陣列，采集示教教師各個角度的彩色及深度光場信息，再通過算法將這些光場信息重建成三維的動態影像。硬件系統主要由工業采集相機、光場數據處理單元、分體式拍攝架組成。系統的軟件部分是整套系統的核心，由相機標定、多服務器同步、數據采集、點云重建、模型重建、幀編輯、減面編碼、三維流格式編碼構成。容積攝影將動態3D內容的生產從“手工建模”轉變為“自動化錄制”，讓普通的非專業用戶也可以像錄制視頻一樣錄制動態3D內容。

容積攝影教學資源創作區實現容積視頻教學資源的拍攝生產、存儲轉發、內容制作等功能，其系統架構如圖2所示。

圖2 5G+MR智慧藝術教學空間系統架構

6.2.2 MR多人大空間互動教學區

大空間互動教學區部署有特殊編碼標識體，組成空間坐標矩陣，計算機視覺能夠穩定跟蹤和識別該空間坐標矩陣，當5G+MR設備看到特定的標識體時，即獲取了空間中的絕對位置。學生可在大空間互動教學區內多人同場景自由行走，基于大場景跟蹤技術以及5G網絡超高速、低時延、大連接、高可靠性等特性，綜合運用人工智能、大數據、云計算、物聯網、虛擬仿真等信息技術，即可實現穩定、無延時、不漂移的多人協同操作。通過智能實時定位跟蹤技術，系統能實現虛實融合的人機交互沉浸式體驗。

大空間互動教學區可供大量學生同時擁有多套人物動態模型，每個學生的學習環境相互隔離，彼此不干擾，這樣能夠使學生方便高效地完成學習任務。即使某個學習環境被破壞，對其他人也沒有影響，一鍵重啟就可以恢復一套全新的學習環境，大幅節省了硬件和維護的成本。

7 結語

混合現實與容積攝影的結合創造了一種新的藝術教學模式。混合現實將容積攝影的三維模型嵌入真實環境中，學生可通過頭戴式設備進行互動，同時聽到聲音和產生觸感反饋，獲得更加豐富的感官體驗。結合MR和容積攝影，學生可以沉浸在富有創造性的藝術學習環境中，這種沉浸式學習模式能夠極大提高學生學習的投入感和參與度，有效地提高藝術專業課程的教學質量。

未來，隨著技術的不斷進步，混合現實和容積攝影將不斷演變和改進，為藝術教育和藝術創作帶來更多的創新。這些技術有望成為推動藝術教育向前發展的強大工具，為藝術教育注入新的活力和動力。