多媒體技術在舞臺應用中的發展

吳振

（北京舞蹈學院，北京100081）

近年來，科技與藝術的結合越來越緊。藝術與科技相結合創作作品，藝術仍然是其核心，技術是實現想象力的工具。在過去，很多想法會因技術條件的限制而被擱置，如今各種技術的發展能夠滿足更多創意的實現，技術拓展了真實空間的邊界，甚至創造了新的空間維度。藝術引領科技，科技驅動藝術。

舞臺創作中，3D Mapping、實時交互等多媒體技術的引入，以及與異形投影、球幕、各種舞臺裝置的配合銜接，改變了以往平面影像的創作流程；而虛擬現實（VR）、虛擬增強現實（AR）技術的應用，在視覺上拓展了舞臺的空間，賦予視覺創作更多可能，同時，也對多媒體設計師提出了更高的要求，其內容不僅涉及影像創作，還涵蓋交互式編程、人工智能、虛擬/增強現實、無人機、機器人等更寬泛的多媒體技術。

在多媒體視覺創作中，專業分工細化，分為工程技術的視頻編程控制和藝術創意的視覺內容設計。前者負責多媒體系統的實際及實施，搭建投影、網幕，連接交互設備和控制設備，調試系統，進行預演。后者負責新媒體內容的創意、制作。隨著演出領域多媒體元素越來越豐富，舞臺越來越復雜，視頻編程控制顯得越來越重要，甚至根據演出要求編寫控制程序，最終實現一鍵控制。

就新媒體內容創作而言，渲染引擎和硬件GPU顯卡的日新月異大幅提升了視頻渲染速度，提高了效率，也改變了工作流程，使“渲染出片”這一流程顯得不再重要，將創作者從計算機渲染的漫長等待中解放出來。設計師在演出前依然可以從容地修改媒體內容，而不再擔心過長時間的渲染影響演出的進程。同時，影像的實時渲染也使交互成為可能。以在SIGGRAPH2019（計算機圖形與交互技術大會）上大放異彩的實時渲染引擎Notch為例，它能夠在主流媒體服務器（例如Disguise和Touch designer）上流暢地直接播放采用Notch制作的視頻文件，并在演出過程中實時調整文件參數，改變視覺效果，免去了渲染這一步驟。渲染引擎與跟蹤設備相結合使得增強現實技術能夠應用在舞臺演出領域。

多媒體技術在舞臺中的應用產生了一些新的變化和趨勢。

1 虛擬預演越來越重要

舞臺創作中，起源于建筑光影秀的3D Mapping技術的引入，虛擬影像與舞臺裝置緊密結合，共同營造立體魔幻的視覺效果，虛擬預演（Previsualization）越來越重要。

現以2019年10月，在鄭州市奧林匹克體育中心體育館舉行的第十一屆全國少數民族傳統體育運動會閉幕式交接旗儀式“海南8分鐘”的多媒體設計為例，進行闡述。

其舞臺設計由空中多變的網幕裝置和地面巨幅投影兩部分組成。網幕裝置由三層網幕組成同心圓，懸掛在場地中央的上空，用“圓”的意象突出各民族同胞圍繞一個中心，緊密團結，鑄牢中華民族共同體的概念。如圖1所示，網幕裝置由輕型透明網幕構成，通過威亞數控技術手段，實現自由升降，并以靈活多變的形態呈現影像（大致可以構成12種形態）與地面投影相呼應，構成氣勢宏大的視頻影像內容，以多彩、浪漫的手法展現主題。中心地面投影區為110 m×70 m，影像分辨率最大達到8 600×5 473像素）；兩側入場/出場地面投影區均為63 m×23.5 m，影像分辨率達4 925×1 837像素；同心圓“網幕裝置”，三層網幕共75塊，每塊寬4.4 m，高10 m，影像分辨率為2 640×540素達。

運用3D Mapping技術創作的巨幅地面投影影像，使演員融入其中，創造更加立體生動的視覺效果。體育場兩側二層入口與中心舞臺連接，形成聯通南北的“幸福之路”，與中心舞臺一道作為地面投影的介質（見圖1中的6），展現此次盛會“中華民族一家親，同心共筑中國夢”的主題。多媒體影像設計需要結合舞臺裝置進行整體考慮，地面巨大畫幅的影像和同心圓網幕裝置影像相呼應。

復雜多變的立體舞臺，3D Mapping的運用，使得傳統繪景的平面式視頻設計經驗不再適用。近年來復雜的大型演出均通過虛擬預演軟件來設計視覺效果、輔助編排調度。由于第十一屆全國少數民族傳統體育運動會開閉幕式最終選用了英國Disguise服務器系統進行視頻播放控制，因此，團隊使用disguise designer軟件進行輔助設計、預演。其與使用專業團隊運用游戲引擎（例如Unity/Unreal）創建預演相比成本較低，也使前期視頻設計和后期播放控制能夠無縫對接。

預演軟件能通過搭建虛擬舞臺與影像配合，清晰直觀地模擬舞臺最終呈現的視覺效果，給設計師提供參考，使設計師在創作時能綜合考慮，把握整體進行設計。地面投影影像的設計采用3D Mapping軟件，從觀眾視角設計、制作視頻內容，設置與現場轉播位置角度一致的虛擬攝像機進行渲染，使視覺效果更加立體生動。例如地面打開的無數小花傘和地面由無數小方塊升降形成的圖騰視覺元素（圖2中的1、2、3）。網幕的影像設計由于其造型的變化，呈現效果也會錯綜多變，預演軟件使創作者能夠模擬觀眾視角看到現場的舞臺效果，檢驗設計方案是否可行，上下兩部分的媒體內容是否合一（圖2）。

圖1同心圓網幕裝置主要的幾種形態變化（圖片由鋒尚世紀傳媒股份有限公司提供）

圖2 運用多媒體控制軟件進行輔助設計、預演（設計師：吳振）

圖3 閉幕式現場效果 （設計師：吳振）

內容設計上，要在高度濃縮的8分鐘內表現出下一屆運動會主辦方海南的特色——茂盛的椰林、蔚藍的大海、可口的熱帶水果、時尚的科技、黎族傳統的織錦圖騰元素等（圖3）。除隨機旋轉的線條、圖騰文案（圖2中的3、5）等抽象的元素，其他元素都需要利用3D Mappi ng軟件，根據預演確定的轉播攝像機角度進行設計和制作渲染，最終才能更好地發揮創造力，呈現立體逼真的視覺效果。如演出現場中，當《永遠的邀請》音樂響起，空中網幕和地面投射出蔚藍的大海和偉岸的椰樹，激情澎湃的舞者用綠色的大披風舞動起一片綠潮，美麗的椰風海韻盡收眼底（見圖3）。

圖4 將預演軟件與虛擬現實技術結合的創作環境

在使用預演軟件的創作中，還可以與虛擬現實技術相結合，創作者戴上眼鏡，能夠以觀眾的視角身臨其境地感受現場舞臺效果（見圖4），在舞臺搭建前就獲得更直觀的演出體驗，對于創作者確定舞臺中影像元素與演員大小的比例、演員在舞臺上的調度、渲染的角度等都能起到輔助作用。

2 運用虛擬技術拓展真實舞臺空間

增強現實技術應用于演出，拓展了真實舞臺空間的邊界，甚至創造了新的空間，實現了多重元素的互動，也給觀眾帶來身臨其境的演出環境。

增強現實是指透過攝影機影像的位置及角度結合圖像精算分析技術，讓影像的虛擬世界場景與現實世界景物進行結合與互動的技術。對于在電視、網絡直播中呈現增強現實效果的節目，需要前期設計好特效，作為現場舞臺效果的延伸，表現實景難以呈現的魔幻效果，但現場的觀眾是欣賞不到的。增強現實在舞臺（大型展演的電視、網絡直播）中的應用同樣越來越廣泛，模糊了舞臺空間的邊界，實現了多重元素的互動，帶給觀眾更具沉浸感和視覺沖擊力的體驗。

日本新媒體藝術家真鍋大度在日本電音天團Perfume的演出直播中，將交互、增強現實等虛擬技術與攝像機追蹤相結合，獲得驚艷的視覺效果、沉浸感和視覺沖擊力。在直播中，在攝像機運動鏡頭中的真實舞者畫面加入虛擬舞者，隨著鏡頭的拉近推遠舞者表演的環境不斷變化，兩者交替閃現，時而站在遍布代碼的虛幻空間，時而置身現代城市的高樓天臺，使觀眾隨之游走在現實與虛擬之間（見圖5）。

中國南京騰訊《烎·2019潮音發布夜》晚會的直播中同樣也運用了這一技術，將現實場景和虛擬世界結合在一起。晚會使用紅外跟蹤設備Red Spy（或Stype），將其安裝在斯坦尼康及手持攝像機上，Red Spy發射紅外光線，由安裝在天花板、墻壁及地板的反射標記反射回攝像機，實現攝影機實時追蹤。另外，利用渲染軟件Notch設計制作特效，根據發回的信號，通過Disguise GX2服務器與攝像機拍攝的實景進行實時合成，再通過MIDI和osc調整參數，實時操控諸如水晶透明度、火焰速度等的現場效果。

在歌手王源的節目中，創作者運用增強現實技術形成一個幾何形狀的玻璃球體罩住藝人（見圖6中2），體現一種與世隔絕的孤獨感，隨著情緒的渲染，球體上升旋轉最終破碎（圖6中的3），也體現一種情緒的爆發和與外界的和解，設計師希望借此表現一種積極向上的態度。最后破碎的玻璃也形成人頭和虎頭與巨大的舞美景具銜接。在配色上也展現一種年輕時尚的視覺感，符合藝人的形象，主要使用藍、黃、白的配色，輔以紅色點綴。在虛擬之后的LED屏幕視覺部分以抽象的圖案鋪底，運用色塊與線條配合歌曲節奏感，表現一種年輕時尚感。

圖5 Perfume演出直播中加入增強現實的呈現效果

圖6《烎·2019潮音發布夜》晚會中運用增強現實的效果

圖7 演出結束前“閱后即焚”的增強現實效果

圖8 第十一屆少數民族傳統體育運動會開閉幕式中運用增強現實技術的效果

該場晚會的創作者設計了一個環節，演出直播視頻在晚會結束100小時后刪除，因此，最后結尾的主題是“閱后即焚”。這部分的直播內容也運用了虛擬增強現實技術進行呈現，在晚會最后，一個巨大的燃燒著的虛擬粒子火焰手（超過1 000 000顆粒子）從天而降，點燃全場（見圖7）。

第十一屆全國少數民族傳統體育運動會開閉幕式也運用了增強現實技術，在電視直播中表現現代都市幸福生活。如圖8所示，伴隨運動場上演員的表演和皎潔的月光，高樓大廈在舞臺上升起，夜幕下閃爍的霓虹燈和萬家燈火體現了城市的繁榮；表現少數民族舞蹈時，采用增強現實技術虛擬出的原始森林和瀑布效果，結合地面采用3D Mapping制作出的影像，給人以身臨其境的感覺。舞臺以虛擬影像的形式獲得延伸，使虛、實邊界變得模糊。

從《烎·2019潮音發布夜》國外團隊包攬增強效果的創作和實現，到第十一屆全國少數民族傳統體育運動會開閉幕式本土團隊獨立完成創作，運用虛擬技術的演出創作正日趨廣泛，國內在這方面的創作理念不斷更新，在審美、技術運用上也會不斷提高。

3 實時交互技術應用日漸普遍

交互編程和實時渲染引擎的發展，也使創作者不再滿足于之前制作動畫視頻影像讓演員配合影像表演的假交互。實時交互技術帶來的自由開放、科技感、未來感、沉浸式體驗，在演出中的應用日漸普遍。

2017年，筆者在演出中創作了動畫影像配合舞蹈的假交互作品《雨》。根據舞臺大小制作視頻，保證虛擬動畫元素與真實演員的比例不失真。演出時，舞者根據影像進行互動表演，如舞者頂著“狂風暴雨”打開“傘”，“傘”被風吹走；舞者推開“窗戶”，“玻璃”振碎；舞者與另一個自己一起“踢球”“射門”等（見圖9）。演出時演員需要嚴格根據視頻內容表演，不可即興自由發揮。

圖11實時交互舞蹈作品《D?kk》的實施交互效果

而實時交互則使多媒體設計師和舞者有更自由的發揮空間，通過由交互編程軟件和跟蹤設備（包括光學攝像頭和可穿戴跟蹤設備，前者如Kinect，Realsense，后者如慣性動作捕捉儀)構成的交互系統將舞者位置信號實時捕捉，并傳遞給交互編程軟件、實時渲染引擎，由其實時生成視覺特效與舞者互動。這樣的系統可以擺脫場地的限制，只需搭建簡單的交互跟蹤設備，編寫交互程序，而不需要制作動畫視頻。另一方面，給使用者也帶來創作、運用的空間，例如教學課堂上運用交互系統進行即興創作，激發學生的的編舞興趣（見圖10中的3）；在各類展示現場，運用交互使觀眾獲得沉浸式體驗（見圖10中的2）；在社區搭建的臨時舞臺，將交互體驗帶入社區（見圖10中的1）。

2017年意大利數字藝術工作室Fus e創作的媒體實時交互舞蹈作品《D?k k》，使用慣性動作捕捉設備（Noitom）實時采集舞者的的動作、心跳、情感反應，并通過編程將數據可視化并實時生成互動視覺效果呈現在舞臺上，詮釋了宇宙物質運行規律在人類大腦潛意識形態中的呈現形式。舞者隨著音樂柔和地舒展肢體，背后的屏幕呈現出一片時而暗紅時而雪白的星云狀粒子（見圖11），充滿浪漫的氣息。瞬間星云轉變為急速的“激流”，舞者站在風暴中心，頑強地抗爭。白色的粒子流隨著舞者手臂的舞動而迅速變幻，疾速而猛烈，曼妙的身姿與炫目的投影交融在了一起，真實和虛擬的界限變得模糊，借此表現作品想要表達的人類生存的同步性和不可預見性。

4 科技手段融合運用

舞臺演出中，可以見到聲音、影像、燈光、激光、機械臂，甚至無人機等越來越多技術手段，且多種技術手段融合運用，呈現的形式更加豐富、多元。

在舞臺演出中，技術的綜合運用促使交互的形式更加豐富，不再局限于視頻影像與演員表演的交互，影像、燈光、激光、機械臂、無人機等視覺元素之間的交互開始流行。

以2019年豐田汽車在西雙版納舉行的Toyota RAV4發布會為例，創作者使用編程軟件Touchdesigner結合渲染引擎Notch創作影像，使其與激光進行交互呈現，激光從舞臺后區一束束投射在屏幕上，渲染引擎通過算法捕捉激光位置，實時生成影像配合激光互動。激光在屏幕上產生紅點，如漣漪般暈染開來（見圖12），瞬間激光又化身切割機，將屏幕上的巨石影像切割開來，紅色火花粒子伴隨著激光點運動軌跡而濺起。

5 結語

當下，科技與藝術結合的黃金時代，但技術革新在豐富效果、提升效率的同時也隨之帶來了一些問題，比如渲染引擎所帶來的作品視覺風格游戲化，以及視覺效果雷同。價格不菲的渲染引擎使創作過程簡化，創作者在很短時間就可以輕松實現原先媒體藝術家通過編寫復雜的程序代碼（例如GLSL語言）才能實現的視覺效果，并通過更換模型隨意復制；豐富的網絡資源（包括社交網絡上的技術交流群，開源軟件共享平臺Github等）也方便了這些視效模板的傳播，客觀上使得作品視覺風格游戲化明顯，大同小異。因此，創作中獨特的審美和創意顯得尤為重要，要繼續探索科技與藝術的跨界融合，創作出彰顯民族文化和時代特征的優秀作品。