新媒體技術在舞臺演出中的應用及呈現形式

吳振

【摘要】投影、游戲引擎、實時渲染、VR及AR等新媒體技術的發展及在舞臺演出中的應用，呈現出演出的互動性，VJ式的實時操控開始流行，使舞臺視覺效果更加豐富立體、富有變化，也出現了新媒體觀念劇。

【關鍵詞】舞臺演出；新媒體觀念劇；視覺呈現；三維投影；游戲引擎；實時渲染；VJ；光影雕塑

近年來，隨著新科技的不斷發展，新媒體技術在舞臺演出中的應用也是日新月異。有哪些新變化、新趨勢呢？筆者歸納了2017年中有影響的舞臺演出新媒體技術應用，并結合自己的創作實踐認為：投影技術的進步和創作理念的更新使舞臺視覺效果更加豐富立體、富有變化；游戲引擎、實時渲染技術的發展及其與媒體的結合互動使得新媒體藝術更好地融入即興和實驗表演藝術中，VJ（Visual Jockey，影像騎師）式的實時操控開始流行；一些前衛藝術家大膽嘗試，將VR、AR（虛擬現實、增強現實）技術融入舞臺表演，探索舞臺視覺呈現的新形式；新媒體藝術家將創意編程、新媒體交互裝置介入舞臺創作，創作出令人耳目一新的新媒體觀念劇。

1投影技術的進步及其對創作觀念的影響

投影技術的進步突出體現在三維投影和亮度的提升，視頻服務器投影貼圖矯正功能的出現，使設計制作的影像能夠完整、準確、快捷地投射在三維介質上；而高流明激光投影機的普及極大地提升了投影畫面的亮度，削弱了傳統舞臺燈光對其的影響。

在運用投影的創作理念上，從之前舞臺繪景式的2D平面發展到“3D Mapping”。“3D Mapping”國內又稱為“光影雕塑”，可以將動畫影像完整、準確地投射到戶外建筑、汽車車身甚至鋼琴、人的面部等任何可以投射的介質上。設計師通過巧妙的創意構思，可以實現更加豐富、立體、富有變化的視覺效果，使觀眾的視覺、思維突破二維的限制，拓展出第三個維度的想象空間。

例如，2017年9月在鳥巢舉辦的汪峰演唱會上，創作團隊采用10臺投影機（頭部2臺、胸部2臺、腹部2臺、左右兩臂各2臺）將影像投射在19 m高、兩臂展開61 m的“X Man”人形模型上；同時，使用Disguise服務器的模型拉點模式功能對投射在“X Man”上的各部分的影像進行調制，實現完美無縫的疊加。服務器通過四路實時采集，將不同機位攝像機的信號傳到LED大屏，現場實時編輯，無縫切換不同角度的鏡頭畫面，如圖1所示。

而室內劇場的演出，投影介質由傳統的天幕、臺口紗幕擴展延伸到整個舞臺甚至觀演區的地面和頂部，為演出平添了沉浸感及震撼的效果：視覺影像創作的內容開始擺脫舞臺繪景式的具象畫面，而開始用簡潔抽象的畫面表現人物內心世界。

筆者在2017年12月北京舞蹈學院舞劇《“話說”南泥灣》的多媒體創作中，嘗試運用“3D Mapping”的創作理念，設計了在天幕、地面和側幕條的立體投射影像方案，使其成為相互關聯的有機整體。演出使用4臺三萬流明的激光投影機，其中2臺掛在頂部投射舞臺地面，還有2臺分別放置在后方左右兩側投射天幕和側幕條。運用Disguise服務器調整投影貼圖的疊加和融合功能，使臺下觀眾能夠從銀幕上看到各種瓜果蔬菜從天而落（見圖2中的3，圖3中的2、6），配合歡快的舞蹈表現豐收的喜悅；巨大的黑色石塊從天空落下的影像（見圖2中的6），給人壓抑感；拉石塊的麻繩從左往右延伸，相互交織、又斷開散去的視覺效果（見圖3中的5），配合演員左右拉伸的舞蹈動作，表現開墾南泥灣與惡劣的自然環境作斗爭的艱難；地面凹陷，幾何狀的磨盤在窯洞前旋轉升起的視覺沖擊（見圖2中的2），與演員圍繞拉磨的動作相呼應；表現地面起伏運動的抽象三維方塊陣列從左往右運動一直延伸到天幕（見圖2中的1），抽象的幾何圖形動畫與舞蹈動作產生互動，表現了鋤地翻土，人對大自然的改造，使整體視覺效果有真實感，同時還具有環境與表演的統一。

這些創作觀念和手法的運用改變了傳統2D多媒體影像的創作模式，同時前期創作還運用了Disguise服務器的預演效果的功能，使得設計時就能直觀地看到舞臺影像合成后的整體視覺效果，并及時做出調整。而在這之前只能通過經驗設計、預判，看到的是割裂的各部分空間單獨創作的視頻影像，因此舞臺合成時需要大量的時間進行調整。

又如，為紀念南京大屠殺80周年在2017年12月上演的舞劇《記憶深處》中，設計者胡天驥將影像投射在舞臺頂部，通過外化的影像來表現人物的內心世界。取自日本佛教般若的巨大模糊的人臉給人壓迫感（見圖4中的1），而抽象極簡的幾何造型影像營造出冷酷的氣氛（見圖4中的2、3）。

2017年，舞臺劇《摸金塊》也是運用3D Mapping的多媒體設計理念，將影像前后錯開投射在天幕和地面（見圖5），營造魔幻的視覺效果。

2游戲引擎、實時渲染技術的發展及其在舞臺上的運用

從1998年的電影《羅拉快跑》開始，游戲行業就潛移默化地影響并滲透到影視、舞臺演出行業，甚至改變了觀眾的審美習慣，使現代人習慣于游戲式的快節奏和主觀運動鏡頭。主流游戲引擎（ Unity、Unreal等）的開發者也野心勃勃地進軍游戲行業之外的動畫電影、演出行業。

計算機GPU（Graphics Processing Unit，圖形處理器）等硬件的發展，也使得游戲引擎實時渲染的優勢得以充分發揮，省去了視頻制作所需的大量渲染時間，極大地提高了創作效率，使其跨界應用到影視、現場表演成為可能。隨著這一技術的發展，在實時渲染和媒體互動的基礎上，開始融入各項即興和實驗表演藝術中，VJ式的實時操控開始流行（VJ與DJ的概念類似，將影像、動畫等視覺元素做即時剪接，最重要的就是剪接，并添加效果）。

最近出現的“Audio Visual Show”（音樂視覺秀）就是將游戲引擎做好的游戲場景文件通過交互軟件（如Touch Design等）與MIDI調音臺相連接，視覺設計師和音樂設計一起即興操控視覺、音樂的變化，而不是演出前一幀一幀渲染好視頻文件，既方便快捷又具有很強的帶入感。

例如，2017年6月，在今日美術館“.ZIP未來的狂想”展覽閉幕式上的“Audio Visual Show”演出即是如此。視覺設計師使用了正在開發的游戲場景（見圖6），現場實時調整百萬粒子的流動效果，使其與音樂互動。

同樣，2017年6月，鯨魚馬戲團（XWhale Circus）樂隊的巡回演出也是如此。視覺設計師為每一首歌開發了一個游戲場景，現場樂隊演出時實時調整場景里的元素，使其與音樂相配合（見圖7）。

一些多媒體播放控制系統也與時俱進，在保持原有視頻播放功能外也加入了編程和實時渲染功能。例如，播控系統Isadora就加入了Javascript語言和GLSL Shader實時渲染API語言，使其也具備一定的實時渲染能力，并具備與Leap motion、Kine ct等體感識別系統相結合進行交互表演的功能（見圖8）。

3 VR、AR技術應用及視覺呈現

一些前衛的藝術家將還處于發展階段的VR、AR技術應用于舞臺演出，帶有很強的實驗性。例如，2017年12月萬瑪尖措導演的VR概念實驗舞臺劇《狼》就融合了VR拍攝、無線傳輸、無線頭顯等新技術及設備（見圖9）。

在2017年，美國卡耐基梅隆教授拉里（ Larry）在上海互動藝術節上帶來了他和團隊創作的AR戲劇（見圖10），通過游戲引擎制作AR動畫，演出時觀眾需要通過手機下載專門的應用程序才能觀看。

4新媒體觀念劇

新媒體觀念劇是通過軟件（如創意編程軟件Processing、Max/M SP等）進行創意編程，創造抽象的影像構建虛擬世界，并通過具有體感識別的交互系統（如Kinect）與演員的表演形成互動，還可加入無人機、機械臂、激光等工業化產品，為其賦予藝術屬性，變身為舞臺“演員”，與真人演員共同表演。這種新媒體交互裝置介入舞臺創作，形成了新的表演體系和形式，令人耳目一新；甚至使得新媒體藝術家能夠走出美術館，將交互新媒體裝置作品搬上舞臺。

2017年6月，由張藝謀執導的全新觀念劇《對話·寓言2047》在國家大劇院首演，正如導演所說： “這部作品在古老文化與現代科技的對話寓言中，描述了人類在飛速發展的科技面前經歷的困惑，并帶來一種思考——科技與人的關系將往何處去？”

這場演出匯聚了七個國家的二十支團隊參與，既有內蒙古的長調、北京的京劇、陜西的碗碗腔、泉州的木偶劇等各類中國傳統的藝術表演形式，也融人了德國的激光團隊、瑞士的無人機技術團隊、英國的Musion 3D全息團隊等帶來的各種科技載體及其呈現形式。

演出中新媒體視覺呈現形式多樣，如《古琴-光劍》中變化的激光與表演者互動（見圖11中的1），《小戲·掌間》中數十個變化的IPAD影像與演員融為一體（見圖11中的2），《偶戲·冷臂》中運動變化的機械臂與人共舞（見圖11中的3），《碗碗腔·矩舍》中美輪美奐的全息投影將人物沉浸于場景之中（見圖11中的4），《笙·如影》中隨著表演變換隊形的無人機將觀眾帶入魔幻般的世界（見圖11中的5），《織機·精靈》中運動的小球矩陣、視頻投影與演員的舞姿形成完整的視覺畫面（見圖11中的6）。這些節目都是通過創意編程來實現與表演的無縫銜接。

2017年12月，首演的新概念馬戲《山海經4.0》（見圖12），運用了無人機編程和運動捕捉技術，通過高新影像制作，將先鋒、流行舞蹈與傳統馬戲、雜技融合，探索馬戲、雜技表演的新形式，賦予冷冰冰的影的變幻如同神來的點睛之筆，精巧而精致，簡約而婉約，在含蓄蘊藉間就達到了“剎那即是永恒”的藝術效果。對室外寫實性舞臺而言，光影的變幻需要“大處借景”和“小處借影”，因觀眾的視覺容易被太多的因素干擾而分散，所以光影的變化要格外注意整體、層次、空間，要讓光影的“寫意”被觀眾捕捉和感知，讓創作者的主觀動機和觀賞者的審美體驗同步呼應。

北宋畫家郭熙在《林泉高致》中提出，山水畫創作和鑒賞中有“可行可望”與“可居可游”兩種層次，指出“意”才是山水畫的靈魂所在。而光影之于舞臺，更像寫意山水之于水墨畫，優雅意境之于現實生活。對于現代舞臺而言，燈光的作用早已遠遠超出了當初簡單照明的手段。觀眾首先入于視覺體驗，之后因視覺反應產生感情，再通過思維評判形成想象與審美。作為舞美設計人員，這種由感官體驗而情感認同，由情感認同而審美判斷的過程，無疑具有相當的哲學意義。雖然，演出舞臺的視覺轉換過程有時可能是瞬間完成的，但是燈光師一定要認真思考，如何把握運用舞臺的每個細節，如何讓光影于無形中完成對表演風格的配合，滿足演出內在意義的需要，而不顯唐突或孱弱。這就要合理分配光與影的強弱，合理安排其明示與暗示效果，掌握斷、續、曲、直等復雜的表現手法，從而使光影表現出獨特的功能和韻昧，進而達到“紗窗日落漸黃昏”和“猶有清風借四鄰”的詩意和意境。（編輯張冠華）（上接第39頁）數字編程、工業產品以溫暖美好的幻覺。

演出中，采用Kinect體感識別系統來捕捉人體運動數據，將捕捉到的數據通過Processing軟件進行編程處理，使影像中的虛擬人體作為舞臺演員動作的模擬者，與皮條、吊環、滾環等多個雜技道具結合；同時，除了利用代碼編寫其人機互動影像，還特意訂做了可編程的LED滾環作為道具，其編程基于類似Java語言的IDE集成開發環境，連接LED輸出裝置，控制LED的多種發光方式，并可添加任意圖片通過“pixelstarter”傳送至滾環，使其在滾動時呈現多種夢幻效果。演出綜合軟件、裝置等各種科技手段，發展出更為復雜的環境式人機交互，實現迷人的投影視覺畫面。

5結語

這些新媒體技術的發展給舞臺演出帶來的新變化使人更加期待，未來新媒體在舞臺演出中的應用會更廣泛，能夠帶給觀眾更強的視覺效果和交互體驗。但同時也不能迷信技術，過于追求技術的先進、絢爛的視覺效果，而忽視演出作品本身內容的創作。對于各種新媒體技術，只有恰當的運用，才能為演出作品錦上添花，更好地實現技術與藝術的融合。