運(yùn)用lsadora進(jìn)行舞臺表演中交互媒體設(shè)計與創(chuàng)作

張敬平

[摘要]介紹Isadora基于舞臺場景設(shè)計理念進(jìn)行舞臺表演中交互媒體設(shè)計與創(chuàng)作的思路和方法，以及具有的可視化圖形節(jié)點編程、視頻播放、視頻捕獲、視頻特效處理、開源的特性。

[關(guān)鍵詞]舞臺表演;Isadora;場景設(shè)計;節(jié)點編程;交互性;可視化;開源

文章編號：10.3969/j.issn.1674-8239.2019.03.011

1引言

21世紀(jì)以來，數(shù)字媒體技術(shù)發(fā)展日新月異，影響著人們的生活方式，并滲透到更廣泛的領(lǐng)域。伴隨舞臺上新形態(tài)的人機(jī)融合表演，改變了存在體驗，激勵很多跨界藝術(shù)家與科技人員研究人類與新技術(shù)之間日益深化的融合，創(chuàng)作表演者與各種裝置互動的作品。這其中不乏劇場舞臺上的交互設(shè)計應(yīng)用，如投影與表演的交互視覺設(shè)計、交互裝置與表演交互的實驗藝術(shù)形式等。

舞臺表演中的交互設(shè)計著重建立與表演者的關(guān)系或互動，與表演藝術(shù)結(jié)合，形成新的戲劇與展演形式、觀演關(guān)系、感官經(jīng)驗，可以創(chuàng)造更多的表現(xiàn)可能性和更大的創(chuàng)作空間。

由于交互設(shè)計與表演越來越被重視，用于交互媒體設(shè)計的創(chuàng)作工具應(yīng)運(yùn)而生，百花齊放。目前，被廣泛使用的交互多媒體設(shè)計與創(chuàng)作工具有Touchdesgner，VVVV，Max/Msp/Jitter，Quartz Composer和Isadora（伊莎多拉）等，這些軟件各有特點和優(yōu)勢，各自相對適用不同的應(yīng)用場合。

筆者針對舞臺表演領(lǐng)域，探討藝術(shù)家或設(shè)計師如何進(jìn)行交互媒體設(shè)計與創(chuàng)作。相對而言，舞臺表演領(lǐng)域的藝術(shù)家或設(shè)計師們的藝術(shù)形象思維能力要優(yōu)于邏輯思維能力;另外，舞臺藝術(shù)作品常常有場景和Cue點的概念，為了故事的敘事的要求，整個作品需要設(shè)計成若干個場景，根據(jù)敘事的需要，切換場景，需要設(shè)計與編寫Cue點，實現(xiàn)舞臺表演時表演者、舞臺燈光和影像內(nèi)容等的同步。根據(jù)在舞臺藝術(shù)領(lǐng)域中多年的交互媒體設(shè)計的教學(xué)與創(chuàng)作經(jīng)驗，筆者認(rèn)為，Isadora是一個適用于舞臺表演中交互設(shè)計與創(chuàng)作的軟件工具，將視頻和交互媒體添加到演出項目中，滿足藝術(shù)家的創(chuàng)作需求。

2lsadora特性

Isadora的創(chuàng)始人Mark Coniglio，是一位媒體藝術(shù)家、作曲家和程序員，被公認(rèn)為現(xiàn)場表演和互動數(shù)字技術(shù)整合的先驅(qū)。他和編舞家Dawn Stoppiello于1994年創(chuàng)立了一家德國公司Troika Ranch，創(chuàng)作的作品都是將舞蹈、音樂和戲劇的傳統(tǒng)元素與交互數(shù)字媒體融合在一起，旨在探索藝術(shù)本體天然的刺激與電子刺激的內(nèi)在聯(lián)系，嘗試通過表演者的運(yùn)動交互控制視頻、聲音、燈光或投影等，并在舞臺上表現(xiàn)出來。Troika Ranch公司的藝術(shù)家們利用軟件工具為作品構(gòu)建視覺和聽覺材料，為表演者在演出中提供新的表達(dá)手段，創(chuàng)作舞蹈、戲劇和新媒體的混合表演。

Isadora就是由Troika Ranch設(shè)計出來的，是供藝術(shù)家/設(shè)計師/表演者在表演項目中添加視頻和互動媒體的創(chuàng)作工具。該軟件結(jié)合媒體服務(wù)器的交互式媒體播放平臺，具有強(qiáng)大的實時視頻和音頻處理功能;可視化的編程環(huán)境，用戶界面友好且易于學(xué)習(xí);開放硬件接口，提供完善的輸出能力;實時創(chuàng)建令人驚嘆的視聽仿真效果。

2.1基于場景的設(shè)計理念

Isadora與其他交互視覺藝術(shù)軟件不同，基于場景（Scence）的結(jié)構(gòu)，貼近舞蹈表演或戲劇演出時按Cue點邏輯展開的思維模式，實現(xiàn)場景（Scence）間跳轉(zhuǎn)非常容易，而且有淡入淡出（Fade In/Fade Out）以及CrossFade功能。

以圖1所示的演出項目為例，包括5個場景（Scene），分別為“Black”“Greenraw”“ChromeKey”“Feedback”和“Particles”，對應(yīng)演出播放時5個Cue，分別為“Q1”“Q2”“Q3”“Q4”和“Q5”（見圖1）。

場景（scene）的刪除、復(fù)制、插入以及命名等操作非常方便，選中當(dāng)前Scene（選中的Scene背景為藍(lán)色），點擊右鍵，即可顯示相應(yīng)的彈出菜單，選擇操作，也可以使用對應(yīng)的快捷鍵操作，如圖2所示。

演出播放時，不同場景間的Q點跳轉(zhuǎn)也非常容易實現(xiàn)，Isadora提供了“Jump”、“Jump to cue”和“Jump++”3個Actor（Isadora的官方文檔將每一個功能節(jié)點模塊稱之為Actor，演員），實現(xiàn)不同場景間的跳轉(zhuǎn)。通過設(shè)置其tri9get參數(shù)進(jìn)行跳轉(zhuǎn)觸發(fā)，設(shè)置jump參數(shù)設(shè)置跳轉(zhuǎn)目標(biāo)，還可設(shè)置fade參數(shù)實現(xiàn)場景間的淡入淡出效果。如圖3所示。

2.2直觀可視化的創(chuàng)作流程

Isadora擁有直觀友好的用戶界面。基于節(jié)點的編程提供了深度定制，也可以拖放目標(biāo)對象（視頻或圖片）進(jìn)行快速原型設(shè)計，多個功能節(jié)點間通過連線就可完成各節(jié)點功能的組合實現(xiàn)特定的功能;節(jié)點的輸入輸出數(shù)據(jù)都可以隨時直觀地察看，將鼠標(biāo)懸停在視頻的連接線上，即可看到視頻的輸出圖像效果，給使用者呈現(xiàn)所見即所得的視覺效果。

（1）用戶只需要簡單將視頻（或圖片）拖入到編輯窗口，即完成播放視頻的原型設(shè)計。軟件將自動建立“Movie Player”和“Projector”兩個Actor，并鏈接好了兩個Actor（“Movie Player”的輸出端Hvideo out鏈接到“Projector”的輸入端Hvideo），同時視頻處在播放狀態(tài)，可以通過舞臺（stagel）預(yù)覽，如圖4所示。

（2）在上述基礎(chǔ)上，用戶可以根據(jù)創(chuàng)作的需要，在兩個節(jié)點之間加入視頻效果處理節(jié)點，可以采用節(jié)點串聯(lián)的方式實現(xiàn)視頻效果迭代。比如，在兩節(jié)點間先后加入動感模糊（“Motion Blur”）Actor和反射鏡像（“Reflector”）Actor，如圖5所示，其結(jié)果是“MoviePlayer”Actor播放輸出的原視頻經(jīng)過“Motion Blur”Actor進(jìn)行動感模糊處理，可以修改occoxn amt和decay amt兩個參數(shù)實現(xiàn)不同的動感模糊效果;然后“Motion Blur”Actor處理的模糊圖像輸出給“Reflector”Actor，進(jìn)行視頻的反射鏡像效果處理，可以修改mode、src和dest 3個參數(shù)改變反射的模式和相對距離，實現(xiàn)不同的效果。

當(dāng)鼠標(biāo)停留在某個Actor輸出的連接線上，即可顯示該Actor的視頻處理結(jié)果，圖6、圖7、圖8依次是將鼠標(biāo)停留在“Movie Player”、“Motion Blur”和“Reflector”三個Actor的輸出段video out后面的連接線上顯示的結(jié)果。

2.3交互實時的視頻處理

Isadora具有強(qiáng)大的實時視頻處理能力，視頻圖層合成理論上是無限的;很多視頻特效節(jié)點是基于GPU（圖形處理器）的快速視頻效果處理與渲染（如上述圖中節(jié)點的輸入或輸出參數(shù)中帶有vid-gpu，表示該節(jié)點的視頻處理是采用和支持GPU處理），同時還支持FreeFrameGL;并提供GPU處理的HAP視頻解碼器的支持。這些強(qiáng)大的視頻處理能力，通過豐富的視頻效果（Video Effects）功能節(jié)點來體現(xiàn)，滿足使用者的可視化藝術(shù)創(chuàng)作需要。Isadora提供了很多Video Effect Actor，如圖9所示，除了功能節(jié)點串聯(lián)實現(xiàn)視覺特效多次迭代之外，還可以通過“Multimix”類似的Actor實現(xiàn)多效果圖層疊加與混合。

以圖9項目為例，從原始視頻播放“Movie Player”到舞臺輸出“Projector”，一共有兩條視頻處理鏈路。其中，上面一條鏈路，原始視頻通過動感模糊“Motion Blur”、反射鏡像“Reflector”、對比度調(diào)整“Contrast Adjust”、顏色效果處理“HSL Adjust”和“Colorizer”5個視頻效果Actor處理并迭代后，實現(xiàn)了兩個鏡像的藍(lán)色幽靈似的的藝術(shù)效果，并將結(jié)果輸入到多視頻混合Actor“MultiMix”的video inl;下面一條鏈路在本示例中，是直接將“MoviePlayer”播放結(jié)果輸出都“MultiMix”的video in2;最后，由“MultiMix”實現(xiàn)2條鏈路視頻圖層的疊加，輸出到“Proiector”。

另外，Isadora 3增加了一個功能節(jié)點“Get StageImage”，允許使用者將圖像從任何Stage輸出內(nèi)容拉回到Isadora程序中并使用它，這為路由和合成提供了更多的可能性，實現(xiàn)了反饋循環(huán)（Feedback），為創(chuàng)作者創(chuàng)造了更大的創(chuàng)意空間，可以實現(xiàn)無限的疊加效果。其實，在以前的版本中，也可以巧妙地利用“Syphon StageOutput”和“Syphon Receiver”兩個Actor配合使用該功能（之所以說巧妙利用，是因為Syphon的功能，原本是用于程序間視頻幀共享的，后面會再次提及）。如圖10所示，在圖9所示的程序基礎(chǔ)上，添加一個“Syphon StageOutput”Actor，將“Projector”Actor輸出內(nèi)容通過Syphon輸出（注意：“Projector”和“Syphon Stage Output”兩個Actor的stage參數(shù)的值相同，都為1，即stagel）;再添加一個“Syphon Reciever”Actor，并將其server參數(shù)選為“stage-1：：：Isadora USB”，這樣“Projector”Actor輸出的內(nèi)容又通過Syphon反饋回來，再在其后添加“Shimmer”Actor實現(xiàn)發(fā)微光的效果，輸出到“MultiMix”Actor視頻圖層疊加，再通過“Projector”輸出。從而實現(xiàn)了輸入到輸出再到輸入的無限迭代的藝術(shù)效果。

Isadora還具有強(qiáng)大的Live Video處理能力。Isadora 2支持同時從4個設(shè)備中捕獲Live Video，并進(jìn)行實時處理，其處理方式與上述的播放視頻文件一樣。支持常見的視頻捕捉卡，如外置的Blackmagic視頻采集卡，可以方便鏈接攝像機(jī)進(jìn)行視頻捕獲（如圖11所示）。在Isadora 3中，Live Video處理的能力更大，可以同時支持8個實時捕獲視頻的通道。

另外，Isadora還提供了“GLSL Shader”Actor，通過OpenGl Shader（GLSL）語言編輯實現(xiàn)強(qiáng)大的圖像處理能力。

2.4輸出顯示能力

從Isadora 2開始，集成了投影映射（Mapping）工具，可以進(jìn)行任意形狀的視頻輸出投影映射，也可以實現(xiàn)多屏邊緣融合。Isadora 3最多可以有48個舞臺（Stage）和16個獨立的視頻投影儀或顯示器的輸出，在舞臺布局編輯器里，可以創(chuàng)建視頻，進(jìn)行簡單地圖像渲染后輸出到單個顯示器，也可以做拼接與邊緣融合（如圖12所示）投射至多個顯示器。

Isadora還集成了Syphon（Mac OS環(huán)境下）和Spout（Windows環(huán)境下）的視頻幀流共享技術(shù)，將Isadora渲染結(jié)果共享給其他程序，也可以接受其他程序采用同樣技術(shù)分享的視頻幀流。如上圖12中底部Syphon復(fù)選框所示，可以勾選該復(fù)選框，通過Syphon或Spout從任何舞臺（沒有邊緣融合）或任何單獨的顯示（帶邊緣融合）發(fā)送視頻。此外，使用舞臺布局編輯（Stage LayoutEditor）上的Syphon的復(fù)選框和彈出窗口將舞臺或顯示器上的任何內(nèi)容發(fā)送到任何Blackmagic設(shè)備或通過NDI協(xié)議共享遠(yuǎn)程網(wǎng)絡(luò)或設(shè)備;實現(xiàn)與其他軟件的整合，完成更復(fù)雜更強(qiáng)大的舞臺藝術(shù)創(chuàng)作任務(wù)。

2.5開放易用的擴(kuò)展能力

Isadora具有很強(qiáng)大的擴(kuò)展能力，支持常見的OpenSound Control（OSC）、MIDI、串行（Serial）、TCP/IP和Human Interface Device（HID）等數(shù)據(jù)通信協(xié)議，而且集成到面板中。為了降低使用者獲取數(shù)據(jù)的門檻，還集成了自動檢測輸入（Auto-Detect Input）與數(shù)據(jù)分析的功能，使用者只需要驅(qū)動并簡單設(shè)置硬件，采用自動檢測輸入的方式，即可快速獲得數(shù)據(jù);并且屏蔽了很多獲取數(shù)據(jù)的實現(xiàn)細(xì)節(jié)以及采用不同通信協(xié)議數(shù)據(jù)格式不同等因素。

如圖13、圖14所示，該界面顯示Isadora通過自動檢測OSC數(shù)據(jù)的輸入，獲取Kinect捕獲到的人的骨骼15個關(guān)鍵點的三維坐標(biāo)數(shù)據(jù)。Isadora獲取Kinect數(shù)據(jù)之后，可以點擊“Renumbers Ports”即可自動分配通道（Chan）編號，如圖14所示，使用者可以在編輯窗口中通過“oscMulti Listener”Actor讀取到相對應(yīng)的數(shù)值。

Isadora 3硬件集成度更高，進(jìn)一步簡化了上述相關(guān)操作，集成了高級的身體跟蹤功能，即將開源的NiTE人體跟蹤模塊嵌入，直接支持從Kinect 1、Kinect 2、Orbbec Astra和Intel Realsense攝像機(jī)讀取深度圖圖像（與這4個硬件對應(yīng)4個不同的攝像機(jī)Actar），這些硬件對應(yīng)的Actor可與NiTE Body Trackin9Actor配對。使用時，只需將如圖15所示的4個Actor中的一個連接到NiTEActor，就可以獲得15點身體跟蹤（如圖13所示）信息，以靈活的方式來選擇輸出其中出現(xiàn)的點的坐標(biāo)等相關(guān)信息，可以利用表演者的深度（灰度）圖像作為Mask實現(xiàn)一些特殊的視覺效果（如圖15所示），同時可以利用跟蹤人體骨骼的3維坐標(biāo)信息，實現(xiàn)表演者與數(shù)字內(nèi)容間非常有趣的互動藝術(shù)效果。

除此之外，Isadora支持開源硬件，使用者通過串口，實現(xiàn)與開源硬件微控制器（Arduino）的通信，聯(lián)通各種設(shè)備，構(gòu)建一個交互的表演舞臺。

3結(jié)語

從Isadora使用流程看，集成度高，用戶界面友好，創(chuàng)作者的使用技術(shù)門檻低。最后引用一位使用Isadora的舞臺藝術(shù)家的感言來概括說明，Isadora是在舞臺表演領(lǐng)域中適合藝術(shù)家使用的交互媒體設(shè)計與創(chuàng)作的利器。

贏得了2012年的格蕾絲王妃獎（the Princess GraceAward）的杰瑞德（Jared Mezzocchi），在馬里蘭大學(xué)（University of Maryland）MFA設(shè)計系講授《投影設(shè)計》課程時強(qiáng)調(diào)使用Isadora進(jìn)行設(shè)計與創(chuàng)作實踐：“Isadora讓你以靈活和自然的方式思考視頻設(shè)計，是一個很好的模式。Isadora不是躲在電腦后面，感覺他們只是在修補(bǔ)代碼，而是讓設(shè)計師的眼睛遠(yuǎn)離顯示器，更多地關(guān)注舞臺。這種設(shè)計就像在某種空間中自然地存在和流暢地移動，因此戲劇創(chuàng)作中的每個人都能感受到一種共享的體驗。”