多媒體戲劇《黑街二人組》的視頻設(shè)計

文/[美]科里·愛比德 編譯/施 端

由卡萊·麥克羅德茨（Kalle Macrides）編劇、Adhesive Theatre Project創(chuàng)作的《黑街二人組》（Noir）作為演藝技術(shù)系（Entertainment Technology Department）的實習(xí)劇目之一首演于紐約城市理工學(xué)院（New York City College of Technology）。作為一出多媒體/舞蹈/戲劇作品，《黑街二人組》利用了計算機視覺系統(tǒng)來提升預(yù)錄視頻內(nèi)容和現(xiàn)場視頻反饋的投射效果。由筆者設(shè)計的該系統(tǒng)借鑒了一些技術(shù)和軟件。本文著重闡述構(gòu)建有形的硬件系統(tǒng)的方法，分享對用于Cycling’74 Max/MSP/Jitter平臺的cv.jit軟件的研究。筆者的主要目標(biāo)是跟蹤舞臺上演員的活動并在移動對象上投射影像。

研究伊始

最初，筆者想把跟蹤舞臺上演員的技術(shù)用于木偶戲中，希望由技術(shù)制作的科技木偶可以把一個演員的臉“粘貼”到一個活動的立體木偶頭部。例如：在文樂木偶戲風(fēng)格（Bunraku-style）中，領(lǐng)頭的操縱木偶表演者可以把他自己的臉“轉(zhuǎn)移”到木偶頭部并扮演木偶的角色；在《羅索姆萬能機器人》（R.U.R）一劇中，一個演員（通過投影技術(shù)投出很多個他）怪異地扮演一大批機器人。該技術(shù)給予藝術(shù)創(chuàng)作以無限的可能性，包括可按任意尺寸縮放演員，且演員可能會有魚一樣的身體或不受重力的束縛。

《黑街二人組》的具體要求

《黑街二人組》講述了一位剛遭槍擊的好萊塢電影制作人埃迪·錢德勒（Eddy Chandler）的故事。當(dāng)回憶導(dǎo)致這一悲劇的那段情節(jié)時，他使用了控制時間和影像的電影制作技術(shù)，揭露了謀殺未遂案的真相。這既是對黑色電影的一次學(xué)術(shù)研究，又是對電影影像技術(shù)用于舞臺演出的一次探索。

筆者設(shè)計了由24塊活動框架組成的舞臺布景（其中一些用鋼材做成），其上覆蓋白布、有色棉麻布或紙張作為投射面。其意圖是讓演員操作這些框架，就像木偶操縱者操縱木偶協(xié)助敘述故事一樣。例如，第一場戲是從外部的城市景觀轉(zhuǎn)變到內(nèi)部的電影片場。演員像電影技術(shù)員那樣搬動這些框架，活動框架不僅形成電影布景，還需要由演員操縱。一些場景中，設(shè)計者在框架表面添加視頻，增強了演員與框架之間的互動，有助于闡明故事的某一特定含義。

有一場在火車站的戲中，主角和一位機智的記者被一些歹徒和一個邪惡的警察追殺。他們躲過飛馳而來的火車并跳上一節(jié)貨車車廂，成功脫身。雖然，這本可以僅通過移動框架來暗示這列火車；或者加上一些音效和燈光，也可以進一步增強這種舞臺效果（即火車行進的效果）。然而，在這部關(guān)于電影的、對舞臺活動影像探索的戲中，重要的是要創(chuàng)造一場視覺景觀反映這一宗旨。筆者想設(shè)計三個場景（使用資料片），在這些場景中演員既要與框架內(nèi)運動的火車發(fā)生互動，又要與舞臺有形空間運動的火車發(fā)生互動。

這一場景是舞臺跟蹤對象系統(tǒng)的明證。由于系統(tǒng)中有不少參數(shù)是不變的，筆者可以從方程中去掉許多變量，僅關(guān)注于運動跟蹤的某一方面。例如，活動框架都是固定大小、固定形狀的矩形，因此，可以保持在一個二維平面上。此外，因為它們都放置在滑輪上，與地面的高度保持不變，所以，可以取消上下軸。

圖1 舞臺上演員與投影的互動

該系統(tǒng)的使用基于攝像機，它充當(dāng)了計算機的眼睛。接著軟件分析特定參數(shù)的影像，控制基于那些參數(shù)的視頻內(nèi)容。此外，攝像機與投影儀之間需要以某種方式進行校準(zhǔn)，攝像機必須“看到”投影儀投射到的同一區(qū)域。工作團隊將它們以相同的角度放置在相同位置。投影儀在投影屏上投以藍色，確保攝像機可以看到藍屏的所有四條邊，且在其取景框內(nèi)沒有其他區(qū)間。他們還把攝像機和投影儀設(shè)置成相同的長寬比。這不必很精確，但兩者的長寬比校準(zhǔn)得越接近，軟件計算就越容易。

一旦校準(zhǔn)好攝像機與投影儀，使用者必須弄清楚要獲取哪些具體參數(shù)。在通常的戲劇環(huán)境中，除了許多活動的演員和物體外，還有各種顏色和不同強度的舞臺光，一旦把影像投向舞臺，攝像機就會獲取這些信息。為了排除這些散射光對影像的干擾，筆者使用了帶有夜間拍攝模式的索尼攝像機。雖然所有攝像機都讀取紅外光，但在夜間拍攝模式下攝像機對紅外光譜的敏感度增強了。隨后，使用一張可見光過濾片，遮擋了不屬于紅外光譜的所有光線。而投影儀已經(jīng)通過玻璃透鏡排除了紅外光。因為舞臺燈光會投射出紅外光，所以，燈具前都加裝了隔熱片，以減少這些光線。

圖2 演出現(xiàn)場

因此，只有有限的光進入了計算機。筆者使用了由一節(jié)3 V電池供電的單顆紅外LED光源，其投射距離可達40英尺（舞臺至攝像機之間的距離），對觀眾來說幾乎是不可見的。通過改變Max/MSP/Jitter平臺中攝像機的閾值，可以在任何情況下看到單個白點穿過漆黑一片的舞臺。

CV.Jit.Shift擴展軟件

筆者采用的由讓·馬克·佩爾蒂埃（Jean-Marc Pelletier）開發(fā)的cv.jit軟件是免費的擴展庫軟件。筆者研究了兩類視頻影像的分析算法：blobs算法和mean-shift算法。blob算法用于查找、分析最大對象的影像，并且可以修改其周邊的參數(shù)。例如，你可以選擇忽略或選取某塊斑點。mean-shift算法可計算某個影像的平均值，及其與下一幀之間改變（漂移）了多少，也叫做幀差值。（這兩種都是非常簡單的算法和進程。）在嘗試了佩爾蒂埃庫中所有的補丁之后，筆者發(fā)現(xiàn)cv.jit.shift可以跟蹤計算機從攝像機中接收到的白點。在一些調(diào)整和相關(guān)人員的幫助下，筆者制定出了一個有效而簡捷的解決方案——“單點跟蹤”（one-point tracking）。

第二個問題就是蒙板（masking）。為了實現(xiàn)這個功能，筆者使用了Luma Key（亮度摳像）工具。本質(zhì)上，它使得影像變暗或變亮，并且可以使影像透明。如此就能把另一影像或視頻放進那些區(qū)域。既然投影屏幕本身比其周圍的區(qū)域要明亮得多，那就可以改變攝像機的閾值，得到一個二值影像，并且僅投射到屏幕上而不是周邊區(qū)域上。比方說，如果準(zhǔn)備投射一張照片，當(dāng)屏幕移動時，呈現(xiàn)出來的視覺效果是：在那張照片上開了一扇小窗，通過小窗可以“瀏覽”其他影像。

既然希望得到反射光，筆者便決定使用一臺不帶夜間拍攝模式的常規(guī)攝像機。這可能會帶來之前提及的所有問題——變化的光強、活動的演員、與計算機視覺攝像機互動的投影視頻等等——當(dāng)然，這也相應(yīng)地制造出了一些紛亂但又十分有趣的視頻輸出。例如，當(dāng)演員走過舞臺，投射的視頻會跟隨他們。而且，投影視頻會被攝像機獲取，并再一次地投射出去，其強度雖有減弱，但這種無限地攝取和投射宛如一個反饋循環(huán)系統(tǒng)。

雖然這些都是有趣的效果，但影像還是太模糊了。此外，影像清晰程度取決于舞臺上反射了多少光。如果是暗場，拍攝不到視頻影像。如果舞臺上較亮，投影會比較明亮，但是同樣是那些光又會沖淡影像。設(shè)計者配備了兩盞紅外LED燈，可以懸掛在劇場上空照射舞臺。使用帶有可見光過濾片以夜間拍攝模式的攝像機，以此成功減少這種視頻缺陷并且可以在完全黑暗的環(huán)境中使用這一技術(shù)。

Horn-Schunck光流法

Horn-Schunck光流法，給出了測定二維平面上光流的方程式（或指在二維平面上某一視頻幀與下一視頻幀之間的變化）。利用這一計算結(jié)果，可以看出垂直運動或水平運動數(shù)值之間的差異。在佩爾蒂埃的軟件補丁cv.jit.HSflow中，這一變化由色彩變化表現(xiàn)出來。如果向上移動，顏色是藍色；向下是黃色，向左是綠色，向右是紅色。而這一補丁激發(fā)了筆者對本劇最后一場戲的創(chuàng)作靈感。

就在與編劇討論最后一場可能選用的場景時，大家忽然想到1953年公映的最早的3D電影《恐怖蠟像館》（House of Wax）中的場景。筆者想表現(xiàn)出用肉眼（不戴3D眼鏡）觀看這部3D電影時那種不安的感覺。通過使用舞臺上現(xiàn)場反饋的攝像機，通過經(jīng)光流水平運動過濾處理的影像，就可以獲得紛亂的紅綠色的余跡。

方向盤與中轉(zhuǎn)設(shè)備

設(shè)計者嘗試采用的另一視頻效果由舞臺上的演員來操作，并通過無線中轉(zhuǎn)設(shè)備與計算機進行通訊，該設(shè)備可以接收傳感器信號并通過射頻發(fā)送傳感器中的數(shù)值。雖然，這個中轉(zhuǎn)設(shè)備的通訊距離可以超過幾百英尺且可以穿過墻體，但在這個場地中，大約在20英尺外就失去了信號。幾經(jīng)周折，天線被延伸到中轉(zhuǎn)設(shè)備自身，實現(xiàn)了通訊要求。

中轉(zhuǎn)設(shè)備與電位器相連接，電位器與臨時代用的方向盤相連接。當(dāng)女演員轉(zhuǎn)動方向盤時，系統(tǒng)會左右移動舞臺上的視頻投影。設(shè)計者在一輛小車的后面投射出活動背景的視頻，從而使視頻對演員的活動作出了反應(yīng)。

四點跟蹤系統(tǒng)

筆者還曾斷斷續(xù)續(xù)研究的系統(tǒng)是四點跟蹤系統(tǒng)。這不像跟蹤一個點，四個點給出了投射面四個角的位置，并允許在那些點之間的區(qū)域投射影像。這個系統(tǒng)允許用1臺攝像機跟蹤投射面的三維運動，除旋轉(zhuǎn)運動外還有傾斜運動與偏移運動。與單點跟蹤系統(tǒng)相反，屏幕除可以旋轉(zhuǎn)或在軸上轉(zhuǎn)動外還可以橫截舞臺的深度與高度，仍然始終維持視頻影像。

在開發(fā)實用模型階段，筆者從cv.jit.blobs.centroids補丁開始。該補丁用于定位斑點（四盞紅外LED燈被放置在屏幕的每一個角上），并給斑點設(shè)定標(biāo)記，以便將它們區(qū)分開。然后設(shè)置四個點中每個點的位置，并根據(jù)那些信息得到一個多邊形。一旦有了這個多邊形，就可以在那個形狀內(nèi)輸出視頻。遺憾的是，如果軟件丟失了一個點或者搞亂了點的次序，視頻影像將不能維持原有形狀，會以蝴蝶結(jié)形狀顯示，擰成類似螺旋結(jié)構(gòu)。也許這很容易克服，但解決問題需要一點C++編程語言的知識，這超出了筆者的能力。

可以部分解決三維問題的另一方法，是給每一個活動框架加裝一個加速儀，它可以無線傳送數(shù)據(jù)并與單點跟蹤系統(tǒng)互相配合使用。但問題是景深仍然不夠，需要另外的解決方案。最終，筆者沒能及時設(shè)計出穩(wěn)定的影像用于《黑街二人組》的演出，只好采用另一方案來敘述那段故事情節(jié)。