舞臺演出效果體感指揮系統研究

杜錦 查晨 劉暢 丁剛毅 張龍飛

摘要：隨著硬件技術的快速更新，多傳感方式的體感設備逐漸被用于人機交互的界面，現有的歌劇表演已經無法滿足體感設備輸入的需要，特別是在數字創作領域。因此，研究支持體感的遠程虛擬指揮系統是本課題研究的關鍵技術之一。

關鍵詞：體感設備；人機交互；歌劇表演；遠程指揮系統

1研究背景

歌劇表演是一門西方舞臺表演藝術，簡單而言就是主要或完全以歌唱和音樂來交代、表達劇情的戲劇（是唱出來而不是說出來的戲劇）。歌手和合唱團常有一隊樂器手負責伴奏，有的歌劇只需一隊小樂隊，有的則需要完整的管弦樂團。有些歌劇中都會穿插有舞蹈表演，如不少法語歌劇都有一場芭蕾舞表演。

隨著硬件技術的快速更新，多傳感方式的體感設備逐漸被用于人機交互的界面，現有的歌劇表演已經不能滿足體感設備輸入的需要，特別是在數字創作領域，因此研究支持體感體驗的遠程指揮系統是本課題研究的關鍵技術之一，并且如何實現高新技術和文化藝術完美結合，突破學科、領域、行業的壁壘已是影響我們文化產業快速發展的緊迫問題。充分利用現在的高新技術應用于文化服務的集成性創新，從文化創意產業內容、智能創意、虛擬世界、高效實時交互等技術人手，整合優化提升傳統人工操作、人力生產的文化可持續產業發展能力，已經證明是一條可持續發展的必由之路，數字化舞美科技產業這一新興產業形態已經出現。

2系統概述

遠程虛擬指揮系統主要完成的是對Kinect運動采集設備采集好的數據進行分析與處理的過程，這里分析的數據主要是人體骨骼和指揮棒骨骼的區分與處理。可以通過分析所得的數據對捕捉到的骨骼進行區分并進行分別渲染輸出。

該系統首先利用Kinect動作捕捉設備采集指揮家運動的連續圖像，對采集的圖像進行分析，計算輸出圖像中指揮家及指揮家手中的指揮棒移動的位置、方向、速度等信息。再由遠程通信系統傳輸這些數據給底層圖形渲染引擎，通過渲染引擎的計算，傳輸給視頻輸出設備，以引擎默認的笛卡爾坐標系在場景中實現指揮家及指揮棒的動作復現。

3通過Kinect獲取動作捕捉數據

Kinect感應器是一個外形類似網絡攝影機的裝置。Kinect有三個鏡頭，中間的鏡頭是RGB彩色攝影機，左右兩邊鏡頭則分別為紅外線發射器和紅外線CMOS攝影機所構成的3D結構光深度感應器。Kinect還搭配了追焦技術，底座馬達會隨著對焦物體移動跟著轉動。Kinect也內建陣列式麥克風，由多組麥克風同時收音，比對后消除雜音。

Kinect有1080p視頻傳感器，能夠獲取更清晰的圖像和視頻信息。深度傳感器所能支持的最大分辨率來允許捕捉更多的細節，如手指動作和肢體定位。Kinect每秒數據處理量可達2GB。微軟用讀取深度“飛行時間計算”的方法來替代了現有的“光照測量”的測算方法，使得Kinect更快、更準確。該方法基于單個光子從物體或人身上反彈回來的最準確的時間計算原理本課題中利用Kinect對演員動作的實時捕捉，實現對人物模型的動作捕捉用于模型庫、動作庫的構建以及實時交互排演操控，與舞臺場景中其他物體角色進行交互等，觸發其他物體或角色的既定反應，使數字表演更具真實感，并且通過對視覺效果的渲染，加以雷電等特效，令觀眾獲得更優質更震撼的視覺體驗。通過Kinect操作界面與引擎中的控制結構流程設置來實現人物模型的體感交互控制。Kinect數據可以將實時數據傳人引擎并與3d引擎中對象進行互動，也可以掃描出較低精度的舞美道具及人體模型，并存入模型庫。

4人體骨骼識別

在Kinect里面，是通過20個關節點來表示一個骨架的，當走進Kinect的視野范圍的時候，Kinect就可以把人體的20個關節點的位置找到，位置通過（x，y，z）坐標來表示。這樣，在Kinect前面做很多復雜的動作的時候，因為人的動作和這些關節點的位置的變化關系還是很大的，那么電腦接收到這些數據后，對于理解表演者做什么動作就很有幫助了。

玩家的各關節點位置用（x，y，z）坐標表示。與深度圖像空間坐標不同的是，這些坐標單位是米。坐標軸x，y，z是深度感應器實體的空間x，y，z坐標軸。這個坐標系是右手螺旋的，Kinect感應器處于原點上，z坐標軸則與Kinect感應的朝向一致。y軸正半軸向上延伸，x軸正半軸（從Kinect感應器的視角來看）向左延伸。

5指揮棒骨骼提取

該模塊首先獲得Kinect的深度圖，然后，利用NITE庫跟蹤手中心點的位置。在跟蹤和檢測到手點的位置以后，根據手中心點的z坐標，對深度圖進行分割，然后將手中心點投影到二維，根據手的大小再一次二維分割。

據此會得到一個包含手臂、手和指揮棒的部分，而且由于Kinect數據的特點，會導致該區域的邊緣鋸齒比較明顯，這樣就會影響后面指尖檢測算法的準確性，因此，在得到該區域之后，對它應用貝葉斯顏色模型，去除那些不是手和指揮棒顏色的地方，得到準確的手拿指揮棒的區域。

貝葉斯顏色模型是指在將位于環境矩形內的使用者手區域圖像提取20組，利用20組內的中心點顏色均值與環境矩形內所有點的關系計算出使用者手區域圖像的顏色閾值。然后利用二分法依次改變閾值，尋找出環境矩形區域內噪點最少的手區域圖像值，最后利用這個值進行手及指揮棒勢姿態圖像二值化處理。…將得到的二值化圖像進行特征化處理，得到手區域的特征點。通過對特征點的運算，得到最終手及指揮棒骨骼的位置信息。

6渲染并輸出所有骨骼的動畫效果

本模塊將人體和指揮棒的骨骼信息傳輸給圖形渲染引擎，利用圖形渲染引擎對畫面進行渲染，最后輸出其動畫效果。

可劃分為以下步驟實現：（1）虛擬人幾何模型創建模塊。該模塊由搭建骨骼部分和骨骼蒙皮綁定部分組成。（2）利用重定位技術將Kinect捕捉的運動數據映射到虛擬人模型上，進而驅動虛擬人。（3）平移補償機制和失真處理方法模塊。（4）再由圖形渲染引擎輸出動畫。

7結論

遠程虛擬指揮系統將舞臺呈現效果和指揮家及某些表演對象的行為聯系起來，將虛實結合的交互式呈現等最新技術引入到舞臺藝術呈現中，利用傳感器技術、增強現實技術、人機交互技術及實時渲染技術等，利用創作先期建立的舞臺模型，利用傳感器對各種實際表演元素進行定位及數據收集，并采用人機交互方式觸發相關舞臺呈現，不斷地提供不同于以往舞臺藝術的全新表演呈現方式，創新、豐富原有的舞臺表演體系。通過對其關鍵技術的深入研究及應用規范研究，設計并提交相關的舞臺虛實交互系統集成呈現技術規范及相關標準草案，使之成為提升舞臺藝術呈現效果的主要技術手段之一。減少前期大量的創排時間，大幅提升工作效率，增強創作能力，為現代全新的綜合舞臺提供解決方案。