淺析多媒體音樂中交互式多聲道實時處理平臺的特征

陳佳

（中國美術學院，浙江 杭州 310000）

淺析多媒體音樂中交互式多聲道實時處理平臺的特征

陳佳

（中國美術學院，浙江 杭州 310000）

交互式多聲道實時處理平臺是隨著近年來交互多媒體技術的興起與音樂音響科學的發展而誕生的運用于音樂創作，特別是電子音樂創作及現場表演的一種實時處理程序，該技術在未來作品創作與演出中具有應用的廣泛可能，本文對不同交互式實時處理平臺的基本特征進行梳理，意圖通過本文涉及的內容，為將此技術運用于音樂創作與表演領域的藝術工作者提供些許經驗。

交互式 多聲道 實時處理 平臺 Max/MSP

1.交互式多聲道實時處理平臺的定義

交互式多聲道實時處理技術是依托近年來計算機軟硬件水平和性能不斷提升而得以快速發展的并運用于多媒體領域的一種技術手段。該種技術就其根本而言是交互方式、多聲道技術及計算機高效實時處理能力的結合。以交互式多聲道實時處理技術為核心的平臺則是一系列互相關聯的具有對外交互屬性，實時運算能力及多聲道輸出功能且具有外部兼容性的多個程序的集合。本文研究的交互式多聲道實時處理平臺以音頻處理為首要目標，其他多媒體表現方式為輔助手段的目的而進行設計，故主要關注不同程序在音頻處理及交互實現方面的思路及各自特點。

在實際運用中以該類平臺運行的邏輯步驟及輸入輸出方式定義，交互式多聲道實時處理平臺能對一個或多個輸入的信號變量進行捕捉并解析為系統可處理數據格式 （常為midi數據），將數據通過預置程式轉化為各控制器信號或數據，作用于預置或實時采錄的各種媒體信號流或各預置程式上，處理結果輸出為視頻、音頻信號及數據等形式，并支持多聲道音頻信號輸出的實時處理平臺。

2.交互式多聲道實時處理平臺的特征

由上文交互式多聲道實時處理平臺的定義不難發現相較于傳統音頻后期制作平臺等具有鮮明的特征。交互式多聲道實時處理平臺最為重要的特征屬性有四：最為核心的實時交互特性；最為基礎的實時高處理特性；最有特色的多聲道特性；最有廣泛代表意義的平臺特性。

2.1實時交互特性

廣義的交互（Interaction）被定義為“發生于兩個及兩個以上的參與者之間的相互影響及交流信息的一系列動作及行為”。相對于傳統的某一事物對另一事物單傳遞向的成因果關系的影響，交互行為雙向性的相互影響關系是其最大特點。

新媒體中特指的交互針對兩組不同參與對象關系含義有所區別。其一，針對表演者與觀眾的對象關系，交互指使觀眾得以參與現場表演，影響表演進程與結果的一種互動形式。其二，針對預置程式與現場表演的對象關系，交互指現場即興表演通過某種途徑影響預置效果，又由預置效果反作用與表演本身的一種循環方式。

由于表演者與觀眾之間的交互方式較為多樣且本文又針對具有交互特性的某一預置平臺進行研究，故下文闡述的交互特性主要是圍繞預置程式及現場表演之間的相互關系這一層次相應展開。

交互程序無論其內部設計如何復雜，對外的雙向信息傳遞是必需的。作為程序與用戶或系統外部的溝通連接部件，輸入輸出端自然成為交互設計的核心。交互式多聲道實時處理平臺實時交互特性主要體現在輸入輸出端與現場表演間的雙向影響與交互：程序能通過輸入端口實時接收多重信號，經由實時處理后發送信號影響表演者行為及表演進程從而進行交互。

2.1.1輸入端交互方式

平臺輸入端口接受一個或多個來源于不同信號源的信號變量并進行解碼，將信號譯為系統可理解信號并作用于程式，由不同變量產生相應變化的結果。

信號來源按類可分為界面操作（Physical manipulation）、鍵盤代碼操作（Input using code）、鼠標操作（Mouse manipulation）、位置及影像感應（Location and Image）、壓力觸發及多點觸碰感應 （Haptic interfaces and multi-touch）、勢態辨別（Gesture）與聲音，語言識別（Voice recognition）七大類。

以Max/MSP為例，其操作界面內滑竿、按鈕及觸發物件的使用可歸類為界面操作；電腦鍵盤輸入的熱鍵及midi鍵盤輸入等系統可識別代碼輸入歸類為鍵盤代碼操作；鼠標滑動及點擊歸類鼠標操作；通過攝影機及紅外設備等捕捉物體移動及位置輸入信號的方式可歸為位置及影像感應；經壓力傳感器，踏板所得信號歸類為壓力觸發及多點觸碰感應；由光學設備捕捉后比對預設姿態而觸發感應歸為勢態識別；而音樂工程中最為常見的話筒輸入用以傳感及對信號的相應識別歸為聲音、語言識別感應。

2.1.2 輸出端交互方式

在多種輸入信號經由系統進行相應處理后將結果以音

頻、視頻、數據等多種形式實時輸出給予表演者、操作者及觀眾時即可認為是輸出端交互的開始。輸出端的交互特性并不表現在程序本身，程序輸出信號的過程作為程序一次運行的終了也是新一輪交互的起始點。對于輸出的信號需要表演者、操作者及觀眾給予相應反饋或調整，改變感應器或固有信號的數據啟動下一輪程序，觸發下一個循環。

交互程序在這樣一個輸入信號、輸出信號互相影響、不斷循環的狀態下，在不斷接收并發送信息的過程中將原先預置好的演出效果及結果進行可控制地改變體現其交互的特性。

2.2 實時處理特性

隨著計算機軟硬件水平的快速發展，計算機的高運算效率使得交互程序要求的實時處理能力得到很大加強。實時處理系統（Real-time processing system）一般指一類要求計算機對采集的多路信息分輕重緩急分別在若干秒，若干毫秒，甚至若干微秒內完成處理并做出恰當反應的時間性要求很強的應用系統。

實時處理特性也是交互式多聲道實時處理平臺最基本也是最核心的特征。本文中定義的實時處理所指的是對于大量輸入的多路信號按設計的方案進行快速且準確的即時信息分析、運算、整合等方式的處理再分配至多個輸出端進行多信號發送。而在此基本處理功能基礎上，交互多聲道實時處理平臺最大的特點與優勢在于對來此控制方的指令和命令能實時獲取和快速反應。

實時處理是程序機動性與靈活性的有效保證。優勢具體體現在以下兩個方面。

其一，程序的實時處理功能能對現場獲得的信號進行快速采錄、改變及再次呈現，使作品的現場效果及演出真實感得以加強。以最為熟悉的音頻處理為例，音頻處理平臺，如Nuendo，Cubase及SoundForge等，其常見的樣本音高、長度改變和樣本反向等手段一般都會經由一段時間的再次運算處理形成一個新的樣本進行播放。而具有實時處理能力的程式可以在采錄完樣本后即時對材料進行多種方式的直接改變且較快地反映在音頻輸出信號中。基本實現與原樣本的前后無縫連接。

其二，實時處理的優勢體現在對現場演出的及時應變能力的很大增強，對于指令的實時監聽與獲取可以使控制方對現場情況實時調整數據，甚至在短時間內改寫程式進行快速補救。在演出突然遇到緊急情況，如控制器失靈、感應裝置未及時觸發或觸發過量時可以切換到備用程式進行過渡，同時修改程式尋找合適機會切回原程式繼續演出以此保證演出的連貫性及安全性。

2.3 多聲道特性

多聲道技術以1947年杜比實驗室與EMI錄音室開發Dolby Stereo Film Sound標志著進入立體聲時代；1977年杜比實驗室研發出多聲道環繞系統Dolby Stereo標志著進入多聲道環繞時代為起點，在二者基礎上發展而來的將信號以建立好的某種模型分配到成某一規則分布的多個聲道的一種音頻信號分配技術。

交互多聲道實時處理平臺的多聲道部分是平臺音頻輸出端的核心組成部分。多聲道處理部分是在實時處理環境下通過程序的編寫將本需要通過音頻后期制作平臺處理的環繞多聲道系統嵌入到平臺中使用。

交互多聲道實時處理平臺多聲道輸出模塊能將實時輸入的信號進行處理并立刻使多個直接輸入或間接變化的變量同時作用于多聲道輸出信號，往往這項實時改變能力后期制作音頻處理平臺在非預先設置多音軌聲像運動位置的情況下是不容易達到的。同時，多聲道實時設置具有靈活性。與音頻處理平臺同樣能預設軌道路徑，也可實時記錄路徑及任意設置互相關聯修改后即立即生效。為適應不同聲學要求和擴應環境的場地需要，預先為立體聲、四聲道、5.1、7.1、八聲道設置相應模板提高系統面對不同聲學環境時的兼容性。

在Max/MSP軟件中，不同機構及組織根據對多聲道方式的理解和側重方向建立了多套多聲道程式，有Max/MSP軟件自帶的Spatialization，CNMAT設計的Panhandler，以及ICST的Ambisonic等，其中以Ambisonic程序功能最為全面。Ambisonic 2.2提供Furse-Malham，Normalized 3D及Semi-Normalized 3D三種多聲道編碼解碼方法為核心分別是全經驗、全理論及半經驗理論為指導思路的三套多聲道處理方式。同時，具有聲相運行軌跡設置及不同聲道模式切換等功能，在Max/MSP設計的程序中可以單獨作為音頻輸出端口使用，與其他程式的兼容程度很高。

2.4 平臺特征

交互多聲道實時處理平臺與交互多聲道實時處理程序的區別之處在于平臺需要在程序的基礎上體現其對于不同情況及需要的適應能力。平臺并非僅為一次演出或某一作品而單獨設計，而是應該能應用于多個作品及演出之中。個人可以根據自身對于交互程式、預置音頻回放程式、實時運算程式、效果器程式、多聲道輸出及應急啟動等方面的需要，量身定制個人操作平臺為創作、制作及演出服務。所以一個交互多聲道實時處理平臺在應用上必須具有適用于多個情況的廣泛性特征。

為具有廣泛的平臺特征交互多聲道實時處理平臺的各組件應具有模塊化的特點。模塊化程序能有效地解決由于程序的過度復雜而產生平臺構建上的混亂。各模塊的明確作用能使平臺搭建的思路脈絡清晰，對于初學者或非專業編程人員使用已有的專業機構編寫的模塊搭建個人操作平臺可以有效避免編程上的邏輯漏洞，對于較為熟悉編程平臺的編寫者搭建自己的各個模塊可以更好地適應自身的需求，加強整合的效率。

可見相較于交互式多聲道實時處理平臺其他三項特性而言，平臺性是建立在前三者基礎之上較高一層的特征屬性，將具有前三者能力的各個環節的程序優化整合至一個總體之中，發揮各個環節功用的過程即為平臺構建過程。構建一個能被廣泛應用的平臺是程序設計者的最高目標。

［1］［美］Josbia Noble.Programming：Interactivity，2006：25-32.

［2］周小東.錄音工程師手冊［M］.北京：中國廣播電視出版社，2003：167-216.