基于TouchDesigner的互動裝置藝術應用研究

朱洪萱 韓帆

摘要：傳播體驗的逐步升級讓大眾對媒體藝術的審美水平顯著提高。TouchDesigner（視覺設計工具）的出現迎合了目前大眾市場的需求，它的高互通性、高集成性等優勢讓其成為目前最受歡迎的多媒體藝術編程創作工具之一。運用TouchDesigner生成互動裝置，給予了互動裝置藝術更多的創新形式與發展空間，有利于傳播新型交互式編程技術，讓我國在數字媒體與交互式編程設計領域的國際競爭力得到顯著提升。本文通過分析TouchDesigner生成的互動裝置案例，探討互動技術的進步為裝置藝術帶來的影響與意義。

關鍵詞：TouchDesigner;互動裝置藝術;創新應用

中圖分類號：G206 文獻標識碼：A 文章編號：1004-9436（2021）15-000-02

互動裝置藝術在數字媒體藝術范疇內，順應了現代數字媒體藝術的發展趨勢。早期的裝置藝術在空間、材料、體驗感、受眾群體、創作者等多方面受限，而將互動性融入裝置藝術中，在拉近觀眾與作品距離的同時，也讓作品本身在藝術與情感的表達上發揮得淋漓盡致，藝術從原來的單向信息傳遞轉變為觀眾與藝術家之間的雙向信息傳遞。互動裝置藝術的出現，突破了傳統藝術的靜態美學，觀眾可以親身體驗與觸摸作品，無論是從視覺上、體感上，還是情感上，都為人們帶來了全新的體驗[1]。而科技的疾速發展和大眾審美水平的大幅提高，使互動裝置藝術的實現方式成為我們需要探討的重要話題。

1 互動裝置藝術與TouchDesigner（視覺設計工具）

互動裝置藝術是跨界融合多媒體等現代技術的藝術表現形式，突破了傳統藝術的單一形式，結合生物學、光學、物理學、聲學、心理學、信息傳播學、美學等多門學科，并涵蓋計算機編程和動畫制作等[2]。同時為加強作品與觀者的互動，還涉及一些感應系統和輸出設備等。其中相關硬件設備及數字媒介材料不僅是創作的媒介材料，也是創作和傳播的工具。通過數字媒介和數字技術的介入，互動裝置藝術的交互性更強，其呈現方式也更多樣化。

TouchDesigner的誕生為互動裝置藝術提供了更加高效、便利的創作平臺，它是由加拿大Derivative（衍生物）公司在2001年開始打造的一款節點式可視化創作軟件。不同于傳統的復雜編程工具，TouchDesigner提供了一種利用可視化節點作為制作手段的全新創作方式，用戶通過COMP（Components，容器元件）、TOP（Texture Operators，圖像元件）、CHOP（Channel Operators，通道元件）、SOP（Surface Operators，形狀元件）、DAT（Data Operators，文本元件）、MAT（Material Operators，材質元件）六種基本功能元件進行創作。整個編程過程中，軟件將代碼的結構和函數變成無數個模塊，通過連線的方式任意拖動控制器組合動作就能達到理想的創作效果[3]。創作者和設計師們無須擔心底層的編程開發，可以把更多的精力投入將不同的媒介裝置整合起來創造更有想象力的跨領域新媒體作品中。

2 TouchDesigner生成的互動裝置藝術

2.1 TouchDesigner技術分析模型

2.1.1 特點

作為計算機生成藝術的實現工具，TouchDesigner的隨機性是其最主要的特點之一，相同的程序并不能出現同樣的效果，觀眾包括作者都無法預測作品的最終效果，這賦予了創作本身無盡的可能。除此之外，TouchDesigner的高互通性、高集成性、實時性、數據可視化等特點讓越來越多的藝術家和設計師摒棄傳統的制式化制作工具，轉而利用TouchDesigner制作藝術作品、商業項目等。

2.1.2 功能

利用Python（計算機編程語言）作為內嵌編程語言，與AI（Artificial Intelligence，人工智能）的結合讓人們對TouchDesigner創作的當下最熱門的人工智能有了更多的想象。TouchDesigner的實時控制界面功能讓它可運用在各個大型的商業項目和展演現場，行業內高級別的穩定性讓它被各個世界知名工作室和團隊采用。TouchDesigner軟件的內置包括Kinect TOP（3D體感攝影機圖像元件）、Kinect Azure TOP（空間計算開發人員工具包圖像元件）、RealSense TOP（實感計算圖像元件）等硬件讀取元件，這讓它能夠與各種傳感器設備相結合，達到人機交互的效果。除了直接讀取外設數據進行通信外，豐富的協議接口也是讓TouchDesigner變得無所不能的一個重要原因，它可以根據不同硬件設施、超文本傳輸協議、全球廣域網系統以及軟件匹配操作選項，集成各種環境。

2.1.3 應用領域

面對目前變化多端的市場環境，TouchDesigner敏捷的部署及架構方式讓它擁有極強的適應能力，特別是在數據處理上能夠滿足現代數字媒體藝術作品種類繁多的需求，越來越多的設計師及藝術家運用TouchDesigner完成自己的項目，在交互式媒體系統、建筑投影、現場視覺及音樂表演、虛擬現實、機械硬件控制等多個領域都能看見它的身影。

2.1.4 感知體驗

應用TouchDesigner創作互動裝置藝術，在聽覺、視覺、味覺、觸覺、嗅覺五個方面充分調動觀眾獲取信息的感知體驗，觀眾與作品之間的互動達到了最佳效果，充分展現了觀眾與作者之間的雙向信息傳遞與交流。

TouchDesigner技術分析模型見下表，它分析與研究了TouchDesigner的特點與功能，以及目前市場上利用此軟件實現的專業領域，為利用TouchDesigner設計藝術作品提供參考。

2.2 應用TouchDesigner生成互動裝置藝術的優勢與意義

互動裝置分為建立數據庫、信號采集、信號處理、成像處理以及其他輔助設備，而信號處理是互動裝置設計中的關鍵節點，作品信號的輸出、輸入以及轉換都需要編程來實現，編程軟件是實現互動裝置作品的必要手段[4]。相較于運用AS3（ActionScript 3.0，面向對象編程語言）、C++（計算機編程語言）、Processing（圖形設計語言）等編程語言創作互動裝置藝術，TouchDesigner的可視化編程環境讓設計師們無須傳統的文本式代碼，高集成化的元件讓編程零基礎的用戶都能夠輕松使用[5]，在搭建好的初始模塊上延展出豐富的視覺創意效果。無論是實驗室級別的Arduino（開源電子原型平臺）、Kinect（3D體感攝影機）、Leap Motion（體感控制器），還是專業級別的舞臺燈光、雷達追蹤、人體捕捉系統，TouchDesigner強大的數據接口都能和它們無縫對接。清晰的界面、便捷的操作以及強大的API（Application Programming Interface，應用程序編程接口）接口讓TouchDesigner促使新媒體藝術工作者創作更多優秀的互動裝置藝術作品。

3 TouchDesigner互動裝置藝術的創新應用

3.1 TouchDesigner在互動燈光裝置中的創新應用

隨著經濟實力與文化建設的飛速進步，人們對于藝術的審美體驗要求不斷提升，互動燈光裝置藝術在這樣的背景下走進大眾視野。互動燈光裝置藝術利用光的語言進行創作，與基于純視覺感受的傳統藝術形式不同，互動燈光裝置藝術以新型交互技術為媒介，利用聲、光、電等元素給予觀者視覺與聽覺的雙重感知體驗[6]，讓作品與觀者間產生情感共鳴，增強大眾參與性，同時賦予藝術作品更高的社會價值。

WhiteVoid（白色空隙）是一家來自柏林的著名互動燈光雕塑設計工作室，其Kinetic lighting（動態照明）項目遍及全世界，是使用TouchDesigner的先驅團隊。同時其交互裝置與產品被廣泛運用于博物館、展覽會、展銷會及音樂會中。《SKALAR（斯克拉）》是由WhiteVoid（白色空隙）工作室的創作者Christopher Bauder（克里斯托弗·波特）和Kangding Ray（康定·雷）結合TouchDesigner制作設計的大型聲視互動燈光裝置，探索了聲音和光線對人類情緒的影響。Kraftwerk Berlin（柏林電廠）的漆黑工業空間內，大量動力鏡面裝置運用TouchDesigner進行現場實時控制，通過對光的折射形成了絢麗奪目的迷人光線，結合多維聲音的試聽敘述，呈現出移動的燈光和復雜的多聲道音響系統。TouchDesigner的高穩定性讓它可以在現場對燈光、聲效進行實時控制，當觀眾身處裝置中，在視覺、聽覺與觸覺的多重感官刺激下激發多樣的情緒，觀眾在融入作品的同時也能夠賦予作品本身更深層次的含義。

3.2 TouchDesigner在互動影像裝置中的創新應用

相較于傳統影像裝置，互動性是互動影像裝置區別于兩者的一大特點。將互動性融入影像裝置藝術，不僅完善了傳統影像裝置技術層面的缺陷，也在一定程度上改變了觀者與作品間的交流與表達方式[7]，觀者在欣賞作品的同時與作品互動，從而在情感上加深對藝術作品的認同。互動影像裝置在創作過程中需要運用特定的傳感器來進行信息采集，并及時傳輸到對應設備。通過現有的電腦語言鏈接程序來判斷傳感器傳輸的電信號，并完成數據的處理，接著用指令的形式將其傳輸到播放現實終端，實時反饋特定的影像或圖像[8]。而TouchDesigner的高互通性為互動影像裝置的創作提供了更多的便利與藝術可能性，其出色的硬件交互性能讓其區別于其他類似的交互軟件，在創作互動影像裝置時可以直接利用TouchDesigner與傳感器相連接，并在TouchDesigner平臺編寫程序完成數據處理，從而反饋影像畫面。同時，可視化的節點式創作形式讓更多在編程方面零基礎的藝術家及設計師依然可以運用TouchDesigner設計出令人驚艷的互動影像裝置作品。

VolvoxLabs（團藻實驗室）設計團隊來自紐約，他們為微軟藝術長廊影劇院設計制作的互動屏幕墻就是由TouchDesigner生成，設計者在墻上安裝好可以移動的木板，并在木板后面固定攝像頭與燈光裝置，通過TouchDesigner進行相應的數據處理，并結合攝像頭實時捕捉人物動態，從而控制燈光的明暗與走向，每個觀眾通過自身運動的形態對屏幕上的影像進行控制，從而創造出獨特的感官體驗。

3.3 TouchDesigner在互動視聽裝置中的創新應用

互動視聽裝置是將聲音與畫面相結合，通過人機互動而產生的藝術表現形式。聲音是現代社會的重要媒介傳播方式，是增強人們感知體驗的重要部分。互動藝術作品在有形或無形的裝置空間實體內，與聲音碰撞產生特定的藝術形態[9]。在設計互動視聽裝置作品時，作品與觀者互動時產生的生理、心理及精神感受是創作的重要組成部分，通過聽覺和視覺的雙重感官刺激，能夠引導觀者更為充分地理解作品的深意和內涵，讓作品與觀者達到強烈的情感共鳴。

鄒麓陽的互動視聽裝置《聲子記憶》由TouchDesigner生成，體驗者進入一個密閉空間，整個空間通過投影裝置將視覺畫面投射到空間中的每個平面上，運用幾何形體將畫面營造出一種無邊界感，通過沉浸式視覺畫面以及音頻與觀眾互動，挑戰實際空間和感知空間的邊界，從而開放一個虛擬的記憶時間。作品只有在人的參與之下才會生成它獨特的意義，“聲子”是最小的聲粒子，而“聲子記憶”則是歌頌沉靜與緩慢的一個視聽景觀。相較于一滑動就會被忘記的具有消耗性的視聽信息，《聲子記憶》互動視聽裝置是通過參與者用自己的方式去體驗與感受這個環境。

4 結語

TouchDesigner的應用迎合了互動裝置藝術的傳播需求，在TouchDesigner平臺的支持下，互動裝置藝術的展示效果及互動體驗都得到了提高。TouchDesigner強大的功能需要被更多的設計師及藝術家熟知并掌握，它將作為未來使藝術和技術實現跨界融合的紐帶之一，引領藝術和各學科交叉發展新趨勢，并適用于其他新媒體領域，產生更高的社會價值。如今，TouchDesigner已經開發到了第三代產品，眾多的新媒體團隊和藝術工作者在國際舞臺上創作出了不計其數的經典作品。隨著國內技術社區、論壇以及各類相關活動的興起，TouchDesigner的國內用戶量呈爆發式增長，其強大的生命力和廣闊的發展前景為國家的經濟、文化建設提供了強有力的支持，未來TouchDesigner將會為我國的新媒體領域創造更多的可能性。

參考文獻：

[1] 孫藝桐，史立新.裝置藝術創作中的交互體驗設計應用研究[J].藝術教育，2020（02）：215-218.

[2] 達妮莎，鄭海期.眼動技術在互動裝置藝術中的應用[J].藝術與設計（理論），2020，2（08）：108-110.

[3] 蘇鏡如. TouchDesigner在新媒體藝術中的運用[J].新媒體研究，2020，6（14）：9-10.

[4] 劉桂華，張梅芳，王盈舒.多媒體互動裝置作品特征及其影響分析——以米蘭世博會日本館《DIVERSITY》為例[J].設計，2018（22）：130-132.

[5] 郭開鶴.計算機生成藝術在圖形世界中的意義[J].美術觀察，2012（12）：124-129.

[6] 張澤方.試論可視化編程在數字媒體藝術中的運用——以TouchDesigner為例[J].時代報告，2019（06）：140-141.

[7] 方芳.互動裝置藝術在數字展示中的特性研究[J].美術大觀，2017（07）：136-137.

[8] 亓國梁.新媒體語境下互動影像裝置的藝術特征與類型辨析[J].視聽，2019（12）：82-83.

[9] 陳思洋.淺析在互動裝置藝術中聲音裝置交互的情感體驗[J].西部皮革，2019，41（12）：155-156.

作者簡介：朱洪萱（1998—），女，江蘇鹽城人，碩士在讀，研究方向：數字媒體藝術。

韓帆（1962—），女，江蘇南京人，博士，教授，系本文通訊作者，研究方向：計算機圖形學。