基于多模態感官理論的交互式數字藝術研究

徐潔漪 席濤

摘要：以研究交互式數字藝術在多模態感官理論指引下的創作手段及未來發展趨勢為目的。本文通過對目前交互式數字藝術的技術發展及藝術表現特征進行分析，從多模態感官理論的視覺，聽覺，觸覺，嗅覺，味覺以及交互手段出發，研究和探索如何構建多感官的交互式數字影像。對創作過程進行多感官互動分析，從感官融合，虛擬環境構建及媒介呈現方面總結多模態感官構建交互式數字藝術的方式方法，對未來數字藝術的發展提出新的展望。

關鍵詞：交互式數字藝術，多模態，用戶體驗，虛擬現實

中圖分類號：TB472 文獻標識碼：A

文章編碼：1672-7053（2018）03-0097-03

1 交互式數字藝術的發展與演變

1.1 傳統藝術邁向數字藝術

21世紀，隨科學技術的進步，藝術與科技的結合誕生了許多例如圖像處理，多媒體交互以及增強現實等新的數字媒體表現形式，使得數字藝術的發展不再局限于單一傳統媒介。麥克盧漢的《理解媒介》中提到，傳統的藝術形式借助文字印刷媒體實現，其特征為視覺的，順序的。而數字時代，藝術更多的依附和創作于電子媒介，圖像除了繼承符號形態以外更講求功能以及知覺的再概念化，由此產生的數字藝術相比傳統方式更具有信息反饋，實時互動，多感官融合的特點。

1.2 交互式數字藝術時代特征

信息時代，數字媒介本身便具有交互性的特點，依附于此衍生而來的交互數字藝術便在此基礎上得以發展。相較于傳統數字藝術單一的信息呈現和傳遞方式，受眾僅能通過觀看收聽的方式以被動的姿態接受信息，因此可以說傳統的藝術形式是受眾進行被動性的抗爭，而交互式數字藝術則是通過受眾主動參與信息的解讀與認知尋求被動與主動之間的平衡。

由于交互式數字藝術信息結構的不確定性，信息原本所呈現的形態結構將因受眾不同的交互方式而改變。在交互的過程中，受眾將超越信息本身設定的意義，賦予其新的含義，創造更多的想象空間。另外，在這樣一個不確定、無意識的交互環境中，通過交互行為，受眾與受眾、受眾與空間、受眾與作品之間能夠形成許多不可預測的結果。受眾的角色從被動接受轉為主動，成為創作者，其交互關系原理可總結為圖1。

由圖1所示，人、媒介、作品、藝術家之間相互連接呈網絡化的結構，交互數字藝術通過交互構建虛擬現實的環境，受眾與虛擬空間進行互動和連接而產生。受眾通過與虛擬環境中的物體互動，以物體為媒介與其它受眾更甚與藝術家之間形成多向交流和溝通的關系結構。于此同時，數字藝術中的信息和隱喻所蘊合的美學、情感、認知等內在屬性也借交互行為產生，這種內在屬性使得受眾成為作品主體的同時也為作品的客體。交互數字藝術的網絡化幫助受眾在思想，情感和信息上達到共享和交流，達到物理和心理的互動。

除了交互性、網絡化的特征之外，隨著感官傳感跟蹤技術的發展，多感官融合也越來越多地被運用在交互式數字藝術創作中。交互式數字藝術通過使受眾對真實世界的體驗認知及客觀想象的圖像世界進行交換，調動受眾多種感覺，從而啟動身體觸覺和運動感官反應，達到超越時空的豐富知覺體驗。身體在虛擬數字空間中成為圖像提供者，通過身體與數字藝術的結合，能夠刺激人的感官，將數字藝術從視覺、聽覺方面延伸至嗅覺、味覺及觸覺，達到身臨其境的效果。

2 多模態感官理論的應用價值

2.1 多模態感官理論

多模態，即為多感官。外界的光線、聲音、氣味等皆作用于人的感官系統，例如當視覺受到外部刺激時，視覺神經會將刺激轉化為生物電信號，并迅速把信息傳到腦神經系統進行處理。感覺是認知活動的開端，通過感官能夠了解事物的屬性。多模態指多個感覺器官加上處理各自信號的神經系統，其包括視覺模態、聽覺模態、觸覺模態、嗅覺模態和味覺模態。人類的感官系統是一個相互作用和聯系的整體，人們利用多種感官來獲取接受信息，多感官整合便是將不同感官通道內不同的信息合并為統一，連貫的知覺的過程。因此通過多模態感官理論能夠研究感官主體與外部世界的互動關系。

多模態感官與單一模態感官不同，這意味著兩種或更多種感覺對刺激作出反應。它感覺到對各種刺激的反應。這種多感官聯合被稱為通感，通感是一種神經學現象，指一種感覺形態刺激引起另一種感覺形態，產生感官互通的現象，由達爾文的表哥F·Galton在1880年自然界的論文中首次被記錄。

2.2 應用內涵

從傳播學理論出發，接受信息時調動的感官越多，心理對事物的形象就更趨向于真實，感官體驗達到最大化的同時傳播效用也在不斷增強。因此在交互式數字媒體中，利用多模態感官理論具有三層內涵：一是通過多感官整合，調動受眾的感官機能，使信息接收過程更為主動、有趣、直觀；二是將數字藝術從單一的視覺傳播信息得以延伸，利用人類感官的生理及心理特點，從認知角度拓寬藝術表現形式；三是探索多感官聯合對數字藝術在信息表達上的影響，更好地評估信息傳達的有效性及受眾的內外在體驗。

2.3 應用價值

多模態感官實驗表明，模型可以將聲音作為聯想圖像進行相同或相似的圖像，提出了在一個連貫的框架內組合聲音和運動圖像的邏輯方法。例如，在視覺上，不同的顏色賦予不同感覺：紅色橙色黃色等暖色給人明亮溫暖的感受，藍色白色則給人寒冷暗淡的感受；同樣不同的旋律和聲音可以使一個人產生不同的感覺。因此在許多藝術作品和音樂作品中，藝術家和觀眾之間的交流是通過視覺和聽覺來形成的。然而，媒體藝術，通過為觀眾提供超越視覺和聽覺感覺界限的各種感官元素，使他們有各種各樣的體驗。在眾多作品中，配備了尖端的技術，模擬觀眾的視覺、聽覺、嗅覺等，吸引觀眾。除了傳統的視聽，研究實驗表明，在數字藝術中加入光、風、震動等均能加強受眾的感官體驗，這為媒體藝術創作提供了更多可用元素。

3 數字藝術中的多模態感官互動研究

3.1 行為活動分析