一種新媒體藝術體驗展的沉浸式設計模式

葛鑫

摘要：為得到一種新媒體藝術體驗展的沉浸式設計模式。從沉浸式設計角度出發(fā)，并結合新媒體藝術理論與傳播學理論，分析新媒體藝術體驗展的沉浸式設計元素，以及設計元素間的關系。得到一種新媒體藝術體驗展的沉浸式設計模式。并在teamLab團隊的代表性作品中找到對應的應用。將此模式運用在展館的沉浸式設計中可以使新媒體藝術體驗展具備完整且優(yōu)質的沉浸體驗。

關鍵詞：沉浸?;新媒體藝術;?體驗展;?交互裝置;?teamLab

中圖分類號：TP37

文獻標識碼：A

文章編號：1003-0069（2020）08-0042-03

引言

早在2001年日本，一位剛從大學畢業(yè)的年輕人——豬子壽之與幾位好友創(chuàng)辦了teamLab，這位理工男抱有十分浪漫的想法：用技術創(chuàng)造一個可以浸入式體驗的藝術世界。“今天的teamLab是一個匯集了信息社會各個領域專業(yè)人士的跨學界創(chuàng)意團隊。包括：藝術家，程序員，工程師，CG動畫師，數(shù)學家，建筑師，網(wǎng)頁和圖形設計與編輯師。致力於實現(xiàn)藝術，科學，技術和創(chuàng)新之間的平衡”。”teamlab的新媒體藝術作品將科技作為藝術載體，卻與藝術水乳交融，科技與藝術都突破各自的壁壘并釋放更大的創(chuàng)新空間和感染力量。本文提出一種新媒體藝術體驗展的沉浸式設計模式，并以teamLab作品為例從主題、感官與時空三方面探究這種模式中的結構關系和具體實現(xiàn)方式。

一、一種新媒體藝術體驗展的沉浸式設計模式

“新媒體藝術的本質是一種沉浸式體驗藝術或交互媒體藝術，觀眾能夠通過視、聽、觸、嗅等感覺，與數(shù)字化藝術作品實現(xiàn)即時交互，并由此達到全身心地融入、體驗、沉浸和情感交流的藝術形式21。”2019年在東京展出的“teamLab Borderless新媒體藝術展通過環(huán)境體驗和‘多通道交互的模式，使觀眾全身心地參與融入到作品的意境之中，把沉浸式體驗發(fā)揮到了極致31。”參展觀眾深深感受到沉浸體驗是新媒體藝術體驗展的藝術本質。新媒體藝術借由沉浸式設計解放藝術表現(xiàn)形式;模糊真實與虛擬的邊界，給予觀眾身臨其境的藝術體驗。好比電影借助數(shù)字3D技術呈現(xiàn)，3D畫面突破銀幕2D空間束縛使電影更接近電影本身的藝術形態(tài)特征，營造更真實的影像空間使觀眾沉浸其中。新媒體藝術體驗展借助數(shù)字技術，通過交互裝置使人與藝術、人與人、人與空間產生互動并融合;營造能產生身臨其境幻覺的藝術空間，使觀眾進入沉浸狀態(tài)。

新媒體藝術之父羅伊.阿斯科特（Roy?Ascott）曾指出，“新媒體藝術最鮮明的特質為連結性與互動性。其創(chuàng)作過程需要經過連結、融入、互動、轉化、出現(xiàn)五個階段31。”新媒體藝術不指代全新的媒體，而是在原有媒體基礎上進行整合與創(chuàng)新，借助數(shù)字技術呈現(xiàn)給人們。其呈現(xiàn)過程參考媒體的傳播學理論，即傳播學中一個基本的傳播過程包括傳播者、受傳者、訊息、媒介和反饋五個要素[4]，這五個要素綜合作用有效完成新媒體藝術中的信息傳播。

在虛擬藝術中，沉浸是人與圖像無限接近的狀態(tài)[5]，也是達到全神貫注的心流心理狀態(tài)[6]。在沉浸狀態(tài)下觀眾被虛擬幻像包裹，可走近虛擬裝置也可以與虛擬元素互動;于此同時觀眾時刻保持專注并將個人情感遷移至虛擬空間，在人與虛擬空間的交融中獲取信息。沉浸體驗主要有感官體驗和交互體驗。感官體驗主要指基于視覺、聽覺、嗅覺、味覺和觸覺等的感知體驗，交互體驗主要指基于觀眾與作品交互、觀眾與觀眾交互等的互動體驗[7]。本文將從沉浸式設計角度理解傳播學理論并進行一種新的解讀，得出一種新媒體藝術體驗展的沉浸式設計模式。

（一）時空-轉化-傳播者：在由計算機控制的數(shù)字互動裝置中，新媒體藝術家的思想通過編程進入計算機操作系統(tǒng)內，再借助互動裝置呈現(xiàn)于藝術空間。新媒體藝術家的設計思想和表達作為信息向參展觀眾傳輸，同時與參展觀眾交流的對象是數(shù)字媒體系統(tǒng)和它搭建的交互空間。在這個交互空間內以人作為傳播者的概念消失了，被數(shù)字媒體系統(tǒng)搭建的交互空間取代。人與藝術、人與人、人與空間的關系在這個時空內被模糊、重塑和轉化。在參展觀眾參與體驗體驗的全過程和由數(shù)字技術構成的空間成為時空要素在與觀眾產生交互的過程中為觀眾帶來沉浸體驗。

（二）體驗者-融入-受傳者：新媒體藝術體驗展重新定義了觀眾和藝術的關系，引導觀眾置身藝術空間。沉浸體驗作為新媒體藝術的迷人本質源源不斷地為觀眾帶來多樣的啟發(fā)與思考。在用戶體驗設計中，用戶體驗是指用戶使用產品或者享用服務的過程中建立起來的心理感受，以可用性和“以用戶為中心的設計”為基礎。參展觀眾作為新媒體藝術體驗展的服務中心接收藝術空間的信息并積極融入人與藝術、人與人、人與空間的體驗中，同時新媒體藝術體驗展面對參與其中的個人或群體，不再是傳統(tǒng)展覽所面向的觀眾群體，在新媒體藝術體驗展中他們向具有超越視覺的全感官體驗的體驗者轉變。

（三）主題-出現(xiàn)-訊息：teamLab新媒體藝術體驗展為呈現(xiàn)新媒體藝術的無窮魅力，將人與自然、人與環(huán)境、人與人、人與世界的關系主體融入數(shù)字裝置承載的藝術空間內，讓觀眾在與數(shù)字裝置的互動體驗中理解藝術作品的主題和藝術表達，在引人入勝的同時又發(fā)人深省。每一個新媒體藝術的主題都是新媒體藝術體驗展的靈魂和能量，在每一位體驗者心中留下深深的印跡，也在對主題孜孜不倦的詮釋與表達中關懷每個生命個體。

（四）感官-連接-媒介：teamLab新媒體藝術體驗展整合利用當代最新的數(shù)字媒體技術，包括：CG動畫、數(shù)位科技、人工智能等為觀賞者帶來視覺聽覺上的沖擊。用數(shù)字技術超越媒體表達的極限，通過感官刺激拉近作品與觀賞者的距離。teamLab采用的互動裝置作為一種數(shù)字媒體系統(tǒng)通過受計算機控制的數(shù)字媒體系統(tǒng)實現(xiàn)訊息傳播。新媒體藝術體驗展中的數(shù)字媒體系統(tǒng)以多媒體形式呈現(xiàn)，是一種熱媒介，它可以包含豐富的信息內容[8]。這種綜合媒介刺激觀眾感官，讓觀賞者可以在更大的媒體空間內體驗作品，擴張技術美與藝術美的邊界。

（五）交互-互動-反饋：teamlab新媒體藝術體驗展的藝術體驗基于觀眾與作品交互、觀眾與觀眾交互等的互動體驗，通過交互設計和數(shù)字裝置實現(xiàn)具有強沉浸感的交互式藝術。新媒體藝術體驗展作為一種交互式藝術向觀眾展示內容的同時，觀眾的行為也可以反饋回互動裝置改變藝術效果。在計算機控制的數(shù)字媒體系統(tǒng)中，信息在計算機生成的圖形化界面上展示，體驗者接收這些信息并給反饋，以此實現(xiàn)一個完整的交互過程。在《交互設計——超越人機交互》一書中提到交互設計以用戶為中心的性質[9]，因此作為觀賞者即是反饋的核心也是交互式藝術的設計核心。

根據(jù)以。上分析，本文提出一種新媒體藝術體驗展的沉浸式設計模式，如圖1。提取出一種三角結構，主題、感官與時空分別位于三個頂點，三者間具有相互作用、相互促進的關系：主題內容刺激體驗者感官;感官刺激擅長表現(xiàn)主題;感官刺激需要以時空作為載體;時空能夠增強刺激體驗者的感官;時空變化推動主題向前發(fā)展并升華主題;主題依托時空的承載而存在。體驗者位于結構中心，分別與主題、感官、時空交互。下面以teamLab作品為例，分別從主題、感官、時空分別探究這種沉浸式設計模式的結構關系和具體實現(xiàn)方式。

二、共鳴：體驗者與主題的交互

主題是在體驗者與新媒體藝術裝置互動的過程中在心中轉化并產生的，新媒體藝術體驗展的主題在每一位體驗者的心中有不同的轉化和理解，因而有千千萬萬個主題。在新媒體藝術體驗展的主題創(chuàng)作中，其表現(xiàn)形式同眾多藝術形式一樣遵循主次分明原則。本文將新媒體藝術體驗展主題中的主客體別對應為主體和環(huán)境，在兩者的共同作用下展現(xiàn)新媒體藝術主題。圖2是teamLab新媒體藝術展中中體驗者與主題交互的代表作品。

（一）主體：參展觀眾在新媒體藝術展館內觀賞并與互動裝置交互的過程中，參展觀眾一邊是體驗者的角色，一邊也在交互中融入新媒體藝術并成為新媒體藝術的一部分，同時因作為新媒體藝術體驗的核心而成為主體。例如網(wǎng)紅的《無窮無盡的水晶宇宙（The?Infinite?Crystal Universe）》。在這件作品中光點裝置由數(shù)字控制，裝置內的光線會變化且會根據(jù)體驗者與作品的互動而改變，在體驗者周圍形成一件表現(xiàn)宇宙的雕塑[1]。體驗者在觀賞時移動身體會影響光點變化，進而改變“宇宙”的形態(tài)與色彩。此時體驗者已不再單純地觀賞藝術作品，其自身已經化做新媒體藝術的一部分。身處其中的體驗者與互動裝置一起控制主題轉化與表現(xiàn)，體驗者此時作為主體存在。

主體有時是投影下的畫面，有時是可交互的互動裝置。為始終捕獲參展觀眾的注意力，它們在新媒體藝術的沉浸體驗過程中一直處于視覺與聽覺的中心，身上也肩負著新媒體藝術主題的轉化與表達。例如《綻放在茶碗里那無限宇宙中的花朵（Flowers?Bloominan Infinite?Universeins?idea?Teacup）》。這是一個點茶后，會從茶碗之中綻放出繁花的作品。花朵會在我們眼前經歷誕生、生長、結出花蕾、開花再到不久后的凋謝、枯萎、死亡。花朵的存在與茶碗中的水里，當水喝完，花朵也就消失了”。花朵顯現(xiàn)在茶碗中后，體驗者的注意力轉移到茶面的彩色花朵上，觀賞其在手中綻放、凋謝。此時花朵作為背投影下的畫面成為該作品主題的主體，同時傳達一種“物哀”的思想。

（二）環(huán)境：環(huán)境的概念在新媒體藝術體驗展中能囊括展館內除主體外的一切事物。環(huán)境有時是展館內的互動裝置。當參展觀眾作為主體和體驗中心時，與互動裝置交互成為沉浸體驗中的接觸點，連接新媒體藝術中的主體與環(huán)境。例如《被追逐的八咫鳥，追逐同時亦被追逐的八咫鳥，交匯創(chuàng)造出生命-16條交匯的光線中的1只八咫鳥（Crowsare Chased?and the?Chasing?Crowsare Destined?to be Chasedaswell，Lifeon?Collision-1 Crowwhere?16 Light?Rays?Cross）》。這件作品用16條光線交叉繪制的八咫鳥在這個空間中立體地飛翔盤旋。八咫鳥們相互追逐并且被追逐著。八咫鳥同時具備追逐著雨被追逐著兩重身份"。用光雕刻的八咫鳥是主體，場館內燈光裝置搭建的空間便是主體外的環(huán)境部分。

在開放露天的展館環(huán)境中，自然環(huán)境作為新媒體藝術體驗展中的環(huán)境存在，在與參展觀眾互動的過程中連接人與自然，傳達和諧共生的主題。例如《生命是連續(xù)不斷的光芒一杜鵑花谷（Lifeis Continuous?Light-Azalea?Valley）》。這件作品中，每簇花上的光在遇到觀賞者接近通過時，光芒的顏色會產生變化并且發(fā)出特別的音色。而且該花簇的光芒會放射式地傳播到附近的杜鵑花上，不斷蔓延開來”。體驗者漫步在花叢間，體驗人與自然環(huán)境的和諧共存關系。此時杜鵑花從以及開放的自然空間作為藝術空間的環(huán)境。

在需要多人共同參與、共同體驗的互動展館內，參展個體不再孤立的存在于新媒體藝術空間內，而是與同時存在的多個參展個體間取得聯(lián)系，從而形成一個沉浸體驗的環(huán)境。此時參展個體與其他一起在展館參觀的體驗者共同成為新媒體藝術環(huán)境的制造者或者新沉浸體驗環(huán)境本身。例如《涂鴉自然——山脈與山谷（Graffit?iNature-Mountains?and Valleys）》，體驗者們共同參與創(chuàng)造作品中的自然世界，用手中的畫筆繪出豐富多彩的有趣生物，這些生物一定會出現(xiàn)在空間內的某處”。整個自然生態(tài)環(huán)境來自于參展的每一位體驗者。對于其中一位體驗者而言，其他參與共同創(chuàng)作環(huán)境的體驗者成為沉浸體驗環(huán)境本身，也構成了完整的新媒體藝術空間環(huán)境。

三、感知：體驗者與感官刺激的交互

視知覺在人體“五感”中占比重最大，因此光線與色彩是首當其沖在新媒體藝術感官刺激的交互設計中要考慮的刺激因素，其次是聲音。現(xiàn)代科技下數(shù)字媒體系統(tǒng)能夠高保真的還原接近真實的試聽感受，帶給觀眾亦真亦幻的試聽體驗。視覺與聽覺兩種感官刺激常常一起出現(xiàn)為觀眾營造臨場感，而在新媒體藝術體驗展的藝術空間內更強調多感官刺激對沉浸感的營造作用，除了視覺與聽覺同樣強調觸覺、味覺與嗅覺的刺激作用。體驗者接收越多維的感官刺激就能獲得越理想的沉浸體驗[10]。圖3是teamLab中體驗者與感官刺激交互的代表作品。

（一）視覺與聽覺：teamLab新媒體藝術體驗展隨處可見視覺與聽覺刺激被應用于互動裝置，并在與體驗者的交互中衍生出無窮的變化效果，帶給觀眾無盡的沉浸體驗。例如《呼應的無重力生命森林一被平面化的3種顏色與曖昧的9種色彩（Weightless?Forest?of?Resonating?Life-Flattening?3 Colors?and 9 Blurred?Colors）》。這件作品的空間里充滿了發(fā)光的蛋狀體。蛋狀體被拍打受到沖擊時會改變顏色并發(fā)出聲音，人們通過這個集合體所認知到的空間在立體與平面之間反復變化。身體逐漸沉浸進去。[1]蛋狀體顏色的變化刺激視覺，連動的聲音刺激聽覺，兩種感官刺激一對應，相輔相成，實現(xiàn)對體驗者的綜合刺激，吸引體驗者一步步進入沉浸狀態(tài)。

（二）觸覺：體驗者與互動裝置的交互有時會產生觸覺感受。teamLab新媒體藝術體驗展有效利用了觸覺刺激，在提升新媒體藝術趣味性同時也給體驗者帶來深入的沉浸體驗。例如《柔軟的黑洞一你的身體變成影響另一個身體的空間（Soft?Black?Hole-Your?Body?Becomesa?Space?that?Influences?Another?Body）》。進入這件作品的體驗者想要邁步向前走時，雙腳就會往下沉陷。空間本身會受到人的體重影響而不斷變化。人們彼此在空間中走動，各自受到對方的影響。你的身體會改變空間，同時，空間也會改變他人的身體[1]。因此體驗者需要思考每一步會對環(huán)境產生影響，同時環(huán)境也影響體驗者的每一步動作。體驗者的軀體與環(huán)境直接接觸的觸覺刺激使體驗者沉浸于觸覺的體驗感受并融入新媒體藝術環(huán)境，實現(xiàn)人與人、人與環(huán)境的交互。體驗者獲得觸覺刺激同時對虛擬環(huán)境有了真切的體驗。

（三）味覺與嗅覺：味覺與嗅覺刺激在teamLab新媒體藝術體驗展中的應用多以食物的方式來呈現(xiàn)，食物成為互動裝置的一部分在與體驗者交互的過程中發(fā)生更豐富的感官刺激，為體驗者帶來完整的沉浸體驗。例如《釋放后又重新連接的世界（Worlds?Unleashed?and then?Connecting）》。當在桌子上放置器皿和料理時，被封閉在器皿和料理內的世界會得到釋放，慢慢延伸到桌子和桌子以外的整個空間里。當從料理與器皿中釋放出來的世界彼此相連時，就會在整體空間里建構出一個全新的世界"。體驗者一邊觀看桌面上延展的動態(tài)畫面，一邊細細品嘗美味料理，在品嘗中獲得味覺與嗅覺刺激的同時也在與和美食相連的互動裝置交互，產生豐富的感官刺激，并沉浸其中。

四、浸入：體驗者與時空的交互

體驗者身處與外界隔絕的展館內，意味著與真實的時空隔絕而進入一個由數(shù)字媒體系統(tǒng)構建的虛擬時空。虛擬時空同真實時空一樣任由體驗者在其中移動、穿行并經歷時間流逝。本文將新媒體藝術體驗展時空中的時間與空間分別對應為時間流逝和位置移動，在兩者的共同作用下給予體驗者包羅萬象的沉浸體驗。圖4是teamlab中體驗者與時空交互的代表作品。

（一）位置移動：在teamLab新媒體藝術體驗展的藝術空間內可以分為相對的兩種運動，一種是參展的體驗者在展館內的移動;一種是體驗者固定不動，展館內的互動裝置圍繞體驗者移動。大部分的互動裝置被固定在場館中，體驗者在展館內一邊踱步穿行一邊與互動裝置交互。例如《呼應燈森林——一筆（Forest?of?Resonating?Lamps-One?Stroke）》。當體驗者靜止站在展館內的燈附近時，接近體驗者的燈會感應到并發(fā)出聲音和光芒。聲音和光芒會傳播到其附近稍遠的燈上，具有與其一樣的聲音和光芒。在聲音和光芒的傳播中，體驗者產生延伸的體驗”。在這個作品中，燈作為互動裝置固定在空中，體驗者在呼應燈森林中游走并使燈發(fā)生感應，繼而產生連動效果。體驗者通過自身的位置移動沉浸在動態(tài)變化虛擬空間中。

也有與互動裝置相對運動完全相反的互動裝置設計，即體驗者保持靜止，互動裝置在體驗者身邊移動并與體驗者發(fā)生交互。例如《Floating?Resonating?Lamps-One?Stroke》。展館內的燈籠沿水面流動，像呼吸一樣的明暗變化著。當一個燈在水面上搖動或者當一個人站立其旁邊時，它發(fā)光并以諧振的形式傳播顏色，光亮也從一個燈傳向另，一個燈”。在這件作品中，體驗者可以靜止站立或坐在場館中，自身位置不變任由互動裝置在身邊移動并互動，這種互動是交互裝置與體驗者基于相對位置變化的交互，體驗者在其中可以深刻感受到移動和距離帶來的時空魅力和沉浸體驗。

（二）時間流動：只有察覺到變化時，我們才能感知時間存在。時間流動對應我們肉眼能看到的變化，在從一種狀態(tài)到另一種狀態(tài)的變化中感受歲月變遷并沉浸在動態(tài)變化的時空內。例如《花之森林，迷失，沉浸與重生（Flower?Forest，Lost，Immersed?and Reborn）》。空間內花朵會隨著季節(jié)變化不斷改變生長地點。花朵會不斷重復從誕生、成長、結出花蕾、開花，到不久后凋謝、枯萎、死亡的過程”。在體驗者觀賞四季更替與花朵的生長變化中，感知時間流動。在時間的體味里發(fā)現(xiàn)生命之美感受時間之傷。

結語

本文提出的一種新媒體藝術體驗展沉浸式設計模式適用于國內已經推出的大部分新媒體藝術體驗展，以改良和提升新媒體藝術體驗展的沉浸體驗。teamlab雖然是當下炙手可熱的藝術團隊，他們的作品也在世界倍受追捧和模仿。科技與藝術不斷發(fā)展，不斷會有新的新媒體藝術作品出現(xiàn)。相信隨著萬物互聯(lián)、大數(shù)據(jù)與人工智能發(fā)展，中國也會涌現(xiàn)出許多具有開創(chuàng)性的新媒體藝術體驗展，引領世界潮流。

參考文獻

[1]teamLab.team?LabArt[EB/OL].（2019-7-12）[2019917].https：/art.teamlab.cn.

[2]李四達數(shù)字媒體藝術概論[M].北京：清華大學出版社，2016：67.

[3]任劍超淺析teamLabBorderless新媒體藝術展的沉浸式體驗與交互設計[J].新媒體研究，2019，5（17）：14-117

[4]郭慶光.傳播學概論[M].北京：人民大學出版社，2011.

[5]奧利弗格勞.虛擬藝術[M].北京：清華大學出版社，2007.

[6]米哈里齊克森米哈里（Mihaly Csikszentmihalyi）.心流：最優(yōu)心理學體驗[M].北京：中信出版社，2017.

[7]王紅，劉怡琳交互之美——teamlab新媒體藝術數(shù)字化沉浸體驗研究[J].藝術教育，2018（17）：130.

[8]馬歇爾麥克盧漢.理解媒介：論人的延伸[M].北京：商務印書館，200[J].

[9]詹妮普瑞斯（Jenny Preece）.交互設計——超越人機交互[M].北京：電子工業(yè)出版社，2003.

[10]張以哲.沉浸感：不可錯過的虛擬現(xiàn)實革命[M].北京：電子工業(yè)出版社，2017.

[1].Teamlab數(shù)字藝術展[J].裝飾，2016（07）：10.

[12]RKelty.Therealm?o fthe?senses：The?art work?of?team?Lab in Australia?and Japan[J].Art?Monthly?Australia，2016-2017：32-35.

[13]王思怡沉浸在博物館觀眾體驗中的運用及認知效果探析[J].博物院，2018（04）：121-129.

[14]楊浩婕，邱雅慧關于沉浸式傳播的虛擬現(xiàn)實藝術設計策略分析[J].設計，2017（19）：113-114.

[15]陳也喆經冬復歷春觀沉浸式小劇場甬劇《小城之春》[J].中國戲劇，2018（12）：21-22.

[16]何永軍論析視知覺原理在沉浸式互動設計中的應用[J].大眾文藝，2017（24）：90-91.

[17]周海軍新媒體的展示空間——關于當代新媒體藝術展示空間設計的思考[J].世界美術，2018（04）：57-60.

[18]王丹，李穎真實世界與其虛擬擴展邊界的探索——寫在數(shù)字化沉浸式虛擬現(xiàn)實世界之前的話[J].藝術教育，2018（02）：77-78.