“文旅融合”與“媒體融合”背景下交互藝術的創新研究*

方夢陽

(南京藝術學院 傳媒學院，江蘇 南京 210013)

交互藝術是一種由作者、觀眾間接或者直接參與創作、體驗的藝術類型。交互藝術的基本創作思維是將觀眾作為作品的組成部分，在多層次的互動行為中完成作品理念的表達，并同時反饋給作者、直接參與的觀眾或未直接參與的觀眾(基于傳統藝術作品欣賞的觀眾)，最終實現行為交互的閉環上升到觀念、思想交互的閉環。交互藝術作品一般是“基于計算機控制和各種傳感器，采集觀眾的行為、動作、熱量甚至語言、思想等各種相關數據信息，經處理后再反饋給觀眾。它在作品和觀眾間建立起一種對話機制，使每個觀眾都能在作者創造的交互環境中進行自己的體驗與感受”。[1]本研究是以“媒體融合”為創作與傳播的技術背景，以交互藝術為表現形式深度嵌入“文旅融合”這一應用大背景，探討以“文化”“旅行”“媒體融合”為核心的藝術創新。

一、國內外研究與發展趨勢

交互藝術發展時間較短，同時相關技術的革新與藝術形態的流行變化較快，因此目前關于其發展歷史、代表人物、產生的標志等研究較少。國內相關基礎研究主要有交互藝術的類型研究，如馬曉翔的《新媒體藝術透視》，郭曉寒、何雨津的《互動媒體藝術》；交互藝術相關應用研究，如楊柳依依的《Leap Motion在交互藝術中的識別、處理及應用》、張馨月的《計算機編程語言輔助下的生成設計研究》。國內相關學術網站、期刊上的討論與研究主要為具體的交互藝術家的藝術觀念和技術手段，其他如交互藝術在文化旅游中的應用研究則表現的更為具體，如某個包含交互屬性的新媒體藝術作品在當地文化旅游中應用的案例研究，這類研究在國內更為常見。如果置入“媒體融合”這一背景，有價值的研究就十分缺乏了，大部分的研究是在“文旅融合”或“媒體融合”單一背景下進行的，而這容易帶來較為狹窄的視角，如“文旅融合”方面，商凌楓認為：“投影藝術對旅游景點有三大再造功能：文化再造、功能再造和資本再造，同時提出非物質性、交互性、多維性是投影藝術三大特征語言”。[2]不過，作者在研究中忽視了投影藝術的交互性。“媒體融合”方面，戎震將“交互藝術與網絡媒體、數字博物館、計算機動畫等視作不同類型的藝術形態與平臺”[3]，卻忽視了網絡媒體、數字博物館本身必須包含交互藝術的大部分屬性，這類錯誤的源頭是對交互藝術與其他新媒體藝術的區分缺乏學理上的劃分。

國外對交互藝術研究的開展較國內更早，主要集中于交互藝術的歸屬、涵義、類型等方面。多米尼克·洛佩斯首先將交互藝術歸于數字藝術，他認為，數字藝術(Digital Art)只是“一種新的創作工具或展示手段，好比建筑師的從創意到結構圖的過程以前依靠手繪，現在用計算機就能解決了，在這個過程中計算機在這其中扮演的角色充其量也就是一個更智能化、易操作的新工具而已”[4]。如果延續這個思路，那么交互藝術就是將傳統藝術形態進行交互化設計的觀點就易于接受了，反觀近年國內的交互藝術在地方文化和旅游的應用，幾乎也都是遵循了這個邏輯，然而，Digital Art(數字藝術)不是 Digitalize Art(數字化藝術)，兩者是截然不同的概念。同理，Interactive Art交互藝術不是傳統藝術交互化后的結果，文化旅游中的交互藝術也不僅僅是將傳統文化轉化為交互式形態。交互藝術的類型模式研究方面，按照伊溫妮·羅杰斯(Yvonne Rogers)等在《交互設計：超越人機交互》中所提出的，用戶和硬軟件產品的交互可以分為四種模式：命令式、對話式、操縱式和探索式。“命令式是指用戶向系統發出指令，包括輸入文字命令,通過特定的手勢，按下特定的按鈕以發出命令。對話式是指用戶與系統的對話，語音、文本等形式在交互窗口中和系統進行交流。操縱式是指用戶通過操作對象物體，比如打開、關閉、抓拿等操作。探索式是指用戶在虛擬空間中移動，通過觀察和感知發現世界。”[5]34-39

由此我們可以發現，國外的交互藝術相關研究一般會以人機交互為核心，進行計算機與藝術相結合的跨學科研究，但在越加智能化的“媒體融合”時代，我們也許要面對這樣的交互藝術發展趨勢：交互藝術的技術基礎仍然是計算機，但在藝術的呈現上，創作者正在刻意讓觀眾忽視這一點，將關注的重心放在人與人、人與環境的交互。

二、“文旅融合”與“媒體融合”背景下的交互藝術發展

“文旅融合”的本質是將文化產業與旅游產業進行重組再融合，是新時代我國國民經濟調節、產業升級的重要規劃。兩者的融合不僅大大拓展了各自的發展空間，促進旅游產業內在文化價值的提升，更推動文化旅游產業的發展。在“文旅融合”的發展潮流中，打造和提升文化旅游品牌是其首要目標。旅游產業通過利用文化產業的文化品牌對旅游產品進行改造，以提升旅游產品的文化品位，產品類型上包括演藝、節慶、藝術展覽、影視、游戲和動漫等，其中具體呈現的交互藝術包括交互式舞臺美術設計、交互裝置藝術、交互式電影、交互式動漫和各類線上、線下電子游戲等。文旅產業如果充分發揮交互藝術的互動性和傳播優勢，去塑造和提升文化旅游品牌，就能夠增強旅游目的地的競爭力和吸引力。因此，文旅產業的融合性發展會長期驅動各類交互藝術的創作與實踐，交互藝術的形態和理念同時也會影響文旅產業中文化旅游品牌的質量。

“媒體融合”的理念最早是由美國麻省理工大學學者的伊契爾·索勒·普爾(Ithiel De Sola Pool)教授提出，“他認為數字電子技術的發展是歷史上不同形式通信融合的原因，人們對媒體整合的想象更多地集中在傳統媒體的整合上，比如電視和報紙”。[6]33-34各種媒體呈現出多功能整合的趨勢就成為了這一理念最初的研究方向。

我國當前的“媒體融合”首先是由政府做出的相關重大決策，為中國的傳統媒體和互聯網發展指明了方向。其目的是進一步打破媒體間的界限，以現代數字媒體為核心，以5G等高速互聯網通信為橋梁，構造一個面向未來的數字化生存環境。由此看出，我國“媒體融合”不僅僅是對媒體產業方面的考慮，而是基于互聯網與社會的發展。在此背景下，交互藝術正在面臨前所未有的機遇：互聯網技術帶來的無數種新的藝術表現的可能性，媒體產業改革帶來的更多元的文化傳播和創新價值。交互藝術創作者必須思考的問題是傳統藝術創作思維向互聯網思維的轉化，而互聯網思維的深刻理解就是數字思維、計算思維。

從意識形態競爭的角度看，交互藝術必將深度嵌入以先進文化為代表的國家軟實力建設和競爭。2013年8月19日，習近平在全國宣傳思想工作會議上發表重要講話提出，“根據形勢發展需要，我看要把網上輿論工作作為宣傳思想工作的重中之重來抓”，強調要適應社會信息化持續推進的新情況，加快傳統媒體和新興媒體融合發展，充分運用新技術創新媒體傳播方式，占領信息傳播制高點。一直到2019年，習近平仍在強調“推動媒體融合發展、建設全媒體成為我們面臨的一項緊迫課題”。由此可見，在媒體融合時代的傳播環境中強化意識形態的宣傳是民族國家和政府的重要任務。具備了互聯網傳播特征、文化創新、交互體驗、大眾娛樂多種屬性的交互藝術將能夠充分發揮自身優勢，將國家意識形態宣傳融入其中，為社會文化和思想建設發揮重大作用。

交互藝術的多媒介、實時、互動、數字化傳播等特性決定了其將是文旅產業越來越倚重的藝術表現形式。而融媒體時代極速發達的信息與交流，各地方文化宣傳、思想宣傳如何利用媒體與藝術吸引人成為發展地方旅游文化的第一步。因為交互藝術是要與人產生互動行為，讓人未到其地，就產生更緊密的接觸與感受，相對于傳統圖片、影像的宣傳，交互藝術的宣傳形式將更加深度嵌入人的體驗，進一步以敘事情節、歷史文化積淀給予觀眾從感官到心理的影響，全部的體驗過程可以融入到新的文旅產業生態當中。因此，在政策驅使和技術推動下，交互藝術在服務社會的實踐中不斷以適應新的時代變革而進行自身基因的重組，逐步演化出體現“文旅融合”和“媒體融合”時代背景的特征，也可能是未來交互藝術實踐和藝術思想表達的重要參考。

三、“文旅融合”與“媒體融合”背景下的交互藝術思維創新

“媒體融合”背景下，“互聯網作為一種信息技術，可以同時聚集比工業社會的市場更大規模的人群，而且可以低成本、個性化地進行人際交流，未來的發展路徑是物的智能化和人的數字化，最終整個社會的運行將建立在大數據和智能化的基礎上”。[7]100-106傳統媒體在迅速地被互聯網技術特征的數字媒體所整合，數字媒體承擔著運轉的核心，那么以數字媒體進行創作的思維模式就將是所有相關藝術形式共同的思維模式。傳統創意思維要求藝術創作者打破固有的創作思維模式，尋求在工具、概念、觀點、藝術手法、呈現載體，交互體驗等方面的新境地。而計算思維是將創意思維在交互藝術創作領域中的具體化，以計算機的數字計算邏輯指導藝術實踐的思維方式。

計算思維的起源與軟件創新。計算思維的起源是現代計算機發展所遵循的基本結構形式，也就是馮·諾依曼機結構所表達的思維方式。(圖1)延續至當代交互藝術的交互模式也可簡化為：輸入(傳感器、人的肢體)—處理(計算機、移動計算設備如手機、pad等)—輸出(人的聽覺、視覺、觸覺等)。在這一人機交互的循環中，創作者只有深入理解以計算機程序語言為基礎的計算思維，并能夠去運用它，才能真正掌握交互藝術的創作手段。目前，全球興起的各類交互藝術創作編程工具的共同特點就是越來越不像是傳統的圖形界面設計軟件，而是更偏向于程序員、工程師所使用的程序語言編寫工具，例如 vvvv、Processing、Max、TouchDesigner等。這一轉變是對交互藝術家群體的一大挑戰。藝術家們需要開始學會將視覺表現的圖形轉換成數字代碼去理解，并計算后對生成的視覺圖像再用感覺器官去確認。對于數字交互音樂藝術家來說，計算公式所表達的各類聲音波形本來就是一次音畫的轉換，其中介就是數字和代碼。以圖形化交互編程工具TouchDesigner為例，其基礎理念就是將原本完全由代碼編寫動畫與交互行為的工作，通過元件節點之間鏈接的實現程序編寫圖形化，使之更適用于非計算工程專業背景的藝術家、設計師。TouchDesigner的元件節點構成的圖形從流程上看就是源于馮·諾依曼結構的，可歸納為：輸入型圖形節點—處理運算型圖形節點—輸出型圖形節點。(圖2)整個流程中處理的信息一切為數字信息，所有的創意和設計都需要由程序算法來實現，因此使用此類工具的設計師和藝術家必須在前期創意到設計實踐都以計算機程序的思維方式來指導自己工作。

圖1 馮·諾依曼結構

圖2 圖形化編程工具TouchDesigner流程示意圖

計算思維的實踐與硬件創新。智能硬件的本質是一種計算設備，具備輸入、處理和輸出的完整技術流程，常見的量化智能交互硬件產品如Leap motion、Kinect、Arduino等均具備這一計算思維基本特征。

本課題組成員設計完成的非接觸式交互人偶展示系統將中國傳統的木偶文化和高新技術機器視覺控制相結合，實現了科技與藝術的整合，通過不斷強化技術支持和硬件維護，以量產產品為目標不斷迭代更新，最終獲得國家技術專利。非接觸式交互人偶展示系統的創意來源于中國傳統木偶，但在功能和文化傳播能力上又超越了前者。中國傳統的木偶從結構上主要包括提線木偶、布袋木偶、鐵枝木偶、杖頭木偶等。無論是哪種類型，其結構復雜度都遠低于非接觸式交互人偶展示系統，該系統用來模擬傳統木偶的運動方式和其特有的木偶肢體語言都能夠輕松實現，并能夠完全實現傳統木偶無法表達的姿態。該系統是國內首次應用機器視覺實現木偶的拉線控制，并能和用戶完成相關互動。利用各種先進的視覺技術實現目標的檢測、定位和跟蹤，從深度圖像中拋棄背景圖像信息，利用機器學習的相關算法進行壓縮感知，實現復雜環境下的目標識別與跟蹤。基于目標的提取與跟蹤，建立廣義Hamilton系統實現智能雙目視覺伺服控制，實現木偶展示機器人和人的互動。(圖3)

圖3 “非接觸式交互人偶展示系統”交互流程示意圖

綜上，計算思維是交互藝術在智能生態環境(軟件生態、智能硬件生態)下進行創新的關鍵。當所有的藝術表現都是以數字化形態存在時，藝術作品就必須承載于計算機類設備中，傳播于互聯網和物聯網中。因此，“文旅融合”和“媒體融合”背景下交互藝術的創作就必須以計算思維為核心思維方式，訓練自身的數字化創作模式以及實現數字化藝術品傳播。

四、“文旅融合”及“媒體融合”背景下交互藝術的實踐創新

本課題組成員創作的交互藝術作品《活力建鄴—悅動·情緒》于2020年南京青奧藝術燈會展出。該作品的實驗與實踐依托于南京藝術學院“國家級數字媒體藝術實驗教學示范中心”下屬的“沉浸式旅游數字交互體驗系統研發中心”(ITEC)，其創作團隊來自于ITEC的多位藝術家、設計師、工程師，動畫師等不同學科和專業技術背景的人才組成。該作品的視覺構成為可交互的霓虹燈裝置結合水波紋燈，其中水紋表達一種活力，持續的變化，意為悅動，霓虹燈用線條勾勒出南京部分文化地標，也表達了城市持續的發展與活力。兩種燈光均可以通過攝像頭感應檢測實現與人的交互，共同營造的視覺感受也相輔相成，形成一種情緒化的表現形式。該作品以符合新時代文化旅游的城市燈光為主題創意，通過數字媒體軟硬件技術打通不同燈光媒介的信號壁壘，統一交互方式和視覺體驗，實現真正意義上的“融合”。

圖4 交互藝術作品《活力建鄴——悅動·情緒》2020年南京青奧藝術燈會

《活力建鄴——悅動·情緒》藝術實踐中景點場地與文化地標燈光圖形的組合反應出“文旅融合”時代背景。該作品的主要展示場地為南京奧林匹克博物館內主場館通向南京眼步行橋的露天隧道。團隊選擇的是由LED柔性燈帶構成的南京著名地標圖形和奧運元素的圖形(圖5)安裝在隧道兩側，整個隧道是長達300米左右的遞升斜坡，前50米是該作品的主要裝置展示區域，這段距離相對比較狹窄，除了LED燈光的部分幾乎全黑，視覺體驗不佳。考慮到前往的是南京眼步行橋，在橋上觀眾將看到美麗的夾江夜景，因此我們利用動態水紋燈將整個隧道的三面鋪滿，營造出江底隧道的氣氛，同時也是作為連接南京眼步行橋而做的情景鋪墊。

圖5 《活力建鄴——悅動·情緒》LED柔性燈光帶圖形設計

《活力建鄴——悅動·情緒》使用不同燈光媒介的數字信號通過圖形化編程工具實現效果表達的統一，正是計算思維在藝術創作中的具體表現。該作品使用的LED柔性燈帶、水紋燈、激光燈采用的信號類型均不一致，我們通過解碼器、DMX-ARTNET轉換器等設備，將不同類型的信號統一為標準的DMX512信號通過網線接口接入到PC工作站，這樣就可以使用TouchDesigner一類的圖形化交互編程工具輸出所有的數字信號給不同類型的燈光設備。計算進一步體現在交互行為的設計上，我們通過Web Cam(網絡攝像頭)來實時拍攝隧道口的人流，通過數據線連接到PC工作站，將人流的變化在TouchDesigner中轉換為亮度值的變化，再去設計高低不同的亮度值會產生什么樣的燈光效果，最終實現的就是燈光的效果會自動根據人流量的大小而發生改變。(圖6)自始至終，我們的核心控制硬件只有一臺PC工作站和網線、轉換器，無論是創作的協作效率、藝術表現都達到了以前可能需要多個公司、多個團隊才能實現的結果，而這一切是遵循計算思維才得以實現的。

圖6 《活力建鄴——悅動·情緒》圖形化交互程序設計流程

本課題組成員在以五星級鄉村旅游區為目標、協助揚州寶應射陽湖鎮完成全域智慧旅游整體解決方案的規劃與實施項目中，通過全域智慧旅游的解決方案的規劃設計，逐步提升域內美麗鄉村、域內所有景區的智慧化、智能化，以此提升域內景區游客的旅游體驗，通過移動互聯網實現景區的萬物互聯，包括景區導覽、電子導游、旅游規劃、景區購票、特產購買、旅游文創、交通推薦、酒店住宿等等一系列旅游相關的吃、住、行、游、購、娛全方位的智慧化，實現全域旅游與智慧旅游的結合，目前已經建設好“荷美射陽湖”公眾號(圖7)、寶應荷藕產業展示館交互展示設計等(圖8)。該項目以智慧旅游的建設提升該鎮旅游的發展，以旅游的發展提升產業的升級，以產業的升級提升鄉村經濟建設，最終整體提升射陽湖鎮經濟發展與農民收入，實現農產品附加值的提升與農業的品牌化打造。

圖7 “荷美射陽湖”公眾號的交互界面

圖8 “寶應荷藕產業展示館”交互界面

根據調研，傳統智慧旅游整體化的改造由于農村基礎硬件設施相對落后與不完善，在美麗鄉村中實施可能具有一定難度，需要耗費更多資金進行基礎設施的改造與升級，持續時間較長，實施難度較大。全域智慧旅游發展的基本點是對旅游發展形勢的清醒認識，著眼點是形成可持續發展和更加依賴旅游信息資源發展的堅實基礎、內生動力和新機制，著力點是加快基礎設施建設，專注旅游信息服務體系協調發展，建立網絡化旅游信息服務。[8]20-21作為旅游信息化的延伸與發展，智慧旅游是以提升旅游服務水平為中心，以物聯網技術、下一代通信網絡、數字媒體技術、交互藝術等為支撐的媒體融合環境下的旅游信息化。“全域智慧旅游將新技術應用于旅游體驗、產業發展、行政管理等諸多方面，是游客、企業、機構與自然、社會相互感知，在感知中產生智慧的服務，提升游客在旅游活動中的主動性、互動性，為游客帶來超出預期的旅游體驗，為旅游管理部門提供高效、便捷的服務，為旅游企業創造更大的價值。”[9]106-115將一定范圍內的景區景點進行合理規劃與串聯形成全域的旅游的基本概念，以全域旅游帶動整體一二三產業的聯動，相互促進聯合發展。

五、結語

根據調研和考察當代不同交互藝術形態的具體情況，目前常見的交互藝術與文化旅游結合的藝術形式為：數字終端交互藝術、場景展示交互藝術，從各類交互藝術發展的歷史和當代應用場景和效果來看，因發展時間較短，只能以案例的形式進行調研分析。理論方面，從媒體融合傳播和文化旅游的角度綜合分析交互藝術的發展狀況十分必要，交互藝術主要價值體現在文化傳承和價值傳播中，因此后續研究探討交互藝術的社會價值和美學價值。

本研究發現，從計算機技術的角度看，交互藝術有一些可以預知的難點和重點，例如對于多種計算機專業程序、藝術創作軟件、各類投影設備的應用和不匹配。另一方面，計算機輔助的交互藝術創作如何能夠與地方文化旅游項目相配合并得到充分運用也是個重要的難點，相關因素較多。從這個角度來說，本課題不僅是帶有前沿性的應用研究，同時也包括對于相關基礎理論的全面挖掘和梳理。只有讓教師、學生和研究者深入理解并全面探索交互藝術的創作方法，并通過媒體的融合應用到實際項目才能夠發揮其最大的價值和潛力。

信息技術的進步不僅促進了互聯網這一新媒體的發展，更是帶來了媒體技術發展的一個大趨勢，即媒體融合。中國互聯網絡信息中心(CNNIC)發布第44次《中國互聯網絡發展狀況統計報告》顯示，“截至2019年6月，我國網民規模達8.54億，較2018年底增長2598萬；互聯網普及率達61.2%，較2018年底提升1.6個百分點；網絡購物用戶規模達6.39億，占網民整體的74.8%；網絡視頻用戶規模達7.59億，占網民整體的88.8%；在線教育用戶規模達2.32億，占網民整體的27.2%；在線政務服務用戶規模達5.09億，占網民整體的59.6%”。[9]106-115可以看出，媒體融合不單單是媒體的變化，更是整個社會運行方式的巨大變革，在這樣的潮流下，未來的新興藝術形態、文化傳承、旅游傳播也都會迎來全面的迭代更新，作為研究者，只有緊密地跟上趨勢，為社會文化旅游的創新者提供理論指導，才能充分發揮自身價值。