計算美學：算法生成下的音畫互動設計研究

摘要：目的：生成藝術興起于20世紀末，是一種由計算機算法主導的藝術形式。文章基于當下算法生成藝術的流行趨勢，對算法生成藝術及算法生成下的音畫互動設計進行具體研究，明晰算法生成中的設計美學，挖掘算法生成下的音畫互動設計所具有的嶄新特征，分析算法生成在音畫互動設計中的實際應用意義。方法：分析算法生成下音畫互動設計的特點，通過具體案例探究算法生成在音畫互動設計中的應用。結果：算法生成下的音畫互動設計具有突出特點，具體表現為視覺多樣性、實時交互性、沉浸式體驗。結論：將算法生成應用于音畫互動設計中具有重要意義，既便于藝術家的多元創作，又可實現自主交互、隨機輸出以及多維媒介呈現，能更好地服務于未來的設計活動。

關鍵詞：生成藝術；音畫互動；算法生成；數字藝術

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1004-9436（2024）10-0-03

1 算法生成藝術

1.1 生成藝術概念的提出

隨著科技的不斷發展，第一臺圖形計算機問世，其新穎的“圖像”與其產生方式牢牢吸引了藝術家們的注意力，讓他們自1960年開始追逐新技術與新藝術。起初，計算機只被視為一種簡單的機器，并且在20世紀六七十年代還出現了多起抵制計算機的事件，部分群體對“電子大腦”產生迷戀以及冷戰后對新興產業的恐懼，一度導致計算機藝術發展緩慢［1］。然而隨著科技的發展，算法生成逐漸成為數字時代背景下藝術設計的重要載體之一，并在與各個學科專業逐漸交叉融合的同時被應用于多個領域，如人們耳熟能詳的人臉識別技術、數據可視化、燈光設計等，在傳達信息與視覺體驗上扮演著越來越重要的角色。

最初“生成藝術”這一概念并沒有明確的學術定義，1998年，意大利米蘭工學院的切里斯迪諾·索杜（Celestino Soddu）教授將其描述為人類對自然界的模仿方式，他提出生成藝術是藝術與科學結合過程中產生的一條新的道路，通過計算機代碼的運作形式，人們擁有全新的空間實現藝術創作，其認為生成藝術具有繼承性和跨領域性的特征，人類使用計算機進行藝術創作既是對其他學科的借鑒與模仿，又是在更多學科領域中創作更豐富的藝術作品，能夠拓寬藝術創作的視域［2］。

1.2 生成藝術發展歷史

斯圖加特大學的美學哲學家麥克斯·本斯（Max Bense）是第一代生成藝術家中的代表人物，他在20世紀50年代將生成藝術定義為藝術家和觀眾之間建立反饋的信息交換。本斯提出“生成美學”，并解釋了美學產生的原因。這一觀點也影響了其學生早期的生成藝術作品創作，其中包括弗里德·納克（Frieder Nake）。他在創作中觀察到生成藝術和概念藝術的相似之處，納克曾說，在計算機藝術這個時代到來之前，最偉大的想法是其生成方法。算法藝術家不會做任何非生成性的事情，一旦藝術家決定使用計算機創作，他必然會設計一個程序（算法）。這二者是密不可分的，沒有藝術的算法，就沒有算法藝術［3］。

1970年，德國藝術家、科學家和科幻小說家赫伯特·弗蘭克（Herbert W. Franke）編寫了一本具有開創性的書——《計算機圖形學——計算機藝術》。弗蘭克認為，計算機可以通過其生成性和可復制性帶來藝術的民主化。如果美學創造可以被系統化，那么藝術的成本和稀有性將大大降低。弗蘭克還預見，聯網后的計算機將能夠生成新的數字藝術，并遠距離發送，為更多用戶提供生成圖像。這將改變藝術與觀眾的關系，使其廣泛可用，藝術將不再是擺放在美術館里的珍稀物品，這一預測在如今也成為不可否認的事實。目前，隨著NFT的出現，更復雜的數字藝術品充分利用了NFT媒介的優勢，在互聯網內實現傳播購買。這是由主流藝術的遷移所拉動的，使生成藝術變得不可替代。

1.3 算法生成中的設計美學

算法生成的作品往往是由藝術家或者程序所創建出的一組規則，通過代碼將視覺中的自然元素與人工元素相結合、實現大批量個性化的生產、有計劃隨機運作和非指定的仿真過程，從而生成獨一無二的美麗作品。與傳統藝術創作需要花費數天甚至數月相比，生成藝術家使用計算機在幾毫秒內即可生成成百上千的作品。生成藝術家們正利用現代化的科學技術來發明新的美學——指導程序并引導其在一組“計算行為”中達到預期的結果。通過算法執行下的設計行為，為藝術家們提供可隨時調整和輸出的結果。這大幅提升了設計效率，突破了傳統設計軟件的局限，不再拘泥于基礎功能，由設計師們制定規則并通過計算機運算完成設計，賦予設計全新的可能性，在一定程度上是藝術的規則和量化，也是設計的無序與隨機。

2 音畫互動設計

2.1 音畫互動設計

音畫互動設計即音樂與圖像的組合，是基于計算機平臺，借助算法運作實現數字化藝術設計，將相對抽象的聲音節奏、幾何圖形、色彩符號等視聽要素進行代碼計算，轉化為計算機可控的視覺形態的數字藝術形式。其實現方式有視覺藝術、舞臺表演藝術、裝置藝術、動態影像等，具有極強的藝術性和技術性，能夠輕松實現設計者、用戶、技術之間的交互。

2.2 算法生成下的音畫互動設計

音畫互動設計在算法領域得以迅猛發展，在脫離較為傳統單調的音效設計活動后，算法實現的交互形式更為靈活多變。例如，在可視化編程平臺TouchDesigner中，設計師可以通過基本的轉譯方式和邏輯，創建實時的視覺元素，僅需處理相關的聲音元件就可實現聲音與圖像的互動。并且其交互形式豐富多變，如視覺合成、3D合成、交互裝置、投影藝術等，TouchDesigner提供了多種解決方案，以更好地配合設計師們實現不同場域要求下的音畫交互。在外接設備上TD提供了MIDI、Arduino、Kinect等，設計師可以自由將這些外接設備作為自己創作應用的輸入源或者輸出源［4］。

2.3 算法生成下的音畫互動設計特點

2.3.1 視覺多樣性

算法生成下的音畫互動設計無論是靜態還是動態都實現了視覺上玩法的多樣。在算法運作隨機性與規則性并存的前提下，每一次的重新計算都可以快速完成并調試修改，最終得到設計師所求的結果。通過編寫與修改算法代碼，可以實現多種圖像量化生成，在保留原有設計數據的基礎上實現視覺創新，不斷生成新的視覺美學與視聽藝術，從而使視覺更貼合音效，迎合不同需求層的用戶審美。

2.3.2 實時交互性

通過計算機處理的數字化設計能輕松實現實時無延遲的畫面交互，其圖形、音樂、色彩等以數字化格式被儲存在計算機中，通過算法規則或技術手段，直接即時地呈現在觀眾面前，并在幾毫秒內被無限次運用傳輸，實現音畫同步、音畫對立等視覺效果。這些視覺效果通過體感設備或載體裝置對觀者進行動作捕捉，將觀者給予的指令畫面迅速傳輸至影像進行分析，由算法快速運算生成相應的交互數字畫面。在視覺多樣性特點的影響下，交互的圖像形式更加多樣，計算機實現的輸出手法更加豐富，音畫互動設計的綜合體驗感將更加沉浸，給觀眾帶來更好的交互體驗。

2.3.3 沉浸式體驗

計算機交互系統能夠實現與多種媒介形式的結合，以達到沉浸式的交互體驗，如AI、體感交互技術、動作捕捉技術，等等。這些看似對技術要求很高的交互方式使用相應的算法軟件即可輕松實現，如觸摸屏幕帶來音效和圖像的變化、人體手勢與動作的捕捉，等等。這些交互形式可使用戶實時參與到作品的輸出中，加深用戶對復雜信息的理解，并與設計師一同完成藝術品的生成。這些細小但生動的形式將大幅提升用戶與作品的互動度和參與感，豐富藝術作品的表現形式，引領數字藝術發展［5］。

3 算法生成在音畫互動設計中的應用意義

音畫互動設計在算法生成的驅動下，已不再是單一學科領域的專有概念，無論是在社會生活、人文藝術還是工業生產等領域，音畫互動都以跨界式的姿態發揮著不可替代的功能［6］。

3.1 自主定義的交互形式

由創作者制定生成規則的音畫互動設計展現著與平面作品完全不同的魅力，其交互活動也在結合計算機技術的基礎上變得更加生動有趣。在早期生成藝術家的藝術活動中就已經存在交互的概念，戈蘭·萊文（Golan Levin）與其工作室在2003年所做的一場音畫互動表演Messa di Voce中便體現了自定義交互的魅力。該作品通過算法生成的粒子效果與兩位口技表演大師進行跨界合作，通過實時圖像轉化的交互形式強化兩位表演者所發出的聲音，在復雜精湛的視聽敘事背景下，算法語言將每個音調變化的細微差別轉化為相應的高表現力圖形，作品將即興表演者不可預測的自發聲音與最新的計算機視覺語言融合，旨在引發有關語言、行為、環境等話題的討論。這樣獨特的表演形式，大大增強音畫互動設計的現場性與互動性。

3.2 隨機可控的輸出手段

算法生成賦予設計全新的可能，即可以為藝術作品提供最優的輸出方案與媒介，實現對信息的有效傳遞，并給予用戶美的感受。算法生成下的音畫互動設計脫離傳統平面設計較為單一的互動形式，實現作品情緒的最佳輸出。由FREE ART AND TECHNOLOGY團隊開發的作品Eyewriter是基于C++語言開發的眼動追蹤技術，利用眼動追蹤軟件檢測攝像頭鎖定視頻圖像中的瞳孔位置，并使用校準數列將追蹤到的瞳孔坐標映射到計算機屏幕或投影的位置上。其開發團隊成員tempt1在2003年被診斷患有ALS（漸凍癥），他的身體完全癱瘓，只有眼睛可以轉動，團隊便將開發重心轉移到幫助ALS患者使用眼睛進行繪畫，達成與外界的“有聲”交流。其團隊成員曾說過：“藝術是賦予社會變革的工具，我們很幸運能夠創作并使用我們的作品來促進醫療改革，提高社會對ALS的認識并幫助他人。”這種融合打破ALS患者與現實的邊界，通過算法生成的數字手法使其與現實緊密相連，作品在實現數字化創作的同時傳達了藝術所能給予社會的變化與溫暖。

3.3 多維度的媒介呈現

當下，人們進行藝術鑒賞時已不再滿足于“看”的形式，這使得創作者需要考慮的問題由“如何實現音畫互動”轉向“音畫互動與用戶體驗感如何發生關聯”，這也推動數字藝術不斷向多維度發展。在UCCA lab和寶姿之夜合作的音畫互動空間特別活動抽離（Detachment）中，其使用了數字媒體、裝置、影像等多種形式，實現藝術家們與觀眾“無界限”的現場交流，其中的影像裝置作品Room以自然元素為特征，靈感來自藝術家學生時代起長期探索的主題——自然界和人類社會之間的沖突。觀眾可以在特定位置操控三件互動裝置（推桿、轉盤、按鈕）與作品互動，實現混響、延遲、失真等音效，創造持續進化的感官體驗。PORTS寶姿之夜通過對時尚、音樂與藝術的結合，以豐富多元的交流形式為觀眾提供一次充滿靈感與創意的展演新探索，帶領不同領域的觀者體驗多種媒介下的當代藝術表達。

4 結語

學科界限的消失推動著設計語言的不斷進步，當算法生成介入音畫互動設計中，所實現的不僅是多種學科的跨領域結合，還豐富了音畫互動設計的實際應用。在藝術創作不斷發展進步的當下，應時刻總結音畫互動設計的受眾需求與特點，把握數字技術發展方向，迎合當下審美需求，探索算法運作下的音畫互動設計更多的可能性、可塑性、可行性，總結創造出更具突破性的算法生成藝術，迎接未來數字設計的挑戰。

參考文獻：

［1］ 吳晨婧.生成藝術研究［D］.武漢：華中科技大學，2022.

［2］ 趙益.基于區塊鏈技術與機器信任的電影文化數字化搭建［J］.當代電影，2022（9）：60-71.

［3］ 孫文倩.人工智能技術輔助下的圖像生成藝術創作研究［D］.上海：華東師范大學，2023.

［4］ 譚亮.基于Processing的代碼藝術應用研究［J］.裝飾，2012（2）：104-105.

［5］ 趙一簣.生成藝術融入職業院校視覺傳達設計專業課程的路徑探索［J］.職業，2024（1）：42-44.

［6］ 于西.音畫互動中的視聽聯覺設計［D］.南京：南京藝術學院，2022.

作者簡介：柳子玥 （2000—） ，女，研究方向：視覺傳達設計。