軟件物質美學：一種基于計算機軟件的實驗影像美學范式

黃鉞

摘要：計算機圖形學的發展，制作影像的數字工藝的不斷進步，以及影視產業的發達，使得現在已經有能力制作超越恐怖谷的影像。然而超越恐怖谷之后，計算機圖形學作為一種藝術的工具是否有自身的潛力，創造另一種屬于數字文化的美學，值得探索。因此，在現有研究的基礎上，要進一步闡述計算機視覺軟件的美學潛力，提出一種超越計算機圖形現實主義傾向的實驗動畫美學——軟件物質美學，并分析其審美機制。

關鍵詞：計算機動畫；實驗動畫；軟件物質美學；審美機制

中圖分類號：TP 391.411文獻標識碼：A文章編號：1007-6883（2023）01-0080-06

DOI：10.19986/j.cnki.1007-6883.2023.01.013

隨著計算機圖形軟件和個人電腦硬件的發展，制作計算機動畫對個人或團體來說更加方便，計算機制作的圖像質量也逐漸提高。計算機圖形學（CG）相關技術也廣泛參與到當代生活中，如廣告、電影、游戲等藝術領域。在科學領域和法醫領域，也可以找到計算機視覺技術的痕跡。而計算機這種圖形技術和相關軟件在藝術領域也通常被用于制造幻像和模仿真實世界。

計算機視覺軟件的應用和創作者使用動畫技術的能力，已經逐漸超越了寫實主義的極限，即恐怖谷效應①。計算機動畫藝術家和研究者艾倫·沃伯頓（Alan Warburton）提到了計算機視覺在實踐中再現現實的傾向，并說明我們已經超越了恐怖谷。［1］但是在恐怖谷之后呢？技術哲學家貝爾納·斯蒂格勒（Bernard Stiegler）描述了一個概念——記憶的工業化，他認為當我們接受越來越多來自工業生產的媒體時，意味著記憶的同質化，我們與他人的差別將越來越小。［2］數字圖像研究者喬爾·麥金（Joel Mckim）部分回應了斯蒂格勒的提問，論證了動畫實踐在敘事層面如何超越時間限制，激活城市的歷史與未來的可能性。［1］而計算機視覺動畫在畫面呈現上是否在重復制造一種模擬現實和模仿現實的記憶和慣性語言？他的論證鮮少論述這一點。艾倫·沃伯頓在論文中定位了一種超越再現現實的前衛軟件美學［1］，但并沒有討論它們是如何形成的。本文首先簡要論述計算機圖形學在影像領域中如何超越恐怖谷，并試圖從創意工作者如何使用計算機圖形軟件的角度尋求突破，提出一種軟件物質美學的動畫美學，并論述它的審美機制，以此為媒介展開重新審視計算機視覺技術美學范式可能性的討論。

一、跨越恐怖谷

計算機圖形軟件在實際應用中有很高的使用自由度，創作者可以使用復雜多樣的內置工具修改對象的形狀，為材料編寫屬性，并將其映射為現實的材料表面。這個創作自由程度很高的軟件世界，其發展來源于我們對身處的現實世界的研究。計算機動畫藝術家和研究者艾倫·沃伯頓在他的論文《RGBFAQ（2020）》［4］中追溯了計算機圖形學的歷史：從第二次世界大戰期間對導彈和其他武器軌跡的預測，到20世紀90年代的視覺效果工作室模式的產生，這是一段用計算機模擬現實和創造虛擬世界的技術歷史。

隨著時間的推移，計算機科學家逐漸建立了一個基于模擬現實的計算機視覺算法庫，用于模擬特定的物體或現象。這些算法庫進一步被計算機視覺軟件公司迭代并打包成軟件，用于一系列的計算機圖形應用技術，包括渲染、材質、流體模擬、骨骼綁定等。這意味著許多CG創作者的實踐，是在一套共享的基于現實模擬的算法庫上進行創作，即使這個算法庫在不同軟件中以不平均的速度迭代更新。計算機視覺的再現現實傾向甚至可以突破時間的維度，讓演員角色返老還童。2016年上映的著名的《星球大戰》系列電影中的《俠盜一號：星球大戰的故事》將年輕的萊婭公主帶到了電影屏幕上。由于原來的女演員已經不再年輕，無法滿足影片設定的時間線，年輕的萊婭公主由挪威演員英維爾德·黛拉（Ingvild Delia）而不是原來的凱麗·費雪（Carrie Fisher）扮演。除了黛拉的手之外，她的臉被動作捕捉點所覆蓋，萊婭公主的臉、頭發皆是在電影的后期制作工作中使用CG技術重建的［5］。而這些工作僅僅是影視后期制作的冰山一角。艾倫·沃伯頓推測，我們已經跨越了不可思議的恐怖谷，即再現自然的困難［1］。

二、計算機圖形軟件的潛力：模擬現實與模仿現實

盡管現有的創作者使用計算機圖形軟件大多數呈現出寫實主義的特定傾向，但仍有一些差異。例如，對于表現水這一物質來說，可以有大致模擬現實和模仿現實兩種基本模式。

模擬現實的方法通常是建立海洋動態行為的計算機圖形模型，它基于納維-斯托克斯方程（Navier–Stokes equations，簡稱N-S方程），模擬相鄰粒子之間的相互作用力，對流體在空間和時間上的移動進行描述，以速度或流場的形式求解［6］。在實踐中，以平滑粒子流體力學（SPH）為例，它是一個在容器中運動的粒子系統，N-S方程提供了粒子運動的基本規則，然后將粒子從數據實例化為多邊形，再進行渲染。一般來說，模擬水的目的是模擬現實世界中水的物理特性，比如速度、重力、密度等，從而獲得真實的水流效果。

當動畫師不想或不能負擔流體力學計算所需的巨大計算能力時，或許會使用一種視覺欺騙的形式，更確切地說，是模仿現實。他們通常使用凹凸圖或噪波圖［7］，將圖片的黑白信息映射到物體上，創造出一個不平整的表面，然后給物體賦予一種半透明的材料，模仿水體的反射和表面波紋。有趣的是，這種技術也經常被用來模仿其他東西。在動畫與電影產業中，程序化噪波圖也常常被用于生成云層、波浪、龍卷風、火箭軌跡、熱波紋、動畫人物的附帶運動［8］。

值得思考和討論的是，在這些令人興奮的實踐中，噪波圖作為一個元物體，可以用于制作多種完全不同的物體和視覺效果，回避了需要模擬各式各樣的粒子動態計算。這意味著計算機視覺軟件正在用一種在現實本身之外運作的邏輯來模仿現實。也就是說，計算機視覺動畫有可能形成一種與現實不同的規則，而這種潛力需要由創造性的工作者通過一系列的實踐來激活。筆者將計算機軟件的這種潛力，以及這種不遵循現實運作的動畫技術視為軟件物質美學的前提。

三、一種實驗動畫美學：軟件物質主義

在跨越恐怖谷之后，計算機視覺藝術的未來風景是什么？艾倫·沃伯頓以數字怪誕（digital grotesque）形容和定位了一系列具有思辨性動畫工作者的工作［1］，他們通過探索計算機軟件的模擬技術穿越了寫實主義的山谷，打開了多條路徑，來到了山谷之外。在數字文化成長背景下的一代動畫工作者開始以實驗主義的方式探索軟件的數字文化的潛力。例如巴里·杜普（Barry Doupe）的數字潛意識影像，麥克·佩萊蒂爾（Mike Pelletier）使用布料模擬應用在非布料對象的變形影像，彼得·布爾（Peter Burr）的數字幻覺動畫以及尼基塔·迪庫爾（Nikita Diakur）的丑陋動態美學等。然而這些工作背后的前提和審美機制，除了對軟件的達達主義式和朋克式的顛覆外，艾倫·沃伯頓似乎還忽略了這些美學形成的潛在原因，這些潛在原因似乎藏在動畫師與計算機視覺技術互動發展的歷史過程中。通過分析軟件數字技術美學的潛力和藝術家的實踐可以歸納提出一種實驗動畫的美學——軟件物質美學，以此進一步展開對計算機視覺軟件應用的思辨性和想象力。上述藝術家的實踐都基于對軟件算法的思辨性使用，故而筆者倡議用軟件物質美學來開放對這一系列實踐的討論。

藝術家尼基塔·迪庫爾的作品在現實主義和軟件物質美學的交叉點上實現結合。他的影像作品《Fest》描繪了一個尚未被渲染的混亂的軟件世界［9］。汽車、人和建筑都被網格線覆蓋，從高空往下看，一個頭發凌亂的男人手持虛擬的相機，有綠色的邊框，但沒有實體：這個相機不是一個模型，而是軟件里的相機對象。下一階段呈現的是攝像機捕捉到的視角：一群面容被故意設計為低分辨率的人在一個開放的空間里起舞（圖1）。動畫制作中的肌肉和骨架約束器不起作用，模型中也沒有綁定關節骨。薄薄的紅色曲線主導著他們的動作，白色的控制器懸在空中。后面的舞者突然把脖子扭了360度，他的身體就從一個人變成了一個不斷運動的多面體。藝術家在這里故意使用原本用于模仿水體的程序化噪波圖來控制人體表面的運動，因此它的許多頂點1和線描的多面體都在膨脹和收縮兩種模式間運動和轉換。在這個動畫中，人類身體和物體對象之間的邊界在運動中變得模糊不清。

原生于計算機軟件的界面變形器和動態方式，如細的紅色曲線、網格線、攝像機對象等，在運動中起主導作用，都是為了對抗再現現實式的精致渲染畫面。在模擬現實的影像中，計算機以何種方式運作和計算在最終結果中是透明和隱形的。換句話說，原本控制和計算動畫對象的軟件界面在最終的渲染畫面中消失了，這是為了使最終畫面更接近于現實。而尼基塔的實踐是一種破壞性的陌生化效果，打破第四面墻，讓觀眾進入軟件界面的世界，這里發生的一切看起來是瘋狂而刺激的。這在他的視頻《Ugly》［10］中表現得更加強烈。“丑陋的一面來自模擬過程中的技術缺陷，我選擇適應軟件”，藝術家在采訪中回應道［11］。當貓轉動脖子時，拉伸造成的紋理變形也毫不猶豫地顯示在鏡頭前。天空中的老鷹煽動著翅膀，他的翅膀因為刻意壓低面數而被拉長并奇怪地旋轉（圖2）。這是因為在軟件的世界里，物質和規則允許物體違背寫實主義的牽引法則，在尺寸上無限延伸。然而，除了盲目地破壞透明度，使圖像顯示出軟件的本體/實體，他似乎還構建了一些東西：消防員手中的水管噴出的水混合了筆者上述的兩種表現水的方式，模擬自然和模仿自然。水管中的水的運動模型是流體力學的，但粒子并沒有被實例化為液體，而是用噪聲圖映射的一個個正方形（圖1）。這兩種再現現實的方式被混合在一起，但它們在視覺上呈現出遠離現實的視覺效果。正方形的水也被賦予了動態的特性，主角貓在水的沖擊下在地上滾了幾圈。這種動畫制作方式提出了一個隱秘的問題，為什么如此奇怪的呈現水的方式可以在動畫語言中成立？尼基塔的作品太復雜了，所以我們需要暫時擺脫它，到另一個地方去尋找他的美學成立的原因。

動畫工作者和研究者泰德·維金（Ted Wiggin）為他的動畫片《Lizard Larder》特地開發了同名軟件，他的所有實踐都是在這個軟件中完成的。這個軟件是基于一種已經探索過的算法，即多個三維物體網格在三維空間中的相互轉化。在他的軟件中，草圖或圖片可以從二維圖像轉化為三維物體，并在前后兩種圖像之間以網格變化的方式相互切換。藝術家只需專注于二維圖像的繪制，而圖形之間的運動將由軟件來完成。

動畫中的所有動作只有一個邏輯，即多個三維物體之間的體積轉化。例如，在寫實主義的運動表現方法里，小狗的運動本來是由骨骼捆綁的腳交錯移動構成的；但在這個動畫中，這個運動被體積轉換所取代（圖3）。物體運動、蒙太奇、情節，所有的動畫語言都被替換為——三維物體之間的體積轉換。這使得動畫中發生的所有奇怪的故事都能讓觀眾覺得有道理，因為運動的規則牢牢地統治著它，成為一個可見的線索，將不合理的情節串聯在一起。動畫工作者和研究者大衛·奧雷利（David Oreilly）提出，動畫中的風格一致性不僅僅關于風格審美，而是建立秩序［12］。他以他自己的作品舉了一個鏡頭模糊的例子。例如，在寫實主義的鏡頭模糊是平滑的、細致的模糊，以至于觀眾無法看到模糊是如何發生的。因為每一個像素都非常小，像素與像素之間是平滑的過渡。但在他的作品中，所有的畫面都是由低多邊形1組成的，同樣在他的鏡頭模糊中，他也使用了低多邊形的規則。他的鏡頭模糊是由重疊的、低分辨率的多邊形構成的，而不是精致的虛化背景。藝術家的模糊手法在動畫中獲得了美學上的一致性。

在脫離了寫實主義的秩序后，泰德在動畫中建立自己的動畫規則時獲得了自由，而這種規則建立在重新審視計算機軟件技術之上。泰德的實踐和大衛的理論鼓勵重新審視理所當然的算法功能庫，思辨性地使用它們。這也回應了尼基塔的作品如此復雜卻能保持自成一體的原因。在他的作品中，軟件的算法界面——攝像機、約束器、變形器并不起到為寫實主義式的細膩運動服務，而是選擇破壞它，產生怪異和自由的運動。同時，它們作為軟件界面顯現在畫面中，把動畫如何運作的秘密向觀眾敞開。將軟件界面、軟件計算過程、軟件發生的錯誤納入了實驗動畫的語言表達，從而建立了新的規則和世界。

結 論

探討軟件物質美學，旨在尋找計算機動畫創新的可能性。它試圖回顧計算機視覺發展中寫實主義的傾向，并從動畫工作者模仿現實和模擬現實兩種具有微妙差別的方法出發，揭示計算機圖形軟件可能有脫離再現現實的美學潛力。另一目的則是對在數字文化背景成長下的藝術家的實踐展開研究，將藝術家擁抱計算機軟件本身的運作邏輯和美學作為基點，發展出名為軟件物質美學的審美機制，揭示軟件世界的存在。鼓勵重新審視軟件功能的作用及對其批判性使用。

在人工智能算法生成圖像和影像1已經初現雛形的當下，仰賴網絡儲存的真實世界圖像和視頻，以及既有創作實踐的龐大數據庫，計算機視覺再現現實的步伐似乎難以阻擋。提出軟件物質主義美學并非否定再現自然的計算機美學，而是要提出新的可能性，這種可能性鼓勵創作者保持對創作工具的批判性使用，敢于建立新的美學規則和美學秩序，獲得發展新美學的方式。

參考文獻：

［1］Warburton A．Goodbye Uncanny Valley［EB/OL］．［2022-09-11］．https：//alanwarburton.co.uk/goodbye-uncanny-valley．

［2］（法）貝爾納·斯蒂格勒．人類紀里的藝術：斯蒂格勒中國美院講座［M］．陸興華，許煜，譯．重慶：重慶大學出版社，2016：35-58．

［3］Mckim J．Speculative Animation： Digital Projections of Urban Past and Future［J］．Animation，2017，12（3）：287-305．

［4］Warburton A．RGBFAQ（2020）［EB/OL］．［2022-09-11］．https：//alanwarburton．co．uk/rgbfaq．

［5］Cotter P．How Rogue One：A Star Wars Story Brought Back Princess Leia［EB/OL］．（2019-02-25）［2022-09-11］．https：//screenrant.com/rogue-one-princess-leia-actress-cgi-carrie-fisher/．

［6］Darles E，Crespin B，Ghazanfarpour D，et al．A survey of ocean simulation and rendering techniques in computer graphics［C］//Computer Graphics Forum（1）．Oxford，UK：Blackwell Publishing Ltd，2011：43-60．

［7］Seymour M．The science of fluid sims［EB/OL］．（2011-09-15）［2022-09-11］．https：//www.fxguide.com/fxfeatured/the-science-of-fluid-sims/．

［8］Lagae A，Lefebvre S，Cook R，et al．A survey of procedural noise functions［C］//Computer Graphics Forum（8）．Oxford，UK：Blackwell Publishing Ltd，2010：2579-2600．

［9］Diakur N．Fest［EB/OL］．（2018-02-27）［2022-09-11］．https：//vimeo.com/257761642．

［10］Diakur N．Ugly［EB/OL］．（2018-07-24）［2022-09-11］．https：//vimeo．com/281529369．

［11］Failes I．The Beautiful Side of“Ugly”：How A Film Embraced Errors And Happy Accidents In CG［EB/OL］．（2017-12-05）［2022-09-11］．https：//www.cartoonbrew.com/shorts/beautiful-side-ugly-film-embraced-errors-happy-accidents-cg-149823.html．

［12］OReilly D．Basic animation aesthetics［EB/OL］．［2022-09-11］．http：//www.madia-arts-uts.com/aes1/wp-content/uploads/2012/01/BasicAnimationAesthetics.pdf．

Software Material Aesthetics：

A Paradigm of Experimental Film Aesthetics

Based on Computer Software

HUANG Yue

（London College of Communication， University of the Arts London， London， United Kingdom， SE1 6SB）

Abstract：The development of computer graphics，the constant advancement of digital processes for making films，and the development of the film and television industry have made it possible to produce animated films that go beyond the uncanny valley. However，beyond the uncanny valley，it is worth exploring whether computer graphics，as a tool for art，has its own potential to create new aesthetics that belongs to digital culture. Therefore，on the basis of existing research，it is necessary to further elaborate the aesthetic potential of computer vision software，propose an experimental animation aesthetics that goes beyond the realist tendencies of computer graphics - software material aesthetics，and analyze its aesthetic mechanism.

Key word：computer animation；experimental animation；software material aesthetics；aesthetic mechanism

責任編輯 姚則強