腦科學(xué)賦能電影藝術(shù)

荊海洋

電影藝術(shù)誕生至今，向以視覺感知來滿足觀眾的精神愉悅。腦科學(xué)、計(jì)算機(jī)等科學(xué)技術(shù)的發(fā)展應(yīng)用，正促使人工智能深入傳統(tǒng)電影制造業(yè)。腦科學(xué)、工程技術(shù)、醫(yī)學(xué)臨床技術(shù)的協(xié)同發(fā)展，讓“賽博格”式的人，不再只存在于幻想之中。同時(shí)，人類對電影藝術(shù)的感知開始從視覺感知向神經(jīng)感知探索。

2024年3月，腦科學(xué)領(lǐng)域最負(fù)盛名的獎(jiǎng)項(xiàng)“大腦獎(jiǎng)”（Brain Prize），頒給了三位在腦科學(xué)研究領(lǐng)域做出重大貢獻(xiàn)的科學(xué)家。其中一位獲獎(jiǎng)?wù)咛貍愃埂とZ夫斯基認(rèn)為，人工智能和神經(jīng)科學(xué)的發(fā)展是并行推進(jìn)的。“人工智能和人類智能之間正在發(fā)生一種融合。隨著我們對大腦工作方式的了解越來越深入，這將反映在人工智能上。”

當(dāng)下，科學(xué)家對大腦的研究雖然仍處在拓荒期。但是，對大腦神經(jīng)元網(wǎng)絡(luò)的研究已經(jīng)取得了一定成果。醫(yī)學(xué)上，對大腦的人工調(diào)控可以有效地控制癲癇發(fā)作，可以遏制瘋癲與癲狂。科學(xué)家可以清晰地識別腦電波，調(diào)控介質(zhì)影響腦部環(huán)境。藝術(shù)上，以電影藝術(shù)為例，腦科學(xué)與計(jì)算機(jī)的結(jié)合在技術(shù)上滿足了導(dǎo)演對于電影視覺空間再造的需求。腦科學(xué)與計(jì)算機(jī)技術(shù)的結(jié)合發(fā)展，實(shí)現(xiàn)了對傳統(tǒng)電影制作技術(shù)的優(yōu)化。

類腦計(jì)算機(jī)的圖像處理

伴隨著人工智能和腦科學(xué)的深入發(fā)展，尤其是類腦的研究，計(jì)算機(jī)具有了學(xué)習(xí)能力。最近兩年，人工智能技術(shù)的發(fā)展日新月異，其對傳統(tǒng)電影的挑戰(zhàn)涉及產(chǎn)業(yè)鏈方方面面。早幾年，應(yīng)用于影視作品中失德藝人的“換臉技術(shù)”已不鮮見。而當(dāng)下電影業(yè)最常被提及的問題便是——未來的電影還需要真人演員嗎？

計(jì)算機(jī)通過換算骨骼、骨點(diǎn)、肌肉之間的關(guān)系，利用其中數(shù)據(jù)，生成合乎人體性能特征的身體。同時(shí)，電影工作者希望計(jì)算機(jī)技術(shù)塑造的人體是有真實(shí)感的藝術(shù)形象、富有真人表情特征的數(shù)字形象。目前，人工智能結(jié)合動(dòng)態(tài)捕捉、CG技術(shù)，已可以在一些電影中代替演員的表演。

20世紀(jì)70年代以來，腦科學(xué)和計(jì)算機(jī)技術(shù)的結(jié)合發(fā)展到圖像識別領(lǐng)域。以圖像識別為背景的動(dòng)態(tài)捕捉技術(shù)，最初應(yīng)用在美國軍方實(shí)驗(yàn)室中，后來逐漸走進(jìn)大眾視野。動(dòng)作捕捉（Motion capture），又稱動(dòng)態(tài)捕捉，是記錄并處理物體動(dòng)作的技術(shù)。動(dòng)態(tài)捕捉技術(shù)可以在全時(shí)空之下，可以是實(shí)時(shí)的，也可以是非實(shí)時(shí)的。同時(shí)，它可以捕捉到細(xì)微的動(dòng)態(tài)和表情變化。正是源于動(dòng)作捕捉的可塑性，它一直在被電影導(dǎo)演、藝術(shù)家使用。

電影《阿凡達(dá)》就使用了動(dòng)態(tài)捕捉技術(shù)。導(dǎo)演詹姆斯·卡梅隆構(gòu)想給片中演員換臉，這也是早期換臉技術(shù)的應(yīng)用——演員的真實(shí)面孔被藍(lán)色的外星人面孔所取代。北京郵電大學(xué)數(shù)字媒體與設(shè)計(jì)藝術(shù)學(xué)院院長賈云鵬介紹，“后臺計(jì)算機(jī)通過捕捉，在演員身上裝置跟蹤點(diǎn)，結(jié)合面部圖像和跟蹤數(shù)據(jù)，于三維空間中塑造虛擬人物形象。然后，將相應(yīng)跟蹤點(diǎn)的數(shù)據(jù)一一對應(yīng)映射到CG角色的三維建模上，CG角色的動(dòng)作就可以和演員的實(shí)際表演完美匹配。”早期的“換臉技術(shù)”通過采集模型數(shù)據(jù)和后期的CG技術(shù)，成功應(yīng)用于電影的人物造型。同時(shí)，掃描的信息被計(jì)算機(jī)加工放大之后，使人物的表情更加細(xì)膩。

《阿凡達(dá)》等視效大片的制作技術(shù)突破，豐富了電影的視覺表達(dá)。2018年，《復(fù)仇者聯(lián)盟3：無限戰(zhàn)爭》上映，“滅霸”打破了現(xiàn)實(shí)與未來的界限。漫威通過一系列數(shù)據(jù)的捕捉、采集，并結(jié)合最新的人工智能軟件開發(fā)了系列藝術(shù)形象。電子文獻(xiàn)THE AWN在2018年刊登Trevor Hogg文章中介紹，“在這個(gè)過程中，演員需要佩戴頭盔相機(jī)以高幀數(shù)的速度收集面部信息，構(gòu)建角色的三維模型，再將收集的信息分配給模型，并驅(qū)動(dòng)它以生成面部動(dòng)作。一旦獲得了多組數(shù)據(jù)捕捉樣本，程序即可校準(zhǔn)數(shù)字化的‘滅霸CG模型。”2022年年底，《阿凡達(dá)：水之道》上映，團(tuán)隊(duì)在真實(shí)的水下環(huán)境完成大篇幅且更高質(zhì)量的動(dòng)作捕捉，讓片中CG角色還原真人演員的表情和水中狀態(tài)（衣服、頭發(fā)擺動(dòng)符合重力）。

人工智能通過數(shù)據(jù)庫的分析加工，有效地深度學(xué)習(xí)，強(qiáng)化了人物的視覺形象。不過，目前人工智能還不能完全展現(xiàn)真人演員的個(gè)性及情感。

類腦計(jì)算機(jī)實(shí)現(xiàn)圖像的解碼與重構(gòu)

腦科學(xué)和計(jì)算機(jī)技術(shù)的結(jié)合，將真實(shí)的世界數(shù)字化、片段化、信息化，并通過編碼和迭代的計(jì)算機(jī)語言，實(shí)現(xiàn)電影藝術(shù)的媒體化轉(zhuǎn)變。電影的制作技術(shù)由傳統(tǒng)的電影前期延伸到電影后期，電影場景也從真實(shí)的電影場景延伸到虛擬的電影場景。虛擬的電影場景同時(shí)突破了時(shí)間和空間的限制，自由地在電影中被編輯。電影藝術(shù)作為導(dǎo)演精神世界的物化，用腦科學(xué)影響下的人工智能技術(shù)，從海量場景信息中獲取有效信息源，并按檢索指令，匹配不同風(fēng)格的視覺藝術(shù)形象，使虛擬現(xiàn)實(shí)直接作用于電影制作。

科技與人的關(guān)系被現(xiàn)代哲學(xué)家重新定義。法國哲學(xué)家貝爾納·斯蒂格勒認(rèn)為，技術(shù)可以成為人的外在器官。某種意義上講，技術(shù)的有效應(yīng)用，可以促使人類世界由熵向負(fù)熵轉(zhuǎn)變。同時(shí)，技術(shù)通過對人腦的學(xué)習(xí)，呈現(xiàn)多樣形態(tài)。在影視界，人工智能可以打破戲里、戲外的界限，CG技術(shù)在電影中的應(yīng)用，搭建了現(xiàn)實(shí)和虛擬的橋梁。3D全息實(shí)時(shí)影像也出現(xiàn)在現(xiàn)實(shí)生活中。《銀翼殺手2049》在2017年上映，電影主體人物是一個(gè)賽博格形象。在電影的分類中，把這一類型的電影稱為“賽博朋克”世界。“賽博朋克”世界的場景如同樂高的世界，按著導(dǎo)演的意圖任意組合與折疊。可編輯的賽博格形象顛覆了人體形象的框架。賽博格也出現(xiàn)了對于“自我認(rèn)知”的誤讀。導(dǎo)演有意強(qiáng)化了兩者的矛盾，擁有人類智力和不老之身的賽博格渴求進(jìn)入人類世界。而今，“腦起搏器”已植入癲癇患者的身體，人類的腦電波實(shí)現(xiàn)了計(jì)算機(jī)的智能調(diào)控，“賽博格”開始進(jìn)入現(xiàn)實(shí)人類社會(huì)。

腦科學(xué)與電影藝術(shù)將突破真實(shí)界和虛擬界的鴻溝，通過多元媒介，串聯(lián)自然、人、物。可以想見，在元宇宙的世界中，腦科學(xué)既可以勾連我們的肉體，又可以幫助我們在意識中實(shí)現(xiàn)精神滿足。

賽博格與腦機(jī)接口的研究

電影中的賽博格形象。1985年，美國哲學(xué)家唐娜·哈拉維發(fā)表《賽博格宣言》，此后有關(guān)“人機(jī)合體”賽博格的討論便不斷地出現(xiàn)在哲學(xué)、社會(huì)、文化研究學(xué)者的文章中。2019年，《阿麗塔：戰(zhàn)斗天使》上映，其中的賽博格形象展現(xiàn)了導(dǎo)演對賽博格的認(rèn)識。《北京青年報(bào)》曾報(bào)道，“造型師借用計(jì)算機(jī)的人工智能，仿生了‘阿麗塔的頭發(fā)、眉毛甚至是皮膚。在導(dǎo)演披露的后期資料中，賽博格形象擁有13萬根頭發(fā)、50萬根面部絨毛。在眼睛的設(shè)計(jì)中，更是用900萬個(gè)像素來設(shè)計(jì)一層虹膜。”

如今，AI技術(shù)的發(fā)展，更是讓賽博格們幾可亂真。就在最近，一段短視頻廣告在網(wǎng)上引起轟動(dòng)，視頻中推薦產(chǎn)品的AI廣告人，肉眼已看不出與真人區(qū)別。4月12日，博納影業(yè)董事長于冬也表示，該公司出品的電影《傳說》即將定檔，影片運(yùn)用AI技術(shù)還原了27歲的成龍。

“造夢”的腦機(jī)接口研究。科學(xué)家對腦電波的采集和調(diào)控，最初是為了滿足腦病患者的需求。在過去的三十年間，腦科學(xué)家、醫(yī)生、工程專家、計(jì)算機(jī)專家合作，在大腦認(rèn)知領(lǐng)域取得了新成果——可以通過臨床植入“腦起搏器”的方式影響腦電波，有效遏制癲癇和帕金森病人的病情發(fā)展，提高腦病患者的生活質(zhì)量。同時(shí)，可穿戴的腦電波采集裝置也通過臨床在三甲醫(yī)院推廣，實(shí)現(xiàn)人工智能與人腦的勾連互動(dòng)。腦科學(xué)家與神經(jīng)外科專家開始對迷走神經(jīng)展開研究，并通過神經(jīng)調(diào)控的方式，開展“造夢”實(shí)驗(yàn)。未來，突破視覺藝術(shù)，觀眾真正進(jìn)入神經(jīng)感知領(lǐng)域欣賞電影，將不是夢。

21世紀(jì)以來，腦科學(xué)和計(jì)算機(jī)技術(shù)的結(jié)合，積極應(yīng)用到社會(huì)發(fā)展的各個(gè)領(lǐng)域。正如貝爾納·斯蒂格勒所言：“數(shù)字時(shí)代，知識不再僅僅被理解為信息的共享和傳播。”腦科學(xué)之于電影藝術(shù)，由電影主題元素，拓展到影響電影的存在形式。腦科學(xué)、計(jì)算機(jī)技術(shù)、人工智能……電影持續(xù)運(yùn)用科學(xué)技術(shù)創(chuàng)造藝術(shù)盛宴。由此，電影將以更加寬廣宏闊的方式進(jìn)入我們的生活，不僅滿足觀眾的視覺愉悅，更將帶來全新的沉浸式感官體驗(yàn)。

（作者單位：中國廣播影視出版社有限公司）