人工智能時代電影后期制作的變革與反思

文/陳坤

人工智能（Artificial Intelligence，簡稱AI）是第四次工業革命的核心驅動力，已滲透到各行各業，人類進入人工智能時代。AI技術已經得到世界各國的高度重視，并成為新一輪國際競爭的焦點。我國更是制定了《新一代人工智能發展規劃》，提出要“牢牢把握人工智能發展的重大歷史機遇”，將發展AI上升為國家戰略。在這樣的背景下，AI技術無疑也將對電影產業產生深遠影響，并成為電影后期制作發展的重要引擎。

一、變革：電影后期制作的智能化

電影后期制作的成本高、周期長，存在大量重復性工作，成為制約電影產業發展的瓶頸，迫切需要AI賦能。隨著AI圖像與聲音識別技術的成熟，AI介入電影后期制作成為可能。電影后期制作主要包括剪輯、特效制作與配音等環節，以下具體論述這些環節的智能化變革。

剪輯經歷了從膠片時代的機械剪輯到數字化時代的非線性剪輯，現正進入智能化剪輯時代。如21世紀福克斯與IBM合作，用AI系統剪輯出了恐怖片《摩根》的預告片。該AI系統在學習了百余部恐怖電影基礎上，分析這些電影的場景、對話與視覺變化等，根據腳本剪輯出了預告片。

對元素的排列組合是AI的強項。AI能對不同鏡頭進行組合，生成多種方案供人選擇。在圖像識別技術的基礎上，AI可以學習以往經典電影中的剪輯技術，運用計量電影學的方法逐幀分析，根據規律按圖索驥。剪輯前需要對前期拍攝的鏡頭素材進行篩選，工作量巨大，特別是多機位拍攝會產生海量鏡頭，很難通過人力去逐個回看及篩選，部分精彩鏡頭易被錯過。所以說素材管理是剪輯工作的難點與痛點。AI則能對海量素材進行標記、分類與排序，統計和分析每個鏡頭，進行批量化管理。AI剪輯系統根據文字劇本與分鏡頭腳本來初步篩選鏡頭，快速選擇目標鏡頭，并進行有意義的排列、組合，完成初剪；剪輯人員拿到初剪后的視頻，可以通過修改文字劇本，實時修改初剪后的視頻。AI幫助人類將大部分時間和精力用于精剪，使人有更多時間去思考、理解電影的情感與意義，從而讓剪輯更有溫度。目前AI更多被用于電影預告片、集錦與花絮的剪輯。針對不同國家的文化，剪輯多個版本的預告片，或面向觀眾的個性化需求，剪輯出“千人千面”的預告片，或把電影剪輯為各類短視頻，通過推薦算法推送給目標觀眾，助力電影的精準傳播。AI能夠提高電影素材的利用率，促進個性化剪輯的發展。AI剪輯系統亦可配合管理部門對電影內容進行審查與分級，特別是引進國外電影時，根據國家相關法規高效地刪剪不合規的鏡頭。

傳統電影在特效上需要大量人力投入，工作量巨大，加上制作周期長及專業人才匱乏，導致不少國際知名的電影特效公司也難逃破產厄運。因此國內外都在探索用AI來賦能特效制作。目前，被運用于特效制作的代表性AI算法有卷積神經網絡（CNN）、生成對抗網絡（GAN）與創意生成網絡（CAN）等。其中CNN擅長識別圖片的明度、純度與飽和度，根據圖像的特征進行函數擬合及映射，可用于藝術風格圖像生成。該算法先提取圖像的內容和風格，通過卷積層和池化層進行風格遷移，德國弗萊堡大學的團隊利用CNN提取了《星夜》等知名畫作的藝術風格，將這些風格遷移到電影《冰河時代》，把名畫的色彩、筆觸融入每個鏡頭，創作出有梵高等名畫家風格的電影，為電影帶來全新的特效風格。特效風格越明顯的電影，理論上越容易被AI進行學習與模仿。GAN則可被運用于提高視頻的分辨率，把標清視頻變為超高清的視頻，對受損的單幀圖像進行修復與增強，通過補幀、降噪及上色，恢復珍貴的黑白影像資料，或把經典黑白電影以全彩、高清的模式展現給觀眾。修復被損壞的影像，需對每幀圖像進行處理，僅靠人工難以完成。GAN還能用于修復被遮擋的圖像，新冠肺炎疫情期間，先讓演員戴口罩拍攝，后期通過GAN去除口罩，有利于降低演員感染新冠肺炎病毒的風險。CAN是在GAN的基礎上，對損失函數進行修改而產生的有一定創作能力的算法，CAN能模擬人類創作中的隨機性，產生更具藝術感的特效，讓AI擁有一定創作能力，不再是復制的機器，生成千變萬化的圖像，形成似與不似之間的技術美學，可應用于制作奇幻風格的場景，為奇觀電影的特效制作開辟了新天地。

隨著語音識別與自然語言處理技術的發展，AI賦能電影后期配音已經成為現實，只要有足夠的聲音數據，便可讓AI模仿演員的聲音進行配音，讓已逝明星的聲音數據被再次利用，實現“智能化永生”。AI配音主要分為兩個階段，第一階段的主要任務是制作語音庫，首先要確定使用場景、音色與風格，再找演員試音，根據需求設計試音文本，檢測配音演員是否合適做語音庫，然后進行模型訓練及優化。此階段除了找演員配音，還可以通過AI技術分析現有影視作品中的聲音數據，運用聲紋識別技術分辨說話人的聲音，分離音軌，提取已有的錄音，以豐富語音庫及訓練AI模型。第二階段需進行語音合成，首先要輸入文本，再進行詞的切分、語法與語義分析，模擬人類去理解自然語言，讓AI明白文本的意義，并給予發音提示，然后進行韻律處理，根據不同場景來分析聲音的頻率、振幅，模擬音高、音長的細節特征，使合成的聲音更自然，最后輸出語音，把文本轉換為語音。AI配音比真人配音更方便進行后期編輯，讓配音有更多可能性，同一段聲音可以編輯為不同年齡、不同性別的聲音，甚至能在不同語種之間快速轉換，特別是對小語種的配音有獨特價值，有助于解決小語種配音演員匱乏的難題，還有利于實現同一國家內不同方言的配音，促進方言與電影的深度融合，讓電影的配音更加個性化。AI不僅能用于角色的配音，還可以用于環境的配音。一方面，AI在真實環境中收集雷聲、雨聲、風聲與鳥鳴聲等，并對環境聲進行疊加，增強聲音的層次感；另一方面，從已有的影音作品中提取環境聲來制作數據庫，進行深度學習，然后針對不同場景進行合成，實現精準配音。但是AI配音中情感計算仍是難點，情感表達仍存在不足，目前主要被用于情感變化相對較小的紀錄片，而在情緒變化大的劇情片中難以代替人類，對AI配音的情感探索將是電影技術美學研究的重要課題。

二、反思：電影后期制作面臨的相關挑戰

AI在賦能電影后期制作的同時，也存在潛在的風險，對倫理、人才培養與人機關系等帶來多重挑戰，需要我們進行相關反思。

AI時代是算法為王的時代，算法被稱為“黑匣子”，當算法成為一種隱性的權力，種族和性別等歧視可能會悄然滲入，出現算法偏見、算法霸權等問題，難以保障算法的公平性與透明性，會對倫理帶來挑戰。在電影后期制作流程中，算法無處不在，如果圖像識別算法、剪輯算法、內容篩選與推薦算法中存在對性別或種族的歧視，將導致電影出現倫理問題。目前的深度學習是依靠數據驅動，數據是核心的生產資料，可能導致過度收集數據、違法使用數據的問題，加劇了數據挖掘與隱私保護之間的矛盾。大型影視公司比中小型影視公司擁有更多數據，需要防止大公司壟斷某些電影明星的肖像與聲音數據，加劇數據資產的貧富懸殊，破壞市場秩序，影響電影產業的生態環境。為了防止數據壟斷，電影管理部門可建立大數據平臺，匯聚影視數據，把控數據的質量，運用數據增廣技術，讓數據發揮更大價值，并對數據的使用進行監管及適度共享。當AI換臉與換聲的門檻被降低，明星的肖像與聲音被反復使用，會帶來濫用個人數據的風險。DeepFakes與ZAO催生的深度偽造引起了廣泛爭議，被指打開了“潘多拉魔盒”，造成對隱私的侵犯。這使我們要反思濫用數據帶來的倫理問題，重視對隱私權的保護，加強電影領域的相關立法，防止違規使用明星的肖像與聲音數據，特別要警惕在限制類電影中的濫用，保持工具理性。AI技術倫理是人機相處的道德準則，如同控制AI這匹駿馬的韁繩，目前人類防范AI倫理問題的能力還較弱，缺乏在電影制作領域建立相關倫理框架，建議成立電影制作領域的AI技術倫理委員會，對電影數據與算法進行審查與監管，進一步提高從業者的倫理素養，倡導科技向善、以人為本的價值觀，電影后期制作中的數據與算法倫理研究將成為重要課題。

AI時代，電影后期制作人員面臨前所未有的挑戰，對從業者的素質提出了新的要求，部分從業者面臨技術性失業的危機。AI帶來的變革，不僅是技術的變革，更是思維方式的變革。AI對傳統的電影教育帶來了挑戰，筆者調研發現國內不少高校的影視后期制作課的主要內容仍是學習傳統的制作軟件，與十年前的課程內容相差甚微，缺乏學習與AI有關的內容，對AI的重視程度不夠，建議開設AI通識課程，學習編程語言，提高與機器合作的能力。傳統電影后期制作人員很多是藝術類專業的畢業生，未來則需要更多科技人才加入電影行業，促進跨學科的合作。弱人工智能時代，AI在跨界融合方面尚存在不足，人類更需要培養跨界融合的能力。筆者采訪了北京電影學院陳山教授，他認為：“電影類專業的學生迫切需要提高科學技術素養，國內的電影教育對新技術的重視程度仍不夠。”面對AI的挑戰，電影類專業的師生都需要轉變觀念，培養“AI+”思維，包括大數據思維與算法思維，提升AI素養。目前，電影后期制作行業非常缺少電影數據標注與挖掘人員，電影圖像標注、語音標注與挖掘都需要同時學習電影知識與AI知識，市場缺乏這類復合型人才，未來電影后期需要更多理工科背景的人才加入，進行跨界合作。在新文科、新工科教育改革的背景下，面向未來培養具有AI素養、有跨學科能力的電影人才勢在必行。

海德格爾認為技術“把人連根拔起”，霍金更是告誡人們要警惕AI終結人類文明。AI帶來的挑戰啟迪我們要重新思考人機關系，AI時代的人機關系不應是彼此取代的關系，而應是你中有我、我中有你的關系，在人機協同的基礎上構建新型人機關系，共同構建電影后期制作的生態系統。機器可以成為人類的合作伙伴，減輕人類的負擔，幫助人類更好地發揮自身的優勢，延伸并增強人的智能，但是也要清醒地認識到“機器代人”與“無人化”的風險與挑戰。馬斯克曾大力推廣AI的運用，打造“無人工廠”，但隨著生產的不斷滯后，導致特斯拉陷入困境，后來他發文承認過度自動化是個錯誤，使得人類的價值被低估。尤瓦爾·赫拉利認為技術用溫水煮青蛙的方式，讓多數人淪為“無用階層”，他提醒人類不要過度依賴AI，更不能貶低人類的智能，倘若人類放棄自我的陣地，將會面臨退化的風險。我們也要充分認識到AI的局限性，AI需要人類給予明確的框架，所以要突出人的核心價值，堅持“以人為本”。斯坦福大學李飛飛與約翰·埃齊門第教授建立了“以人為本”AI研究院，倡導AI為人類帶來福祉，不是取代人類。我們還需反思人類區別于機器的特質，AI時代人類所從事的工作應有別于機器。電影是供人類品味的精神產品，終究需要人類為其注入靈魂。根據塞爾中文房間實驗的啟示，AI難以真正理解電影的情感與價值觀，故事與情感依然是電影的核心，人類獨特的情感、價值觀、工匠精神與創造能力是難以被AI替代的。電影后期制作中特效、剪輯與配音還需要帶給觀眾美的體驗，這離不開制作人員的美學修養與審美判斷。

三、結語

AI正成為電影工業發展的新引擎，引發一場新的電影技術革命，智能化將成為電影后期制作的新常態，催生新的視聽語言、美學標準與傳播方式。計量電影學的發展，將進一步推動AI在電影后期制作中的應用，AI換聲、換臉之于電影后期制作利大于弊，人類將有更多時間聚焦電影的藝術創作部分，電影的藝術性與精神性會進一步得到彰顯。我國的AI技術目前處于國際領先地位，同時我國擁有數據優勢，有利于訓練AI模型。數據與算法正成為我國電影業的寶貴資產，AI為中國電影提供了前所未有的機遇，將進一步完善我國的電影工業體系。我國需高度重視電影數據庫的建設，建立電影算力中心與電影算法平臺，縮短與世界發達國家的差距，助力中國由電影大國向電影強國邁進。