基于AIGC賦能的影視技術與影視色彩設計研究

洪宇/江西應用科技學院

何淵吟/上海大學上海電影學院

影視是指影像和聲音結合而成的藝術形式，通過電影、電視劇、紀錄片等媒介進行展示和傳播?它是一種通過攝影、導演、剪輯、音效等技術手段，將故事、情感和思想以圖像和聲音的形式呈現給觀眾的藝術表達方式?AIGC技術賦能在近兩年內取得了顯著的發展，也是當前人工智能研究的熱點和前沿方向之一，指的是由人工智能生成的內容，它是利用機器學習和自然語言處理等技術，讓計算機能夠自動生成文字、圖像、音頻和視頻等各種形式的內容?AIGC是一種新型內容生產方式，它在用戶生產內容（UGC）和專業生產內容（PGC）之后出現?最近，美國OpenAI推出了名為ChatGPT-4的聊天機器人，ChatGPT-4的上線標志著人工智能技術在內容生成領域的進一步發展，產學研各界對AIGC的討論、研究和應用熱度也上升到了新高度?目前，AIGC技術在影視技術與影視色彩設計領域的應用逐漸擴展，通過智能化的視頻生成和后期處理，可以為設計師和藝術家提供更多創作工具和可能性?

1 AIGC賦能在影視技術中的應用

一直以來影視行業對人工智能的態度相對友好，AIGC技術利用深度學習和計算機視覺等技術，通過對大量數據的訓練和學習，能夠實現影視中的劇本創作、概念圖描繪和圖像合成、特效生成、場景重建等任務，從而提高影視制作的效率和質量?

在影視制作的前期，AIGC可以協助人類創作者進行劇本創作?例如，Alhussain等提出了一種基于深度學習的故事梗概生成方法，這種方法可以根據輸入的關鍵詞或主題自動生成故事梗概，為影視創作提供更多的靈感來源?[1]但目前AIGC賦能的劇本創作仍然處于初級階段，有時它仍然難以確保劇本的邏輯性和連貫性，并且存在難以理解和準確描繪復雜的人物性格、情感和動機等諸多問題?同時，AIGC技術賦能還可以幫助制片人和導演創建前期概念圖，從而降低雇傭場景設計師、概念設計師和分鏡設計師等職位所需的成本?雖然目前AIGC技術賦能在影視劇本創作、概念圖描繪存在著諸多問題，但是隨著技術迭代與資金的持續注入，AIGC的創作質量將逐漸接近于人類的水平?

其次，AIGC賦能在影視技術中的一個重要應用是圖像合成?傳統的影視制作中，如果需要在現實場景中增加虛擬角色或者特效元素，通常需要依靠綠幕技術?但是這種方法存在一些限制，例如綠幕的設置不便捷、實時交互困難等?而AIGC技術可以通過學習大量的圖像數據，識別出場景中的物體和結構，進行了視覺、聽覺和場景構成的分析?并將虛擬元素自動融合進去，從而實現更加方便和高效的圖像合成?比如前段時間備受矚目的國產電影《流浪地球2》，這部影片可謂是國產科幻電影的里程碑，影片中所呈現的特效讓觀眾對當代國產特效的水平深感震撼?最前沿的是電影通過AI技術復原了已故的吳孟達先生（圖1），讓他重現在影片中與我們一起“流浪地球”?而且，不止這一點，《流浪地球2》還通過AI修復，使主演年輕化，并修復聲帶受損的演員聲音，可謂是AI技術促進了影視圈的全新革命?

圖1 《流浪地球2》利用AI技術“復活”已故的吳孟達 （圖片來源：網絡）

此外，AIGC技術在影視技術中還可以應用于特效生成?特效在現代影視制作中起著至關重要的作用，能夠為觀眾帶來更加震撼和奇幻的視覺體驗?傳統的特效制作通常需要耗費大量的時間和人力，而AIGC技術可以通過學習真實世界中的特效數據，通過AI算法和CG模擬，可以生成高質量的特效效果，使電影場景更加震撼，從而減少了特效制作的時間和成本?例如，在AI電影節大獎得主Riccardo Fusetti，他的作品《Generation》非常具有表現力和抽象感，將現代表演與大量視覺效果和哲學旁白文本相結合?這部短片是使用AI繪畫工具Disco Diffusion制作的，融合了真實舞蹈表演和人工智能視覺效果，在對感官的強烈探索中，每一幀粒子和紋理都是藝術?Disco Diffusion擁有許多強大功能和智能算法，可以根據用戶的需求，自動匹配相關素材或者進行創造性設計，生成出精美的二次元畫作?Riccardo Fusetti導演透露“只有在嘗試了人工智能文本到圖像的算法之后，我才真正看到了一種將那種（壓倒性的）感覺可視化的方法”?帶著他的目標，Fusetti拍攝了他的舞蹈序列，然后將結果輸入“文本到圖像的開源機器學習算法（Disco Diffusion）”，然后“將結果合成回原始鏡頭”?人工智能工作流程使他能夠“將電影的每一幀渲染成獨特而非常詳細的插圖”，最終制作出相當震撼的影片《Generation》?由此實驗可以看出通過AI與人類創意的結合，可以為設計師和藝術家提供更多探索空間?

AIGC技術還可以應用于場景重建?在影視制作中，有時需要對真實場景進行重建或者恢復?傳統的方法通常需要進行大量的測量和建模工作，而AIGC賦能可以通過學習真實世界中的場景數據，自動分析和重建場景的三維結構?在人工智能生成三維場景的技術中，Luma AI脫穎而出，它是一款利用AI技術生成高質量的3D角色和場景的應用，是一個被嚴重低估的3D掃描應用，它的技術和產品包括使用深度學習和計算機視覺算法的Text-to-3D等技術以及開發的LumaNeRF算法，可以用于快速生成各種類型的3D模型，引入NeRF技術后，對場景的重建能力也得到了夸張的提升：只要導入一個手穩的視頻，就能重建視頻里的真實場景，可以通過學習不同角度的圖片數據，對一個城市街道的三維結構進行重建，從而方便影視制作人員進行后期處理和特效合成?例如，由Jake Oleson用Luma AI創作的短片《Given Again》（圖2），它使用神經輻射場（NeRF，neural radiance fields）的技術來將2D照片變成3D虛擬物體?不管是小物件，亦或是人物、大風景等復雜場景，Luma AI都能夠精準還原，甚至還能還原光照環境等細節，支持自動調整焦距、視角和畫面比例調整等功能?

圖2 由Luma AI生成的《Given Again》視頻三維場景截圖 （圖片來源：網絡）

AIGC賦能在影視技術中的應用具有廣闊的前景?通過自動劇本創作、概念圖描繪、圖像合成、特效生成以及場景重建等功能，AIGC賦能能夠提高影視制作的效率和質量，為觀眾帶來更加真實和震撼的視覺體驗?盡管仍然存在一些挑戰，但隨著技術的不斷進步和發展，相信AIGC賦能將為影視制作行業帶來更多的創新和突破?

2 AIGC賦能在影視色彩設計中的應用

色彩在影視中是一種強大的表現手段，能夠傳達情感、烘托氛圍和塑造角色形象?隨著影視行業的迅速發展，影視色彩設計在影片制作中扮演著重要的角色?良好的影視色彩設計可以增強觀眾的情感共鳴，提升視覺享受，并幫助故事敘述更加生動和傳神，而傳統的影視色彩設計過程通常依賴于人工經驗和直覺，存在時間消耗大、創意受限等問題，AIGC技術的出現為影視色彩設計帶來了新的可能?

首先，隨著AI調色技術的廣泛應用，許多保存為灰度圖像形式的年代影視資料、珍貴文物和歷史視頻等得以利用AI進行上色修復?這項技術對于生動展示資料內容和還原歷史場景具有極其重要的價值?黑白視頻上色的工業化流程包括視頻修復、視頻上色和視頻調色等環節?為實現視頻上色，需要進行以下步驟：構建相應的數據集、訓練人工智能上色模型，以及建立上色迭代優化流程?[2]例如，電影《雷鋒》是一部經典電影，由于當時的技術限制，該片是以黑白攝制、4：3畫幅和單聲道的形式呈現?然而，在經過修復并上色后，可以欣賞到以彩色和立體聲方式呈現的《雷鋒》電影?通過AIGC技術修復和上色的過程為觀眾呈現了更加真實生動的影像效果，也為國內經典影視作品的現代化生產貢獻新力量?

其次，AIGC技術的引入為影視畫面的色彩分析和處理提供了智能化的解決方案?調色師掌握AI使用技巧，就能更好地找到符合需求的參考畫面，向AI咨詢調色意見，甚至讓AI給出調色結果?AIGC技術通過對電影或電視劇中的幀畫面進行自動分析，可以提取出關于主要色調、色彩亮度、色彩飽和度等方面的信息?這些信息對于調色師來說非常有價值，因為它們有助于理解畫面的整體色彩組合和色彩分布，從而為影視色彩設計提供準確的參考?除了提供參考，AIGC技術還能夠輔助設計師進行色彩搭配和調整工作?基于對畫面的色彩分析，AIGC技術能夠智能生成配色方案，供設計師參考和選擇，設計師可以根據自身的創意以及電影的主題、氛圍等要求對生成的配色方案進行修改和優化?此外，AIGC技術還能智能地調整畫面中的色相、飽和度、對比度等參數，以實現更加理想的色彩效果?不同類型的電影和場景往往需要傳達不同的情感和氛圍，而色彩在其中扮演著重要的角色，基于對大量電影素材的分析和學習，AIGC技術還能根據電影類型和場景特點智能生成色彩調性和色彩風格，以達到更好的視覺效果?類似于DaVinci Resolve和Colourlab.ai等調色工具可以自動分析和增強素材的色彩和色調，從而賦予電影精致的質感?這些工具有助于電影制作人實現一致且專業的調色，這在視覺敘事中是至關重要的一個方面?

需要強調的是，盡管AIGC技術在影視色彩設計中具有潛力，但它仍然需要設計師的主觀判斷和審美意識來指導和優化?影視色彩設計是一項藝術性極高的任務，需要考慮劇情、角色、情感等多個因素?設計師應該結合AIGC技術賦能的建議和提供的信息，發揮自己的創意和專業知識，將AIGC技術賦能作為工具和參考，與之相互協作，以實現更好的影視色彩設計效果?

3 AIGC技術在影視技術與色彩設計中的挑戰

盡管AIGC技術在影視技術和色彩設計中具有巨大的潛力，但是目前仍存在一些挑戰和限制?首先，國內關于AIGC在影視技術與影視色彩設計領域的研究數量相對較少，反映了該領域的研究熱度和關注度不高，也限制了該領域的發展和創新?關于AIGC在影視創作領域的研究內容不夠深入和系統，缺乏跨學科和跨領域的視角和分析，缺乏對AIGC在影視創作領域的各種類型、風格、形式等的考察，缺乏對AIGC在影視創作領域的影響、挑戰、機遇、策略等的分析?

其次，AIGC技術在算法上存在的準確性和穩定性問題，盡管AIGC技術已經取得了顯著進展，但在生成視頻時可能存在一些不真實的細節和瑕疵，需要不斷改優化和迭代，AIGC的性能和效果很大程度上依賴于其訓練所使用的數據集和學習資源，需要大量的訓練數據，才能夠生成高質量的視頻，這對于影視制作行業來說可能存在一定的困難，因為特定場景的數據往往是有限的，并且AIGC技術需要強大的計算能力才能夠實現高效的處理，這對于一些小規模制作公司或個人來說比較困難?所以獲取高質量和多樣化的數據集以及進行大規模的訓練仍然是一個挑戰?

此外，是與人類創意的結合問題?使用AIGC技術進行影視創作時，如何保持創意的獨特性，是研究者需要高度重視的問題?AIGC雖然能夠提供一定程度的創意支持，但與人類創意相比仍有差距，目前還無法完全替代人類的視頻創作，因為人類的創作具有更加復雜的情感和思維，能夠表達更多元化的創意和想法?并且由于機器學習算法的工作方式是基于已有的數據進行學習和生成，存在著模仿和缺乏創新的風險?為了解決這個問題，可以通過引入更多不同類型的影視作品和藝術風格的數據來訓練模型，以擴大其學習范圍和創造力，還可以將AIGC技術與人類創作者的直覺和藝術見解相結合，通過人機協同的方式來產生更具獨特性的創意?

最后是對隱私和版權的考慮，使用AIGC技術需謹慎處理個人信息和版權問題，以確保合法合規，首先是制度方面的變革，現有的法律、法規和制度主要圍繞自然人產生的作品展開，機器生成的內容在版權法上還沒有明確的規定?因此要加強相關法律問題的研究，可能需要對相關法律制度進行某些方面的修訂?另一方面，用技術的手段解決問題，技術上的創新也可以解決一些制度無法解決的問題?在版權保護方面，我們可以采用各種技術手段，來幫助保護知識產權，并鼓勵創新?[3]

4 結語

AIGC技術在影視攝影與色彩設計領域有著廣闊的應用前景?然而，我們還需要進一步研究和探索，以提高算法的準確性和穩定性?同時，我們需要更好地結合人類創意，遵循相關法律法規，促進AIGC技術在這兩個領域的可持續發展?未來的研究方向應該聚焦于技術改進、人機合作以及法律合規性，以推動AIGC技術在影視攝影與色彩設計領域的發展?從而我們就能實現影視技術和色彩設計創作的多元化、個性化和智能化?