基于深度學(xué)習(xí)的高新技術(shù)格式電影智能化轉(zhuǎn)換研究

王 健

(中國電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測所),北京 100086)

1 引言

近年來,隨著人們對電影視聽品質(zhì)的高質(zhì)量追求以及數(shù)字電影攝制技術(shù)的發(fā)展,高新技術(shù)格式電影和視覺特效影片持續(xù)推出。一方面,4K、8K、高幀率 (HFR)、高動態(tài)范圍 (HDR)、廣色域(WCG)、沉浸式音頻(IA)等新興視聽技術(shù)的應(yīng)用促使當(dāng)前電影拍攝、制作、放映的質(zhì)量要求不斷提升;另一方面,研究常規(guī)電影格式向高新技術(shù)格式轉(zhuǎn)換,提升經(jīng)典影片圖像質(zhì)量,豐富高新技術(shù)格式電影片源也成為當(dāng)下熱點(diǎn)研究之一。

隨著新一代信息通信技術(shù)、智能科學(xué)技術(shù)的發(fā)展以及圖形處理器 (GPU)計算硬件的加持,以電影大數(shù)據(jù)為驅(qū)動,基于人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的算法、模型和技術(shù),用以實現(xiàn)電影圖像分辨率、幀速率、量化深度、動態(tài)范圍、色域等高新技術(shù)格式的提升比基于傳統(tǒng)計算機(jī)圖像處理方法會表現(xiàn)出更好的品質(zhì)與性能,這也為電影制作提供了新的發(fā)展機(jī)遇與應(yīng)用模式。

本文首先對國內(nèi)外通過深度學(xué)習(xí)算法實現(xiàn)視頻圖像分辨率、動態(tài)范圍、幀速率等相關(guān)技術(shù)格式提升的研究現(xiàn)狀進(jìn)行梳理,并在此基礎(chǔ)上,結(jié)合數(shù)字電影特有的技術(shù)格式屬性,探討基于深度學(xué)習(xí)技術(shù)實現(xiàn)數(shù)字電影圖像由2K (2048×1080)到4K(4096×2160)/8K (8192×4320)、標(biāo)準(zhǔn)動態(tài)范圍(SDR)到高動態(tài)范圍(HDR)、常規(guī)色域(CCG)到廣色域(WCG)、標(biāo)準(zhǔn)幀率(SFR)到高幀率(HFR)轉(zhuǎn)換的技術(shù)框架,為高新技術(shù)格式電影智能化轉(zhuǎn)換提供可行性技術(shù)研究。

2 相關(guān)研究

2.1 視頻超分辨率重建

視頻超分辨率重建是將低分辨率視頻轉(zhuǎn)為高分辨率視頻的過程,可視為圖像超分辨率的一種擴(kuò)展。……