NVIDIA Instant NeRF 技術將2D照片轉(zhuǎn)換為3D場景

崇光

用2D圖像重建3D場景一直在進步，快速渲染的算法也在加強

我們都知道，傳統(tǒng)相機將3D場景捕獲為2D圖像。反過來呢？有沒有辦法將 2D 圖像轉(zhuǎn)換為逼真的3D 場景？近期NVIDIA Research的AI 工程師正在研究逆向渲染，這是一個使用人工智能來估計光線的行為方式，然后從“以不同角度拍攝的少量 2D 圖像”重建 3D 場景的過程。NVIDIA 研究團隊表示，他們已經(jīng)開發(fā)出一種幾乎可以立即執(zhí)行此任務的方法。它是同類中首批利用神經(jīng)網(wǎng)絡訓練并提供快速渲染的模型之一。

這種方法應用于神經(jīng)輻射場，也稱為NeRF，其中名為Instant NeRF 的新方法是迄今為止最快的 NeRF 技術。在某些情況下，它比其他方法快大約 1000 倍。該模型可以在“幾分鐘”內(nèi)對幾十張靜態(tài)照片進行訓練，而 Instant NeRF 可以在“幾十毫秒”內(nèi)渲染生成 3D 場景。

NeRF 使用神經(jīng)網(wǎng)絡使用 2D 圖像輸入來渲染 3D 場景。例如，假設用戶嘗試從各個角度拍攝個人照片，捕獲了幾十個不同的角度。從這組 2D 圖像中，NeRF 可以使用AI填充空白，然后訓練神經(jīng)網(wǎng)絡以重建 3D 整體場景，NeRF可以預測來自3D空間中任何方向的光線。

是什么讓 Instant NeRF 與眾不同？雖然基于局部視圖估計物體的深度和外觀是人類的一項自然技能，但對人工智能來說卻是一項艱巨的任務。這種需求意味著訓練早期的NeRF 模型需要數(shù)小時，Instant NeRF 使用 NVIDIA 的多分辨率哈希網(wǎng)格編碼技術將渲染時間縮短了“幾個數(shù)量級”，該技術針對 NVIDIA GPU 進行了優(yōu)化，所以速度要迅猛得多。

NVIDIA 圖形研究副總裁大衛(wèi)·盧貝克說：“如果說多邊形網(wǎng)格等傳統(tǒng) 3D 表示類似于矢量圖，那么 NeRF 就像位圖圖像：它們密集地捕捉光線從物體或場景中輻射的方式。” “從這個意義上說，Instant NeRF 對 3D 的重要性可能不亞于數(shù)碼相機和 JPEG 壓縮對 2D 攝影的重要性——極大地提高了 3D 捕獲和共享的速度、易用性和范圍。”

從當前的攝影技巧來講，器材不斷升級，Instant NeRF“可用于為虛擬世界創(chuàng)建化身或場景，以 3D 形式捕捉視頻會議參與者及其環(huán)境，或為 3D 數(shù)字地圖重建場景” 。除了滿足傳統(tǒng)攝影，還可用于訓練機器人和自動駕駛汽車，對于我們創(chuàng)造更好的作品，捕捉周圍生動的現(xiàn)實世界物體是大大有利的。