“大力水手”與“萬(wàn)金油”合體　NVIDIADLSS2.3+NIS“全家桶”實(shí)際體驗(yàn)

蒲鵬

就在11月16日，伴隨NVIDIAGameReadyDriver496.70驅(qū)動(dòng)的升級(jí)，NVIDIADLSS也迎來(lái)了2.3的版本升級(jí)。

很多玩家不知道的是，這次升級(jí)其實(shí)不止DLSS2.3，還包含NVIDIAImageScaling（以下簡(jiǎn)稱NIS）和NVIDIAImageScalingSDK，前者集成在NVIDIAGeForceExperience中供用戶使用，后者則是會(huì)對(duì)該功能推出的SDK，供游戲開(kāi)發(fā)商使用。另外還推出一個(gè)ImageComparison&AnalysisTool（以下簡(jiǎn)稱ICAT）圖像比較工具，專門(mén)用于錄制或抓取游戲中的畫(huà)面片段，比較不同技術(shù)下的畫(huà)面細(xì)節(jié)。DLSS2.3看似是個(gè)小版本升級(jí)，但基本包含了相關(guān)的所有技術(shù)，是以“全家桶”形式的進(jìn)行的全面升級(jí)。很多細(xì)節(jié)值得去聊，下面讓我們逐個(gè)對(duì)其進(jìn)行解讀：

DLSS2.3：消除“鬼影”，畫(huà)面更真實(shí)

關(guān)于DLSS（深度學(xué)習(xí)超采樣技術(shù)）這項(xiàng)黑科技，不少游戲玩家都有所了解，是一項(xiàng)基于AI人工智能訓(xùn)練的連續(xù)時(shí)間性超級(jí)分辨率技術(shù)，在提高幀率的同時(shí)，保持可媲美甚至超越原生分辨率的圖像質(zhì)量。DLSS的優(yōu)勢(shì)在于以AI為基礎(chǔ)，基于張量單元進(jìn)行計(jì)算，并不以犧牲性能換取畫(huà)質(zhì)的方式。NVIDIA表示，這次升級(jí)為2.3之后，依舊不會(huì)加重整體系統(tǒng)負(fù)載。DLSS2.3最核心的升級(jí)主要是基于運(yùn)動(dòng)矢量（motionvector），改善了運(yùn)動(dòng)物體的細(xì)節(jié)、粒子重建、拖影（鬼影）、時(shí)間穩(wěn)定性（連續(xù)幀的畫(huà)面穩(wěn)定性）。

舉個(gè)例子來(lái)說(shuō)，《賽博朋克2077》中汽車運(yùn)動(dòng)中會(huì)有一些細(xì)節(jié)拖影，比如后視鏡，升級(jí)之后，這些拖影均有明顯改善。

《毀滅戰(zhàn)士：永恒》中的火星拖影是同樣的道理，DLSS2.3將其重新渲染為不同的光斑。這是符合人眼視覺(jué)規(guī)律的。

具體來(lái)看DLSS2.3的升級(jí)內(nèi)容，其中包含：

·接近現(xiàn)實(shí)且更清晰的高分辨率細(xì)節(jié)

·一直在提升的人工智能模型

·更準(zhǔn)確的原畫(huà)面還原

·高質(zhì)量線條

·畫(huà)面上更清晰的屏幕文本內(nèi)容

·減少運(yùn)動(dòng)偽影

·對(duì)比原畫(huà)面也不輸?shù)姆€(wěn)定閃爍

·避免銳化后瑕疵

·有效利用像素，用更少的像素做更多的事情

相對(duì)以前老版本的DLSS，DLSS2.3針對(duì)移動(dòng)中物品畫(huà)質(zhì)進(jìn)一步強(qiáng)化，并修正了不少游戲中的細(xì)節(jié)：比如《Control》中女主角的馬尾，暗處的轉(zhuǎn)動(dòng)風(fēng)扇的顆粒。還有火焰燃燒狀態(tài)和散逸的火星，讓物理移動(dòng)時(shí)間軸內(nèi)的畫(huà)面更加穩(wěn)定，并且能將更多顯示運(yùn)算套用在游戲之上，無(wú)須游戲開(kāi)發(fā)商費(fèi)時(shí)費(fèi)錢(qián)去做開(kāi)發(fā)，而且在畫(huà)質(zhì)提升同時(shí)，讓幀數(shù)大幅提升。

正是因?yàn)镹VIDIA針對(duì)DLSS的不斷提升，其實(shí)從2.0版本起便有大量的游戲開(kāi)放廠商將旗下作品支持DLSS，甚至一些主流游戲引擎，諸如Unity、UnrealEngine，就引入對(duì)DLSS的支持。這一過(guò)程，其實(shí)并不僅是NVIDIA強(qiáng)大的硬件實(shí)力影響，DLSS本身特性獲得了廠商、玩家們的支持。

為何玩家者愛(ài)用DLSS，我?guī)痛蠹覐脑砩辖庾x

如果從原理上來(lái)理解NVIDIADLSS，你就能明白其優(yōu)勢(shì)所在。DLSS在進(jìn)行單幀畫(huà)面計(jì)算時(shí)引入了“空間+時(shí)間”的混合方式。針對(duì)當(dāng)前幀上的物體，DLSS會(huì)收集其之后兩幀的不同信息，（目前TensorCore的算力可以支持前后幀的計(jì)算）通過(guò)多幀累計(jì)完成對(duì)運(yùn)動(dòng)矢量的跟蹤，其AI算法會(huì)決定從關(guān)鍵幀與比較幀中提取相同的信息，這一部分是不需要重復(fù)計(jì)算的渲染的，所以在每幀畫(huà)面都以較小的算力獲取較多的畫(huà)面細(xì)節(jié)。

如上所示，一幀1440p分辨率的質(zhì)量模式畫(huà)面，DLSS在三幀畫(huà)面中總共采集超過(guò)600萬(wàn)的像素，再通過(guò)AI算法提取其運(yùn)動(dòng)矢量（MotionVector）信息，并通過(guò)AI算法模型對(duì)采樣信息進(jìn)行加工，從而渲染生成350萬(wàn)像素的畫(huà)面。在這個(gè)過(guò)程中，AINetwork會(huì)通過(guò)深度學(xué)習(xí)能力不斷優(yōu)化生產(chǎn)最優(yōu)方式生成圖像的方式。

相比普通的圖像縮放算法，是將220萬(wàn)像素輸入幀畫(huà)面以像素填充的方式“拉”成了350萬(wàn)像素，也就是通過(guò)空間標(biāo)識(shí)對(duì)單個(gè)點(diǎn)附近的低分辨率像素進(jìn)行采樣，再放大、銳化，說(shuō)白了，也就是一種單純的空間算法。（1）這樣的做法首先是在高分畫(huà)面中不可能完全還原低分畫(huà)面中的細(xì)節(jié)原樣，只能過(guò)能降低細(xì)節(jié)對(duì)比度的方式模糊物體的界限。（2）其次在運(yùn)動(dòng)感知上，通過(guò)前后幀的運(yùn)動(dòng)矢量運(yùn)算，以動(dòng)態(tài)的減少縮放比例;基于空間縮放的圖像縮放算法是由于沒(méi)有時(shí)間上的矢量數(shù)據(jù)，只是基于每個(gè)像素的空間標(biāo)識(shí)來(lái)計(jì)算，放大后畫(huà)面會(huì)出現(xiàn)一些不穩(wěn)定的狀態(tài)。（3）另外，普通圖像縮放算法這部分運(yùn)算需要犧牲一部分系統(tǒng)整體算力來(lái)實(shí)現(xiàn)的，而非用TensorCores單獨(dú)來(lái)運(yùn)算的。

兼容性更強(qiáng)的NIS

NVIDIAGeForce早期顯卡不具備TensorCores，無(wú)法使用DLSS，但這次GFE更新后將NVIDIAImageScaling（NIS）整合進(jìn)來(lái)，無(wú)疑給玩家提供了另一個(gè)選擇。

NIS其實(shí)不是一個(gè)新算法，早在2019年便已經(jīng)是NVIDIA控制面板中的一項(xiàng)功能了，不過(guò)后來(lái)因?yàn)榘l(fā)展DLSS的原因，它一直被擱置。如今重出江湖還是NVIDIA希望將近幾年在游戲畫(huà)面優(yōu)化的積淀釋放出來(lái)，秀一秀肌肉，畢竟它與AMDFSR是同源技術(shù)。

既然是有針對(duì)性的技術(shù)，NIS相對(duì)四年前的老版本空間算法有了巨大的進(jìn)步，最大的更新莫過(guò)于采用了十一階六6-tap過(guò)濾器和四向縮放技術(shù)，另外加上畫(huà)質(zhì)改善不錯(cuò)的自適應(yīng)圖像銳化濾鏡。值得一提的是，新的NIS將分辨率縮放和銳化放在一次掃描渲染過(guò)程中，效率非常高。據(jù)NVIDIA的披露，老款的GTX9系、10系顯卡均可支持該功能。從理論上來(lái)講，AMD顯卡和英特爾即將發(fā)布的獨(dú)立顯卡也應(yīng)該能夠支持NIS。

比起AMDFSR和英特爾XeSS，NIS最大的優(yōu)勢(shì)便在于不需要游戲支持，它僅是一套通用算法，而且放在驅(qū)動(dòng)之中，你可以把它理解為一種顯示的外掛，并且它還獲得了MIT的開(kāi)源授權(quán)，以及對(duì)跨平臺(tái)GPU的支持，在Github也可下載。

只要升級(jí)了此次的最新驅(qū)動(dòng)，便可以開(kāi)啟NIS。但NIS沒(méi)有游戲支持要求，但其實(shí)在使用上也有一定門(mén)檻的，所以我也會(huì)對(duì)使用NIS做一個(gè)簡(jiǎn)單說(shuō)明：因?yàn)镹IS不會(huì)去主動(dòng)適配和調(diào)節(jié)游戲中的原分辨率（FSR只需要設(shè)置最終畫(huà)面顯示出高分辨率即可），所以需要事先將游戲的分辨率設(shè)定在渲染前的低分辨率上，顯卡正常渲染后，再將游戲中的低分辨率圖像拉伸到全屏的顯示分辨率上，你可以理解為一種手動(dòng)模式，用熟之后其實(shí)也沒(méi)什么難度。

NIS開(kāi)啟需要同時(shí)在NVIDIA控制面板和GeForceExperience之中打開(kāi)。將驅(qū)動(dòng)更新后，用戶需要在NVIDIA控制面板中，找到3D管理設(shè)置中圖形縮放的選項(xiàng)，開(kāi)啟該選項(xiàng)后勾選“覆蓋指示器”;在GeForceExperience中，在設(shè)置選項(xiàng)中勾選“啟用實(shí)驗(yàn)性功能”，即可在下方點(diǎn)選開(kāi)啟圖像縮放（NIS）。在GeForceExperience，軟件是根據(jù)顯示器分辨率提供了不同的選項(xiàng)，選擇好分辨率檔位后，點(diǎn)擊下方優(yōu)化即可生效。

設(shè)置成功后，游戲左上角會(huì)有NIS的字樣顯示，綠色表示圖像放大和銳化同時(shí)生效中，藍(lán)色表示縮放未生效，此時(shí)需要將游戲中設(shè)置分辨率設(shè)置為小于NIS分辨率，這樣才能有效發(fā)揮NIS的渲染效果。需要說(shuō)明的是，NIS功能必須要全屏以及游戲獨(dú)占屏幕才能實(shí)現(xiàn)，窗口模式NIS是不會(huì)生效的。

既然NIS與FSR同源，都是一種空間縮放算法，它還是有一些天然克服不了的問(wèn)題，比如抓取不了運(yùn)動(dòng)矢量，同樣會(huì)有模糊的情況，比如在《Necromunda：HiredGun》的畫(huà)面中，我們可以看到這樣的問(wèn)題，而DLSS則能完美還原游戲畫(huà)面中的文字細(xì)節(jié)，甚至更加銳利清晰。不過(guò)同在ULTRAQUALITY模式下，它對(duì)幀率的提升還是優(yōu)于FSR的，不過(guò)離PERFORMANCE模式的DLSS還是有相當(dāng)距離。

所以，NIS與DLSS本質(zhì)上是不同的算法，基于AI算法DLSS對(duì)于畫(huà)面中物體的理解擁有運(yùn)動(dòng)矢量信息的計(jì)算，比只能在畫(huà)面中機(jī)械地插入像素的所有圖像縮放算法更為先進(jìn)。

我們?cè)賮?lái)看一些NIS與FSR的比較，可以明顯看到擁有四向縮放技術(shù)和自適應(yīng)圖像銳化濾鏡的NIS在畫(huà)面細(xì)節(jié)上更為細(xì)膩清晰。

極為方便的圖形分析工具——ICAT

ICAT（ImageComparison&AnalysisTool）是隨此次DLSS和NIS更新推出的一款圖形分析工具套件，需要單獨(dú)下載。借助它玩家可以輕松地比較原生、DLSS、FSR、NIS等游戲幀率優(yōu)化技術(shù)下的游戲畫(huà)面的差別。以往我們僅能借助Fraps、GFE或Frameview等工具軟件來(lái)比較幀率，但畫(huà)質(zhì)只能在并排畫(huà)面中來(lái)比較。

在ICAT中我們可以采用并排和分屏兩種方式來(lái)進(jìn)行比較，并排模式可以最多加載最多四個(gè)視頻或屏幕截圖，以并排方式播放，并能實(shí)現(xiàn)慢動(dòng)作播放、放大畫(huà)面、左右交換等功能。不僅如此，還能實(shí)現(xiàn)對(duì)齊、修剪、創(chuàng)建循環(huán)、平移以及縮放到焦點(diǎn)區(qū)域等操作，可以實(shí)現(xiàn)視頻畫(huà)面的同時(shí)播放。分屏模式則只支持兩個(gè)畫(huà)面疊加，可以左右拉動(dòng)滑塊來(lái)進(jìn)行左右測(cè)視頻或圖形的特點(diǎn)區(qū)域比較。

測(cè)試過(guò)程：DLSS依舊是最強(qiáng)王者，沒(méi)有之一

測(cè)試之前需要說(shuō)明的是，由于NIS是“外掛”的方式對(duì)畫(huà)面進(jìn)行空間縮放，所以它并不支持ShadowPlay這類軟件以錄屏的方式來(lái)抓取，正確的方式是通過(guò)視頻采集卡或者NVIDIAImageScalingSDK中錄制。不過(guò)NISSDK雖然是免費(fèi)開(kāi)放的，但依舊需要游戲廠商主動(dòng)支持，據(jù)NVIDIA官方披露，《仙劍奇?zhèn)b傳七》《逆水寒》和《永劫無(wú)間》三款游戲很快就會(huì)支持NISSDK。

《賽博朋克2077》

可以看到《賽博朋克2077》在DLSS下的性能提升非常明顯，在質(zhì)量模式下幀率有近兩倍的提升，而在超高性能模式下，幀率提升達(dá)4倍多。而NIS67%模式下，也有3倍多的提升。（以下測(cè)試均選擇最高畫(huà)質(zhì)、最高光追效果，關(guān)閉垂直同步）

在場(chǎng)景中，DLSS超高性能模式（左2）和DLSS質(zhì)量模式（左3）與原圖（左1）差別很小，前景上DLSS將招財(cái)貓和白盒子的金屬部分渲染得更銳，細(xì)節(jié)上基本還原了原圖精細(xì)度。背景上鐵架的細(xì)節(jié)則有些許區(qū)別，清晰度是原圖≥DLSS質(zhì)量模式≥DLSS超高性能模式≥NIS67%（左4）。

在這個(gè)場(chǎng)景中，我們主要分辨文字的桌上可樂(lè)罐等細(xì)節(jié)，與上圖一樣，和DLSS質(zhì)量模式（左3）與原圖（左1）差別極小，DLSS超高性能模式（左2）的邊緣銳度略低一點(diǎn)。因?yàn)椤顿惒┡罂?077》并不直接支持FSR，所以不進(jìn)行FSR模式的測(cè)試。

《F12021》

從幀率上來(lái)看，DLSS平衡模式依舊擁有提升近一倍的表現(xiàn)，而且NIS67%模式也有相當(dāng)不錯(cuò)的幀率表現(xiàn)，與DLSS平衡模式相近。《F12021》中并沒(méi)有FSR的模式變更選項(xiàng)，其幀率相對(duì)原畫(huà)面約有1.4倍的提升。

在畫(huà)質(zhì)比較上，DLSS依舊最接近原畫(huà)質(zhì)的，F(xiàn)SR看似畫(huà)質(zhì)也不錯(cuò)，但邊緣銳度過(guò)高有些失真。在圖1中賽車擾流板下的兩側(cè)文字，F(xiàn)SR和NIS都有不同程度的渲染畫(huà)面不穩(wěn)定的情況，LOGO看起來(lái)有些糊。圖2也是同樣的問(wèn)題，F(xiàn)SR模式下文字略有些銳度失真。

《神秘島》

《神秘島》同樣是兼容DLSS和FSR的游戲，在4K原畫(huà)質(zhì)下77幀的畫(huà)面，在DLSS平衡模式下同樣擁有接近兩倍的幀率提升，而DLSS超高性能模式下，則有2.25倍的提升;相對(duì)而言，F(xiàn)SR的高質(zhì)量和平衡模式的幀率提升稍低一些;理所當(dāng)然，提升最大的依舊是NIS模式。

畫(huà)質(zhì)比較上，我們將數(shù)據(jù)分為兩組，分別是（1）4K原畫(huà)質(zhì)、DLSS平衡、FSR超高質(zhì)量和NIS76%;（2）4K原畫(huà)質(zhì)、DLSS超高性能、FSR平衡和NIS50%。第一組測(cè)試中可以看到，即使是FSR超高質(zhì)量模式，畫(huà)質(zhì)依舊比不上DLSS平衡模式，F(xiàn)SR依舊有樹(shù)梢等細(xì)節(jié)渲染失真，畫(huà)面過(guò)銳的情況。NIS76%模式的畫(huà)質(zhì)是最低的一檔。

而在第二組中，我們可以看到DLSS超高性能依舊是最接近4K原畫(huà)質(zhì)的一組，而且與FSR平衡模式迅速拉開(kāi)了差距，F(xiàn)SR平衡模式反而與NIS50%的畫(huà)質(zhì)較為接近。

工程師點(diǎn)評(píng)

在市面上所有的同類技術(shù)中，DLSS依舊是體驗(yàn)最好的，其畫(huà)質(zhì)與游戲原畫(huà)質(zhì)幾乎沒(méi)有差別，而且在游戲中甚至有多達(dá)數(shù)倍的幀率提升。對(duì)于僅有一塊甜品卡，又想流暢地玩4K分辨率的3A大作，那么它是最好的選擇。DLSS2.3修復(fù)了很多動(dòng)態(tài)畫(huà)面細(xì)節(jié)上的問(wèn)題，且并沒(méi)有增機(jī)整機(jī)負(fù)載，值得點(diǎn)贊。

NIS加載更為靈活，不需要游戲支持，這是優(yōu)于包含DLSS、FSR、XeSS等同類技術(shù)的。在與同源軟件FSR相比較，它在部分場(chǎng)景下的細(xì)節(jié)和整體流暢度（幀率）優(yōu)于后者，不過(guò)依舊會(huì)有一些動(dòng)態(tài)畫(huà)面不穩(wěn)定和遠(yuǎn)景模糊的問(wèn)題。