基于循環神經網絡的時域反走樣算法

李健寬

（四川大學計算機學院，成都 610065）

0 引言

走樣是圖形渲染中的基本問題之一，它是圖形幾何及著色計算過程中采樣率不足導致的現象，具體表現為幾何邊緣的鋸齒及紋理失真。而圖形反走樣算法能夠減緩這種走樣現象，極大提升圖形繪制的質量，因此，高效高性能的反走樣算法研究是圖形學的重要課題。

時域反走樣（Temporal Anti-Aliasing，TAA）是當前實時渲染中應用最廣泛的反走樣算法，它屬于通過增加采樣率緩解走樣誤差的算法，TAA將子樣本點分散到了圖形繪制的歷史幀中，采用啟發式算法將歷史樣本點融合到當前幀中。樣本點分攤到時域上使得TAA消耗較低渲染系統資源的同時，為畫面效果帶來極大的提升，這也是TAA從眾多反走樣算法中脫穎而出的重要原因。

近年來深度學習不斷發展，圖形渲染領域也出現一些與深度學習結合的方法。2018年，英偉達推出了圖靈架構顯卡，附有專為深度學習設計的硬件Tensor Core，此類深度學習專用硬件的出現讓圖像任務中表現優異的深度學習算法越來越多的被引入實時渲染領域中。例如，與Tensor Core一同推出的英偉達深度學習超采樣（Deep Learning Super-Sampling，DLSS），該算法利用數據驅動方式從大量場景圖像中學習反走樣網絡模型，用于提升圖形渲染品質。

循環神經網絡（Recurrent Neural Network，RNN）是深度學習領域應對時序數據的一種神經網絡結構，Chaitanya[1]將其應用在光線跟蹤實時降噪上。RNN中的隱藏單元能有效提取歷史信息，這些信息將幫助神經網絡得到更優質的光線跟蹤去噪的結果，并保證了所繪制效果在序列上的穩定性。

當前的時域反走樣算法雖然較好地提升了圖像質量，但也仍面臨模糊、重影、閃爍等現象，在時域復用框架下難以避免?，F有的工程實現上需要不斷找到更優的啟發式方法來消除這些現象，然而這些啟發式方法往往依賴于特定的假設。我們期望使用數據驅動的方式，讓深度學習發揮在圖像任務上的優勢。

本文將研究RNN與TAA的結合算法，用深度學習替代時域反走樣中的眾多啟發式方法，進行圖形序列反走樣。并對效果進行定量分析。

1 相關研究

TAA最初由Yang[2]提出，其核心思想是通過將子像素級別采樣點分攤到歷史幀來獲取近似超采樣效果。TAA可以作為一種時域復用框架，它讓我們以相對極低的資源開銷獲取高品質的游戲畫面，這使得它被廣泛應用在游戲引擎及交互式圖形程序中。

盡管TAA能產生優質的畫面效果，但也經常出現重影、模糊和閃爍等諸多問題。其中，模糊現象來源于重投影Nehab[3]步驟中對歷史像素采樣的過程：重投影的像素由歷史幀的多個像素插值獲得，而歷史幀像素又由更早歷史幀的多個像素插值獲取，隨時間推移，迭代過程中參與貢獻的像素范圍不斷擴大，導致圖像模糊。重影現象產生的原因在于融合了錯誤的歷史數據，這種錯誤一方面來源于當前像素的可見性變化，如當前重投影的像素對應的物體表面在歷史幀還未出現，另一方面來源于高頻變化的顏色區域，歷史像素丟棄判斷方法失效。對于重影現象，工業界最常用的方法是鄰域裁剪。Salvi[4]說明了鄰域裁剪的理論依據，salvi、malan、pedersen[5]分別給出了鄰域裁剪的不同實現方案。

隨著深度學習的興起，我們能看到越來越多的圖像技術被應用到圖形學領域，這些技術與圖形領域知識結合，發揮了比原始圖像算法更優的效果。Nalbach[6]使用G-Buffer輔助著色計算，并提出利用u-shaped結構的網絡完成反走樣（anti-aliasing）、環境光遮擋（ambient occlusion）、基于圖像的光照（image-based lighting）等眾多任務。隨后，Chaitanya[1]提出循環神經網絡對序列圖像結果穩定性的改進，該算法同樣利用了G-Buffer輔助信息完成對降噪效果的改善。

Jaderberg[7]首次提出 STN（Spatial Transformer Net?works），它引入了可微的重投影網絡層，保證梯度在重投影后的隱藏單元上傳遞，它常被用在與反走樣算法解決相似問題的超分辨率任務中，STN結合運動向量將保證序列數據的有效利用。例如，FRVSR[8]利用循環神經網絡，將上幀圖形利用運動向量重投影后，與當前時刻圖像通過網絡進行融合，最終得到超分辨率結果。這與TAA流程有眾多相似之處，它們都利用了歷史時刻重投影后的圖像與當前圖像融合得出最終結果。

基于深度學習的圖形渲染研究尚處于起步階段，相較于圖像領域，圖形繪制中可以快速、精確獲得用于重投影的運動向量（Motion Vector）以及G-Buffer中包含的除顏色外的深度、法線重要信息。通過引入深度學習在圖像領域的經驗，結合圖形繪制可精確中間信息，能讓我們用另一種途徑完成多種圖形繪制任務。

2 算法實現

2.1 問題分析

時域反走樣中，無論是重投影還是模糊、閃爍、重影處理，都使用了啟發式方法，這些方法并非數學形式上完美解決，而是研究者通過對問題理解基于假設而提出的暫時處理方法：TAA重投影計算中，運動向量采用像素鄰域最長的作為當前像素的重投影向量；鄰域裁剪中，使用AABB或統計當前像素鄰域的均值方差形式對歷史樣本顏色進行裁剪；歷史樣本融合過程中，利用人工設計方法計算的衰減因子，以指數衰減融合的方式將歷史幀采樣的像素顏色和當前像素進行融合。

在這種沒有解析解的圖像處理問題上，深度學習方法大量數據中使用損失函數的梯度尋求更有的神經網絡模型，通常能成為現有問題的前沿解決方案。

本文算法的目標是將循環神經網絡與現有的時域反走樣框架進行融合。時域反走樣算法中，有幾個關鍵的步驟，分別是：子像素偏移、重投影、鄰域裁剪、加權融合。本文算法利用循環神經網絡替換掉TAA中融合歷史樣本的方法，直接從場景中采集的大量圖像序列來學習神經網絡模型參數，最終的模型能夠很好地完成圖形反走樣任務。

2.2 基于循環神經網絡的反走樣算法

本文算法完整保留了TAA算法中的子像素偏移、重投影等步驟：T時刻渲染的畫面將進行子像素級別的偏移，之后利用神經網絡進行當前幀像素和重投影后的T-1時刻歷史像素的融合，在TAA中對應的是鄰域裁剪及加權融合兩個步驟，而本文算法則將完全依賴于從場景數據中學習得到的卷積神經網絡。

本文算法的網絡結構如圖1所示。所提出的神經網絡模型是在Chaitanya[1]的基礎上的時序改進版本，他們使用的是一種帶有Skip Connection的編碼-解碼卷積神經網絡，這種結構能夠在編碼階段學習圖像特征的內部表示，并在解碼階段還原圖像的反走樣表示。此外，G-Buffer也能提供場景的輔助信息幫助我們完成圖像的反走樣表達，我們將延遲渲染中的深度、法線等幾何信息與走樣圖像一起作為神經網絡輸入，幫助神經網絡進行更有效的反走樣推斷。時序上，網絡的輸出由當前時刻的運動向量利用STN中提供的可微重投影層進行重投影變換，T-1時刻網絡輸出經過重投影層的變換，與T時刻圖像、G-Buffer一起，作為T時刻的網絡輸入。

實驗中采用大量的由走樣圖像序列到超采樣圖像序列對組成的數據集對模型進行訓練，我們使用英偉達提供的Falcor[9]渲染程序采集Sun Temple[10]場景數據。具體而言，我們采集了1000段圖像序列，分割為訓練、測試、驗證集，每段序列由7組圖像構成，每組圖像包含走樣圖像、運動向量、G-Buffer、Ground Truth、TAA組成。針對采集的每段圖像序列，我們使用本文提出的模型進行訓練。每段數據經過旋轉（90°、180°、270°）、倒序排列序列圖像等數據增強處理，訓練輪數為500輪。

訓練完成后的網絡模型使用流程如圖2：

（1）重投影上一幀結果，與當前渲染結果共同作為神經網絡輸入

（2）渲染當前幀，產生子像素級別抖動，并保留GBuffer信息

（3）利用自編碼卷積神經網絡對1、2輸入進行處理，輸出反走樣圖像

（4）重復步驟1

圖1 本文算法采用的網絡結構及數據輸入輸出

圖2 本文算法在時序上的流程

3 實驗結果及分析

圖3 左到右分別為原始圖像、TAA、本文算法、Ground Truth

表1 TAA與本文算法性能對比

本文研究的目的在于使用深度學習方法提升時域反走樣的效果，我們將分別統計本文算法及TAA算法在所采集數據集上的RMSE指標，來統計逐像素數值上的差異。表1為TAA及本文算法進行的定量比較，可以看出本文算法相對于原始的算法，RMSE數值更低，這意味著本文算法結果與Ground Truth差異更小，即在統計上本文算法優于TAA。而圖3在實際場景中的測試則可以看出，TAA算法對原圖產生了一定的反走樣效果，幾何邊緣鋸齒現象減弱，但整體畫面更加模糊；相比之下，本文算法結果既保留了清晰的幾何邊緣，在紋理上也保持了原有的清晰度，產生了更接近Ground Truth的高質量反走樣結果。

4 結語

本文給出了基于循環神經網絡的反走樣算法的實現，我們將時域反走樣中的方法融進了深度學習流程中，最終得到的效果能夠較好地完成圖形反走樣任務。在結果分析中能看到，本文算法能較好解決幾何走樣、著色走樣問題，性能指標優于英偉達實現版本的TAA算法。本文算法能用于減緩實際游戲、交互式圖形程序中遇到的走樣現象，具有實際意義。