基于ARShadowGAN的增強現實場景中物體陰影生成算法
——以蘇州博物館藏品為例

周亞峰,金 益,祁昌豐,李鈴祥,章語軒

(蘇州市職業大學,江蘇 蘇州 215000)

0 引言

以國家一級博物館——蘇州博物館的藏品為例,探討如何利用成熟的數字技術——特別是增強現實技術——幫助博物館更好地展示、宣傳館內藏品。蘇州博物館館藏豐富多樣,包括中國古代書畫、陶瓷、玉器、青銅器、古錢幣、文房用具等,這些珍貴的藝術品展示了蘇州地區的獨特文化和藝術風格。其中,秘色瓷蓮花碗、真珠舍利寶幢、盛真珠舍利寶幢內木函、《趙天裕、柯九思、趙原、顧安、張紳、吳鎮六家墨竹卷》尤其值得稱道。

近年來,增強現實(Augmented Reality,AR)技術在許多領域得到了廣泛應用。在博物館及文化創意領域,增強現實技術為用戶提供了更加豐富、新穎、有趣的體驗方式[1]。通過將數字信息與真實世界場景相融合,增強現實為博物館提供了豐富的展示和互動方式,創造出增強的視覺和感知體驗。在增強現實場景中,物體的陰影是影響真實感和逼真度的重要元素之一。物體陰影生成算法旨在模擬光照效果,為虛擬物體在真實場景中生成逼真的陰影,從而增強用戶的沉浸感和現實感[2]。

結合深度學習和計算機視覺技術,本文介紹了一種用于增強現實場景中物體陰影生成的基于生成對抗網絡的新算法,并以蘇州博物館藏品為例進行了實驗分析。

1 國內外研究現狀

增強現實中的物體陰影生成算法通常涉及以下幾個關鍵方面:(1)光照模擬。為了生成逼真的陰影,算法需要模擬光源的位置、強度和顏色。這可以通過物體的位置、虛擬光源的設置以及場景的光照條件來實現。(2)幾何信息。算法需要獲取虛擬物體的幾何信息,如形狀、大小和方向。準確的物體幾何信息有助于生成與實際物體相匹配的陰影。(3)投影計算。通過將物體的幾何信息與光源的光線相交,算法計算出物體在不同表面上的陰影投影。這需要考慮物體之間的遮擋關系及光線在不同表面上的折射和反射。(4)陰影渲染。算法根據光照模擬和投影計算生成的陰影信息,將虛擬物體的陰影渲染到真實場景中。這需要考慮陰影的顏色、強度和模糊程度。(5)實時性能。在增強現實應用中,實時性能是關鍵因素之一。物體陰影生成算法需要在短時間內計算出陰影信息并渲染到場景中,以保持流暢的用戶體驗。

目前,已經有許多學者對物體陰影生成算法進行了研究[2-8]。傳統的方法主要是基于幾何學原理或光線追蹤技術來生成陰影。然而,這些方法往往需要大量的計算資源且對光源、材質、環境等因素非常敏感,難以應用于增強現實場景中。

近年來,深度學習技術在計算機視覺領域取得了巨大的進展,尤其是生成對抗網絡(Generative Adversarial Network,GAN)在圖像生成方面的突破[9],為解決增強現實場景中物體陰影生成問題提供了新的思路。目前,已經有一些學者基于GAN提出了物體陰影生成算法[5-8],并取得了不錯的效果。本文以ARShadowGAN算法為例進行實驗[5,7]。

然而,當前的物體陰影生成算法仍然存在著一些問題,例如:缺乏真實感、邊緣模糊、光影不連續等。因此,如何提高陰影生成算法的精度和效率,是當前研究的重點之一。

2 生成對抗網絡與陰影生成

生成對抗網絡是一種強大而創新的深度學習模型[9],旨在通過博弈的方式實現生成模型和判別模型的相互學習和優化。GAN的核心思想是通過2個對抗的神經網絡模型進行訓練:生成器和判別器。生成器模型旨在學習生成與真實數據相似的合成數據樣本,如圖像、文本或音頻等。生成器接受一個隨機噪聲向量作為輸入并通過逐漸調整網絡參數來生成偽造的數據樣本,使生成的樣本在外觀和分布上越來越接近真實數據。判別器模型作為對抗的一方,旨在區分生成器生成的偽造樣本和真實數據樣本。GAN通過交替訓練生成器和判別器來實現優化。在訓練過程中,生成器和判別器相互博弈,通過最小化生成器生成的樣本與真實數據之間的差異并最大化判別器正確識別真實數據的能力,從而實現模型的迭代和優化。

ARShadowGAN方法是基于生成對抗網絡和注意力機制的一種端到端的陰影生成方法[5,7],其結構由3部分組成:注意力模塊、陰影生成及改善模塊、陰影質量判別模塊,如圖1所示。注意力模塊接收2個輸入:不含虛擬物體陰影的增強現實圖像和虛擬物體掩模圖形。輸入圖像將被送到2個相同的解碼器分支,一個分支預測真實物體陰影的注意力熱圖,另一個分支預測陰影對應遮擋物的注意力熱圖。陰影生成及改善模塊利用U型網絡的5個下采樣-上采樣層。先生成粗略的虛擬陰影圖,再通過改善模塊連續進行4次微調得到改善過的虛擬陰影圖,并將其與輸入圖像疊加得到具備虛擬陰影的增強現實圖像。陰影質量判別模塊本質上是一個小型全卷積網絡,其接收不含虛擬物體陰影的圖像、虛擬物體掩模、帶有虛擬物體陰影的圖像作為輸入,判斷輸入的帶陰影圖像是真實陰影還是算法生成的虛擬陰影,以此提升陰影生成器的效果。

3 實驗與分析

硬件方面,實驗在英偉達Tesla T4圖形處理器上進行,該顯卡擁有16 G的256位GDDR6顯存,理論單精度性能為8.141TFLOPS。軟件方面,筆者使用的操作系統為Ubuntu 20.04.6 LTS,深度學習框架為開源的PyTorch 2.0.1,借助segmentation-models-pytorch開源庫實現了算法的快速實現和PyTorch模型的便捷構建。CUDA ToolKit版本為11.8,CuDNN版本為8700。模型在ARShadowGAN原文自建的數據集訓練和測試,數據集包含3 000張圖片,500張用于注意力模塊訓練,2 000張用于虛擬陰影生成器訓練,500張用于測試。

筆者利用原文訓練好的模型在蘇州博物館的藏品圖像數據上進行推理實驗。由于模型結構限制,所有輸入的圖片都用3次插值算法縮放到256×256大小。為了展示方便,本文將輸出圖片重新縮放回原尺寸。實驗結果如圖2所示。

圖2 實驗結果(虛擬模型來源:第一排模型為秘色瓷蓮花碗,第二排為真珠舍利寶幢)

蓮花碗(較為簡單的藏品):這個藏品的主體邊緣相對較為簡單。ARShadowGAN生成的陰影總體上是比較可信的,能夠很好地模擬出蓮花碗的基本陰影情況。然而,蓮花碗的碗碟有蓮花形狀的裝飾,筆者注意到生成的陰影沒有很好地表現出這些蓮花的花瓣,這可能是需要進一步優化的地方。

寶幢(復雜的藏品):寶幢是一個形狀極為復雜的藏品,具有非常多且非常小的部件。在這個情況下,筆者觀察到生成的陰影質量較差,可能是復雜的構造和部件的尺寸問題導致的。這表明ARShadow GAN算法在處理復雜的、具有微小部件的藏品時可能存在一些挑戰,需要進一步改進。

總的來說,實驗結果展示了ARShadowGAN在增強現實場景中物體陰影生成方面的潛力和局限性。在處理相對簡單的藏品時,算法表現出色,但在處理復雜的、充滿細節的藏品時,還需要進一步的研究和改進,以提高陰影的質量和準確性。這些實驗結果為數字文化遺產保護和增強現實領域的工作提供了有益的參考和啟示。

4 結語

本文以蘇州博物館的藏品為例,研究了基于生成對抗網絡的增強現實場景中的物體陰影生成算法。通過實驗驗證,文中選用的算法能夠生成具有高可信度的物體陰影,為增強現實環境中展示文化遺產提供了有效的解決方案。這一研究對于促進文化遺產的傳播與保護以及推動增強現實技術的發展具有一定意義。

然而,ARShadowGAN仍存在一些局限性。例如,對于復雜形狀的物體陰影生成效果有待進一步提升。未來,筆者將改進現有算法,探索更多的數據增強技術和網絡結構,結合其他計算機視覺和圖像處理技術,如目標檢測和語義分割等,以進一步提高物體陰影的逼真程度,并將研究成果應用于更廣泛的增強現實場景中。