基于GAN網絡超分辨率的集成成像計算重構

2023-10-20 14:15:14祁澤鑫

長春工業大學學報 2023年3期

武偉, 祁澤鑫

(長春工業大學計算機科學與工程學院, 吉林長春 130102)

0 引言

人們所處的是一個三維空間,世間萬物都具有自己的空間大小和與其他事物的位置關系。研究表明,人類主要通過眼睛獲取外界信息,其中大部分是圖像信息。這是因為雙眼效應使得我們能夠獲得三維圖像,從不同的視角觀察物體,形成全面的視覺感知。雖然傳統的二維圖像可以顯示出圖像的主題、背景,而且能夠顯示出高分辨率、高幀率以及較大的觀看視角,但是卻沒有真實的空間位置、遠近、深度等信息。隨著科技的發展,人們已經不再滿足觀看2D圖像和電影,裸眼3D顯示技術正在逐漸擺脫工具的限制,已經成為火熱的研究方向[1-5]。因此,近年來科研團隊一直致力于研究集成成像系統,以生成逼真而高質量的三維圖像。最初,集成成像系統是基于透鏡陣列,用于采集和顯示三維信息。2002年,Jang J S等[6]使用同步振動微光學透鏡陣列對場景進行采集與顯示,克服了由奎斯特采樣效應所決定的分辨率上限,提高了顯示分辨率。同年,Lee B等[7]設計了一種帶開關垂直孔徑陣列的圖案掩模,以連續控制透鏡陣列中每個透鏡的打開和關閉,減少圖像重疊,增加集成成像的視角。

近幾年,國內大學科研團隊也有了不同的進展,北京郵電大學桑新柱教授研究團隊提出三維光場顯示多視差視圖合成[8],基于路徑跟蹤和CNN超分辨率的實時光學重建方法[9-10]。四川大學王瓊華教授帶領的科研團隊是國內較早開始研究集成成像3D顯示的科研團隊,對透鏡陣列的設計和基于計算機對顯示內容生成等有獨到的見解[11-12],為提高集成成像系統的分辨率,利用稀疏相機陣列采集立體元圖像陣列,并通過超分辨率重建技術獲得高分辨率的立體元圖像陣列。這樣可在集成成像系統中獲得更清晰、更精細的圖像顯示結果[13]。吉林大學王世剛教授帶領的科研團隊長期對真三維立體顯示和圖像視頻處理的研究,在該領域有較強話語權,目前搭建了基于LED顯示面板和透鏡陣列的大尺寸裸眼3D顯示系統,并且建立了完整的從采集到處理到顯示的集成成像系統[14-15]。

隨著深度學習的快速發展[16〗,超分辨率從SRCNN發展到SRGAN[17-18],目前已經可以做到對圖片4～8倍的放大,并且可以恢復較多的紋理細節。隨著顯示分辨率的提高,相機的數量和分辨率也在提高,這些方法在一定程度上提升顯示圖像的分辨率,因此,文中提出基于輕量化的GAN網絡超分辨率集成成像方法,可以減少相機數目以及加快超分辨率圖像生成和渲染速度,節約成本。

1 基本原理

1.1 實驗流程

文中提出的集成成像方法實驗流程如圖1所示。

圖1 超分辨率集成成像方法實驗流程

首先在計算機仿真軟件Blender中生成攝像機陣列,對目標進行取樣拍攝,獲得低分辨率圖像陣列,然后使用輕量化GAN網絡對采集到的圖像做超分辨率處理,得到超分辨率圖像,計算集成成像。

1.2 基于GAN的高分辨率立體元圖像陣列生成

為了快速獲得高分辨率的視點圖像,文中使用一個輕量級的GAN網絡來對低分辨率的視點圖像進行超分辨率,從而獲得理想的高質量圖像。

首先從虛擬場景中渲染得到立體元圖像陣列,然后提取每個立體元圖像對應的像素來組成低分辨率視點圖像,通過GAN網絡的超分辨率處理生成高分辨率視點圖像。

SRGAN是一種用于超分辨率重建的生成對抗網絡,與之前基于CNN的超分辨率重建算法相比,SRGAN網絡增加了一個判別網絡,并提出感知損失來提高輸出圖像的真實性。判別網絡希望盡可能多地確定圖像是來自訓練集還是生成網絡的概率。生成網絡希望盡可能地生成圖像來欺騙判別網絡。GAN網絡的優點是生成網絡來擔任圖像超分辨率的功能,生成圖像的速度由生成網絡的復雜程度決定,因此可以使判別網絡設計相對復雜。

為了防止網絡層增加導致的梯度色散問題和退化問題,生成網絡增加了跳躍連接殘差網絡結構,并使用網絡VGG代替基于均方誤差(MSE)的內容損失。每個殘差塊有兩個卷積層,然后對卷積層進行批歸一化,并將PReLU作為激活函數。卷積層的卷積核均為3×3結構,有64個特征映射。

輸入低分辨率圖像,對卷積層進行卷積操作,卷積層參數設置為3×3×64,即有64個3×3卷積核,步長為1。使用PReLU作為激活函數,然后進入6個殘差塊網絡進行訓練,進入卷積層。最后通過上采樣法將圖像放大2倍。

上采樣操作采用縮放卷積的方法。利用最近鄰插值將圖像放大2倍,然后進入卷積層。最后進行卷積操作,輸出一幅高分辨率的圖像。

文中基于改進的SRGAN網絡,刪去了之前SRGAN中的BN層,去除BN層有助于提高泛化能力,同時增加高頻紋理細節,減少計算量和內存使用,把殘差網絡層與層之間相加構成密集殘差網絡,使得每個殘差塊之間有更多聯系。

超分辨率網絡結構如圖2所示。

(a) 生成網絡

文中使用相對較少基礎塊來組成生成器網絡,這樣訓練和生成高分辨率圖像可減少訓練時間和生成超分辨率圖像的時間。

GAN網絡使用內容損失和對抗損失來提升輸出圖像的真實感和生成高頻信息。損失函數表示為

(1)

對抗損失就是判別機將生成器生成的圖像認定為自然圖像的損失,內容損失分為兩部分:

1)生成器網絡的MSE損失;

2)將生成的圖像輸入VGG網絡中得到的特征損失。λ=1×10-3是對抗損失的權重。

均方誤差(MSE)是一種常用的損失函數,用于衡量生成網絡生成的高分辨率圖像與真實圖像之間的差異。如果損失函數loss只有MSE損失,則MSE損失可表示為

(2)

式中:W,H----分別為圖像像素長和寬的個數;

r----超分辨率放大倍數;

VGG損失函數是利用已經預訓練好的VGG-19網絡中的特征向量,將生成網絡生成的圖像通過VGG網絡產生的特征值和原始圖像通過VGG網絡產生的特征值做loss,通過這個loss作為兩個圖像感知相似度的衡量。VGG-loss損失表示為

(3)

式中:i,j----VGG網絡經過第j層卷積之后,第i層最大池化層之前的feature map輸出;

GVGG(i,j)----通過VGG網絡得到的特征值。

生成網絡目的是生成逼真的圖像來欺騙判別網絡,從而生成高質量圖像。因此對抗損失是用來衡量生成圖像和真實圖像的相似度,對抗損失表示為

(4)

訓練網絡使用VOC2012數據集,該數據集具有大量的高清圖片,并具有廣泛適用性,適合于SR訓練。為了擴大數據集,可以將數據集圖片進行裁剪、旋轉、鏡像等操作來增加數據集個數。數據集訓練時,先將高分辨率圖像進行雙三次下采樣,得到低分辨率圖像,再將低分辨率圖像放大和原圖像做對比,進而訓練網絡參數。訓練使用梯度下降策略為Adam,學習率r為1×10-4,訓練網絡為100個epoch,批處理大小為16。

2 實驗

實驗使用PC硬件配置為11th Gen Intel(R) Core(TM) i7-11800H @ 2.30 GHz 2.30 GHz、16 GB RAM和NVIDIA GeForce RTX 3060 laptop GPU。在Anaconda3(64-bit)的Pycharm(pytorch-gpu)環境下搭建實驗模型。測試使用重建圖像與原始高分辨率圖像的峰值信噪比(PSNR)與結構相似度(SSIM)做對比。