基于預處理卷積神經網絡提升3D 光場顯示視覺分辨率的方法

于迅博，李涵宇，高 鑫，桑新柱，顏玢玢，粟曦雯，溫旭東，徐 斌，王越笛

（北京郵電大學 電子工程學院，北京100876）

1 引 言

3D 光場顯示技術被認為是實現裸眼3D 立體的一種非常有前途的方法。近幾十年來，3D光場顯示的成像技術取得了驚人的進展，為觀眾提供了大量機會去了解裸眼3D 顯示技術。顯示設備的分辨率是3D 光場顯示系統中最重要的因素之一，為了進一步提高3D 光場顯示的分辨率，人們做了很多努力［1-8］。3D 光場顯示系統通常由平面（2D）顯示設備和控光元件組成。提升分辨率的主要途徑有二：一是對背光刷新模組和顯示面板進行時分復用［3-4］，二是通過空分復用增加二維顯示面板的分辨率［5-7］。上述兩種方法的本質都是為了提高像素的數量，然而它們都大幅增加了系統的復雜度和制造難度。

除了增加像素數量，還可以通過提高視覺分辨率改進圖像質量。目前有很多可行的方案來實現2D 顯示系統的視覺分辨率提升［9-14］。例如通過緊湊排列多個投影儀，并對其投影區域進行特異化處理，以創造新的視覺像素［10］；通過將一對傳統顯示器分層，構建一個級聯的顯示器架構，進而產生視覺子像素［11］；基于人眼視覺系統的特點，提高預顯示內容的刷新頻率也可以提供更多的視覺像素［12］。最近有學者提出了新的思路，將提升視覺分辨率的方案應用到了3D 顯示系 統 中［15-17］。Zhan 等 人 使 用Pancaratnam-Berry偏轉器，通過疊加兩個偏移的像素格來提升視覺分辨率［15］。高鑫等人設計了一個線性棱鏡陣列，將原始體素陣列在對角線上一分為二，以提高視覺分辨率［16］。

前期工作中為提高視覺分辨率需要引入新的光學結構或顯示設備。我們提出了一種基于深度學習優化基元圖像陣列的3D 光場顯示方法，該方法不需要引入額外的控光元件就可以提高視覺分辨率。在3D 光場顯示的成像過程中，由于透鏡存在像差，光線經過透鏡會形成彌散斑。相鄰像素彌散斑之間的混疊區域可被視為新的視覺像素，并作為額外的信息載體。基于這個前提，我們搭建并訓練了一個卷積神經網絡（CNN），以從高分辨率基元圖像陣列（HEIA）中訓練得到預處理的基元圖像陣列（PEIA）。通過現有的透鏡陣列對PEIA 進行加載顯示，實現了視覺分辨率提高的3D 光場顯示。在實驗中，對現有的透鏡陣列進行像差分析，提取其點擴散函數陣列，并用高斯分布近似替代，方便后續網絡的搭建。通過使用LEIA和設計的復合透鏡陣列，演示了在70°視角下具有更好視覺分辨率的光場顯示。

2 基于LEIA 提升視覺分辨率

2.1 由透鏡像差引起的彌散斑交疊

我們在以前的工作中提出了一個帶有透鏡陣列、LCD 和定向擴散膜的光場顯示系統［17］。圖1中畫出了基本的顯示單元，并結合了3D 光場顯示系統的成像過程。像素1、2、3、4（表示為P1、P2、P3、P4）是LCD 上相鄰的不同像素。由于透鏡存在像差，使得單一像素在成像過程中形成了一個彌散斑。LCD 上兩個相鄰像素發出的光線經過透鏡后在定向擴散膜上形成的彌散斑之間產生了交疊區域，混疊區域可以被看作是新的視覺像素。如圖1 所示，新的視覺像素被標記為SP1～SP5（SP 表示亞像素）。新視覺像素的強度可以用P1、P2、P3 和P4 的強度表示。例如SP5的強度可以用公式（1）表示：

圖1 由相鄰像素之間交疊區域產生的新視覺像素Fig.1 New visual pixels generated by aliasing areas between adjacent pixels

Intensity(SP5)=K1·Intensity(P1)+

K2·Intensity(P2)+K3·Intensity(P3)+

K4·Intensity(P4)， （1）

其中K1、K2、K3和K4分別表示P1、P2、P3 和P4 在SP5 位置的權重系數。權重系數可以通過分析定向擴散膜上顯示的彌散斑強度分布得到。

如圖1 所示，在HFS 上顯示的視覺像素的強度分布可以通過卷積運算來表示：

VI(x,y)=PI(x,y)*h(x,y)， （2）

其中：*代表卷積運算，VI（x，y）代表視覺像素在定向擴散膜上的強度分布，PI（x，y）代表像素在LCD 上的強度分布，h（x，y）表示對應的點擴散函數（PSF）。單一透鏡下不同視場角的每個像素的PSF 可以被近似看作高斯分布，因此彌散斑的均方根半徑（RMS）的2 倍可被視為等于高斯分布的半高全寬（FWHM）［18］。根據高斯公式，任意RMS 半徑彌散斑的PSF 可以表示為：

其 中：R是RMS 半 徑，μx是 沿x軸 方 向 的 期 望，μy是沿y軸方向的期望。當基元圖像（EI）經過透鏡時，透鏡不同視場角下彌散斑的RMS 半徑都不相同，與其對應的PSF 也不相同。基于公式（3）及上述的討論分析，我們可以用不同的高斯分布近似替代不同視場角下的PSF。因此單一透鏡下復雜繁瑣的PSF 分布情況可以用一個高斯核陣列（GKA）來表示。那么EI 的成像過程可以看作是EI 的強度分布與高斯核陣列之間的卷積運算，如圖2 所示。

圖2 像素經過透鏡的過程可被視為與高斯核的卷積Fig.2 Process of pixel blurring after passing through a lens which can be regarded as convolution with a Gaussian kernel

2.2 基于CNN 提升視覺分辨率

為了將交疊區域變成可利用的視覺像素，我們設計了一個用于分辨率增強的CNN，用于從HEIA 中獲得PEIA。圖3 解釋了視覺分辨率增強是如何實現的。首先用虛擬相機陣列（VCA）對三維模型采集一系列高分辨率的視差圖，然后以15 360×8 640（16K）的分辨率合成HEIA。

圖3 使用CNN 實現視覺分辨率增強的3D 光場顯示過程Fig.3 Process of using CNN to realize visual resolution enhanced 3D display

將HEIA 輸入至CNN，經過CNN 的處理，得到分辨率為7 680×4 320（8K）的PEIA。輸出的PEIA 被加載到LCD 面板上，經過透鏡陣列的光學變換后，觀眾可以在定向擴散膜上觀察到具有視覺分辨率增強的光場顯示3D 圖像。我們使用16K 分辨率的HEIA 作為網絡輸入的原因有二：一是真實物理分辨率與視覺分辨率目前難以通過簡單的公式進行衡量，選擇橫向分辨率乘以2和縱向分辨率乘以2 的訓練方式與文中所提的兩個相鄰像素相互交疊產生一個新視覺信息的模型更加契合；二是如果選用更高分辨率的合成圖作為輸入，將會加劇虛擬相機采集視差圖時所帶來的時間成本。

圖4 展示了用分辨率增強的CNN 獲取PEI的過程。其中HEI 作為CNN 的輸入。將HEI 輸入至分辨率增強的CNN 得到PEI。然后對圖像依次進行雙線性插值放大和卷積點擴散函數陣列操作，上述操作是模擬真實系統中的光學成像過程：雙線性插值對應著像素經過透鏡的放大過程，卷積對應著光線經過透鏡形成彌散斑相互影響的過程。最終將仿真得到的圖像與HEI 計算結構相似性差異（SSIM）作為網絡的損失函數，進行梯度優化反向傳播。CNN 是用TensorFlow 框架編程的，并在NVIDIA RTX 2070 GPU 上運行。當訓練過程迭代到50 000 次時，所采用的網絡收斂性良好。每次迭代耗時約0.036 s，總訓練時間為1 800 s。CNN 中共有5 個卷積層，每個卷積層依次包括32、64、128、256 和512 個特征。

圖4 分辨率增強的CNN 的示意圖Fig. 4 Schematic diagram of the resolution-enhanced CNN

為了驗證上述的構想，并且考慮到設計制造的難度和光學加工的成本，我們使用了實驗室中現有的透鏡陣列模組，其基本透鏡單元為兩個透鏡的復合透鏡，如圖5（a）所示。我們對該透鏡不同視場角下的彌散斑分布進行了定量分析，并使用GKA 表示了PSF 陣列。考慮到讀者的直觀感受，我們只列出了透鏡在0°、19.7°和34.6°視場角下的彌散斑示意圖和RMS 半徑，如圖5（b）所示。

圖5 （a）復合透鏡的結構參數；（b）復合透鏡在3 個視角下的彌散斑分布情況（RMS 半徑：0°視場角：4 035.04 μm，19.7°視場角：3 843.27 μm，34.6°視場角：4 198.41μm）。Fig. 5 （a）Structural parameters of the compound lens；（b）Spot diagrams of the compound lens in three viewing angles（RMS radius：0° viewing angle：4 035.04 μm，19.7°viewing angle：3 843.27 μm，34.6°viewing angle：4 198.41 μm）.

3 仿真和實驗

我們分別使用標準分辨率圖和三維街道場景來驗證所提出方法的有效性。如圖6 和圖7 所示，通過引入基于CNN 的視覺分辨率增強方法，仿真圖像的細節更加清晰。在街道場景的仿真當中可以看到，視覺分辨率有所提升，并且圖像的SSIM 值也有提升。

圖6 標準分辨率圖的仿真結果。（a）未使用優化方法；（b）采用視覺分辨率增強方法。Fig. 6 Simulation results of standard resolution chart.（a）Without the proposed visual resolution-enhanced method；（b）With the visual resolution-enhanced method.

圖7 街道場景的仿真結果。（a）高分辨率的原始圖像；（b）未優化的仿真圖像；（c）使用視覺分辨率增強方法的仿真圖像。Fig. 7 （a）Original image with high resolution；（b）Simulation image without visual resolution-enhanced method；（c）Simulation image with the visual resolution-enhanced method.

在光學實驗中，我們展示了一個由定向擴散膜、透鏡陣列和LCD 組成的光場顯示系統。透鏡陣列被放置在距離LCD 上方8.151 mm 處，定向擴散膜被放置在透鏡陣列上方180.0 mm 處。透鏡陣列的規模為53×30，相鄰透鏡單元之間的中心距離是13 mm。LCD 的尺寸為81.28 cm（32 in），分辨率為7 680×4 320。圖8 展示了從3 個角度下拍攝的實際顯示圖像的照片，并放大了一些局部的細節。圖8 的頂部為未進行優化的3D 圖像，底部為使用基于CNN 的視覺分辨率提升的3D 圖像，中間兩種圖像之間的局部對比。很明顯，在70°的視角內，由視覺分辨率增強方法產生的3D圖像更加清晰，并提供了更多的街道細節信息。

圖8 未使用優化方法（a）和采用視覺分辨率增強方法（b）的街道場景的三維光場顯示Fig. 8 3D light field display for a street scene without the proposed visual resolution-enhanced method（a）and with the visual resolution-enhanced method（b）

4 結 論

本文提出了一種基于深度學習提升視覺分辨率的3D 光場顯示方法。該方法的核心是將彌散斑的交疊區域視為新的視覺像素，并作為額外的信息載體使用。為了將交疊區域轉化為可用的視覺像素，構建了一個CNN，從HEIA 中獲得PEIA。將PEIA 加載到LCD 上，經過透鏡陣列的光學變換和定向擴散膜的擴散作用，為觀眾提供視覺分辨率增強的3D 圖像。在實驗中，通過利用PEIA 和復合透鏡陣列，實現了視覺分辨率提高的光場顯示。