集成成像光場計算方法研究進展

秦志強，張文閣，文 軍，蔣曉瑜

集成成像（Integral Imaging，II）和全息術相比不需要設置相干光源、結構簡單緊湊，能夠再現動態場景，可用于文物展示、生活娛樂、遠程會議、重要內容的增強交互顯示等場合，具有較大的應用前景。

集成成像來源于1908年法國G.Lippmann 首次提出[1]的集成攝像術（Integral Photography，IP），包括記錄和再現兩個部分，其記錄部分與攝像術（Photography）聯系緊密。早期集成成像記錄過程使用全光學的方式完成，記錄透鏡陣列和再現透鏡陣列的參數相同，三維物體通過透鏡陣列的成像信息被感光介質記錄并用于顯示，普遍存在記錄單元圖像質量不高、贗像（深度反轉）和采集端和再現端參數必須一致（簡稱為參數一致）等問題[2]。隨著計算機的出現與發展，1978年日本Igarashi 提出使用計算機生成集成圖像（Integral Photograph），使實際并不存在的物體得到三維顯示。隨著光學元件、顯示器和攝影術的發展，學者們不斷使用新的技術和軟硬件設備來解決集成攝像術中的問題，集成攝像術逐漸發展成為集成成像。根據是否使用計算機生成單元圖像陣列（Elemental Image Array，EIA），集成成像分為全光學集成成像和計算生成集成成像（Computer-Generated Integral Imaging，CGII）。

圖1 (a)視點光場模型 (b)視向光場模型 (c)集成成像光場模型

隨著計算攝影技術和計算機圖形學的發展，計算生成集成成像備受關注。為了實現參數靈活、高效實時、應用廣泛的計算生成集成成像記錄系統，學者們提出了豐富多樣的光場計算方法，簡化了光學采集方式，擴展了集成成像顯示內容，能夠生成高質量的EIA。本文根據所用算法和技術的不同，對這些方法進行梳理歸類，分析其中存在的關鍵問題，并討論不同類型光場計算方法的發展趨勢。

1 集成成像光場理論

集成成像是一種光場顯示技術，其原理遵守光場理論。計算生成集成成像記錄系統分為光場采集和光場計算兩個部分，如圖1所示，光線由起點O(xo，yo，zo)和單位方向向量dij表達，光場采集一般使用視點光場（單點透視模型），或者視向光場（特殊相機或者虛擬相機采集），或者光線采集（虛擬相機采集）。EIA 可以看作是多個視點光場、視向光場（由某方向的平行光線組成）或光線的積分。

不同的采集方式需要不同的光場計算方法，才能生成EIA，完成整個光場記錄過程。集成成像在實際應用中主要有采集、數據預處理、生成EIA 和顯示等四個過程，過程之間默認為數據傳輸，如圖2所示。

圖2 集成成像的基本過程

光場計算包含數據預處理和生成EIA 兩個過程，生成EIA 過程的輸入信息不僅可以是采集到真實物體的可視光場信息，還可以是根據采集信息重建出的或直接制作出來的三維模型數據，輸出是EIA。根據生成EIA 過程中光場信息處理方式的不同，光場計算方法可以分為基于像素映射和基于像素渲染兩種方法。

2 基于像素映射的光場計算方法

像素映射方法是比較傳統的集成成像記錄方法，常用于采集真實場景并用于集成成像顯示。視點采集是常見的光學采集方式，像素映射方法對獲取的視點光場信息（元素圖像集）進行映射重組或近似采樣映射生成EIA。這些可視光場信息一般由光場相機、微透鏡陣列采集得到，也可以由相機陣列或時空復用相機（陣列）采集得到。

像素映射方法將采集到的像素信息直接映射到EIA 上，或者從EIA 像素出發尋找對應的已知像素，如果某些光線對應的像素未被采集到，則會近似映射到鄰近像素，可以解決早期全光學集成成像中出現的問題。從適用范圍來看，基于光場相機和透鏡陣列的實時采集系統適用于小場景，基于相機時空復用則不能實現實時采集和顯示；如果使用足夠大的相機陣列采集足夠的光場信息可以解決這些問題，但是面臨著相機需求數量多且昂貴、相機標定與校正難度大、數據處理量大等現實問題。隨著圖形渲染技術的發展，基于像素渲染的光場計算方法逐漸成為新的關注點。

3 基于像素渲染的光場計算方法

如果EIA 中某些像素信息未被采集到，基于像素映射的光場計算方法采用近似映射算法解決，存在一定程度的映射誤差，如SPOC 算法；而基于像素渲染的光場計算方法將根據已有像素的視覺信息、三維空間信息或三維場景語義信息渲染生成這些未被采集到的像素，消除映射誤差，并且能夠完全解決參數一致的問題。根據所使用的計算機圖像學原理的不同，基于像素渲染的光場計算方法可以分為基于模型渲染和基于圖像繪制的光場計算方法。

3.1 基于模型渲染的光場計算方法

三維模型可以對真實世界進行精細描述或者藝術化描述。基于模型渲染的光場計算方法可以在虛擬空間精確地計算出集成成像及其他光場顯示技術的顯示光場。

從模型數據計算生成EIA 的算法出現得比較早，很多學者通過虛擬相機陣列采集（對三維物體渲染著色）三維模型在虛擬場景中足夠多的視覺光場信息，然后通過相應的像素映射算法重組像素生成EIA。隨著基于OpenGL（Open Graphics Library）的光柵化渲染技術和其他商業三維渲染軟件的發展，學者們結合虛擬相機的獨有特性，不斷研究更加高效、精確的采集模型和計算算法，突破了光學相機采集的限制，通過虛擬相機得到足夠多的視點（視向）光場信息，通過像素映射算法解決深度反轉問題，不存在映射誤差和空洞問題；但存在依賴于商業三維渲染軟件、采集信息冗余度高、二次采樣耗時、顯示模式單一、無法實時計算等問題。基于光柵化渲染技術和串行計算技術的方法通過減少視點（視向）渲染的次數（渲染次數與透鏡數或單元圖像的像素數有關）、減少采集信息冗余度來提升計算效率，常用于仿真驗證基于像素映射或基于圖像繪制的光場計算方法。

隨著圖形處理器（Graphics Processing Unit，GPU）、基 于OpenCL（Open Computing Language）的異構并行編程技術和其他GPU 編程技術的發展，有很多學者編寫更加靈活的自定義虛擬相機，使用并行渲染技術實時渲染EIA，降低了采集信息冗余度，擺脫了對商業三維渲染軟件的依賴，去掉了二次采樣的環節。基于光柵化渲染技術和并行計算技術的方法實現了實時交互顯示，但很難渲染出具有真實感的場景，并且使用像素映射算法解決深度反轉問題增加了算法復雜度。

隨著真實感渲染技術（Physically-Based Rendering，PBR），尤其是實時光線追蹤技術的發展，有些學者將光線追蹤技術應用于集成成像EIA 的渲染。比如2017年北京郵電大學桑新柱團隊提出基于逆向光線追蹤技術的BRTCGII 方法[3-4]，通過逆向追蹤光線的原理克服贗像，如圖3(a)所示，逆向追蹤顯示光場的光線，將最近碰撞點的顏色值作為對應像素的顏色值，采集和顯示像素的空間位置相同；根據輸入的顯示系統參數在某一深度平面上建立虛擬相機陣列，為每個單元圖像建立虛擬相機陣列，一個像素對應一個虛擬相機，如圖3(b)所示，虛擬相機的位置需要經過計算得到，使用逆向光線追蹤技術通過虛擬相機渲染像素生成EIA，能夠實時顯示多種格式三維模型，并在此基礎上解決[5]了交互過程中出現的模糊串擾等現象，優化了顯示性能，并在2018年將采集微生物標本得到的切片數據輸入系統進行實時交互顯示。

圖3 BRTCGII方法[3-4]中像素與光線、虛擬相機的關系

使用光線追蹤實時渲染EIA 是基于模型渲染的光場計算方法的大趨勢。從光線的層次來計算光場是最本源的做法，將每個像素的著色看作是一條光線的渲染，相比于通過視點光場（虛擬相機）計算生成EIA 的方法，更加靈活且容易克服贗像；光線追蹤在虛擬空間模擬真實物理世界光線的幾何性質，按照光度量學的近似公式實施光線渲染，為像素著色，可以還原世界的真實景觀，并且支持管線并行處理機制和基于顯卡的硬件實現方式，能夠渲染真實感或非真實感的效果，能夠渲染幾乎所有格式的三維模型數據，被稱為圖形處理的未來技術；隨著并行計算硬件的發展，尤其是2018年英偉達（NVIDIA）公司推出含有RT 計算核心的圖靈（Turing）架構GPU，光線追蹤渲染越來越實時。

基于模型渲染的光場計算方法使得現有的豐富三維模型可以轉換為EIA，擴展了集成成像顯示內容，能夠進一步促進集成成像的實際應用。三維模型數據的格式眾多，使用的描述基元不同，比如網格模型主要以面為模型基元、點云模型以離散點為基元、體素模型以體元為基元、數字高程模型以含有高度值的規則矩形格網或者不規則三角網為基元等，主要來源于三維模型處理軟件（如3DsMax、Maya、AutoCAD、Blender、MagicaVoxel）制作或基于實景采集的三維重建。點云模型多存在于逆向工程，是三維重建中常見的數據模型，也可以用于生成其他格式的模型。基于模型渲染的方法不僅可以面向三維模型數據，而且可以通過三維重建面向真實場景采集到的信息，但實時性受模型或場景復雜度影響，在真實場景采集與顯示的應用中需要以進行精確模型重建為前提，目前并不適合用于大型復雜場景。

3.2 基于圖像繪制的光場計算方法

基于圖像的繪制技術（Image Based Rendering，IBR）不需要進行精確建模，可以從已有的多個視點圖像或全景圖快速生成新的虛擬視點圖。IBR 技術分支較多，其中基于深度圖像的繪制技術（Depth Image Based Rendering，DIBR）比較熱門。因此，為了實時采集和顯示比較復雜的真實場景，使用DIBR 計算生成EIA 的方法得到了關注。視點圖像素的深度信息組成了深度圖像，深度信息獲取是DIBR 的基礎環節，主要有兩種途徑：通過多視點圖獲取深度信息和通過深度相機（RGBD相機）獲取深度信息。通過多視點圖獲取深度信息的基本過程是對多個視點圖進行立體匹配（點、邊緣、區域等等），然后利用雙目立體視覺原理恢復某些物點或者區域的深度信息。深度相機利用結構光、雙目立體視覺原理、時間飛行法（TOF）或其他三維深度傳感技術可以在拍攝過程中實時計算深度信息生成深度圖像，常與RGB 視點圖配對使用，隨著深度相機的發展，深度圖像獲取將更加精確和便捷。因此，目前基于圖像繪制的光場計算方法主要有兩種：基于稀疏視點圖的光場計算方法和基于深度相機的光場計算方法。

3.2.1 基于稀疏視點圖的光場計算方法

稀疏視點圖是稀疏視點采集的結果，可以由光場相機、透鏡陣列、相機陣列或相機（陣列）時空復用拍攝得到。使用稀疏視點圖合成虛擬視點圖可以用于在多視點立體顯示技術和自由視點視頻(Free-viewpoint Video，FVV)，其核心原理是三維圖像變換方程(3D Image Warping)。比如2014年美國Jones 團隊使用視圖插值算法實現人體模型的自由密集視點的實時顯示。

基于稀疏視點圖的光場計算方法根據已有視點圖計算足夠的虛擬視點圖之后，然后通過光場轉換（像素映射）生成EIA[6]，主要包括采集相機標定與校正、圖像預處理、基于雙目視差的深度獲取、虛擬視點圖生成和匹配顯示端參數的集成成像光場轉換生成等五個部分。所得EIA 的質量與采集視點圖質量、深度計算準確度、虛擬視點單元圖像質量和光場轉換算法有直接聯系。采集標定和圖像預處理是基礎工作并且比較成熟，比如張氏標定法[7]。圖像預處理通常包括遮擋檢測、中值濾波和一致性檢測等過程[8]。虛擬視點圖像的生成和光場轉換算法是研究的主要方向，目前的計算效果并不滿足應用需求，空洞填補算法計算量大且效果有待提升。很多學者將神經網絡和模糊集等新技術應用到視點圖集處理和虛擬視點生成上，雖然數據訓練成本大，但是效果較好，具有較大潛力。

3.2.2 基于深度圖像的光場計算方法

深度圖像在虛擬視點合成中應用廣泛，也可以用來生成EIA。通過深度相機獲取場景深度信息而后生成EIA 的方法沒有進行虛擬視點生成的過程，具有較高的實時性，但是也沒有進行空洞填補，顯示結果出現很多空洞和邊緣問題。同樣，基于稀疏視點圖的方法中也可以不進行空洞填補等優化過程，達到實時顯示，比如2004年韓國Park J H 提出利用通過透鏡陣列采集到的元素圖像集或者通過相機陣列采集到的視點圖集，通過匹配算法生成代表場景物體表面的具有深度信息的點集數據，計算每個點在EIA 上的映射生成EIA，輕松解決深度反轉問題和參數一致的問題。

在基于圖像繪制的光場計算方法中，普遍存在著邊緣縫隙問題和空洞問題，對于空洞問題目前卻沒有出現普遍適用的有效的實時的解決方法，一個比較通用的解決方法方式建立多視點的圖像或深度圖像，通過圖像融合方法填補主要的空洞，但是融合過程中還需要解決視點位置變化導致的顏色校正問題以及圖像融合權值問題。視點圖的融合也可以通過神經網絡進行優化[9]。相信隨著基于圖像繪制技術的發展，使用其他圖像繪制技術生成EIA 的方法也會陸續出現。

3.3 小結

在集成成像應用中，不同的采集方式會得到不同格式的光場數據，然后使用不同的光場計算方法生成EIA，當然同樣的采集方式也可以使用不同的光場計算方法生成EIA，實際應用中需要根據需求選擇適當的方法。比如2012年西安電子科技大學楊釘釘根據采集的視點圖像集重建物體的三維模型，然后渲染生成EIA；2014年韓國Seokmin Hong使用RGBD 相機（Kinect）采集獲得RGB 圖和深度圖，計算得到點云數據，使用OpenGL 通過針孔陣列渲染點云數據得到初步的單元圖像集，然后中心旋轉180°每個單元圖像得到EIA。這些應用的最初輸入數據是圖像，卻采用三維重建和基于模型渲染的光場計算方法，因為可以輕松解決深度反轉問題，靈活生成任意顯示參數的EIA，且沒有映射誤差。

4 結論

集成成像是一種具有發展潛力的裸眼三維顯示技術，顯示內容匱乏且制作實時性差、三維再現深度反轉、采集端與顯示端參數必須一致等問題限制了。

集成成像的應用發展。為了解決這些問題，不同的光場計算方法不斷被提出。基于像素映射的光場計算方法計算簡單，但是映射誤差的問題幾乎無法解決，可以用于要求不高的集成成像顯示；基于模型渲染的光場計算方法中計算實時性與場景復雜程度有關，并且以三維模型數據或三維重建為前提，隨著計算硬件和真實感、非真實感渲染技術的發展，未來基于光線追蹤渲染的方法將是基于模型渲染的光場計算方法的主流；基于圖像繪制的光場計算方法可以較高真實度的還原采集的真實場景，但是圖像信息冗余度高，算法復雜度高，空洞問題難解決，使用機器學習或人工智能進行立體匹配和圖像融合、解決空洞問題的方法將具有較大的發展潛力。這3種方法各有優缺點，實際應用中可以根據應用場景和需求的特點選取適合的集成成像光場計算方法。