基于相機實拍的高分辨集成成像三維顯示技術的研究

謝俊國，趙 慧

（廣東輕工職業技術學院 電子通信工程系，廣東 廣州510300）

1 引 言

集成成像技術源于100多年前法國物理學家G.Lippmann提出的集成攝影術［1］（Integral Photography），它使用微透鏡陣列（lens array）來記錄和再現3D 空間場景，具有水平和垂直方向的連續視差，極具發展潛力。

早期的集成攝影的記錄過程是通過微透鏡單元或針孔成像在背部的銀鹽膠片經感光獲取3D場景信息，感光膠片經顯影定影得到2D 圖像陣列；再現過程仍采用同樣參數的微透鏡陣列并將2D 圖像陣列膠片放置于微透鏡陣列的焦平面上，根據光路可逆原理，微透鏡陣列將2D 圖像元透射出來的光線再聚集還原，從而在微透鏡陣列的正面重建出3D 場景的立體圖像。

上述全光學的集成成像技術因受限于早期微透鏡陣列制造困難和精度誤差，以及光學膠片記錄處理的不便，存在的種種缺陷和再現效果一直難于令人滿意，使其面世近百年而一直未能商業化推廣應用。

近年來隨著精密加工技術和計算機處理技術的巨大進步，集成成像三維顯示技術迎來了發展的熱潮［2－3］，之前的諸多缺陷得到克服，如3D 深度翻轉問題，實虛轉換［4］問題及采集鏡頭巨多等都有了對應解決辦法［5］，在增大分辨率、景深和觀看視場角方面的研究也都有了相應的進展［6］，特別是計算機輔助集成成像記錄和計算集成圖像重建技術［7］使圖像顯示和深度重現質量有了明顯提高。

在集成成像圖像采集記錄方面，利用計算機仿真建模和虛擬采集記錄無疑具有很高的記錄準確度，但集成成像未來發展應用，如實時視頻采集轉換離不開現場的實物拍攝，而實拍的參數及提高集成成像三維系統的顯示分辨率是研究的關鍵，以下基于數碼相機靜物實拍為例進行分析，其結論對于動態視頻的集成成像三維顯示也有借鑒意義。

2 數碼相機鏡頭成像分辨率分析

專業數碼相機的鏡頭大多是由多組透鏡組合以修正像差與畸變，鏡頭成像素質高，但仍可用薄透鏡模型進行分析。如圖1所示，設物距L0的物點B（物平面）成像在距透鏡g0的感光平面（像平面）上匯聚為清晰的像點B’，在感光平面位置不變的情況下，所有偏離物點B 所在物平面的物點如A、C 將匯聚在感光平面的前后，因此，在感光平面上將出現散焦現象，由高斯成像公式及幾何關系可計算物點A 或C 在感光平面上因散焦所形成的圓形光斑的直徑為：

圖1 薄透鏡成像與散焦Fig.1 Thin lens imaging principle and defocusing

其中：L 是物點離透鏡的距離，f 是透鏡焦距，D為鏡頭光圈直徑，將鏡頭光圈指數

代入整理得：

由式（3）可知當物距L＝L0時物體在感光平面上剛好完全聚焦呈現最清晰的高分辨率的圖像，偏離L0的物體都不同程度存在散焦，減小散焦提高前后景分辨率可通過減小L－L0差值，增大F，也即采用小光圈增加景深，這在靜物拍攝中不難實現，因此，在集成成像的實拍景物采集中可忽略鏡頭散焦的影響。

3 集成成像3D 顯示的分辨率

根據微透鏡陣列到顯示屏液晶像素距離g與微透鏡焦距f 間的關系，集成成像有3種顯示模式——實模式、虛模式和聚焦模式，g＝f 的顯示模式稱聚焦模式，此種顯示模式顯示屏上的液晶像素經微透鏡折射形成平行出射光線，可實現較大深度范圍的3D 景深，但由于顯示像點尺寸等同于透鏡節距［8］，顯示分辨率不高，這里不做過多討論；當g＞f 的顯示模式稱實模式，如圖2（a）所示，此時所顯示的3D 圖像浮現于微透鏡陣列前方，為一實像；當g＜f 的顯示模式稱虛模式，如圖2（b）所示，此時所顯示的3D 圖像處于微透鏡陣列后方，為一虛像；實、虛顯示模式下，當顯示屏上的圖像液晶像素陣列通過微透鏡陣列重構的3D 圖像位置與中心深度平面重合時，可重構最清晰的高分辨率圖像，以下進行分析。

圖2 集成成像的實虛顯示模式Fig.2 Real／virtual mode display

3.1 中心深度平面的3D 成像的分辨率

中心深度平面是指顯示屏上各像素經微透鏡陣列折射成像后形成的系列交點所組成的平面，也即滿足高斯成像公式：

式（4）所對應的距微透鏡陣列距離L 的各像素的共軛成像平面。

以實像顯示模式為例，如圖3所示，在共軛成像情況下，A0成像于中心深度平面，液晶顯示屏像素被透鏡陣列放大，由幾何關系可得到中心深度平面上的像素尺寸為：

圖3 集成成像的實模式成像光路Fig.3 Real mode optical path

其中：L0為微透鏡陣列到中心深度平面的距離，g0為顯示屏距微透鏡陣列的距離，這里g0＞f，p為液晶顯示屏像素尺寸，P 為中心深度平面上的3D 像的像素尺寸，其倒數為顯示圖像的分辨率R：

其中：r＝1／p 為液晶顯示屏像素分辨率。

由式（6）可見，在中心深度平面上成像的3D圖像的分辨率正比于液晶屏像素分辨率，與微透鏡元的節距無關，這一特點有別于聚焦顯示模式。因此，實／虛顯示模式不必過于追求減小微透鏡陣列的節距，這樣可降低光的衍射效應的影響，提高微透鏡陣列光學系統的性能。

3.2 中心深度平面3D成像的深度范圍

集成成像實／虛顯示模式的三維圖像，在中心深度平面具有最大的分辨率，保持該最大分辨率的3D 圖像有一定的深度范圍，仍以圖3 為例分析如下：

設A0，A1，A2為不同微透鏡元下子圖陣列中對應像素尺寸的同一邊緣物點（可視為無窮小點），該系列物點經各微透鏡元成像在后平面的B點，B 點距中心深度平面ΔZ，為非共軛點，成像過程中點A0、A1、A2在像點B 處形成一個散焦斑，由幾何光學理論可推導出，散焦斑的大小為：

因散焦使原放大像素擴大為原尺寸的2 倍時，相鄰像素重疊，分辨率下降，因此，保持中心深度圖像分辨率不變的極限條件為：

也即

將式（5）（7）代入式（8）可得：

滿足上述公式對應的后平面稱為后深度平面，考慮到幾何關系的對稱性，距中心深度平面之前ΔZ距離的平面為前深度平面，因此，保持式（6）所述可分辨的清晰3D 圖像的深度范圍為：

3D 成像需要一定的顯示深度，由式（10）增大L0，減小D 或者犧牲部分顯示分辨率R 都可增加顯示深度，更好的方法是采用實／虛雙模式的集成成像系統［9］同時顯示實模式和虛模式3D 圖像，將大大提高3D 場景的深度范圍和實現高分辨的3D 圖像顯示。

4 實驗驗證

根據實／虛顯示模式集成成像的原理，設計了相機實拍的集成成像圖像采集與顯示實驗方案：利用數碼相機沿導軌水平及縱向平移進行圖像采集，基于集成成像原理進行圖像處理合成后精密打印輸出，再經過縱橫柱鏡光柵交疊襯墊透明薄膜膠片調整物距進行實驗驗證。

4.1 相機實拍集成成像采集系統

采集設備如圖4所示，數碼相機平移圖像采集的拍攝參數如表1所示。

圖4 相機實拍圖像采集系統Fig.4 Cameras acquisition system

為提高相機圖像的拍攝質量，相機鏡頭采用EF50mm 專業定焦鏡頭，所有參數采用手動模式，快門采用專用遙控線，拍攝平移間隔5 mm，縱橫平移50～100次，因此，實拍采集面臨大數據量的處理。以制作微透鏡節距1 mm，面積50mm×50mm的二維集成成像樣板為例，所需拍攝采集圖像多達2 500個鏡頭，利用圖像插幀技術可大大減少場景采集數量［10］。

表1 相機拍攝參數Tab.1 Camera parameters

4.2 實／虛模式集成成像實驗樣品

集成成像的實／虛顯示模式要求微透鏡陣列和顯示屏的間距滿足成實像或虛像的高斯成像公式的約束，否則不能在中心深度平面獲得最高分辨率的3D 圖像。目前市場上現有的柱鏡光柵板大多設計為聚焦模式，也即其厚度等于柱鏡光柵的焦距，實模式顯示可通過調整襯墊透明薄膜膠片達到所需物間距，虛模式顯示時需對柱鏡光板進行適當磨削加工。

圖5為實拍的虛模式顯示集成成像樣品，實拍鏡頭數目95，原始圖像采集大小640×480像素，采集參數同表1，顯示參數見表2，g0＝3.2，打印輸出像素理論分辨率為50mm－1，實際測試為20mm－1，代入式（6）得R＝6.4mm－1，由式（10）計算得2ΔZ＝3.1mm。

圖5 虛模式顯示集成成像樣品Fig.5 Virtual mode sample

該實驗樣品中心深度平面位于酒瓶表面，酒瓶花紋圖案范圍位于上述深度范圍，顯示極為清晰細致，背景靜物超過上述深度范圍，圖像虛化，但仍具較強3D 顯示效果。

表2 顯示參數Tab.2 Display parameters

圖6為計算集成實／虛顯示模式的單幅人物集成成像實驗樣品，樣品尺寸85mm×145mm。

圖中左邊美女為實模式顯示樣品，右邊美女為虛模式顯示樣品，基本參數為：

透鏡節距2.52mm，f＝3.25mm，實模式顯示光柵板厚度d＝4.2mm，虛模式顯示光柵板厚度d＝3.0mm。

圖6的集成成像實／虛顯示模式成像在中心深度平面，因而具有極高的顯示分辨率，由圖6中左邊圓形放大區可見，處于透鏡節距區內的發絲仍清晰可見，大大優于傳統基于視差原理的多視點裸眼立體顯示的分辨率［11］，也優于聚焦模式的集成成像顯示分辨率。

圖6 實虛模式集成成像樣品Fig.6 Real／virtual display mode samples

5 結 論

通過幾何光學的分析，對集成成像實／虛顯示模式的分辨率作了分析，進一部推導出在中心深度給定分辨率下的深度范圍，通過實拍數據采集進行實驗，實驗結果驗證了該深度范圍圖像顯示效果極佳，實／虛顯示模式分辨率明顯優于聚焦模式和傳統基于視差原理的多視點裸眼立體顯示的分辨率，理論與實驗結果相符，為集成成像系統的設計和充分發揮集成成像三維顯示的自身優勢提供了實驗依據。

［1］ Lippmann G.La Photograhie integrale［J］.Comptes Rendus Acad.Sci，1908，146：446－451.

［2］ Park J H，Hong K，Lee B.Recent progress in three－dimensional information processing based on integral imaging［J］.Appl.Opt，2009，48（34）：77－94.

［3］ Cho M，Daneshpanah M，Javidi B.Three－dimensional optical sensing and visualization using integral imaging［J］.Proc.IEE，2011，99（4）：556－575.

［4］ 王瓊華.3D 顯示技術與器件［M］.北京：科學出版社，2011：219－224.Wang Q H，3 D Display Technologies and Devices［M］.Beijing：Science Press，2011：219－224.（in Chinese）

［5］ Deng H，Wang Q H，Li D H.Method of generating orthoscopic elemental image array from sparse camera array［J］.Chinese Optics Letters，2012，10（6）：061102（1－3）.

［6］ Park J H，Jung S，Choi H，et al.Integral imaging with multiple image planes using a uniaxial crystal plate［J］.Opt.Express，2003，11（16）：1862－1875.

［7］ Shin D H，Yoo H.Image quality enhancement in 3Dcomputational integral imaging by use of interpolation methods［J］.Optics Express，2007，15（19）：12039－12049.

［8］ Lee B，Park Jae－Hyeung，Min Sung－Wook.Three－dimensional display and information processing based on integral imaging［C］／／Digital Holography and Three－Dimensional Display，US：Springer，2006：333－378.

［9］ Kim Y，Park J H，Choiet H，et al.Depth－enhanced three－dimensional integral imaging by use of multilayered display devices［J］.Appl.Opt，2006，45（1）：4334－4343.

［10］ Zitnick C L，Jojic N，Kang S B.Consistent segmentation for optical flow estimation［C］／／Proc.IEEE Int.Conf.Computer Vision，US：Springor，2005：1308－1315.

［11］ 郝敦博，李大海，王瓊華，等.柱面透鏡自由立體顯示器的分辨率損失研究［J］.液晶與顯示，2008，23（4）：494－498.Hao D B，Li D H，Wang Q H，et al.Resolution loss of autostereoscopic display based on lenticular［J］.Chinese Journal of Liquid Crystals and Display，2008，23（4）：494－498.（in Chinese）