蜂窩式立體元圖像陣列的生成

武 偉，王世剛，趙 巖，韋 健，鐘 誠

(1.吉林大學 通信工程學院，長春 130012；2.長春工業大學 計算機科學與工程學院，長春 130012;3.長春工業大學 人文學院，長春 130012)

0 引 言

組合成像技術是目前3D領域中研究的熱點，屬于真三維立體顯示技術，最早由Lippmann[1]于1908年提出，由于當時制造工藝相對落后，此技術一直停滯不前[2-4]。近年來，隨著工業生產的發展以及3D影片的熱播，立體顯示技術又一次成為國內外學者研究的重點。在眾多的3D顯示方法中，組合成像技術的應用前景最廣，它可以為觀看者提供連續視差和全真色彩的圖像，而且不需要佩戴任何裝置，記錄和重現的三維場景都是以二維圖像的方式存儲，使得組合成像技術可以使用現有的圖像處理方法來傳輸和處理。

傳統組合成像系統中均使用圓形孔徑透鏡陣列，隨著微透鏡陣列制作工藝的發展，已出現六邊形孔徑透鏡陣列[5]。因此，探索六邊形孔徑透鏡陣列在組合成像系統中的應用，具有重要的研究意義。首先要生成可用的視頻源即立體元圖像陣列。

立體元圖像的生成可以采用真實拍攝和計算機虛擬生成兩種方法[6]。真實拍攝有兩種，一種是將相機以陣列的形式排列來模擬微透鏡陣列的排列結構[7-9]。該方法需對相機進行標定以保證所有相機的光軸都相互平行且在同一平面，隨著相機數量的增加，標定的難度也加大。真實拍攝的另一種是透鏡陣列直接獲取立體元圖像陣列，這種方法簡單、易實現，但存在空間反轉和串擾等問題[10，11]。

本文采用計算機模擬組合成像系統的記錄過程，利用虛擬相機模擬透鏡陣列生成立體元圖像陣列，每個透鏡元相對獨立，可以有效避免串擾，且虛擬相機可以直接生成無反轉的圖像，因而避免了真實立體顯示時的空間反轉問題。綜上，利用計算機虛擬生成蜂窩式立體元圖像陣列，可以推進蜂窩式透鏡陣列在組合成像系統中應用的研究，節約成本。

1 基本原理

理想的組合成像系統主要有記錄和顯示兩部分組成，如圖1所示。在記錄階段，微透鏡陣列從不同角度獲取物體的三維信息，并將信息以二維圖像的形式記錄在成像平面上。在顯示過程中，將成像平面放置在微透鏡陣列的焦平面上，根據光路可逆的原理就可以重建物體的三維信息[12]。

圖1 理想組合成像系統Fig.1 Ideal integral imaging system

計算機虛擬生成立體元圖像陣列的基本原理如圖2所示。通過計算得出虛擬3D物體對應每個虛擬透鏡元中的視點圖像。在計算中，不考慮有限孔徑引起的衍射和離焦引起的模糊。因此，計算生成的視點圖像就是3D物體通過小孔在采集平面的投影。為了避免串擾，需將計算的視點圖像根據虛擬透鏡元的大小進行裁剪。通常每個立體元圖像的位置和大小與透鏡元一致。

圖2 立體元圖像陣列的生成Fig.2 Elemental image generation

2 本文方法

2.1 建立虛擬相機陣列

蜂窩式透鏡陣列的每一個透鏡元均為六邊形，并以蜂窩狀結構緊密排列。傳統立體元圖像陣列都是采用水平或垂直方向上直接投影的方式，這對于蜂窩式透鏡陣列是不可行的。因此要生成可以用于蜂窩式透鏡成像系統的立體元圖像陣列，首先要分析蜂窩式透鏡陣列的結構。

圖3 蜂窩式透鏡陣列排列結構Fig.3 Structure of hexagonal lenslet array

(1)

生成的蜂窩式虛擬相機矩陣如圖4所示。

圖4 蜂窩式虛擬相機陣列Fig.4 Hexagonal virtual camera array

虛擬相機的焦距、視角與顯示平臺中蜂窩式透鏡陣列的光學參數一致。虛擬相機的分辨率r為：

(2)

式中：M×N、H×W分別為顯示設備的分辨率及外形尺寸。

2.2 參數設置

根據顯示過程所需的立體元圖像陣列的數量、分辨率以及景深等相關參數，設置物距、虛擬相機的相機間隔、焦距、立體元圖像分辨率等參數。具體方法如圖5所示。

根據光線光學可以得到：

圖5 采集端與顯示端的關系Fig.5 Relation ship between acquisition and display

(3)

(4)

(5)

式中：L1、g1、P1、D為采集端的物距、相機焦距、相機陣列鏡頭間距、相鄰立體元圖像間視差；L2、g2、P2、d分別為顯示端的像距、透鏡到顯示平面的距離、透鏡陣列間距、相鄰立體元圖像間視差；β為放大系數。

將其帶入組合成像系統橫向分辨率RI、可觀測視角θ和景深ΔZ的關系式中，即可得到相機陣列記錄物距L1、相機間隔P1與三維再現像顯示特性的關系為：

(6)

(7)

L2=Nf2

(8)

式中:Rd是顯示平面的分辨率；f2是透鏡陣列的焦距。可以由上式建立組合成像系統顯示端與采集端的聯系，根據顯示端參數設置采集端立體元圖像陣列的生成。

2.3 建立投影模型

建立蜂窩式透鏡陣列的投影模型，如圖6所示。設相機矩陣為m×n，單個立體元圖像的分辨率為p×q，則投影后的蜂窩式立體元圖像陣列的分辨率R為：

(9)

虛擬相機中第(i,j)幅立體元圖像中的像素點One(x,y)與蜂窩式立體元圖像陣列中像素點E(X,Y)的投影關系為：

(10)

圖6 虛擬相機陣列與蜂窩式立體元圖像陣列的投影模型Fig.6 Pixel mapping between virtual camera arrayand hexagonal lenslet array

3 實驗驗證

虛擬3D物體由字母“W”、“U”組成，距離虛擬透鏡陣列的距離Z分別為60、40 mm，如圖7所示。組合成像真實立體顯示平臺如圖8所示。

圖7 虛擬場景Fig.7 Virtual scene

圖8 組合成像顯示平臺Fig.8 Integral imaging display plane

蜂窩式虛擬相機陣列生成的立體元圖像如圖9所示。

圖9 立體元圖像Fig.9 Elemental images

根據式(10)將所有立體元圖像投影生成蜂窩式立體元圖像陣列。

由于本文采用直接投影的方式生成蜂窩式立體元圖像陣列，所以從圖10的局部放大圖中可以看出，每個立體元圖像都是正立的，不存在反轉，且立體元圖像間也沒有串擾的現象。

圖10 蜂窩式立體元圖像陣列Fig.10 Hexagonal elemental image array

將蜂窩式立體元圖像陣列放置于組合成像真實立體顯示平臺，顯示效果如圖11所示。

圖11 真實立體顯示效果Fig.11 True stereo display

從真實立體顯示效果中可以清晰看到不同視角下的立體圖像，且各視角間的視差明顯。例如左右視點間字母U與字母W的間距不同。上下視點間字母U與字母W的相對高度不同。以上實驗結果說明，本文提出的基于蜂窩式透鏡陣列的立體元圖像陣列生成方法是正確、有效的。

4 結束語

本文提出了一種基于蜂窩式透鏡陣列立體元圖像陣列的生成方法。利用虛擬相機模擬組合成像系統的記錄過程，根據顯示端透鏡陣列和顯示器的參數設置虛擬相機的采集參數，采用直接投影的方式生成立體元圖像陣列。實驗結果表明，該方法能夠生成具有連續水平和垂直視差的蜂窩式立體元圖像陣列，能真實再現3D物體的空間信息。本文方法既克服了透鏡陣列直接采集存在空間反轉和串擾的問題，又為基于蜂窩式透鏡陣列的研究提供了豐富的圖像源。

[1] Lippmann M G. Epreuves reversible donnant la sensatioin du relief [J]. Journal of Physiology, 1908,1(7):821-825.

[2] 王瓊華. 3D顯示技術與器件[M]. 北京：科學出版社，2011.

[3] Ives H E. Optical properties of alippmann lenticulated sheet [J]. Journal of the Optical Society of America, 1931, 21(3):171-176.

[4] Okano F, Hoshino H, Arai J, et al. Real-time pickup method for a three-dimensional image based on integral photography [J]. Applied Optics, 1997, 36(7): 1598-1603.

[5] 劉德森. 微小光學與微透鏡陣列[M]. 北京：科學出版社，2013.

[6] Hong J, Kim Y, Choi H J, et al. Three-dimensional display technologies of recent interest: principles, status, and issues [J]. Applied Optics, 2011, 50(34): 87-115.

[7] Javidi B, Sola-Pikabea J, Martinez-Corral M. Breakthroughs in photonics 2014: recent advances in 3-D integral imaging sensing and display [J]. IEEE Photonics Journal, 2015, 7(3): 0700907.

[8] Park S, Yeom J, Jeong Y, et al. Recent issues on integral imaging and its applications [J]. Journal of Information Display, 2014, 15(1): 37-46.

[9] Luo C G, Wang Q H, Deng H, et al. Extended depth of field in integral imaging pick up process based on amplitude modulated sensor arrays [J]. Optics Engineering, 2015, 54(7): 073108-14.

[10] Kishk S, Javidi B. Improved resolution 3D object sensing and recognition using time multiplexed computational integral imaging [J]. Optics Express, 2003, 11(26): 3528-3541.

[11] Hong J, Park J H, Jung S, et al. Depth-enhanced integral imaging by use of optical path control [J]. Optics Letters, 2004, 29(15): 1790-1792.

[12] Arai J, Okano F, Hoshino H, et al. Gradient-index lens-array method based on real-time integral photography for three-dimensional images [J]. Applied Optics, 1998, 37(11): 2034-2045.