裸眼3D拍攝與顯示的視覺深度控制

賈振堂，霍 濤

(上海電力學院通信工程系，上海200090)

由于裸眼3D在觀看時不需要佩戴眼睛，且可以采用多視點手段，讓用戶從不同的視角看到物體的不同側面，因此更加具有真實感。因此，裸眼3D正在被逐步應用于很多領域。然而，目前也有很多制約裸眼3D發展的因素，其中片源是其中一個重要的方面。

對于大多數3D內容，通常可以采用3DMAX等3D創作工具軟件來設計制作［1］，通過多臺虛擬攝像機共同拍攝，從而很方便地得到多視點的視頻內容。但是，對實際生活中的某些實際場景和對象，用戶如果需要看到真實3D效果，就很難用創作工具來建模制作，這就需要通過攝像機的真實拍攝和處理來得到。

然而，如何進行拍攝和處理才可以達到預期的目的，使得特定的場景內容重建在特定的深度位置上?本文分析了拍攝和顯示過程中可能遇到的問題，給出了具體的設計和計算方法，從而使得拍攝和顯示的效果可以預料和控制。

1 裸眼3D顯示基本原理

3D視覺效果，來自于左右眼的視差［2］。如圖1，OL和OR是同一物點O在左右兩個圖像中的像，O'是O的視覺重建。當處于圖1a的情況時，右眼看到的圖像在左邊、而左眼看到的圖像在右邊，兩個視線的交點就是在大腦中感覺到的重建像O'的虛擬3D位置，這時是凸出到屏幕前面，為負深度。類似地，圖1b中，OL和OR位于屏幕的同一位置，虛擬重建像點O'也與它們一樣位于同一位置，即在屏幕的表面上，為0深度。而圖1c中，O'則在屏幕的表面的背后，為正深度。

圖1 3D顯示原理

裸眼3D的原理是在不帶眼鏡的情況下，通過某種方法讓左右眼分別看到具有視差的兩幅圖像，從而在大腦中感覺到深度層次的存在(如圖1所示的原理)［3-4］。通常會將從不同視角拍攝的多幅圖像融合顯示在一個平面顯示器上，并采用狹縫光柵或者柱狀透鏡光柵的方法來將它們分別投射到左右眼中，即“分像”作用。

圖2中是3個視點的例子，人眼處于圖中的位置時，左眼看到的全部是畫面2的像素，而右眼看到的全部是畫面3的像素，它們構成一個圖像對，即圖像2-3。人眼左右移動，左右眼就可以分別看到圖像對2-3、3-1和1-2。因此只要相鄰畫面為具有一定視差的畫面，人們就可以看到立體視覺效果［5］。

圖2 狹縫光柵的多視點顯示原理

因此，在顯示的一幅平面圖像中，適當地安排各個圖像的像素排列，通過圖2的原理達到“分像”的效果;同時，同一物點的像在各分圖中位于不同的坐標位置，通過圖1的原理達到3D的視覺效果。

2 3D視頻的拍攝

3D拍攝通常有兩種相機配置方法，即平行相機和匯聚攝像機［2］。由于匯聚攝像系統必然產生圖像內容的梯形變化，需要更為復雜的后處理。這里選擇平行攝像機配置為例。

平行相機系統中，多個攝像機的光心位于一條直線上，光軸互相平行。各個相機拍攝的圖像將最終作為裸眼3D顯示的“分圖像”。由于3D重現時，人眼在同一時刻只看到相鄰的兩幅圖像，因此下面取任意兩臺相鄰攝像機來研究，例如C0和C1(見圖3)。

圖3 空間點P在兩臺相鄰的攝像機中的像

設在世界坐標系中的物點P(X，Y，Z)，攝像機C0的光心位置為C0(0，0，0)。攝像機的圖像平面垂直于Z軸，在此平面中建立圖像平面坐標系(x，y)，x軸和y軸的方向分別與X，Y方向平行，坐標原點位于圖像的中心。設點P(X，Y，Z)在C0像平面坐標系中的像點坐標為p0(x0，y)，則有

式中:f為攝像機的焦距，即光心與像面的距離。

假設另一臺同樣規格的攝像機的位置為C1(B，0，0)，B＞0，與第一臺攝像機平行放置，間距為B。設同一物點P(X，Y，Z)在該攝像機的像平面坐標系中的像點為p1(x1，y)，其y坐標與p0(x0，y)中的相同，x1坐標為

把拍攝到的兩幅畫面重疊放置時，p1和p0并不重合，而是有一定的相對位移dx=x1-x0，這就是視差。實際上，在3D重現時，由于顯示器的尺寸可能隨時變化，因此引入顯示放大倍數k，即在顯示屏幕上的實際視差物理位移為

可見，當k，B，f固定時，dx'與Z成反比關系，因此視差dx記錄了深度Z信息。

3 3D視覺深度重現

在進行裸眼3D顯示時，全部N個相機拍攝的圖像將被重疊顯示在一個屏幕上(當然觀看時要經過光柵的分像處理，這里不詳細討論)。為論述方便，這里為重建系統建立坐標系(X'，Y'，Z')，原點位于顯示器的屏幕中心，Z'軸指向屏幕背后，如圖4所示。設重建的虛擬物點為P'(X'，Y'，Z')，根據幾何關系，則無論視差為正還是為負，都可以推導出如下關系

式中:D為觀看距離，即人眼到屏幕的距離(無符號數);E為人的左右眼間距(無符號數)，而Z'和dx'為有符號數。在某一觀看位置，人眼只被允許看到由相鄰分圖像組成的圖像對，比如I0和I1，I1和I2，I2和I等。然而，人眼對左右圖像的不同觀察次序將會導致不同的視覺效果。

圖4 同序觀看的情況

3.1 同序觀看

假設讓左邊的眼睛看到左邊相機拍攝的圖像(如I0)，右眼看到右眼相機拍攝的圖像(如I1)，即同序觀看，如圖4所示。

則重建的虛擬像點P'將位于屏幕和人眼之間，亦即具有負深度。式(3)即描述了這種關系，將式(3)代入(4)，則

由于Z∈(f，∞)，可知Z'∈(－，0)，Z'全部為負深度，因此所有物體都被壓縮顯示于屏幕和人眼之間，并且深度次序是正確的。

3.2 反序觀看

反過來，讓左邊的眼睛看到右邊相機拍攝的圖像(如I1)，右眼看到左邊相機拍攝的圖像(如I0)，即反序觀看，則像點P'將位于屏幕之后，如圖5所示。

圖5 反序觀看的情況

這時有

從幾何關系上明顯看出:如果dx'≤E，則視線無法在眼睛前方匯聚。因此必須有dx'＜E，將式(6)代入可得

由式(8)和(7)可知，Z'＞0，即所有物體都被壓縮顯示于屏幕之后的一段距離內。并且深度次序是逆轉的，即實際上遠的物體看起來近，而近的卻看起來遠。因此，這種模式不能得到正確的視覺效果。

3.3 深度移動

根據上文的討論，應該選擇同序觀看方式，以便得到正確的觀察結果。

然而，即使在這種方式下，所有重建對象都凸出在屏幕前方，會影響顯示效果。因為在現有的多視點顯示技術中，虛擬位置偏離屏幕表面時，都會帶來分圖像之間的交調現象，偏離屏幕越遠交調現象越嚴重。這是實際顯示過程中難以避免的。因此，希望將重建對象的虛擬位置整體向屏幕后方移動，以便使最重要的重建內容位于屏幕的表面，即顯示坐標系中的0深度，而整體場景以屏幕表面為中心在深度上前后分布，從而得到最佳的視覺效果。如圖6所示。

假設世界坐標中Z=Z0處的物體虛擬顯示在屏幕表面，則Z0的重建虛擬深度Z0'=0，或者對應的視差為0。為此，將畫面左右相對平移Δx，使得Z0處的物點對應的屏幕視差為0，即可達到目的。即令dx'Z=Z0+Δx=0，結合式(3)得

式中:K0=fk/Z0。例如對于圖像對I0和I1，需要將I0向左平移|Δx|，或者將I1向右平移|Δx|。裸眼3D的分圖像(即視點)數通常采用5～9個，則每一對相鄰視圖之間都要做相對平移。以5視點為例，即分圖像為I4，I3，I2，I1，I0。可選擇中間的圖像I2不作移動，而左邊攝像機的圖像 (I0，I1)都向左移動，即I1左移|Δx|，I0左移2|Δx|，右邊攝像機的圖像都向右移動，即I3右移|Δx|，I4右移2|Δx|。平移后，物體的重建虛擬深度Z'變為

由于f/Z0為拍攝時的縮小比例，k為顯示時的放大比例，因此K0為綜合的縮放比例，即:中心物面Z0處的物體真實尺寸與其屏幕顯示尺寸的變換比例。設空間物體的實際尺度為S，它在屏幕上顯示的物理尺度為S'，則有

比如Z0處有一個直徑10 cm的球，其在屏幕上顯示的實際尺寸也是10 cm，則K0=1，如果在屏幕上顯示為5 cm，則K0=0.5。這提供了一種從宏觀角度估算平移像素數量的方法，即首先測量S'和S，并計算K0，然后根據K0計算Δx。

4 拍攝和處理步驟舉例

擬拍攝的場景中包括坐在椅子上翹起腿的人物，人物后面的桌子以及桌子上的茶杯，桌子后面是白色的墻壁，如圖7所示。選擇5視點系統，采用上海狼影通信技術有限公司出品的21.5 in(1 in=2.54 cm)狹縫光柵裸眼3D顯示器，點距離0.248 mm，顯示分辨率為1 920×1 080。

采用5臺攝像機同時拍攝，攝像機配置為B=60 mm。拍攝畫面如圖8所示。

圖7 拍攝場景布局

圖8 5臺攝像機的畫面

作為例子，選擇人物為核心對象，也就是顯示的時候希望把人物顯示在屏幕的表面，來估算像素平移的數目，處理步如下:

1)測量人物的實際高度。人物坐下來的實際高度為S0=1 250 mm。

2)測量人物在顯示器上的高度。把其中任意一個圖片顯示在屏幕上，并測量人物的高度，約為200 mm。

3)計算K0，K0=S'/S=0．16 。

4)計算畫面平移的物理距離為Δx=K0B=9．6 mm。

5)計算折合像素數n=Δx/0．248=38．7像素。

據此，進行圖像的平移與3D合成，合成的方法見參考文獻［5］，這里不再詳述。合成后的效果如圖9c所示。

圖9a是原始圖像的直接合成，沒有做平移處理，這時的重建畫面都虛擬顯示在屏幕的前方，由于大部分內容的視差較大，圖像交調現象明顯，視覺效果不好。圖9b是平移28像素的合成情況，杯子的視差為0，杯子顯示在屏幕表面，最為清晰，而人物的視覺效果依然不佳。圖9c為平移38像素的情況，人物縱向中心(例如右手)位置的視差為0，各個分圖像的這部分內容完全重合在一起，人物中心虛擬重建在屏幕的表面，杯子和雙腳分布在屏幕的后面和前面，這時畫面的整體3D視覺效果比較好。

在實際的拍攝處理過程中，由于計算和測量的誤差，需要在合成軟件中為用戶提供中心物面的選擇機會，并依據實際視覺效果進行畫面平移量的微調。

5 小結

本文分析了3D拍攝過程中可能遇到的技術問題，詳細討論了平行攝像機系統下，從拍攝到屏幕重現的原理、不同的顯示方法所帶來的不同效果，以及重建視覺深度的調節方法，給出了具體的計算關系。該方法不僅適合于靜態圖像的處理，也適合動態場景的設計，比如將舞臺中心作為中心物面，則舞臺上的人物活動的整體視覺效果都會比較好。作為一個例子，總結了具體深度要求下的圖像平移像素數目的估算步驟，實驗顯示了計算的正確性，為裸眼3D的內容拍攝者提供參考。

:

［1］杜江，劉文文.基于自由立體顯示的3DMAX立體顯示功能的實現［J］.計算機時代，2007(7):30-31.

［2］賈振堂，張俊峰，韓艷芳.Windows環境下的立體視頻測試平臺技術［J］.電視技術，2007，31(9):80-83.

［3］王瓊華.3D顯示技術與器件［M］.北京:科學出版社，2011.

［4］ JAVIDI B，MYUNGIIN C.3D imaging and visualization:an overview of recent advances［C］//Proc.12th Workshop on Digital Object Identifier.［S.l.］:IEEE Press，2013:1-3.

［5］ JIA Zhentang，HAN Yanfang.3D mouse realization in autostereoscopic display［C］//Proc.Multimedia and signal Processing Seconds International Conference.Shanghai:［s.n.］，2012:367-374.