視差可控的多視點立體圖像校正算法

程 浩，安 平，李賀建，王 奎，張兆楊

(1.新型顯示技術及應用集成教育部重點實驗室，上海 200072;2.上海大學 通信與信息工程學院 上海200072)

隨著科學技術的發展，普通的二維視頻顯示技術已經很難滿足人們對圖像的觀賞，因此三維顯示技術以其強烈的表現力和立體感很好的滿足了人們的需要。多視點立體顯示器(也稱為裸視立體顯示器)可使觀看者無需要佩戴任何輔助工具直接觀看立體顯示器上的圖像，并且立體感強、觀察視角大，因此，自由立體顯示系統(FTV:Free－Viewpoint TV System)被認為是未來三維顯示技術的發展方向［1］。

目前的自由立體顯示主要是基于多視點信息的立體顯示，它需要使用攝像機陣列采集多個視點的信息并對其做相應的處理，將處理后的圖像合成符合多視點立體顯示的圖像。因此對多視點信息進行相應的校正就顯得格外重要。

目前針對雙目立體圖像的校正算法已經有很多［2］。但多視點立體圖像的校正算法因涉及攝像機陣列上多個視點的信息，因此校正過程復雜，并沒有形成公認的校正算法［3－4］。

筆者在總結前人工作的基礎上，提出了一種視差可控的多視點立體圖像校正算法，該算法具有實現簡單快速的特點，非常適合實時系統，并且該算法可對目標物體實現正視差、負視差和零視差的調節。

實驗表明，該算法可很好的支持8視點立體顯示系統中的圖像實時校正，并且對目標物體可以根據需要進行立體感調節。

1 立體圖像校正

1.1 立體攝像機模型

如圖1所示建立雙目立體顯示的模型，。立體攝像機的左、右攝像機分別為Cl、Cr。P點為目標物體上的任意點，左右成像平面為 Left和Right。

圖1 雙目攝像機模型Fig.1 Binocular cameramodel

圖1(a)為未經過校正的圖像，由于成像平面處在不同的空間平面上，所以產生旋轉、垂直或水平的校正誤差。

圖1(b)為經校正后的圖像，此時校正后的左、右成像平面處在同一水平面上，誤差基本消除。

1.2 提取特征點

為進行多視點立體圖像的校正，必須得到水平誤差、垂直誤差和旋轉誤差，為更準確的獲取這些誤差的參數，筆者通過選擇適當的特征點計算這些誤差。其特征點是根據經驗人工選擇得到的，如圖2所示。

選擇越多的特征點則水平誤差、垂直誤差和旋轉誤差就會越小。筆者選擇11個特征點，這些特征點主要集中在場景的中間部分。通過提取這11個特征點坐標可計算出水平誤差、垂直誤差和旋轉誤差的調整參數。

圖2 特征點選擇Fig.2 Feature point selection

1.3 多視點立體圖像

多視點立體圖像因涉及多個視點的信息，因此校正算法復雜，筆者算法的主要思路為從多個視點中選擇一個視點作為參考視點，其他視點與參考視點兩兩配對進行校正，這樣將多視點立體校正轉換為多個雙目立體圖像校正，從而降低算法的復雜度。

圖3為由8視點攝像機陣列采集到的未校正圖像。從圖3中可明顯看出8個視點存在水平誤差、垂直誤差和旋轉誤差，這主要是因為攝像機內參的不同以及攝像機陣列在擺放時位置的細微差。因此為了得到更好的立體顯示效果，需要對攝像機陣列采集到的多視點信息進行立體圖像校正。

圖3 未矯正的8視點圖像Fig.3 Uncorrected viewpoint image

2 多視點立體圖像校正算法

2.1 旋轉和垂直誤差校正

對平行攝像機陣列而言立體圖像誤差主要存在于XY平面上，因此首先對多視點圖像進行旋轉變化校正旋轉誤差。式(2)為旋轉矩陣，其中θ為XY平面上的旋轉角度，該旋轉角度是通過1.2節中的特征點計算而來，不同視點的旋轉參數不同。

在消除垂直誤差時，首先要選擇參考視點，一般選擇中間視點作為參考視點。設參考視點的光心為參考光心，其它視點的光心通過與參考光心比較來消除垂直誤差，使得校正后的所有視點的光心均處在同一直線上。式(3)為垂直矩陣，其中y為垂直誤差參數，它是由特征點計算而來。

最后將矩陣(2)和(3)帶入式(4)中，就可得到消除旋轉和垂直誤差后的立體圖像，其中A為校正前圖像，B為校正后圖像。

2.2 視差均衡

2.2.1 正視差、負視差和零視差

多視點立體顯示器能夠在同一個屏幕上同時顯示兩個或多個視點的信息。以雙目立體顯示為例，對于目標物體P，雙目立體顯示器可以通過調節視差表現出不同的立體效果，如圖4所示。

圖4 雙目立體顯示器的立體效果原理Fig.4 Binocular stereo display three-dimensional effect p rincip le

圖4(a)為零視差，此時點P的視差為0，觀看時人可以看到點P處在屏幕上。圖4(b)為正視差，此時點P的視差為正值，觀看時點P在屏幕里面有凹陷感。圖4(c)為負視差，此時點P視差為負值，觀看時點P突出屏幕有突出感。圖4 (d)為發散視差，不能形成可看的立體效果，在調整視差時要盡量避免出現發散視差。

在進行視差均衡時，必須考慮目標物體的零視差、正視差和負視差，這樣才能按照需要對目標物體的立體感進行適當調節。

2.2.2 視差均衡

在雙目立體顯示系統中，視差均衡的原理如圖4所示，只需要調整兩幅圖像的水平視差即可。但多視點視差均衡因為涉及多個視點而變得相當復雜。不能簡單的調節各個視點的光心距離使得目標物體突出或者凹陷入屏幕。筆者提出的算法是根據場景內容來進行視差調節的。

多視點場景可根據其內容被劃分為3部分，即前景、目標物體和背景。下面主要討論物體為零視差平面時的視差均衡，其他情況可以此類推。當物體為零視差平面時，在觀看時會感到前景突出屏幕有很強的立體感，背景凹陷入屏幕。

在進行視差均衡時必須首先使零視差平面上的物體重合，此時前景物體為負視差，背景物體為正視差，在立體顯示器中觀看時，可清晰看到目標物體，前景物體突出屏幕，背景陷入屏幕，如圖5所示。從圖5中可看到前景為負視差，在立體顯示器上觀看時有凸出感，背景物體為正視差，在立體顯示器上觀看時有凹陷感。在進行多視點視差均衡時通1常以第一個攝像機C1為參考攝像機，其他各個相機與C1兩兩配對進行視差均衡。

圖5 物體為零時差時的視差均衡Fig.5 Object is zero parallax when the time difference balanced

矩陣(5)為視差均衡公式。x為當前視點的視差偏移量，它是由特征點計算得到的。

3 實驗結果

該算法的實驗平臺為8視點立體采集顯示系統，該系統包括實時采集、實時圖像校正和8視點立體顯示。實驗平臺的參數在表1中給出。

表1 實驗平臺參數

在多視點立體顯示系統中，如果不經過校正直接在立體顯示器上合成立體圖像其結果如圖6所示。觀看者在觀看時不能生成可舒適觀看的立體圖像，圖像質量很差、重影嚴重。

圖6 未校正圖像直接合成立體圖像Fig.6 Uncorrected images direct synthesis of threedimensional images

在多視點立體圖像中根據經驗選擇特征點，使用這些特征點計算出旋轉參數和垂直參數，再根據式(4)對圖像進行校正，校正后的結果如圖7所示。此時圖像中已經基本消除旋轉和垂直誤差。

圖7 校正后8視點圖像Fig.7 8 viewpoint image corrected

此時對處理后的圖像進行視差均衡。根據場景的要求來調整場景的立體效果，假設把圖7中場景的零視差平面分別定義在背景、男學生所在平面和女學生所在平面，可產生同一場景的不同立體效果圖像。圖8為零視差平面在背景，此時從多視點立體顯示器上觀看時，背景前的所有物體均有強烈的突出感;圖9為零視差平面在男學生所在平面上，此時女學生具有強烈的突出感，背景陷入屏幕;圖10為零視差平面在女學生所在平面上，此時物體和背景均陷入屏幕。該算法在實際使用時，可根據場景的特點或者感興趣區域的需要來調節零視差平面的位置。

圖8 以背景為零視差平面合成后的立體圖像Fig.8 Three-dimensional image after the background zero parallax p lane of synthesis

圖9 以中景為零視差平面合成后的立體圖像Fig.9 The m iddle ground zero parallax plane synthesized stereo image

圖10 以前景為零視差平面合成后的立體圖像Fig.10 Three-dimensional image in the prospect of zero parallax p lane synthesized

4 結論

筆者提出一種視差可控的多視點立體圖像校正算法，該算法通過對各個視點進行特征點提取的方式計算出垂直、水平和旋轉參數。利用這些參數消除多視點信息中的垂直、水平和旋轉誤差。該算法具有低復雜度的特點，適用于實時系統中，并且該算法可根據實際需要對場景的立體感進行調節。

［1］Zhang Zhao－yang，An Ping，Zhang Zhi－jiang，et al.2D/ 3D video processing and stereo display technology［M］. Beijing:Science Press，2010:198－204.

［2］Andrea Fusiello，Emanuele Trucco，Alessandro Verri.A compact algorithm for rectification of stereo pairs［J］. Machine Vision and Applications，2000，12:16－22.

［3］Wang H－M，Chang C－W，Yang J－F.An effective calibration procedure for correction of parallax unmatched image pairs［J］.Institution of Engineering and Technology (IET)，2008，3:63－74.

［4］Yun－Suk Kang，Cheon Lee，Yo－Sung Ho.An efficient rectification algorithm formulti－view images in parallel camera array［C］//3DTV Conference:The True Vision－Capture，Transm ission and Display of 3D Video，2008:61－64.