基于幾何法立體圖像校正的研究

王道累， 楊 峰

（上海電力學(xué)院能源與機(jī)械工程學(xué)院，上海 200090）

基于幾何法立體圖像校正的研究

王道累， 楊 峰

（上海電力學(xué)院能源與機(jī)械工程學(xué)院，上海 200090）

立體視覺圖像校正是加速立體匹配簡(jiǎn)單而常用的技術(shù)之一。采用幾何法對(duì)使用棱鏡的單鏡頭立體視覺系統(tǒng)圖像進(jìn)行校正，根據(jù)成像原理，從圖像平面像素點(diǎn)反推到三維實(shí)體點(diǎn)的分析運(yùn)算，利用成像光線幾何關(guān)系求解虛擬相機(jī)外部參數(shù)，實(shí)現(xiàn)極線的校正，避免了復(fù)雜相機(jī)標(biāo)定過程。同時(shí)，該算法可以從雙棱鏡應(yīng)用推廣到多面棱鏡的單棱鏡立體視覺系統(tǒng)圖像校正。實(shí)驗(yàn)結(jié)果表明，基于幾何法對(duì)使用棱鏡的單鏡頭立體視覺系統(tǒng)圖像校正是有效的。

立體視圖；極線校正；圖像處理；幾何法

立體視覺圖像校正是計(jì)算機(jī)視覺技術(shù)的關(guān)鍵技術(shù)之一。圖像校正的目的是使兩幅非共面圖像校正成兩幅共面。同時(shí)確保兩幅圖像相對(duì)應(yīng)極線成為共線并沿著水平掃描線。因此，通過立體圖像對(duì)的極線校正，使立體匹配算法的搜索范圍從二維的圖像平面降低到一維的掃描線上，從而大大提高匹配算法的搜索速度和精度[1-3]。

視圖校正是立體視覺的一個(gè)典型問題。Al-Shalfan等[4]最早提出基于光學(xué)技術(shù)的校正方法，該方法主要是通過硬件技術(shù)來實(shí)現(xiàn)的，因而在實(shí)踐應(yīng)用中受到了很大地限制。而Loop和Zhang[5]提出了對(duì)立體視圖校正方法分解單應(yīng)性矩陣。Isgro和Trucco[6]提出了一種不需要對(duì)極線幾何求解，尤其是基礎(chǔ)矩陣進(jìn)行精確計(jì)算的圖像校正方法，直接利用了校正后的基礎(chǔ)矩陣有一個(gè)特定的已知形式來建立水平視差最小化式子，從圖像的對(duì)應(yīng)點(diǎn)直接產(chǎn)生校正的單應(yīng)性矩陣。Hartley[7]提出了一種針對(duì)視角變化比較大的立體圖像對(duì)進(jìn)行校正的方法。Yu和Wu[8]提出了一種減少校正后圖像幾何畸變的方法，把校正問題和基礎(chǔ)矩陣的估算問題結(jié)合起來，從基礎(chǔ)矩陣的估算中求得校正問題的最小二乘解，通過增加剪切變換使單應(yīng)性矩陣唯一，減少整幅圖像的幾何畸變。該方法在優(yōu)化過程中，優(yōu)解的獲得可能陷入局部最小化。綜上所述的視圖校正算法多存在一定的局限性。因此，設(shè)計(jì)一種簡(jiǎn)單而實(shí)用的立體圖像校正算法是立體視覺的重要研究方向之一。

基于棱鏡的單鏡頭立體視覺系統(tǒng)是本論文研究的對(duì)象，該系統(tǒng)利用棱鏡來形成多個(gè)虛擬相機(jī)。這與傳統(tǒng)立體視覺系統(tǒng)利用兩個(gè)或多個(gè)相機(jī)捕獲兩幅或多幅從不同視角的場(chǎng)景相同。但是該系統(tǒng)簡(jiǎn)單而有效地減少了相機(jī)標(biāo)定參數(shù)復(fù)雜計(jì)算過程。另外，圖像的采集也不存在時(shí)間差，同時(shí)也節(jié)省系統(tǒng)設(shè)備建設(shè)的費(fèi)用。

本文運(yùn)用成像原理，從圖像像素點(diǎn)反推到三維實(shí)體點(diǎn)，建議使用幾何分析方法求解虛擬相機(jī)的外部參數(shù)等。本文優(yōu)勢(shì)及特點(diǎn)有：①幾何分析方法求解虛擬相機(jī)參數(shù)，減少了復(fù)雜的相機(jī)標(biāo)定過程；②使用基于棱鏡的單鏡頭立體視覺系統(tǒng)，直接利用棱鏡來形成虛擬相機(jī)，減少了相機(jī)布局誤差；③幾何分析算法可以進(jìn)行總結(jié)并一般化。

1 相機(jī)模型定義及立體圖像校正

1.1 相機(jī)模型定義

針孔相機(jī)模型是由光心O和圖像平面建立而成的。一個(gè)三維空間點(diǎn)P到圖像平面投影點(diǎn)p是直線OP和圖像平面的交點(diǎn)。含O和圖像平面正交的線被稱為光軸，它與圖像平面的交點(diǎn)為(ox, oy)。攝像機(jī)光心O到圖像平面的距離，即攝像機(jī)的焦距f。

假設(shè)在世界坐標(biāo)系下坐標(biāo)P=[X, Y, Z]T和在圖像平面（像素）坐標(biāo)p=[u, v]T。從三維映射坐標(biāo)二維坐標(biāo)的透視投影，這是由一個(gè)線性齊次坐標(biāo)變換表示。和分別為P和p的齊次坐標(biāo)；然后，由P到p投影變換關(guān)系得：

其中s是一個(gè)比例因子，ppmP 是相機(jī)的投影矩陣。分解投影矩陣：

矩陣intM 是相機(jī)內(nèi)部參數(shù)形成的矩陣，具體表示：

f是焦距，sx和sy分別是像素在水平和垂直方向上的有效尺寸(mm)。攝像機(jī)的位置和方向（外部參數(shù)），是由3×3旋轉(zhuǎn)矩陣R和平移矢量T組成。圖1所示為立體視圖極線幾何關(guān)系（實(shí)線）。

圖1 立體視圖極線幾何(實(shí)線)和校正后的極線幾何(虛線)

2 單鏡頭的雙目立體視圖校正

2.1 單鏡雙目頭立體視覺系統(tǒng)

本文以單鏡頭立體視覺系統(tǒng)為研究對(duì)象，該系統(tǒng)使用棱鏡來形成兩個(gè)或多個(gè)虛擬相機(jī)。圖 2所示是使用雙棱鏡的單鏡頭立體視覺系統(tǒng)。系統(tǒng)設(shè)計(jì)規(guī)則如下：

(1) 將雙棱鏡放置于相機(jī)的前面，由棱鏡頂點(diǎn)與相機(jī)鏡頭在一條直線上；

(2) 棱鏡后平面與相機(jī)的圖像平面平行；

(3) 圖像的中心點(diǎn)與棱鏡頂點(diǎn)的直線為Z軸，并將雙棱鏡分為上下對(duì)稱。

通過設(shè)置好雙棱鏡和相機(jī)位置，根據(jù)成像原理，真實(shí)相機(jī)發(fā)出光線通過棱鏡反射及折射作用，可以形成兩個(gè)虛擬相機(jī)（如圖2所示）。當(dāng)采集圖像時(shí)，就可以得到兩幅不同視角的圖像。這種單鏡頭立體視覺系統(tǒng)使用棱鏡來形成多個(gè)虛擬系統(tǒng)有幾個(gè)優(yōu)點(diǎn)：①相機(jī)標(biāo)定變得簡(jiǎn)單；②在建設(shè)系統(tǒng)所需的費(fèi)用減少；③對(duì)所產(chǎn)生的誤差相對(duì)的減小；④虛擬相機(jī)的焦距與真實(shí)圖像的焦距一樣；⑤可以同時(shí)獲得多個(gè)視圖，不存在時(shí)間差，對(duì)于運(yùn)動(dòng)的場(chǎng)景也可以瞬間得到一組視圖。

1.2 立體圖像校正

圖 1顯示了兩視圖的極線幾何關(guān)系。如果兩個(gè)相機(jī)已經(jīng)被標(biāo)定過，即兩個(gè)攝像機(jī)投影矩陣是已知的。兩個(gè)相機(jī)中心連線成為基線。然后，對(duì)所有視圖通過校正矩陣變換計(jì)算后獲得校正圖像。校正后的圖像極線共線且平行于基準(zhǔn)（圖 1虛線表示部分）。這樣對(duì)搜索視圖間匹配點(diǎn)變得簡(jiǎn)單有效。對(duì)于立體圖像的校正，Yu和 Wu等[8]可知校正矩陣主要由內(nèi)部參數(shù)矩陣和相機(jī)的姿態(tài)矩陣組成。而對(duì)于本論文研究課題內(nèi)部參數(shù)矩陣，由系統(tǒng)設(shè)備提供。然而，外部參數(shù)將由本文提出的幾何法來解決。

在上節(jié)中也討論過了，立體圖像的校正需要相機(jī)的內(nèi)外部參數(shù)。這就需要對(duì)相機(jī)進(jìn)行標(biāo)定。而如果直接對(duì)相機(jī)進(jìn)行標(biāo)定，整個(gè)過程相當(dāng)?shù)膹?fù)雜。所以本文利用圖像成像原理進(jìn)行幾何法求解相機(jī)的外部參數(shù)包括旋轉(zhuǎn)矩陣 R和平移向量 T。至于內(nèi)部參數(shù) Mint可以直接從相機(jī)獲得固有參數(shù)。

圖2 使用雙棱鏡的單鏡頭立體視覺系統(tǒng)

2.2 幾何方法分析求解校正矩陣

已知 P (x ,y,- f)點(diǎn)坐標(biāo)，光心 O(0,0,0)及焦距f，折射率n。棱鏡頂點(diǎn)到真實(shí)相機(jī)光心的距離T0，雙棱鏡大小和角度α等。例如直線PM方程為：

接著，根據(jù)雙棱鏡布局位置，在世界坐標(biāo)系下求得棱鏡左平面方程：

其中， (X0,Y0,Z0)為棱鏡頂點(diǎn)的坐標(biāo)，為平面的法向向量。根據(jù)已知參數(shù)值和棱鏡的幾何位置即可求得法向向量。

直線MN可以通過向量的平行四邊形法則，求得MN的方向向量（如圖4）。然后，點(diǎn) M (xM,yM,zM)的坐標(biāo)可以從直線PM與雙棱鏡左平面求得：

圖3 雙目視覺的系統(tǒng)視圖校正

圖4 運(yùn)用平行四邊行法則求直線方向向量

同理可得直線NS的方程。

以此類推，Z軸直線重復(fù)上述的步驟可求得經(jīng)過雙棱鏡后直線 L方程。因此，虛擬左相機(jī)光心由兩直線相交，求交點(diǎn)。

從圖 4知，從真實(shí)圖像平面到左虛擬圖像平面的平移向量：

通過幾何關(guān)系分析可得，旋轉(zhuǎn)角度β等于直線L與Z軸的夾角。已知兩方程就可得角度β。因此，旋轉(zhuǎn)矩陣為

2.2.2 視圖校正矩陣

定義虛擬相機(jī)新坐標(biāo)系姿態(tài)矩陣：

其中， r1作為虛擬相機(jī)坐標(biāo)系的 X軸，選擇平行于基準(zhǔn)線：r2作為虛擬相機(jī)坐標(biāo)系的Y軸和真實(shí)圖像系統(tǒng)的坐標(biāo)系Y軸一致；r3作為虛擬相機(jī)坐標(biāo)系的Z軸，右r1和r2叉積得到。

最后，兩個(gè)虛擬圖像平面的校正變換矩陣：

通過上面的步驟可以獲得最終的校正后的圖像坐標(biāo)[2]。

3 單鏡頭的多目立體視圖校正

建立單鏡頭的多目立體視覺系統(tǒng)可選用多面的棱鏡。如圖 5所示是利用三棱鏡的單鏡頭視覺系統(tǒng)圖。多目立體圖像校正算法可由雙目立體圖像校正推理得到。同樣進(jìn)行幾何成像反推求得旋轉(zhuǎn)矩陣R和平移矩陣T。

圖5 三棱鏡的單棱鏡立體視覺系統(tǒng)

通過幾何法分析，在三棱鏡的單鏡頭視覺系統(tǒng)中，從虛擬圖像平面到校正后的虛擬圖像平面旋轉(zhuǎn)角度β及γ（圖6所示），即旋轉(zhuǎn)矩陣：

最后，根據(jù)旋轉(zhuǎn)矩陣R和平移向量T及新坐標(biāo)系統(tǒng)姿態(tài)矩陣求取校正后的3個(gè)虛擬圖像平面的校正變換矩陣，然后獲得校正后的圖像平面坐標(biāo)。

圖6 虛擬平面旋轉(zhuǎn)圖

同樣思路推廣與應(yīng)用到四棱鏡、五棱鏡的單鏡頭視覺系統(tǒng)中（如圖7～8所示）。

圖7 四棱鏡的單棱鏡立體視覺系統(tǒng)

圖8 五棱鏡的單棱鏡立體視覺系統(tǒng)

利用棱鏡的單鏡頭視覺系統(tǒng)圖像校正算法歸納與總結(jié)：

(1) 通過幾何分析，運(yùn)用平行四邊形法則計(jì)算虛擬圖像平面的旋轉(zhuǎn)矩陣R和平移向量T，例如：

這里d=0或者1（針對(duì)多面棱鏡）；

(2) 建立虛擬相機(jī)坐標(biāo)的系統(tǒng)，構(gòu)建新坐標(biāo)姿態(tài)矩陣rectR ，定義各個(gè)坐標(biāo)軸；

(3) 通過內(nèi)部參數(shù)矩陣計(jì)算校正后的虛擬相機(jī)的圖像坐標(biāo)。

4 實(shí)驗(yàn)結(jié)果及討論

本實(shí)驗(yàn)利用棱鏡的單鏡頭視覺系統(tǒng)來采集圖像。三幅圖像分別來自雙棱鏡、三棱鏡和四棱鏡視覺系統(tǒng)采集。它們分別命名為“mechanical stand”、“red rose”和“da”。每幅圖像都有兩、三和四幅相同背景的圖像從不同視角采集得到。這種采集手段相當(dāng)于多個(gè)真實(shí)的相機(jī)從不同角度對(duì)一場(chǎng)景的拍攝。如圖9(a)在左視圖任意選取3個(gè)點(diǎn)，同時(shí)計(jì)算并畫出其相對(duì)應(yīng)右視圖的極線，圖 9(b)通過幾何方法校正過后的左視圖的 3個(gè)點(diǎn)及相對(duì)應(yīng)右視圖的極線。圖 10(b)在上左視圖任意選取 3個(gè)點(diǎn)，同時(shí)計(jì)算并畫出其相對(duì)應(yīng)下視圖的極線圖10(c)，圖10(d)在上右視圖取得3個(gè)點(diǎn)是和上左視圖上是一致的，也畫出其相對(duì)應(yīng)下視圖的極線圖10(c)，圖10(e)～(g)通過幾何方法校正過后的上左視圖、上右視圖的 3個(gè)點(diǎn)及相對(duì)應(yīng)下視圖的極線。圖11(a)上左視圖任意選取3個(gè)點(diǎn)，同時(shí)計(jì)算并畫出其相對(duì)應(yīng)上右視圖、下左視圖和下右視圖的極線如圖 11(b)～(d)。經(jīng)過校正過，各視圖上的點(diǎn)極線都發(fā)生了變化，如圖 12(a)～(d)所示。以上各視圖從經(jīng)過建議算法校正后的視圖中的極線變成水平狀態(tài)了。這樣證明了本算法是有效的。

對(duì)三棱鏡立體視覺系統(tǒng)進(jìn)行匹配點(diǎn)測(cè)試。在圖10中取8組左右視圖像素點(diǎn)坐標(biāo)，求取在第三幅視圖中的匹配點(diǎn)。第三、四列坐標(biāo)值為左右視圖像素點(diǎn)在第三幅視圖對(duì)應(yīng)極線的交點(diǎn)坐標(biāo)。表1顯示使用傳統(tǒng)的校正方法(張氏法)[9]和幾何法的匹配求匹配點(diǎn)結(jié)果。從表 1中得到第三與第四列誤差值的值一直小于第五與第四列誤差值。匹配點(diǎn)由幾何法和傳統(tǒng)標(biāo)定方法得到誤差的平均距離分別為6.017和11.402。由此表明幾何方法校正比傳統(tǒng)的校正方法好。這種改善是由于幾何分析方法比傳統(tǒng)的校正方法可以得到更精確的虛擬攝像機(jī)外部參數(shù)。此外，結(jié)果驗(yàn)證本文的校正算法確實(shí)是有效，即使應(yīng)用于單棱鏡的多視圖立體視覺系統(tǒng)。

圖9 利用雙棱鏡視覺系統(tǒng)采集圖“mechanical stand”

圖10 利用三棱鏡視覺系統(tǒng)采集圖“red rose”

圖11 利用四棱鏡視覺系統(tǒng)采集圖“達(dá)”

圖12 利用四棱鏡視覺系統(tǒng)校正圖“達(dá)”

表1 張氏法和幾何法的求匹配點(diǎn)結(jié)果

5 結(jié) 論

立體圖像校正是計(jì)算機(jī)視覺中關(guān)鍵技術(shù)之一。通過對(duì)視圖進(jìn)行校正后，對(duì)尋找匹配變的更簡(jiǎn)單而且更加有效。本文根據(jù)成像原理，采用簡(jiǎn)單而且有效的幾何分析方法解決立體圖像校正變換矩陣。運(yùn)用了平行四邊形法則及成像的反推技術(shù)解出了旋轉(zhuǎn)矩陣和平移向量。通過雙棱鏡的分析并推廣到多面棱鏡的單鏡頭立體視覺系統(tǒng)中，并且歸納總結(jié)視圖校正算法一般步驟。實(shí)驗(yàn)結(jié)果顯示，本文的建議算法是有效的。在未來的研究中，將完善這一方法，并應(yīng)用到微型化的單鏡頭立體視覺系統(tǒng)中去。

[1] Fusiello A, Trucco E, Verri R. A compact algorithm for rectification of stereo pairs [J]. Machine Vision and Applications, 2000, 12: 16-22.

[2] Trucco E, Verri A. Introductory techniques for 3-D computer vision [M]. Prentice Hall, 2006: 156-245.

[3] Chen Zezhi, Wu Chengke, Tsui H T. A new image rectification algorithm [J]. Pattern Recognition Letters, 2003, 24: 251-260.

[4] Al-Shalfan K A, Haigh J G, Ipson S S. Direct algorithm for rectifying pairs of uncalibrated images [J]. Electronics Letters, 2000, 36(5): 419-420.

[5] Loop C, Zhang Zhengyou. Computing rectifying homographies for stereo vision [C]//IEEE Conference on Computer Vision and Patter Recognition, Fort Collins, CO, 1999: 125-131.

[6] Isgro F, Trucco E. Projective rectification without epipolar geometry [C]//IEEE CVPR, 1999: 1094-1099.

[7] Hartley R. Theory and practice of projective rectification [J]. International Journal of Computer Vision, 1999, 35(2): 115-127.

[8] Yu Yuhua, Wu H H, Projective rectification with reduced geometric distortion for stereo vision and stereoscopic video [J]. Journal of Intelligent and Robotic Systems, 2005, 42(1): 71-94.

[9] Zhang Zhengyou. A flexible new technique for camera calibration [C]//IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

Research of Stereo Image Rectification Based on a Geometrical Approach

Wang Daolei, Yang Feng
(College of Energy and Mechanical Engineering, Shanghai University of Electric Power, Shanghai 200090, China)

This paper proposes a geometric approach for rectification on uncalibrated single-lens stereovision using a prism. According to the imaging principle, the points of 3D entity can be estimated from the image plane pixels. In order to rectify epipolar lines, the optical geometry of imaging is utilized to solve virtual camera extrinsic parameters, which avoids the complex camera calibration process. At the same time, the algorithm can be applied torectify images based on single-lens stereovision system using a bi-prism to polyhedral prism. Experimental results are presented to show the effectiveness of the approach.

stereovision; polar correction; image processing; geometrical approach

TP 391

A

2095-302X(2014)06-0883-06

2014-04-17；定稿日期：2014-05-25

王道累(1981-)，男，上海人，講師，博士。主要研究方向?yàn)橛?jì)算機(jī)視覺、圖像處理、CAD/CAM。E-mail：alfredwdl@shiep.edu.cn