基于相機平移矩陣奇異值分解的極線校正

李守業，胡茂海，李天冉，段哲一

（南京理工大學 電子工程與光電技術學院，江蘇 南京 210094）

0 引言

立體視覺技術已經應用于生活和生產的各個領域[1-4]。立體匹配是在雙目圖像中尋找同名點的過程，是立體視覺的核心問題。在實際應用中，由于相機結構的誤差，很難保證兩個相機的主軸完全理想平行，因此直接對圖像進行立體匹配非常耗時，而且誤差較大。極線校正可以對雙目圖像進行校正投影變換，使圖像投影到公共的平行相機基線的空間平面，對應的極線位于同一水平線上，并且沒有垂直視差，從軟件層面校正了機械上的偏差。這樣立體匹配問題可以優化為一維掃描線上的搜索問題，縮短匹配所需的時間，提高匹配的精度。

目前，國內外學者已提出了各類極線校正算法。Bouguet 等提出了一種先將左右相機旋轉到同一平面再進行校正的算法[5]；Andrea Fusiello 等提出了一種立體圖像對的外極線校正方法，該方法通過基于6 個自由度的代價函數的最小化，強制執行由無窮遠處平面引起的校正變換[6]；Hartley 等提出的校正方法中右視圖的變換是由基本矩陣推導出的，并且接近于圖像中心附近的剛性變換，但左校正圖像通常有較大的仿射失真[7-9]，林國余等對該算法進行了改進[10]，提高了校正的精度，減小了校正圖像失真；John Mallon 等提出了一種基于估計的基本矩陣從不同的角度對立體圖像進行未校準平面校正的魯棒方法[11]；Wenhuan Wu等提出了一種對具有已知固有參數的兩種不同相機拍攝的一對立體圖像進行極線校正的方法，利用基于估計的基礎矩陣的向量值，得到了兩個校正變換的封閉解析解[12]。各類算法雖然能夠完成雙目圖像的極線校正，但是在面對左右相機內參、外參相差過大等情況時，仍然存在校正精度低、圖像形變嚴重、算法運行緩慢等缺點。

為了彌補上述算法的不足，本文提出了一種基于相機平移矩陣奇異值分解的極線校正方法。實驗結果表明本文算法具有高魯棒性，實現簡單，運行速度快，實現了高精度低畸變的雙目圖像極線校正，可以有效完成后續的立體匹配過程。

1 對極幾何

對極幾何描述了兩幅視圖之間的內在映射關系，在立體視覺中占據了重要的地位。如圖1所示，物點P在兩幅圖像上所呈的像點分別是P1、P2。點P、P1、P2與相機光心C1、C2是共面的，這5 個點組成的平面為極平面π。C1與C2的連線是基線。右相機的光心C2在左相機的像平面的像點e1稱為左極點，左相機的光心C1在右相機的像平面的像點e2稱為右極點。P1與e1的連線是左極線I1，P2與e2的連線是右極線I2。雙目相機原始圖像中，極線I1和I2存在著垂直視差，不利于立體匹配的搜索過程；經過極線校正后，圖像的極線平行，有助于立體匹配的計算。

圖1 對極幾何Fig.1 Epipolar geometry

任意對應的像點P1、P2，它們總是滿足一個關系式：

式中：F是一個3×3 的2 秩矩陣，約束了一對像點的位置關系，稱作基礎矩陣。假設Il是左圖像的一條極線，那么F*Il＝Ir是另一圖像對應的外極線。極點與基礎矩陣滿足：Fe1＝0＝FTe2。假設K1、K2分別是左右相機的內參矩陣；R、T分別是雙目相機間相對的旋轉矩陣和平移向量；a是一個任意常數，代表比例因子，基礎矩陣的表達式為：

F包含了相機的內參和外參。[T]x是平移向量T的反對稱形式，稱為平移矩陣，[T]x的表達式為：

令E＝K2TFK1，得到本質矩陣E，只包含相機的外參，表達式為：

2 極線校正

本文極線校正的流程如圖2所示，第一步：計算一個新的旋轉矩陣Rn，校正后的左右相機旋轉矩陣為Rn，圖像極點在無窮遠處并且極線平行；第二步：確定校正后雙目相機的新內參矩陣Mn；第三步：原像素坐標系的像點P1、P2通過內參矩陣M1、M2得到歸一化坐標表示的圖像點m1＝M1－1P1、m2＝M2－1P2，再通過變換矩陣RL、RR將歸一化坐標m1、m2轉換到校正后的相機坐標系中，乘以物點在新的相機坐標系的Z向量的倒數α1、α2，得到新相機坐標系中的歸一化坐標m1′＝α1RLm1、m2′＝α2RRm2；第四步：通過新的內參矩陣Mn將點m1′、m2′轉換到新的像素坐標系上，得到校正點P1′＝Mnm1′、P2′＝Mnm2′。左右圖像校正的變換矩陣H1、H2表達式分別為：

圖2 極線校正流程Fig.2 Epipolar correction process

H1＝α1MnRnR1－1M1－1＝α1MnRLM1－1

H2＝α2MnRnR2－1M2－1＝α2MnRRM2－1

本文在2.1 小節給出求解Rn的方法，在2.2 小節給出求解Mn的方法。

2.1 求解Rn 的方法

設Mn是校正過的內參矩陣，Rn是校正過的旋轉矩陣，M1、M2、R1、R2分別是左右相機的內參矩陣和旋轉矩陣，RL、RR分別是左右相機的變換矩陣，F0是校正后的基礎矩陣，α1、α2是校正過程中物點在校正的相機坐標系Rn的Z向量的倒數。像點P1、P2，在經過極線校正后有：

極線校正后的理想雙目相機極線平行，極點e1＝e2＝a[1 0 0]T，a為任意常數，基礎矩陣F0可以表示為：

結合基礎矩陣約束關系(3)，可以得到：H2TF0H1＝F代入H1、H2，得到：

根據基礎矩陣和本質矩陣的轉換關系，式(6)等式右側可以轉換為：

那么E0的表達式為：

所以式(6)可以轉換為：

在實際的奇異值分解中，求得的平移矩陣[T]x奇異值?1，?2并不完全相等。為了減小校正的誤差，本文定義一個奇異值的校正矩陣Q：

因此校正后的旋轉矩陣Rn表示為：

另外，對于任意圍繞X軸旋轉的旋轉矩陣Rx，有RxTE0Rx＝E0，這意味著，在校正過程中，有無數個可以使用的變換H1和H2。為了使圖像在旋轉過程中畸變盡量小，要使校正過程中原始左相機繞X軸的旋轉為0。旋轉矩陣RL可以分解為圍繞Z、Y、X軸依次旋轉的3 個旋轉矩陣。如果旋轉分別圍繞X、Y和Z軸，歐拉角分別為ω、θ和ψ，則各矩陣如下：

RL是先繞Z軸旋轉，然后繞Y軸旋轉，最后繞X軸旋轉。

對于左相機ω＝artan(RL(2,3)/RL(3,3))，因此在校正后旋轉矩陣Rn的左側同時乘以RxT，以減小誤差和畸變。因此Rn的表達式為：

2.2 求解Mn 的方法

為此，本文提出了一個新內參矩陣確定標準：假設一幅M×N的圖像，取原來圖像中的4 個點原點O(0,0,1)、行角點A(M,0,1)、列角點B(0,N,1)、中心點G(M/2,N/2,1)。這4 個點經過校正變換H1后分別為：A1、B1、C1、G1。

第一步確定傾斜因子S。假設點A、B、O經過Ht＝α1RnR1－1M1－1變換到校正相機坐標系歸一化坐標后坐標分別為A′、B′、O′，A′O′＝(x1,y1,0)，B′O′＝(x2,y2,0)。使圖像的偏斜盡可能小，令A′O′、B′O′經Mn變換后垂直：(MnA′O′)T(MnB′O′)＝0，求得：

第三步將校正后的圖像移到視場中心。假設G1的坐標是(p,q,l)，令L＝M/2－p，H＝N/2－q。更改新的內參矩陣為：

這樣確立內參Mn可以使校正后的圖像在視場中心，且校正產生畸變與偏斜都較小。

3 實驗結果與分析

本文采用了SYNTIM 數據庫的圖像進行實驗。該數據庫包含了分辨率分別為512×512 和768×576的雙目圖像，同時提供了每對圖像的內外參數。本文從極線校正的誤差、圖像的形變、算法運行速度3 個角度來評價極線校正方法。

校正產生的失真用圖像的畸變[14]ESV和圖像的偏斜Esk表示。ESV是圖像校正前后的面積比，ESV的表達式是：

Esk是圖像校正前后內角的變化，Esk的表示式是：

選取SYNTIM 數據庫中Rubik、Sport 等20 對圖像，分別計算它們通過文獻[5]Bouguet 法、文獻[6]Fusiello 法、文獻[9]Hartley 法、文獻[11]Mallon 法、文獻[12]Wu 法和本文方法進行校正的誤差、畸變、偏斜、運行時間，如圖3所示。可以發現使用本文方法校正的圖像校正的誤差較小；校正幾乎不產生畸變；校正的偏斜也比較小，且沒有出現過8°以上的大偏斜。

圖3 20 對圖像使用不同方法的誤差(a)、畸變(b)、偏斜(c)、運行時間(d)Fig.3 Rectification error(a),scale variance(b),skewness(c)and runtime(d)of different methods for 20 images

圖像的誤差、畸變、偏斜、運行時間的平均值如表1所示（其中最優的數據以粗體標出）。本文方法所校正的圖像平均校正誤差0.5940 像素、圖像平均校正畸變1.0062，是表格方法中最優的，平均圖像偏斜2.3941°僅此于Bouguet 方法。在表1 顯示的結果中，Bouguet 校正的偏斜量與本文相當，但本文校正結果仍然更加精確。本文算法平均用時0.2302 s，與Bouguet、Fusiello、Wu 校正算法用時相近。Hartley校正方法需要對圖像進行特征點識別，運行速度較慢，平均用時為0.8473 s；Mallon 校正方法需要使用最小二乘法求解右圖像的校正矩陣，并求解最優化過程，平均用時為1.305 s，運行速度是表格方法中最慢的。相對于Hartley 校正方法和Mallon 校正方法，本文算法用時更少。

表1 平均誤差、畸變、偏斜、運行時間Table 1 Average error,scale,variance,skewness and runtime

同時，本文也利用極線的斜率來評估了校正的誤差。圖4 是SYNTIM 數據庫中Rubik 圖像，以及通過各個方法校正后的Rubik 圖像。畫出它們的極線，并計算極線的斜率絕對值的平均值，其中：圖4(a)是未校正前的圖像，圖像中的極線并不平行，平均斜率為1.23×10－2；圖4(b)～圖4(f)分別是使用Bouguet、Fusiello、Hartley、Mallon、Wu 校正方法校正后的Rubik 圖像。圖4(g)是使用本文方法校正的Rubik 圖像，極線的斜率為平均2.39×10－7，是幾幅圖像中斜率最小的，說明圖像的極線最為平行。同時經過本文方法校正的Rubik 圖像幾乎沒有畸變，偏斜大約為2.11°，符合極線校正的要求。

圖4 畫出極線的Rubik 圖像及極線斜率(a)原始圖像（斜率=1.23×10-2）(b)Bouguet 方法（斜率=3.82×10-7）(c)Fusiello 方法（斜率=2.71×10-7）(d)Hartley 方法（斜率=3.95×10-5）(e)Mallon 方法（斜率=3.19×10-7）(f)Wu 方法（斜率=1.48×10-6）(g)本文推薦方法（斜率=2.39×10-7）Fig.4 Rubik image with polar line drawn and polar line slope(a)Original image(Slope=1.23×10-2);(b)Bouguet’s method(Slope=3.82×10-7);(c)Fusiello’s method(Slope=2.71×10-7);(d)Hartley’s method(Slope=3.95×10-5);(e)Mallon’s method(Slope=3.19×10-7);(f)Wu’s method(Slope=1.48×10-6);(g)Proposed rectification method(Slope=2.39×10-7)

4 結語

本文提出了一種雙目圖像極線校正的方法，首先利用基于RANSAC 框架的魯棒性估計算法對原始匹配點進行篩選，剔除錯誤匹配點，將篩選出的正確匹配點作為有效點集進行計算；然后通過對平移向量的反對稱矩陣求奇異值分解，得到校正后的旋轉矩陣，并根據校正前后的圖像位置關系，重新確立新的內參矩陣，使圖像的失真性最小。實驗結果表明本文算法平均校正誤差在0.6 像素內、圖像的畸變接近于1、平均偏斜在2.4°左右、平均運行時間為0.2302 s；相比于參考文獻中的極線校正方法，本文算法在校正精度、圖像形變、運行速度方面具有一定優勢，滿足了極線校正的需求，優化了立體匹配算法。未來的研究工作將會圍繞如何進一步提高極線校正的精度從而提高立體視覺匹配的精度來進行。