移動機器人視覺傳感器的現場標定技術

摘 要：提出一種實用的移動機器人雙目視覺傳感器的標定技術。為解決非線性標定過程中解的不穩定性，根據透視投影的交比不變性和透鏡成像的徑向排列約束(radial parallelism constraint，RAC)，線性標定攝像機的內部參數。然后，假定內部參數不變，從雙目成像機理出發推導出本質矩陣的分解形式，線性標定出旋轉矩陣和與實際只相差1個比例因子的平移向量。最后，由已知兩個控制點之間的距離，求出實際的平移向量。實驗表明，該方法具有與傳統方法相同的精度，并且可實現外參數的現場標定。

關鍵詞：標定；雙目視覺；交比不變性；本質矩陣；徑向約束

中圖分類號：TP391文獻標識碼：B

文章編號：1004-373X(2008)22-187-05

On-line Calibration Technique of Vision Sensor in Moving Vehicles

ZHENG Banggui，DUAN Jianmin，TIAN Bingxiang

(College of Electronic Information and Control Engineering，Beijing University of Technology，Beijing，100124，China)

Abstract：A practical approach for stereo calibration in moving vehicles is proposed.To solve the instability of solution in the nonlinear calibration，intrinsic parameters are computed using cross-ratio invariability and Radial Parallelism Constraint (RAC) linearly.Then，assuming that intrinsic parameters are invariable，the deduction on decomposition form of essential matrix based on stereo imaging principle is given，and it can calibrate rotation matrix R and translation matrix T up to a scale factor linearly.Finally，the real extrinsic parameters are estimated with knowledge of distance between two scene points.Experimental results show that this method has same accuracy as that of traditional methods and can calibrate extrinsic parameters in the field.

Keywords：calibration;binocular vision;cross-ratio invariability;essential matrix;radial constraint

1 引 言

移動機器人視覺導航的關鍵技術之一是通過二維圖像提取出物體的三維信息，實現對場景環境的快速識別。如何獲得物體的精確的三維信息一直是機器視覺研究工作的重點。而立體視覺傳感器的標定是必不可少的步驟。許多學者提出了攝像機標定的多種方法，并得到了廣泛的應用。傳統的方法是通過觀察攝像機前方的標定物，確立匹配像素對，求解相關的方程組^［1-4］。然而這類方法需要精確得到控制點的3維坐標，不得不做許多重復的工作，并且這些繁重的操作必須在實驗室內精確地完成。

近年來，一些學者提出了各種簡化的立體攝像機自標定方法^［5-7］。這些方法的特點是不需要控制點的絕對坐標，而通過幾何約束關系來求解攝像機的參數。而有的方法需要加入額外的攝像機運動，或者標定精度不足。

雙目立體標定不僅需要確定內部參數，還要確定攝像機之間的相對位置關系。傳統的方法先分別標定左右攝像機的內部參數和外部參數，再計算兩攝像機的相對位置和方向。但該方法外參數只能在實驗室標定，只適用于靜態的場合。這對移動機器人等動態環境來說是不適合的^［8］。

本文提出一種移動機器人雙目傳感器標定技術。首先利用透視投影的交比不變性和透鏡成像的徑向排列約束對單個攝像機的內參數進行精確標定；然后假定攝像機的內部參數不變，再利用本質矩陣的性質，對安裝到現場的立體系統中兩臺攝像機的相對位置關系進行標定。

該方法不僅具有與傳統方法相當的精度，同時雙目標定不限于實驗室環境，在標定外參數時不需知道標定物的空間坐標，僅需要某兩控制點之間的相對距離即可，適合于機器人的“移動”特點，提高了標定方法的靈活性。對于智能車輛(即移動機器人)導航的雙目立體系統，可以借助環境中的固定標識來標定雙目外參數。

2 成像模型

對于單攝像機模型，如圖1所示，設某一場景點在世界坐標系的坐標為(xw，yw，zw)，在攝像機坐標系的坐標為(xc，yc，zc)。攝像機坐標系的原點定義在攝像機的光心，其 z 軸為攝像機的光軸，x 軸和 y 軸與圖像 X 軸和 Y 軸平行。圖像平面和光心的距離為有效焦距 f 。

圖1 考慮鏡頭畸變的攝像機成像模型

從場景點在世界坐標系的坐標(xw，yw，zw)變換到該點在計算機圖像坐標系的投影點的坐標(u，v)的過程可分為如下3步^［2］：

（1） 場景點從世界坐標系到攝像機坐標系的變換：

xcyczc=Rxwywzw+t（1）

其中，旋轉矩陣R及平移向量t為攝像機的外部參數，表示如下：

R=r11r12r13r21r22r23r31r32r33，t=t1t2t3

（2） 攝像機坐標系到成像平面坐標系的理想變換：

X=fxc/zc;Y=fyc/zc（2）

其中f為攝像機的焦距。

（3） 從成像平面坐標系到計算機圖像坐標系的變換：

u=X/dx+u0;v=Y/dy+v0（3）

其中(u0，v0)是計算機圖像中心的像素坐標；dx，dy分別是X和Y方向相鄰兩像素間的距離(mm/pixel)，可以通過預標定獲得。

由式(1)~(3)可得：

zcuv1=A(Rxwywzw+t)（4）

其中，投影矩陣A=α0u0

0βv0001，有效焦距α=f/dx，β=f/dy。

雙目模型的每個攝像機模型都符合上述表述。

3 攝像機內參數標定

對單攝像機模型，先標定主點及部分外參數，再確定鏡頭的畸變系數，對圖像進行畸變校正，最后標定攝像機的有效焦距。

3.1 標定攝像機主點、R、t1及t2

單攝像機模型中，設標定模板位于世界坐標系中的zw=0的平面上，由式(1)可以得到：

xcyc=r11xw+r12yw+t1r21xw+r22yw+t2（5）

由式(2)和(3)可得到：

XY=(u－u0)dx(v－v0)dy（6）

考慮攝像機成像的徑向排列約束條件，如圖1所示，向量OPu(或OPd)與向量pocp的方向相同，即：

xc/yc=X/Y（7）

將式(5)，(6)代入式(7)：

xwuywuxwvywvxwyw1v1T×r21/t2r22/t2－dy·r11/dx·t2

－dy·r12/dx·t2

(v0·dy·r11－u0·dx·r21)/dx·t2

(v0·dy·r12－u0·dx·r22)/dx·t2

－u0

－dy·t1/dx·t2

v0·dy·t1/dx·t2

=－u（8）

由式（8）可知，選不少于9個控制點即可求出u0，v0，r21/t2，r22/t2，r11/t2，r12/t2和t1/t2，一般采用最小二乘法來解該多控制點的方程組。進一步可以根據旋轉矩陣的單位正交性質來求解出R及t1和t2^［9］。

3.2 鏡頭畸變系數的標定

首先，如圖2所示，空間共線4點A(xwA，ywA，zwA)，B(xwB，ywB，zwB)，C(xwC，ywC，zwC)和D(xwD，ywD，zwD)的一個交比J如下：

(xwA－xwC)(xwB－xwD)(xwB－xwC)(xwA－xwD)=J

(ywA－ywC)(ywB－ywD)(ywB－ywC)(ywA－ywD)=J

(zwA－zwC)(zwB－zwD)(zwB－zwC)(zwA－zwD)=J

（9）

其次，根據透視投影的交比不變性，其對應理想圖像點A1(XA，YA)，B1(XB，YB)，C1(XC，YC)和D1(XD，YD)的對應交比表示為^［10］：

(XA－XC)(XB－XD)(XB－XC)(XA－XD)=J(YA－YC)(YB－YD)(YB－YC)(YA－YD)=J（10）

圖2 交比不變性示意圖

在實際的三維測量中，應考慮鏡頭的非線性畸變。理想圖像點坐標(X，Y)和畸變后實際圖像點坐標(Xd，Yd)的關系：

X=Xd+DX(Xd，Yd)

Y=Yd+DY(Xd，Yd)（11）

其中，DX(Xd，Yd)和DY(Xd，Yd)分別為X和Y方向的偏差：

DX(Xd，Yd)=k1Xd(X2d+Y2d)+

［k3(3X2d+Y2d)+2k4XdYd］+k5(X2d+Y2d)

DY(Xd，Yd)=k2Yd(X2d+Y2d)+

［k4(3X2d+Y2d)+2k3XdYd］+k6(X2d+Y2d)

根據式(11)，如果只考慮一階徑向畸變，則只需知道4個共線控制點即可求得其畸變系數k1，k2，這符合多數工業應用場合的要求。對于某些場合，還需考慮切向畸變或者離心畸變等因素，可以通過非線性最小二乘擬合的方法求得畸變系數。

3.3 標定鏡頭的有效焦距

利用式(11)對圖像進行非線性校正，得到近似理想鏡頭情況下的圖像，進而得到理想的計算機圖像。

由式(1)，(2)和(3)，結合zw=0有：

(u－u0)dxf=r11xw+r12yw+t1r31xw+r32yw+t3（12）

進一步整理得到：

(r11xw+r12yw+t1)·f－(u－u0)dx·t3

=(u－u0)dx(r31xw+r32yw)（13）

此時，上式是關于f和t3的線性方程，可以通過線性最小二乘法擬合求得f和t3。

4 雙目外參數標定

雙目成像模型如圖3所示，以左攝像機坐標系作為世界坐標系，矩陣R及向量t是右攝像機坐標系相對于左攝像機坐標系的旋轉矩陣和平移向量。這里對用畸變系數校正后的理想圖像對進行處理。

對左攝像機體系，有：

zcuv1=α0u00βv0001xcyczc=Axcyczc，

orxcyczc=zcA－1uv1（14）

同樣，對右攝像機體系，有：

c1=ccc=(Rxcyczc+t)（15）

其中，c=r31r32r33xcyczc+t3，代入上式，得：

1(［r31r32r33］xcyczc+t3)－(Rxcyczc+t)=0（16）

圖3 雙目成像模型

將式(14)代入式(16)，并記－0→u-~，－0→v-~，u－u0α→和v－v0β→，化簡后得：

zc(u-~r31－r11)+(u-~r32－r12)+u-~r33－r13

(v-~r31－r21)+(v-~r32－r22)+v-~r33－r23

=t1－u-~t3

t2－v-~t3（17）

消去zc得到：

u-~(r31t2－r21t3)+v-~(r11t3－r31t1)+

(r21t1－r11t2)+u-~(r32t2－r22t3)+

v-~(r12t3－r32t1)+(r22t1－r12t2)+

u-~(r33t2－r23t3)+v-~(r13t3－r33t1)+

(r23t1－r13t2)=0（18）

進一步簡化式(18)，可得：

［u-~v-~1］SR1=0（19）

其中，S=0－t3t2t30－t1－t2t10。

由此可得本質矩陣E=SR。由文獻［6，11，12］可知，本質矩陣E的秩為2，并且E的分解幾乎是惟一的，最多只差1個尺度因子。由式（19）可求得與本質矩陣E只差1個比例系數p1的矩陣，需要不少于8個控制點。對進行奇異值分解=UDVT，令=UZUT，R=UWVT。其中：

W=010－100001，Z=0－10100000

則有=p2R，p2為比例系數。

因此，有E=p1=p1p2R=pR，p為比例系數，得：

S=p（20）

由式(20)求得向量t關于p的表達式，代入式(17)，求出zc關于p的表達式，再結合式(14)可推出，如果已知標定模板中某兩控制點的距離，便可以求得比例系數p，就可以確定實際平移向量t。

綜上所述，實驗室內完成內參數的標定，在現場安裝好雙目系統。標定雙目外參數需要不少于8個控制點的平面模板，還需知道模板上任意兩控制點的距離。模版控制點分布力求均勻，數目越多，精度就越高。該標定模板也可以繪制在路平面上。對安裝在智能車輛的雙目系統，可以利用如斑馬線等固定標識隨時現場標定外參數，提高了標定的靈活性。

5 實驗結果分析

標定實驗用的攝像機是 CMOS 攝像機。其圖像的分辨率為1 280×960。如圖4所示，標定模板由 6×5個黑色方塊組成，每個小方塊的邊長及邊間距均為20 mm。標定模板制作簡單，可以通過 600 DPI 的激光打印機用 A4 紙打印出。標定實驗可分以下幾部分：

（1） 獲取模板圖像，進行攝像機內參數標定。對每一攝像機采樣 16 幅圖像，其中 1 幅如圖4所示?？紤]一階徑向畸變，首先標定射線機主點，確定鏡頭畸變系數，再標定有效焦距。其標定結果如表1所示。

表1 標定的內部參數

u0∕pixelsv0∕pixelsk1k2f∕pixels

左691.62442.890.007 450.007 142 156.7

右550.14515.330.006 420.007 122 185.9

（2） 進行雙目外參數標定。這里獲得8對圖像，其中的1對圖像如圖5所示。先根據式(19)求出與實際E只差1個比例因子的矩陣，并且，由式(20)，(17)和(14)可以計算出比例因子p。最后，可求得旋轉矩陣R及平移矩陣t。結果如下所示。

圖4 左攝像機獲取16 幅圖像中的1幅

R= -0.854 7-0.017 6-0.518 8

0.061 5-0.995 8-0.067 6

0.515 50.089 7-0.852 2，

t=246.224 687.863 7-119.801 9

圖5 由左右攝像機獲取的圖像

另外，也用傳統的方法對雙目外參數進行標定。首先，用單攝像機標定方法分別標定出每一攝像機的外參數，計算出左右攝像機的相對位置和方向。其標定結果如下所示。

R= -0.850 9-0.015 1-0.525 1

0.061 7-0.995 5-0.071 4

0.521 60.093 2-0.848 1，

t=251.543 891.940 6-128.256 2

（3） 特征點三維重建。通過左右攝像機獲取模板的成像，對于每一控制點對，根據式(14)和(15)，可以得到4個關于xw，yw和zw的方程。解方程實際為求圖3中2條射線的交點，可以先將射線投影到圖中XOZ平面，解得xw和zw坐標，再得到yw坐標。圖6所示為模板上30個方塊頂點的實際三維坐標圖。由圖可知各控制點共面，且與實際模板位置相符。

表2和表3分別給出了實際模板上各小方塊在u，v方向的邊長測量值。其絕對值誤差分別為2.65 mm和2.05 mm。從模板距離攝像機的位置來看，該測量誤差可以接受。誤差產生的原因主要是攝像機本身的成像效果、算法本身的計算誤差和標定模板的遠近等。如模板距離鏡頭太遠或者太近，攝像機成像不清晰，導致控制點像素提取不精確。

表2 模板方塊u方向邊長的實測值

123456

120.111 321.198 421.783 222.468 722.771 322.550 1

220.589 721.343 122.204 822.552 422.582 922.131 5

320.646 821.525 122.084 322.619 722.653 922.404 7

420.571 321.33422.046 622.696 822.663 322.122 1

520.297 221.18121.675 822.060 421.957 321.925 3

表3 模板方塊v方向邊長的實測值

123456

119.998 620.086 620.760 221.088 821.308 321.332 6

220.566 520.968 121.349 821.511 421.865 821.694 8

321.129 821.502 321.644 121.726 622.052 721.836 5

421.036 521.447 921.381 121.638 921.678 521.69 3

520.537 620.811 720.659 421.193 320.835 621.04 5

圖6 控制點三維重建

6 結 語

本文研究了一種實用的移動機器人雙目視覺傳感器的標定技術。該方法主要分2步：首先，根據透鏡成像的徑向排列約束計算出主點(u0，v0)，基于透視投影的交比不變性原理估計鏡頭畸變系數，再對圖像進行糾正，并計算有效焦距f。該方法可避免非線性標定過程中的解的不穩定性。實驗中只考慮了一階徑向畸變，若要考慮切向畸變和離心畸變，可采用非線性最小方差擬和的方法來求解畸變系數。然后，假定內部參數不變，對現場安裝好的雙目立體系統，從雙目系統的成像原理出發，推導出本質矩陣的分解形式，根據兩控制點之間的相對距離，可線性地標定雙目外參數。雙目外參數的標定模板選擇比較自由，可以在地面繪制，也可利用環境中的固定標識等，只需知道某2個控制點間的相對距離即可。實驗表明，該方法提高了立體標定的靈活性，具有與傳統方法同樣的精度，模板制作簡單，可實現雙目系統的現場標定。

參考文獻

［1］Faig W.Calibration of Close-range Photogrammetry Systems:Mathematical Formulation ［J］.Photogrammetric Eng.Remote Sensing，1975，41(12):1 479-1 486.

［2］Tsai R Y.A Versatile Camera Calibration Technique for High-accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Camera and Lenses ［J］.IEEE Journal of Automation，1987，3(4):323-334.

［3］Weng J，Cohen P，Herniou M.Camera Calibration with Distortion Models and Accuracy Evaluation ［J］.IEEE Trans.PAM I，1992，14(10):965-980.

［4］Ganapathy S.Decomposition of Transformation Matrices for Robot Vision ［A］.Proceedings of International Conference on Robotics and Automation［C］.1984:130-139.

［5］Maybank S J，Faugeras O D.A Theory of Self-calibration of a Moving Camera ［J］.International Journal of Computer Vision，1992，8(2):123-151.

［6］Hartley R I.Estimation of Relative Camera Positions for Uncalibrated Cameras ［A］.Proceedings of IEEE Conference on Computer Vision and Pattern Recognition［C］.1992:761-764.

［7］Zhang Zhengyou.A Flexible New Technique for Camera Calibration ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(11):1 330-1 334.

［8］Dang T，Hoffmann C.Stereo Calibration in Vehicles ［A］.2004 IEEE Intelligent Vehicles Symposium［C］.2004:268-273.

［9］Zheng Nanning.Computer Vision and Pattern Recognition ［M］.Beijing:National Defense Industry Press，1998.

［10］Zhang Guangjun，He Junjie，Yang Xianming.Calibrating Camera RadialDistortion with Cross-ratio Invariability ［J］.Optics Laser Technology，2003，35:457-461.

［11］Longuet-Higgins H C.A Computer Algorithm for Reconstructing a Scene from Two Projections ［J］.Nature，1981，293(10):133-135.

［12］Hartley R I.In Defence of the 8-point Algorithm ［A］.Proceedings of the 5th International Conference on Computer Vision［C］.London:Cambridge，1995:1 064-1 070.

作者簡介 鄭榜貴 1972年出生，浙江江山人，博士研究生。主要從事機器視覺與智能檢測方面的研究。

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文