分布式環(huán)境下的多攝像機標定

摘要:針對分布式環(huán)境下多攝像機的標定問題，我們提出了一種切實可行的多攝像機標定方法。標定過程僅需要各攝像機拍攝下包含激光點的圖像即可。在整個標定過程中利用了所有圖像的信息，因此比以往的方法具有更好的魯棒性。整個標定操作過程方便，易于實現(xiàn)。實驗結(jié)果表明，該方法是一種有效的多攝像機標定方法。

關(guān)鍵詞:分布式環(huán)境;多攝像機;因式分解;標定

中圖分類號:TP37 文獻標識碼:A文章編號:1009-3044(2010)02-420-03

Multi-camera Calibration in Distributing Environment

YUAN Jie， ZHU Jin， WANG Xiao-nian

(Tongji University， Shanghai 201804， China)

Abstract: For multiple cameras calibration in distributing environment， we propose a practical factorization based method. Pictures caught by different cameras containing laser projection is only required. All the information of images are utilized in the calibration based on actorization， it has a better robustness than before. The whole process of calibration is convenient to operate， and easy to actualize. This method for multiple cameras calibration is proved to be valid through the experiment.

Key words: distributing environment; multi-camera; factorization; calibration

攝像機標定一直以來都是計算機視覺研究的熱點，而伴隨著攝像機成本的降低和應(yīng)用要求的不斷提高，多攝像機網(wǎng)絡(luò)已經(jīng)成為國內(nèi)外眾多學者的研究課題，無線傳感網(wǎng)絡(luò)的逐漸成熟也為分布式環(huán)境下的多攝像機標定提供了很大的便利。

傳統(tǒng)的攝像機標定[1]是通過分別得到某攝像機下點的圖像坐標和對應(yīng)的世界坐標，從而求解出攝像機參數(shù)，當參照物的三維幾何獲知精度較高時，標定結(jié)果比較理想，但在分布式多攝像機系統(tǒng)下，高精度的設(shè)置三維參照點是一件重復、費時的工作。為了克服這個問題，張正友提出了一種利用平面模版(通常為棋盤格)作為標定物的攝像機標定方法[2]，但該方法的缺點在于平面模板不能同時被所有的攝像機看見，從而約束了該方法的應(yīng)用。張正友[3]，王亮[4]先后提出的一維標定物體的標定方法可有效地解決以上缺點，一維標定是有多個相互距離已知的共線點構(gòu)成，通常為球體，通過拍攝不同位姿下一維標定物的多幅圖像，利用幾何約束方程求解出攝像機的內(nèi)外部參數(shù)，該方法中球體的偏心現(xiàn)象和球體標志點的位置檢測可能會給實驗帶來一定的誤差。

本文應(yīng)用了一種以激光點作為標定物的標定方法，將分布式環(huán)境下各攝像機下觀測的點聯(lián)立起來，利用極線幾何的約束，對其進行4階的因式分解，從而求解出攝像機矩陣。由于激光點具有易檢測、特征點提取誤差小等特點，因此可以取得很好的實驗效果。

1 攝像機模型

在本文中攝像機模型為經(jīng)典的針孔模型。圖像上的2D點的圖像坐標表示為 m=[u，v]T，模板上的3D點的空間坐標表示為 M=[X，Y，Z]T。則對于某可視點i，其3D坐標點M與2D投影點m之間存在著如下的關(guān)系:

sm = K[Rt]M(1)

其中，s為比例因子，K為攝像機的內(nèi)參數(shù)矩陣， [Rt]稱為攝像機的外參數(shù)矩陣，它分別表示的是攝像機的旋轉(zhuǎn)和平移關(guān)系。 (2)

(u0， v0)為主點坐標，f為攝像機的焦距，α為縱橫比，r1， r2，r3均為3×1矩陣。

2 多攝像機標定算法

假設(shè)整個標定過程我們運用到了I(i=1，2...I)臺攝像機，每臺攝像機下有J(j=1，2...J)個觀測點。第i臺攝像機的位置和方向分別用1個3維向量ti和3×3的正交矩陣Ri表示。則空間3維數(shù)點的坐標X∈R3與第i臺攝像機所觀測到得2維點之間的關(guān)系如下:

等式左邊的u，v為圖像像素坐標，λi j為比例因子，也可稱為投影深度。等式右邊的Pi為3×4的矩陣，稱為i的攝像機矩陣，其中包含11個攝像機參數(shù)。

將所有投影點mi j和比例因子λi j聯(lián)立，可得到:

上式中，投影點mi j為已知參數(shù)，如能求出比例因子λi j，則可對測量矩陣W運用SVD分解的方法求解攝像機矩陣P。λi j的求解可運用Sturm[5]提出的極線幾何的方法求解，本文利用以中心圖像為參照的長基線立體模型求解出比例因子λi j。以圖像s作為中心圖像，則比例因子的求解步驟可大致歸為:首先，對所有已知點ms p，將λs p初始置為1。結(jié)合兩幅不同的圖像i和s，求解出基礎(chǔ)矩陣Fis和極點eis，再利用如下公式

。

通過以上公式，可以迭代求出投影深度λ。根據(jù)(4)式可以進一步得到W = PQ = PHH-1Q = P'Q'，其中P'= PH， Q'=H-1Q，任意的4×4非奇異矩陣H可使得分解出的P，Q發(fā)生改變，為了求解出所需要的攝像機矩陣P'，可利用基于絕對二次曲線的幾何約束方法求解出矩陣H[6]。這個過程也可稱作歐幾里得化[7]。

假設(shè)通過Sturm的SVD分解方法已求得矩陣P，Q，而我們所需要求得的攝像機矩陣P'可表示為:

Pi'= ci Ki [ Riti ] (5)

其中，ci為比例大小，Ki為內(nèi)部參數(shù)，外部參數(shù)由旋轉(zhuǎn)矩陣Ri和平移變量ti組成。式(5)可寫為:

P3m×4'= [M3m×3，N3m×1] (6)

其中，M = [m1 x m1 y m1 z ... mm x mm y mm z ] N = [N1 x N1 y N1 z ... Nm x Nm y Nm z ]

根據(jù)(2)，(5)兩式可得:

矩陣Q'可簡化為:

Qj'= [vjsT j vj]T(sj = [xjyjzj]T，即空間點)

我們將世界坐標系的原點設(shè)在所有三維坐標點的中心處，則vjsj = 0。根據(jù)測量矩陣W，可以得到如下等式:

由于H為4×4矩陣，可寫為:H = [E4×3 a4×1]

P' = PH = P[E a] = [M N](9)

根據(jù)式(8)可得:

等式右邊已知，a中有4個位置參數(shù)，每個攝像機可列出2個等式，則2個或者2個以上攝像機即可求解出a。從等式(9)可得M = PE，MMT= PEETPT= PYPT(Y=EET)。可以看出Y為一個4×4的對稱陣，因此其中有10個未知參數(shù)。我們假設(shè)采用的攝像頭的像素點為方像素并且主點已知，則可得ui 0 = vi 0 = 0，α= 1。再根據(jù)式(7)首先可得:

||mi x||2 = ||mi y||2

再由正交性可得:

mi x mi y = 0，mi y mi z = 0，mi x mi z = 0

每個攝像機可得出4個等式，Y中有10個未知參數(shù)，則3個或者3個以上攝像機即可求得Y。求得矩陣Y后，通過3階的因式分解即可求解出E。至此E和a都已求解完畢，即得到了矩陣H。因此通過P'= PH，即可求得P'，即要求解的攝像機矩陣。我們可進一步通過QR分解分別求解出攝像機的內(nèi)外參數(shù)矩陣。

3 參數(shù)優(yōu)化

利用上述算法已能求解出各攝像機的參數(shù)，為了得到更精確的結(jié)果，需要對以上結(jié)果進行全局優(yōu)化。捆綁調(diào)整是一種常用的優(yōu)化算法，它是一種以最小化重投影誤差為目的的非線性優(yōu)化方法，最小化優(yōu)化模型如下:

min(mi j - PiQj)2(10)

上式中mi j表示第j個點在第i個攝像機像平面上的坐標，xi j=PiQj為重投影點的坐標。通過Levenberg-Marquardt算法求解最小化問題，從而完成攝像機參數(shù)的全局優(yōu)化。

4 實驗結(jié)果與分析

為了對多攝像機標定方法進行驗證，在Matlab平臺下利用多攝像機標定算法完成了整個標定過程。本實驗中采用的攝像頭為OV7620，為了使各攝像機能同步拍攝圖像，從而實現(xiàn)標定點的匹配，這里使用Crossbow公司的Imote2 IPR2410無線節(jié)點，節(jié)點整體結(jié)構(gòu)如圖1所示。通過控制中央控制節(jié)點，向各個無線節(jié)點發(fā)出無線信號，通知其工作，從而實現(xiàn)各攝像機的幀同步采集。

實驗設(shè)計中使用4臺攝像機，攝像機布置于工作環(huán)境中，通過計算機與無線節(jié)點協(xié)同工作，使得所有攝像機能同時對標定物(激光點)進行拍攝。實驗全局模型如圖2所示。

結(jié)合攝像機拍攝的圖像，利用章節(jié)3中的多攝像機標定算法，從而完成多攝像機的標定，標定結(jié)果如表1所示。對參數(shù)捆綁調(diào)整前和捆綁調(diào)整后分別計算像素的重投影誤差，結(jié)果如表2所示。

表1 攝像機標定結(jié)果

表2 攝像機重投影誤差

5 結(jié)論

該文介紹了利用發(fā)光點作為標定物的多攝像機標定方法，標定過程中只需要拍攝發(fā)光點在不同位置下的圖像即可，操作過程簡單易于實現(xiàn)。利用非線性優(yōu)化算法可是實驗結(jié)果精度進一步提高。實驗證明，該方法是一種可靠、有效、準確的標定方法，可以用以求解多攝像機系統(tǒng)的標定問題。

參考文獻:

[1] RY Tsai.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].IEEE Journal of Robotics And Automoation，1987，3(4):323-344.

[2] Zhang zheng-you.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(11):1330-1334.

[3] Zhang Z Y.Camera calibration with one-dimensional objects[J].IEEE Transaction on Pattern Analysis and Machine Intelligence，2004，26(7):82-89.

[4] 王亮，吳朝福，等.基于一維標定物的多攝像機標定[J].自動化學報，2007，33(3):225-231.

[5] Sturm P. Triggs，B.. A factorization based algorithm for multi-image projective structure and motion[J].In Proc.4th European Conference on Computer Vision，1996，2:709-720.

[6] Svoboda T.，Martinec D.，Pajdla T..A convenient multi-camera self-calibration for virtual environments[J].Presence Teleoperators and Virtual Environments，2005，14(4):407-422.

[7] Hartley Richard.Multiple View Geometry in Computer Vision Second Edition[M].London，United Kingdom:Cambridge University Press，2003:88-91.