中心折反射相機標定方法綜述*

張 艷,趙麗娜,胡萬寶

(北京化工大學理學院，北京 100029)

中心折反射相機標定方法綜述*

張 艷,趙麗娜,胡萬寶

(北京化工大學理學院，北京 100029)

近十幾年來，計算機視覺越來越受研究者們的歡迎，特別是全景相機由于其具有較大的視場而被廣泛應用到許多領域，包括視頻監控、機器人導航、電視電話會議、場景重建以及虛擬現實等。攝像機標定是從二維圖像獲得三維信息必不可少的一步，攝像機標定結果的好壞直接決定著三維重建結果以及其它計算機視覺應用效果的好壞，所以，研究攝像機的標定方法具有重要的理論研究意義和重要的實際應用價值。這里將2000年到2012年折反射相機標定方法按照標定像的不同分為五大類：基于線的標定、基于二維標定塊標定、基于三維點的標定、基于球的標定和自標定，且簡要分析其優缺點。

球面模型；折反射；相機標定

1 引言

計算機視覺的研究目標是使計算機具有通過二維圖像認知三維環境信息的能力。這種能力不僅使機器能感知三維環境中物體的幾何信息，包括它的形狀、位置、姿態、運動等，而且能對它們進行描述、存儲、識別與理解。

從二維圖像恢復三維物體可見表面的幾何結構的過程稱為三維重建。三維重建主要分三個步驟完成：(1)圖像間對應點的匹配；(2)標定內參；(3)求解外參數。

最早研究的全景相機技術有旋轉拼接式和魚眼攝像機，但是由于系統中存在轉動機構,系統的實時性很難得到滿足,在實時性要求較高的場合無法應用。而魚眼攝像機系統復雜,造價昂貴。1999年Baker S和Nayer S[1]提出折反射系統由一個傳統相機及正前方的一個反射鏡面組成，并將其分為兩大類：中心系統與非中心系統。并且給出了中心折反射系統的完全分類：拋物折反射——正交相機前面放一個旋轉拋物鏡面；雙曲折反射——透視相機前面放一個旋轉雙曲鏡面；橢圓折反射——透視相機前面放一個旋轉橢圓鏡面；平面折反射——透視相機前面放一個平面。單視點全景折反射成像系統滿足單視點約束而且增大了視場，其中單視點比較適合建立數學模型，很容易計算相機的入射光線方向，而大視場可以幫助我們縮小局部視圖的可能性，提取特征。2001年，Geyer C和Daniilidis K[2]給出了球面統一模型，其具有良好的幾何約束，適合于建立統一的模型，圖像特性也更加方便研究。

傳統相機標定是一個線性問題，折反射相機標定是非線性問題，研究者們研究折反射相機標定的熱點就是試圖尋找線性解法。本文第2節介紹球面成像模型及鏡面分類；第3節介紹標定方法分類，并對其中的五個方法進行詳細的方法介紹，也是本篇文章的主要部分；第4節為本文小結。基于球面的折反射相機標定仍是一個富有挑戰性的問題。

2 球面模型

折反射全景成像系統由一個常規的相機和一個反射面構成。Svoboda T等人[3]證明了不同鏡面對應不同的模型而且給出了對極幾何相關的公式。Geyer C和Daniilidis K[4]提出了可以處理任何中心折反射系統的統一模型：球面相機模型(圖1)，后來該模型被Ying X[5]和Barreto J P[6]推廣，迄今為止球面模型仍被廣泛應用。

Figure 1 Spherical camera model圖1 球面相機模型

Table 1 Catadioptric camera category

3 標定方法分類

關于標定方法的分類已在文獻[5,7～9]中給出，Deng X M[7]將方法分為自標定、基于球、基于線、基于點、二維標定方法。Duan H等人[8]將標定方法分為自標定、基于三維點的標定、基于二維點的標定、基于線的標定、基于球的標定。Ying X H等人[5]把標定方法分為已知世界坐標系、自標定、線的投影。Puig L等人[9]按照標定系統的主要性質將標定方法分為基于線的標定、二維模式標定、基于三維點的標定、自標定、配極(Polarition)成像。本文按照有無標定塊將方法分為兩類：有標定塊；無標定塊,即自標定。其中有標定塊按照其標定塊的不同分為：基于線的標定、基于二維標定塊標定、基于三維點的標定、基于球的標定。因此本文將標定方法分為上述五類。

3.1 基于線的標定

(1)

(2)

其中n=(nx,ny,nz)為球面像所在平面的法向量。由幾何不變量得到空間線的三個約束：

L1=d(bd-ae)-e(be-cd)=0

(3)

(4)

(5)

球的兩個約束：

s1=d(bd-ae)-e(be-cd)=0

(6)

(7)

得到參數的約束方程，利用三個球或者兩條線即可標定相機。此方法基于球的標定比基于線的魯棒性更強，精度更高，但是當鏡面參數未知時，不能確定焦距，而且不適用退化的情況。2005年Barreto J P和Araujo H[11]研究了線的像的投影不變量性質，證明了任意中心折反射相機均可由三或三條以上的線的像標定。Ying X H[12]等人提出了運用Hough變換來探測線的像，標定相機。2008年Wu F C等人[13]找到了一個適用于所有折反射相機的線性方法，首先提出空間點在可視球上的投影XS與其折反射像m之間的關系:

(8)

其中τ=(1-ξ2)/ξ2，ω=K-TK-1,m是一個三維行向量，得出主點約束方程:

(9)

運用三條線的像求出主點；平移像平面的原點到主點，得到空間線折反射投影標定參數的一組約束:

(10)

最后在無任何相機先驗信息的情況下，通過一個視點下的三條或者三條以上的直線得到線性約束方程求解ω和τ的值。此方法不但提高了標定的穩定性，而且除了主點以外，所有參數都可以同時估計。

這類方法不需要知道用于標定的空間直線間的相對位置以及直線相對于攝像機的位置關系，但只能估計攝像機內參數，不能估計外參數。但是，基于線的像的標定在實際中很難應用，因為需要從一小弧來擬合二次曲線，這樣標定既不準確也不可靠。而且一般情況下，如果涉及很多線很難找到二維—三維對應，因為并不是所有的二次曲線都是線的像[14]。Barreto J P和Araujo H[15]找到了擬合拋物折反射線像的二次曲線的充分條件,并且給出了證明。

3.2 控制點的二維標定模式

這些控制點可以是角點、邊界點等任意易獲取的點，運用迭代的方法恢復內參數和外參數。2004年，Wu Y H等人[16]運用同一個平面或者兩個平行平面內的兩個圓進行標定。步驟簡述如下：兩個平行圓與透視投影像之間建立擬仿射不變量，通過圓環點的像找到相機內參的線性約束:

(11)

(12)

此方法精度高，魯棒性強，而且需要的標定物的數量小(只需兩個平行圓)。2007年，DengXM等人[7]利用折反射相機三維橢圓邊界的像:

au2+2buv+cv2+2du+2ev+f=0

(13)

(14)

焦距fe表達式為:

(15)

然后使用中心折反射模型和球面模型之間的關系，運用DLT算法計算外參數初始值，再用非線性化的方法重新定義除主點以外的內、外參數，其優點是無需擬合部分可見二次曲線，僅需標定圖像的橢圓邊界和二維標定模型的像，而且此方法對于針孔模型和所有中心折反射相機來說標定簡單。2009年Gasparini S等人[17]用一個二維—二維對應的單應陣H坐標提升為6×6矩陣:

(16)

最少12對匹配點，運用DLT-like即可算出單應陣，三幅圖像的單應即可恢復IAC。對于拋物折反射相機而言，單幅圖像即可標定。

3.3 基于三維點的標定

基于三維點的標定，只需知道三維空間點坐標，即可標定折反射相機。該方法的優點在于標定精度高，但是需要精度很高的標定塊。

2001年Aliaga D G[18]放寬拋物折反射系統的假設，找到控制點的三維坐標與其二維圖像坐標的對應關系，估計焦點距離使其滿足針孔模型，運用最優化環來擬合內參數和外參數。2004年，Vasseur P[19]提出了一個非線性方法來標定相機內參數。2005年，Wu Y H[20]等人找到一維/二維/三維場景點的不變量方程來擬合線性估計主點。2007年，Deng X M[21]等人又提出了三維空間中位于同一條直線的上的五個點在進行三次或者三次以上的簡單剛體變換以后，通過其圖像所隱含的消隱點線性求解IAC，即可標定折反射相機的參數。2010年，Puig L等人[22]提出一種基于類直接線性算法(DLT-like)。

具體算法如下:三維點Q=[Q1Q2Q3Q4]T、像點q=[q1q2q3]、三維—二維對應投影矩陣P提升標：

(17)

(18)

(19)

其中：

(20)

3.4 基于球的標定

2004年，Ying X H[5]通過幾何不變量找到了基于球的兩個不變量約束方程(方程(6)和方程(7))，運用三個球就可以非線性標定折反射相機。2008年，Ying X H等人[23]在2004年的幾何不變量標定折反射相機的基礎上，通過修改絕對二次曲線的像(MIAC),在像平面上得到一個與IAC同心的圓,運用雙觸點定理(Double-Contact Theorem)線性標定折反射相機。但是，以上兩種方法對于拋物折反射方法是退化的。2012年，Duan H等人[8]解決了這種退化情形，步驟如下：首先在像平面上拋物鏡面投影的輪廓線是可視的，用其輪廓線初始化內參數；提取k(k≥3)個視點下的兩個球面像，運用初始化的內參數最小化目標方程:

(21)

(22)

得到兩個平行圓C±i的表達式；求解C±i的公共解找到圓環點的像得出絕對二次曲線的像，從而標定相機。但是，此方法僅適用于拋物折反射相機。

3.5 自標定

自標定方法適用于多視圖中點對應，無需知道空間點位置及相機位置。2000年，Kang S B[24]給出了拋物折反射攝像機的自標定方法，直接從場景圖像出發，使用多幅圖像對應點之間的約束最小化目標方程：

(23)

來標定拋物折反射像機。其中，Npairs為不同圖像對的數量，med代表誤差εij的中間值，該方法的優點在于不需要使用標定塊就可以直接標定中心折反射相機。2002年，Svoboda T[3]擴展了透視相機的極幾何到所有中心折反射相機上，得到三維空間中對應射線的幾何性質，得到像點的約束方程，從而得到中心折反射相機所有鏡面的極幾何約束。2010年，Ramalingam S等人[25]考慮在沒有任何平移和旋轉參數的前提下，使用純平移和純旋轉，從攝影射線的圖像匹配得到幾何約束來標定中心相機。2011年，Espuny F[26]提出了一個與Ramalingam S類似的方法，相機圍繞著過投影中心線性無關的兩條未知線旋軸旋轉得到兩個密集的旋轉流，得到一個封閉形式的解，進而標定中心相機。

在此我們將本文中提及的近10年攝像機標定方法按時間分布如表2所示，并給出各方法之間的對比，如表3所示。

Table 2 Distribution table over the past decade

4 結束語

本文系統地論述了國內外10年來中心折反射相機的標定方法，將其分為五種方法，對其適用的范圍以及優缺點做了簡單的概括。對于中心折反射相機來說，由于其大視場的特點越來越受到研究者們的喜愛，隨著算法的深入研究，標定精度越來越高，魯棒性越來越強，適用范圍越來越廣。拋物折反射相機相對于雙曲折反射相機和橢圓折反射相機來說，標定方法更加成熟而且比較全面。基于球面的折反射相機標定仍然是一個具有挑戰性的開放性問題，暫時還沒有找到一種算法可以適用于所有類型折反射相機。

Table 3 Comparison among

[1] Baker S, Nayer S. A theory of single-viewpoint catadioptric image formation[J]. International Journal of Computer Vision, 1999, 35(2):175-196.

[2] Geyer C, Daniilidis K. Catadioptric projective geometry [J]. International Journal of Computer Vision, 2001, 45(3):223-243.

[3] Svoboda T,Pajdla T.Epipolar geometry for central catadioptric cameras [J]. International Journal of Computer Vision, 2002, 49 (1):23-37.

[4] Geyer C, Daniilidis K. A unifying theory for central panoramic systems and practical applications[C]∥Proc of the 6th European Conference on Computer Vision Part II, 2000:445-461.

[5] Ying Xiang-hua, Hu Zhan-yi. Catadioptric camera calibration using geometric invariants[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26 (10):1260-1271.

[6] Barreto J P,Araujo H.Issues on the geometry of central catadioptric image formation[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition, 2001:422-427.

[7] Deng Xiao-ming, Wu Fu-chao, Wu Yi-hong. An easy calibration method for central catadioptric cameras[J]. Acta Automatic Sinica, 2007,33(8):801-808.

[8] Duan Hui-xian, Wu Yi-hong. A calibration method for paracatadioptric camera from sphere images[J]. Pattern Recognition Letters, 2012, 33(6):677-684.

[9] Puig L, Bermudez J, Sturm P, et al. Calibration of omnidirectional cameras in practice:A comparison of methods [J]. Computer Vision and Image Understanding, 2012,116(1):120-137.

[10] Geyer C, Daniilidis K. Paracatadioptric camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5):687-695.

[11] Barreto J P, Araujo H. Geometric properties of central catadioptric line images and their application in calibration[J]. Pattern Analysis and Machine Intelligence, 2005, 27(8):1327-1333.

[12] Ying Xiang-hua, Zha Hong-bin. Simultaneously calibrating catadioptric camera and detecting line features using Hough transformation[C]∥Proc of IEEE/RSJ International Conference on Intelligent Robots and Systems, 2005:1343-1348.

[13] Wu Fu-chao, Duan Fu-qing, Hu Zhan-yi, et al. A new linear algorithm for calibrating central catadioptric cameras [J]. Pattern Recognition, 2008,41(10):3166-3172.

[14] Barreto J P, Araujo H. Fitting conics to paracatadioptric projections of lines[J]. Computer Vision and Image Understanding, 2006, 101(3):151-165.

[15] Sturm P, Barreto J. General imaging geometry for central catadioptric cameras [C]∥Proc of European Conference on Computer Vision, 2008:609-622.

[16] Wu Yi-hong, Zhu Hai-jiang, Hu Zhan-yi, et al. Camera calibration from the quasi-affine invariance of two parallel circles[C]∥Proc of European Conference on Computer Vision, 2004:190-202.

[17] Gasparini S, Sturm P, Barreto J P. Plane-based calibration of central catadioptric cameras [C]∥Proc of International Conference on Computer Vision, 2009:1195-1202.

[18] Aliaga D G. Accurate catadioptric calibration for real-time pose estimation in room-size environments[C]∥Proc of the 8th International Conference on Computer Vision, 2001:127-134.

[19] Vasseur P, Mouaddib E. Central catadioptric line detection[C]∥Proc of British Machine Vision Conference, 2004:1.

[20] Wu Yi-hong, Hu Zhan-yi. Geometric invariants and applications under catadioptric camera model [C]∥Proc of International Conference on Computer Vision, 2005:1547-1554.

[21] Deng Xiao-ming, Wu Fu-chao, Duan Fu-qing, et al. Catadioptric camera calibration with one-dimensional objects[J]. Chinese Journal of Computers,2007,30(5):737-747.(in Chinese)

[22] Puig L,Bastanlar Y,Sturm P,et al.Calibration of central catadioptric cameras Using a DLT-Like approach[J]. International Journal of Computer Vision, 2011, 93(1):101-114.

[23] Ying Xiang-hua,Zha Hong-bin.Identical projective geometric properties of central catadioptric lines images and sphere images with applications to calibration[J]. International Journal of Computer Vision, 2008, 78(1):89-105.

[24] Kang S B. Catadioptric self-calibration [C]∥Proc of the IEEE Conference on Computer Vision and Patten Recognition, 2000:201-207.

[25] Ramalingam S, Sturm P, Lodha S K. Generic self-calibration of central cameras[J]. Computer Vision and Image Understanding, 2010, 114(2):210-219.

[26] Espuny F, Gil J B. Generic self-calibration of central cameras from two rotational flows[J]. International Journal of Computer Vision, 2011, 91(2):131-145.

附中文參考文獻：

[21] 鄧小明,吳福朝,段福慶,等,基于一維標定物的反射折射攝像機標定方法[J].計算機學報，2007,30(5):737-747.

ZHANGYan,born in 1986,MS candidate,her research interest includes the study of central catadioptric camera calibration.

趙麗娜(1974-),女,河北保定人，博士，副教授，研究方向為計算機視覺。E-mail:zhaoln@mail.buct.edu.cn

ZHAOLi-na,born in 1974,PhD,associate professor,her research interest includes computer vision.

胡萬寶(1984-),男,河北張家口人,碩士，研究方向為人臉識別。E-mail:huwanbao2008@163.com

HUWan-bao,born in 1984,MS,his research interest includes face recognition.

Reviewofcentralcatadioptriccameracalibrationmethods

ZHANG Yan,ZHAO Li-na,HU Wan-bao

(College of Science,Beijing University of Chemical Technology,Beijing 100029,China)

In recent dozen years,computer vision becomes more popular,in which omnidirectional camera has a larger field of view (FOV) and widely been used in many fields,such as:robot navigation,visual surveillance,virtual reality, three-dimensional reconstruction, and so on.Camera calibration is an essential step to obtain three-dimensional geometric information from a two-dimensional image.Camera calibration results directly decide the results of 3-D reconstruction and other computer vision application effect.Hence,the study of such camera calibration method has important theoretical significance and practical applications.The paper classifies these methods from 2000 to 2012,by means of the difference calibration blocks,into five categories:calibration based on line;calibration based on two-dimensional calibration block;calibration based on three-dimensional point;calibration based on balls;self-calibration. And these methods’advantages and disadvantages are analyzed.

spherical model;catadioptric;camera calibration

1007-130X(2014)05-0951-06

2012-09-24;

：2013-03-12

國家自然科學基金天元基金資助項目(10926187)；中央高校基本科研業務費專項資金資助項目(ZZ1019)；國家自然科學青年基金資助項目(11301021)

TP391.4

：A

10.3969/j.issn.1007-130X.2014.05.028

張艷(1986-),女,遼寧北票人，碩士生，研究方向為中心折反射相機方法標定研究。E-mail:mnzhy.2007@163.com

通信地址：100029 北京市北京化工大學66信箱

Address:Mailbox 66,Beijing University of Chemical Technology,Beijing 100029,P.R.China