相機標定精度外界影響因素仿真及實驗研究

陳曉燕,董志國,軋　剛,劉建成,2

(1.太原理工大學 a.機械工程學院,b.精密加工山西省重點實驗室，太原 030024;

2.美國太平洋大學,加利福尼亞州 95211)

?

相機標定精度外界影響因素仿真及實驗研究

陳曉燕1a,董志國1,軋剛1,劉建成1,2

(1.太原理工大學 a.機械工程學院,b.精密加工山西省重點實驗室，太原 030024;

2.美國太平洋大學,加利福尼亞州 95211)

摘要:以張正友相機標定方法為基礎,分析了影響相機標定精度的主要外界因素,給出了在這些因素的影響下,標定所得相機參數的分布曲線。仿真及實驗分析表明,在張正友標定方法中,相機標定板張數最好不少于20張;在相機視場范圍內,當特征點為110個時,單位網格長度應控制在6~14 mm之間,此時獲得的有效焦距最穩(wěn)定；當棋盤網格單位長度為10 mm時,棋盤標定板上的特征點應保證在150個以內,此時主點坐標獲取穩(wěn)定;噪聲方差與重投影點誤差基本呈正比例增大。研究結果對相機標定精度的提高有一定的參考價值。

關鍵詞:幾何光學; 相機標定; 標定精度;誤差分析;外界因素

相機標定技術對于計算機視覺的重要性就如同刻度對于標尺一樣[1]。相機標定就是確定相機成像幾何模型的參數,標定精度直接影響著機器視覺的精度,特別是影響圖像測量的精度，因此研究相機標定技術具有很大的實用價值。然而，對于傳統(tǒng)相機標定方法的研究,人們更多地關注算法本身的改進,對于標定過程中環(huán)境的要求以及標定板制作規(guī)格的研究較少,在具體應用中有必要對其進行深入的討論和分析,以進一步提高其標定的精度和速度。

在標定算法確定的情況下,影響相機標定的因素主要來自相機本身以及光照、標定板規(guī)格、標定圖像數量、標定物擺放位置、圖像噪聲等外界環(huán)境。針對相機標定誤差的影響因素,劉俸材[2]研究了安裝角、測量物距、攝像機焦距等參數與測量誤差之間的關系,并建立相應的誤差模型,確定了各項參數對測量精度的影響;尹洪濤[4]關于標定圖像數量和特征點檢測精度對標定精度的影響進行了研究;支健輝[1]利用實驗對光照、標定圖像數量及棋盤尺寸進行了研究;孟海崗[8]通過實驗及仿真相結合,研究了標定板拍攝位姿對標定結果的影響,同時研究標定圖像數量對標定結果的影響,其研究結果與文獻[4-5]中關于合適的標定圖像數量存在較大分歧。

筆者以張正友[6]標定法為基礎,模擬相機成像正逆過程,在排除特征點檢測誤差情況下，研究標定圖像數量和標定板中特征點的數量，以及標定板網格尺寸對標定精度的影響。較文獻[4],增加了對于標定板的制作規(guī)格的研究；較文獻[1],排除了特征點檢測誤差的干擾；筆者結合實驗，研究了標定圖像數量和圖像噪聲對于相機標定的影響，為降低外界因素對相機標定產生的誤差提供了理論指導。

1傳統(tǒng)相機線性成像模型

計算機視覺研究中,三維空間中的物體到像平面的投影關系即為成像模型,理想的投影成像模型是光學中的中心投影,也稱為針孔模型，如圖1所示。計算機視覺常用坐標系采用右手準則來定義,其中涉及到4個坐標系:世界坐標系(ow,xw,yw,zw),用來表示場景點的絕對坐標;相機坐標系(oc,xc,yc,zc),以相機所在點為原點,光軸為z軸建立的坐標系;圖像坐標系(oul,xul,yul,zul),以光軸和像平面的交點(即主點)為原點,表示場景點在成像平面上的投影;像素坐標系(o,u,v),以圖像左上方第一個像素為原點,以像素為單位建立的二維坐標系。在此，研究后3個坐標系x,y軸方向相同的情況。

圖1　針孔成像模型Fig.1　Ideal pin-hole imaging model

通過由世界坐標系到相機坐標系,相機坐標系到圖像坐標系，再到像素坐標系的3步轉化,最終建立起來世界坐標系和像素坐標系之間的關系,如下:

(1)

式中:dx, dy為x,y方向單位像素的尺寸,mm；f為相機的焦距,mm;f/dx,f/dy被稱為相機的有效焦距,分別記為fx,fy;(u0,v0)為相機光軸與像平面交點,即圖1中點oul的像素坐標;R,t為由R，t世界坐標系到相機坐標系轉化過程中的旋轉矩陣(3×3)和平移矩陣(3×1);

由以上關系式得到了相機成像線性模型中的4個內部參數u0,v0,fx,fy;2個外部參數R,t.

2影響相機標定精度的外在因素

本文中所涉及的標定方法均以張正友[6]標定法為基礎。該方法具有精度高、穩(wěn)定、標定板容易制作、標定統(tǒng)一的特點,因此應用范圍廣泛。張氏標定算法歸納為兩步:一是根據簡單的線性算法，求出相機成像的線性模型參數的初始值;二是根據徑向畸變量的非線性相機模型,對第一步中得到的參數初始值進行非線性優(yōu)化,最終得到考慮徑向畸變的所有參數[7]。下面通過分析張氏標定法的過程,研究影響相機標定精度的外在因素。

2.1單應性矩陣的求取

為不失一般性,規(guī)定世界坐標系中zw=0,則(1)式可以寫為:

(2)

令H=[h1 h2 h3]=λK [r1 r2 t],H稱之為單應性矩陣。則(2)式可以寫為:

(3)

單應性矩陣將標定板上特征點的世界坐標值與像素坐標值聯(lián)系起來。從(2)式可知,一個位姿的標定板對應一個矩陣H,但是由式(3)可知,同一張標定板上不同的特征點所得單應性矩陣也有差異。為了盡可能準確地求得矩陣H,運用優(yōu)化辦法,使得圖像中檢測到的特征點像素坐標與通過計算得到的特征點的像素坐標之間的差值最小,表達式為:

(4)

由以上介紹,特征點像素坐標[uv1]和標定板上角點的世界坐標[xwyw1]的精度直接影響到單應性矩陣的求取精度。由于使用了優(yōu)化求解的方法,標定板中角點的數量也影響了單應性矩陣的求取。其中特征點的像素坐標通過圖像檢測得到,從而影響檢測精度的因素，光照、圖像的噪聲水平、棋盤標定板的單位網格尺寸等也在一定程度上對相機標定造成影響。

2.2求解模型參數的初始值

得到單應性矩陣的值后,根據式(1)和旋轉矩陣的正交性,即:r1Tr2=0，且r1Tr1=r2Tr2得到求解其他參數的兩個基本式子:

(5)

(6)

由(5)(6)式可知,一個單應性矩陣H可以列出兩個方程。然而，K中有fx,fy,u0,v0,4個參數,即方程中有4個未知數,所以至少需要2個單應性矩陣,即至少需要兩張圖像。但是，標定過程中一般所需的標定圖像遠多于兩張,如果采集圖像不足,會由于個別現(xiàn)象而對內部參數計算帶來一定的誤差。可是采集圖像過多也會造成誤差累積,增加錯誤概率[1]。因此，合適圖像數量也是影響標定精度的一個重要因素。

通過以上分析后得知,影響相機標定精度的外界因素有:標定圖像數量，標定板上特征點的世界坐標獲取精度，標定板上特征點數量和單位網格尺寸，以及拍攝標定圖像的噪聲水平等。

3仿真研究

3.1圖像數量對標定精度的影響

模擬相機的內部參數(單位為像素):fx=3 759.35,fy=3 760.64,cx=1 351.04,cy=1 110.41,k1=-0.14,k2=0.02。仿真過程中，設定標定板為10行11列,即110個特征點，單位長度為9.6 mm的棋盤網格；設置相同的內部參數,以及37組不同的外部參數,模擬生成37張圖像對應的特征點。表1所示為其中一組外部參數。

表1　相機標定的外部參數

此過程可以排除特征點檢測誤差和世界坐標的測量誤差。通過研究2~37張圖像,得到了有效焦距隨張數變化的曲線見圖2所示。

圖2　9.6 mm標定板標定圖像數與有效焦距關系Fig.2　Relationships between calibration images number in a 9.6 mm calibration board and effective focal length

圖3　照片數量與重投影殘差關系圖Fig.3　Relationships between calibrationimages number and re-projection error

由圖2可見,9.6mm標定板中,圖像數小于10張時,標定所得的有效焦距變化幅度很大;圖像數達到15張以后,有效焦距的誤差達到4個像素以內;20張后,誤差縮小到2個像素以內。所以標定圖像數量為20~30張時,標定結果較穩(wěn)定,此條件下標定所得有效焦距與設定的有效焦距的誤差小于0.1%。在圖3照片數量與重投影殘差關系圖中同樣可以看出,標定圖像達到20張后,重投影殘差逐漸趨于收斂。標定圖像數量最好不少于20張,研究結論與文獻[4]中結論相符。考慮到多次成像視點間的分布關系和距離關系對圖像數量研究的影響,對14mm標定板做同樣研究,結論依舊成立。

3.2標定板制作規(guī)格對精度影響

標定板的制作尺寸,決定了特征點數量以及單位網格的尺寸。

3.2.1特征點數量對標定精度影響

模擬生成一系列網格單位長度為9.6mm,行列規(guī)格分別為2×3,3×4,4×5,5×6,6×7,7×8,8×9,9×10,10×11,11×12,12×13,13×14,14×15,15×16的棋盤網格。從以上涉及到的37組外部參數中隨機選擇25組,內部參數不變,分別對不同標定板所生成的圖像進行標定。標定了特征點數量從6～240個的標定板,分析得到有效焦距和主點坐標較設定值的誤差隨特征點數量變化的曲線圖。

圖4　特征點個數與有效焦距關系圖Fig.4　Relationships between the number of featurepoints and the effective focal length

圖5　特征點個數與主點坐標誤差關系圖Fig.5　Relationships between the number offeature points and the main point coordinate error

圖4表明,隨著特征點由6到240個,有效焦距的值在8個像素內浮動,較設定的fx,fy初值,誤差在0.2%內,說明特征點數量對有效焦距的影響有限。圖5表明,當特征點為最小值6個時,主點縱坐標較設定值誤差達到0.2%;特征點在12～150個時,主點坐標誤差在0.1%附近;當特征點數量達到150個以上時,主點坐標較最初設定值的誤差直線上升。所以制定標定板規(guī)格時,特征點的數目小于150個比較合適。

3.2.2標定板網格大小對標定精度影響

模擬生成一系列網格規(guī)格為10×11,單位長度(mm)分別為1,2,3,4,5,6,7,8,9,10的棋盤網格,相機內外參數不變,生成10組各25張圖像,分別進行仿真標定,得到有效焦距隨標定板網格大小變化的曲線如圖6所示。

圖6　網格單位長度與有效焦距關系圖Fig.6　Relationships between the number offeature points and the effective focal length

圖6顯示,當網格單位長度小于6 mm時,獲得的有效焦距上下浮動范圍較大,原因是棋盤網格太小,則相對誤差較大;當單位長度位于6~14 mm時,獲得的有效焦距較為穩(wěn)定。但是,當網格單位長度大于14 mm后,有效焦距先下降然后迅速增大。原因是研究的棋盤太大,則鏡頭畸變引起的距離測量誤差增大,從而導致標定中有效焦距結果誤差較大。分析所得結果與文獻[1]中實驗結果基本吻合,并且補充研究了棋盤網格單位長度小于10 mm時有效焦距的變化情況。

綜上所述,當棋盤標定板中特征點數目為110個時,在相機拍攝視野范圍允許的情況下,網格的單位尺寸應該保證在8~14 mm。特征點數目若多于110個,則網格單位尺寸應該略微縮小,反之亦然。但是特征點的數量最好不超過150個。

4實驗研究

4.1實驗研究標定圖像數量對標定精度的影響

仿真研究了圖像數量對相機標定精度的影響之后,進行實驗驗證。

搭建實驗臺,使用分辨率為2 736×2 192的point greyUSB3.0工業(yè)CCD相機、高分辨率鏡頭以及LED環(huán)形光源。利用該實驗臺,采集37張不同位姿的標定圖像。隨機抽取這37張圖像中的第3—37張,利用matlab標定工具箱對其進行標定,得到標定圖像張數與有效焦距的關系圖。圖7中表明，相機標定的圖像數量最好不少于20張。考慮到相機的各個參數對于成像的作用存在耦合關系,在試驗中單獨比較各個參數的結果有可能不能全面、真實反映標定效果,所以又得出標定圖像和重投影殘差關系圖(圖8)。以上過程均證明標定圖像數量在20～30張為宜,此時有效焦距誤差在0.2%內,重投影殘差也相對較小。

圖7　實驗中標定圖像張數與有效焦距關系圖Fig.7　Relationships between calibration imagesnumber and effective focal length in experiment

圖8　實驗中標定圖像張數與重投影殘差關系圖Fig.8　Relationships between calibration imagesnumber and re-projection error in experiment

4.2特征點采集精度對標定精度的影響

采集并挑選25張標定圖像,在圖像中添加標準差為0~22的高斯噪聲,生成23組標定圖像。部分標定圖像見圖9所示。9-a為原始標定圖像,9-b為添加方差為484噪聲后的圖像。

圖9　加噪前后標定圖像對比Fig.9　Comparison of calibration images before and after adding noise

圖10　噪聲標準差與重投影點誤差關系圖Fig.10　Relationships between standarddeviation of the noise and re-projection error

對上述23組圖像分別進行標定,得到相機參數后進行重投影,求出特征點,與圖像經過Harris角點檢測[1]得到的特征點相比較得到重投影[5]誤差。由于噪聲的隨機性,筆者采用多次添加求誤差均值的辦法,最終獲得重投影點誤差相對于未添加噪聲時的誤差的比值隨噪聲標準差變化的關系曲線,如圖10所示。圖中表明,首先棋盤標定板對于圖像噪聲有一定的抗干擾性，但是隨著噪聲方差的加大,重投影點誤差與其基本呈正比例增大，間接證明特征點的檢測精度對于相機標定精度有一定影響。所以在標定過程中應該盡可能地減少圖像噪聲。

5結束語

本文以張正友標定方法為基礎,通過模擬相機成像的正逆過程,研究了圖像數量、標定板規(guī)格以及圖像噪聲對于相機標定的影響,得出如下結論:

1) 在張氏標定法中,標定圖像數量在20~30張為宜,相機有效焦距相對穩(wěn)定,重投影殘差相對較小。

2) 在相機視場范圍內,當特征點個數為110個,單位網格長度在6~14 mm之間時，獲得的有效焦距最穩(wěn)定;當棋盤網格單位長度為10 mm時,棋盤標定板上的特征點應保證在150個以內,此時主點坐標獲取穩(wěn)定。

3) 棋盤標定板對于圖像噪聲有一定的抗干擾性。重投影點誤差與噪聲方差基本呈正比例放大。

參考文獻：

[1]支健輝,董新民,孔星煒，等.相機標定的外界影響因素分析[J].應用光學,2014,35(2):286-291.

[2]劉俸材,李愛迪,馬澤忠,等.結構光視覺系統(tǒng)誤差分析與參數優(yōu)化[J].計算機工程與設計,2013,34(2):757-761.

[3]胡楠,魯光泉,荔濤,等.基于分步標定法的交通事故現(xiàn)場攝影測量精度實驗分析[J].汽車工程,2008,30(7):557-560.

[4]尹洪濤,劉成,李一兵,等.相機標定誤差因素分析[J].信息通信,2012,12(1):28-30.

[5]袁銘,蘇顯渝,劉曉青,等.影響攝像機標定精度的因素分析[J].光學與光電技術,2010,8(4):18-21.

[6]ZHANG Z Y.A Flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[7]馮煥飛. 三維重建中相機標定方法研究[D].重慶:重慶交通大學,2013.

[8]孟海崗.基于平面約束的CCD相機標定方法改進[D].吉林:吉林大學,2009.

(編輯：龐富祥)

Influence of External Factors on the Calibration Precision of Camera and Its Experimental and Simulation Study

CHEN Xiaoyan1a,DONG Zhiguo1,YA Gang1,LIU Jiancheng1,2

(1.a.CollegeofMechanicalEngineering,b.ShanxiProvince’sKeyLaboratoryofPrecisionMachining,TaiyuanUniversityofTechnology,Taiyuan030024,China;2.PacificStatesUniversity,California,95211,America)

Abstract:In order to improve the accuracy of camera calibration,the influencing factors must be considered.On the basis of Zhang Zhengyou’s calibration method,some main factors were analyzed comprehensively. The distribution curves of the camera parameters under these factors were obtained. The results of experiment and computer simulation demonstrate that the calibrated image number had better be no less than 20; In the camera view, given 110 points feature, the unit length of the grid controlled between 8 and 14 mm can obtain stable effective focal length. Feature points on the calibration plate board should be within 150 while the length of grid unit board is 10 mm,so that the principal point can be obtained steadily; the variance of noise and re-projection error is amplified proportionally.

Key words:geometrical optics;camera calibration;calibration accuracy;error analysis;External factors

中圖分類號:TB852.1；TP391.41

文獻標識碼:A

DOI：10.16355/j.cnki.issn1007-9432tyut.2016.01.004

作者簡介：陳曉燕(1989-)，女，山西陽泉人，碩士生，主要從事工業(yè)CCD相機標定研究，(E-mail)1066893746@qq.com通訊作者：軋剛，男，教授，主要從事機械零件表面處理研究，(E-mail)yagang1@163.com

基金項目：國家自然科學基金資助項目(51575375)

收稿日期：2015-07-16

文章編號:1007-9432(2016)01-0016-05