基于立體視覺的高精度標定與測量方法

孔穎喬，趙健康，夏 軒

(上海交通大學 儀器科學與工程系，上海 200240)

基于立體視覺的高精度標定與測量方法

孔穎喬，趙健康*，夏 軒

(上海交通大學 儀器科學與工程系，上海 200240)

(*通信作者電子郵箱zhaojiankang@sjtu.edu.cn)

立體視覺測量系統中，光學系統產生的畸變使目標的成像偏離了理論成像點，導致系統產生測量誤差。針對提高系統測量精度的問題，提出一種基于立體視覺的測量方法。首先，根據標定板上各角點的像素分辨率，擬合整個成像平面的四次多項式，且多項式的系數與物體到相機的距離成比例；然后，應用雙目測距原理，測量被測物體的縱向距離；最后，基于所得的多項式，應用單目相機測量待測物體的橫向尺寸。實驗結果表明，對于所提方法，當物體距離相機5m以內時，其縱向距離誤差可以減小到5%以內；當物體距離相機1m時，其橫向寬度測量誤差在0.5mm內，逼近理論最高分辨率。

標定；像素分辨率；畸變方程；擬合；雙目測距；單目測寬

0 引言

計算機視覺檢測技術是一門新興的測試技術，它利用光學或電子器件，基于生物視覺的某些功能，獲取被測物體信息，完成對物體三維信息的實時檢測。隨著現代科學技術的發展，視覺檢測技術在非接觸測量檢測這一領域占據了越來越重要的地位，在工業、醫療、航空等領域都得到了非常廣泛的應用。

測量精度作為衡量檢測技術的一個重要因素，與攝像機的標定誤差及選擇的測量方法等諸多因素有關。近年來，很多國內外學者都致力于嘗試各種提高測量精度的方法[1-4]。傳統標定方法[5-6]的優點是標定精度高，不足是標定過程復雜。自標定方法[7-8]僅依靠多幅圖像對應點之間的關系直接進行標定，靈活性強但魯棒性差。基于主動視覺的標定方法[9-11]通過自主控制攝像機做給定方式的運動來求解模型參數，計算簡單、魯棒性較高，但是需要使用高精度移動平臺。

基于上述分析，本文提出了一種基于立體視覺的測量方法，根據采集的標定模板圖像中各點數據建立一種新的相機畸變標定模型，使用單雙目結合的立體視覺測量系統實現相機的高精度測量。標定模板采用普通的電腦液晶顯示屏，無需專門制作，方便擺放和調整。

1 測量模型

1.1 雙目視覺模型

圖1 橫向平行模式的雙目視覺模型

為了定量描述該模型，定義了世界坐標系、相機坐標系和像素坐標系[13]。世界坐標系是任意定義的空間3D坐標系。相機坐標系以相機光心為坐標原點，通常以光軸方向為Z軸，且與像平面垂直，光軸與圖像平面交點O為圖像主點。像素坐標系是圖像上的平面直角坐標系，一般以像素為單位，圖像左上角為原點，像素坐標(x,y)分別表示該點在圖像上的列數和行數。

P是空間一點，P在世界坐標系下的坐標為(X,Y,Z)，在左右圖像上的成像點為pl和pr，相應的橫坐標分別為xl和xr。取左邊相機坐標系為世界坐標系O-XYZ，左邊圖像坐標系為Ol-xlyl，右邊圖像坐標系為Or-xryr。視差的定義為d=xl-xr，根據透視變化三角幾何關系，可得：

xl=fxX/Z+cx

(1)

xr=fx(X-T)/Z+cx

(2)

(3)

其中：f表示相機的焦距；T表示兩相機之間的基線長。

根據式(3)，深度與視差成反比，二者是非線性關系。當視差趨近于0時，微小的視差變動就會產生很大的深度變化；當視差較大時，細微的視差變動對深度幾乎沒有影響。因此雙目視覺系統在物距較小時具有較高的精度。

實驗中選用快速有效的塊匹配立體算法實現將同一點在左右圖中的成像精確匹配，該算法使用絕對誤差累計(SummedAbsoluteDifference,SAD)的小窗口[12]來查找左右兩幅立體校正圖像之間的匹配，如式(4)：

SAD(x,y)=sum|Left(x,y)-Right(x,y)|

(4)

搜索范圍內SAD值最小的窗口，即為左右圖像的最佳匹配像素塊。

1.2 單目測寬模型

tan(α/2)=l/(2F)→α=2arctan(l/2F)

(5)

分辨精度s表示像素點對應的實際物理寬度的大小，因而其計算式如下：

s=(2h·tan(α/2))/p=(2hl/(2F))/p=hl/(pF)

(6)

式中：s的單位為mm/像素；h表示物體與相機鏡頭的實際距離；p表示感光片長度方向上像素個數。

圖2 單目成像范圍

對待測物體的圖像進行處理，統計所要測量的寬度的像素個數n，則物體的橫向寬度W可由式(7)計算得到：

W=ns=n·hl/(pF)

(7)

2 誤差分析

在視覺檢測系統中，測量精度是始終貫穿整個系統設計過程的關鍵指標，測量精度的高低決定了系統的應用場合及應用價值。系統的測量精度受多方面因素的影響，圖3著重分析了圖像處理過程中幾個關鍵步驟以及影響測量橫向寬度和縱向距離精度的主要因素。

圖3 圖像處理過程及影響檢測精度的因素

由圖3可以看出，影響相機測量精度的因素有[14]：1)客觀物體本身參數或者特征的自然變化；2)圖像采集過程中各種因素的影響，主要是攝像機硬件參數的影響，包括鏡頭的畸變、相機的安裝精度、物理焦距、基線以及電荷耦合器件(ChargeCoupledDevice,CCD)的尺寸和分辨率；3)不同的測量方法和計算公式；4)圖像處理和分析過程中噪聲等干擾的影響。

同時，由1.2節式(7)可知，物體的橫向寬度與物體到相機的實際距離成正比，因此，物體的縱向距離的測量精度也將顯著影響橫向測量精度。

由以上分析可以看出，影響測量系統精度的主要因素一部分來源于硬件，一部分來源于軟件，其中，物體本身的參數和特征的自然變化是不可控因素。本文將著重在標定建模和測量方法上進行優化，攝像機的一些硬件參數，如鏡頭畸變、相機安裝精度，以及一些軟件方面的影響，如圖像的預處理等，則不在本文論述范圍之內。

3 高精度相機標定與測量

3.1 像素分辨率標定

經典的雙目相機的標定，如Zhang標定法[5]，是確定三維空間到二維平面點的映射矩陣的過程，投影矩陣由相機經過標定后獲得的內外參數決定，內參指相機的畸變系數等參數，外參指相機坐標系相對于世界坐標系的旋轉系數和平移系數。在物體視覺測量中，由于測量工件與標定物不在同一個成像平面內，為使成像更清晰，標定與測量時需分別在線微調，測量時系統發生調整，相機的參數需要再次標定，造成標定結果難以保持一致，而且標定繁瑣、復雜度高。

基于機器視覺的圖像處理是用像素個數換算出物體的實際尺寸，所以本文提出的標定模型將直接標定相機的像素分辨率，即像素與實際尺寸間的關系，測量結果是各個像素點分辨率的疊加，通過對像素分辨率的準確標定將極大地提高測量結果的精確度。

相機的標定采用標準件法，即把棋盤格兩角點間的邊長與相應的像素數進行比值，利用測得的數據進行整個平面的像素點分辨率的擬合。利用擬合的多項式計算相機的焦距等參數，進行物體距離與尺寸的測量。

整個實驗系統的標定與測量流程如圖4所示。

圖4 實驗的標定與測量流程

3.2 擬合標定模型

曲面的最佳擬合可以解釋為數據點的誤差平方和最小，當所用的擬合曲面被限定為多項式時，采用多項式的最小二乘擬合[15-16]。通常如Zhang標定法[5]建立三次多項式，精度有限，由此將對測量數據建立四次多項式的擬合模型：

f(x,y)=k(∑pijxiyj);i+j≤4

(8)

如4.1節所述，系統縱向測距的精度目標為5%，橫向測寬的精度目標為0.5mm。實驗數據表明，建立三次多項式模型，系統縱向測距精度為10%，橫向測寬精度為1mm以內，不能滿足精度要求。4.2和4.3節將具體說明使用四次多項式模型時，縱向距離和橫向寬度測量的實驗數據。實驗表明，建立四次多項式的擬合模型，測量精度有明顯提升，且可以滿足預期的精度要求。

同時高階多項式會出現很差的數值特性，而且隨著多項式階次的提高，擬合曲面將變得不夠光滑，因此在四次多項式模型滿足要求的情況下，不選擇階次更高的多項式[17-18]。

由1.2節中式(6)可知像素點的分辨率不僅與相機的硬件參數如焦距、感光片上像素個數及感光片長度有關，還與測量中相機到待測物體的實際距離成正比。因此待測物體到相機的距離和標定的標準距離之間的比例系數，即是該距離處的像素分辨率方程所需乘的系數k。

3.3 相機焦距標定

圖5中，曲線l是圖像坐標y及深度Z固定時的一條分辨率擬合曲線，cx是圖像中原點的偏移量，x1是點X在成像平面上的像素坐標，考慮到相機的畸變，四邊形ABCD與矩形ABFE面積相等時，可以得到校正后像素坐標x。

圖5 像素坐標校正

根據1.1節提到的模型可以計算相機的焦距，由校正后圖像上點的像素坐標為(x,y)、標準件的深度Z、實際長度(X,Y)及實際圖像中原點的偏移量(cx,cy)，可求得相機在x和y方向上的焦距fx和fy：

(9)

其中：cx和cy為3.2節擬合模型的中心點坐標。

4 實驗方案及結果分析

4.1 分辨率模型

實驗的主要目的有兩個：一是驗證方案中提出的檢測方法的可行性；二是分析方法測量的精度。實驗系統由一組雙目相機組成，相機分辨率為1 920×1 080，焦距為15mm，相機底片長為7.52mm，基線長度為200mm。該系統縱向測距的精度目標為5%，橫向測寬的精度目標為0.5mm。

棋盤格距離相機100cm平行放置，保證棋盤格布滿整個成像平面，采集圖像，如圖6所示。按第3章所述方法進行相機標定，擬合模型如圖7所示，焦距標定結果為4 345像素。

圖6 采集的標定圖像

圖7 像素分辨率擬合模型

4.2 雙目測距

為了測試系統對障礙物距離的計算結果，即系統對目標距離的計算是否精確，將用雙目在距離墻面1m到5m處進行測量，計算障礙物距離，與真實距離作比較。測量的結果由表1給出，根據表1看出，在物體與相機距離5m以內時，測量誤差在5%以內。

表1 雙目系統距離測量結果

4.3 單目測寬

為了測試系統橫向測量的精度，將測量標尺任意一段的長度，與真實長度比較。為了去除縱向距離精度對橫向寬度的影響，固定標尺與相機間的距離為1m，該距離即為標定時的標準距離，因此四次多項式的比例系數為1，獲取標尺一段兩端的像素坐標，利用4.1節所獲四次模型進行積分，計算長度。

根據1.2節式(6)計算得此時實驗系統的理論像素分辨精度為0.245mm，選取標尺上任意一段進行測量，測量得到的結果如表2所示，表中(x1，y1)、(x2，y2)分別代表選取的標尺上任意一段兩端點的像素坐標。

表2 橫向寬度測量結果

4.4 實驗結果分析

由4.2節和4.3節可以看出兩種方法得到的檢測精度均較高。

在對系統距離的測量中，經過分析發現：程序在計算視差時消耗了大量時間，為了提高系統的效率，需要降低攝像頭的分辨率以及設置適當的視差參數。但是一個像素的偏移，就可能對應很遠的實際距離，因此理論上攝像頭的分辨率越高，系統的測距越精確。所以需要測距精度和算法運行時間直接達到一定平衡。

觀察表1，隨著物體與攝像頭距離的增加，系統對物體距離的測量誤差也在不斷增加。擬合發現誤差與距離呈近似拋物線關系，這與雙目系統測量距離的原理有關。物體的距離與物體在兩張照片中的像素偏差成反比關系，當物體距離較遠時，很大的距離移動僅對應很小的像素偏差，因此系統對遠距離的物體靈敏度不高，再加上系統本身的像素不高，所以探測遠距離物體存在一定困難。

在0.8m到1.5m的距離上對橫向精度進行測量，如表2所示，整體測量誤差在0.3mm左右，達到了0.5mm的精度目標。同時，觀察表中數據發現，當標尺位于圖像四周邊緣時，誤差為負且較大；當標尺位于圖像中間位置時，誤差為正且較小。因此測量物體尺寸時可將物體放置于攝像機視野的中間位置，以提高測量精度。由分析可知系統的誤差主要來自三個方面：

1)縱向距離的測量。物體到相機的距離將決定擬合方程的系數，縱向距離的偏差將導致平面的像素分辨率多項式有所偏差。

2)擬合模型本身的誤差。計算單個像素的分辨率時采用的兩點之間距離的平均值，以及進行擬合時進行了一定的優化處理都有可能引入誤差。為了降低誤差，可以使用更精確的標定板，在標定的時候，多采集圖片，盡可能覆蓋各個像素點，或者尋找更好的曲線擬合方式。

3)相機像素。實驗測量中手動提取標尺兩端點的像素坐標，一個像素的偏移，就對應一定的寬度偏差，因此理論上需要提高提取像素坐標的精確度。

5 結語

本文利用多項式擬合的方法，提出了一種新的高精度相機標定模型，通過實驗系統對測量數據進行標定校正，建立了整個視場像素分辨率的通用方程，并寫入程序進行實時測量實驗，雙目進行物體縱向距離的檢測，單目進行物體橫向寬度的檢測。實驗過程中，標定模板采用普通的電腦液晶顯示屏，無需專門制作，方便擺放和調整。實驗結果表明，四次擬合方程能有效地提高物體測量的精度。但四次方程是否會給測量結果帶來邊緣大誤差和誤差傳遞累積，還有待進一步實驗研究。同時，進一步提高提取像素坐標及遠距離檢測的精度，對實現高精度測量有重要作用，在以后的研究過程中也將進一步探究。

)

[1] 曲學軍,張璐,張凌云.基于新的成像模型的攝像機標定與三維重建[J].儀器儀表學報,2011,32(8):1830-1836.(QUXJ,ZHANGL,ZHANGLY.Cameracalibrationand3Dreconstructionbasedonanewimagingmodel[J].ChineseJournalScientificInstrument, 2011, 32(8): 1830-1836.)

[2]MEIC,RIVESP.Singleviewpointomnidirectionalcameracalibrationfromplanargrids[C]//Proceedingsofthe2007IEEEInternationalConferenceonRoboticsandAutomation.Piscataway,NJ:IEEE, 2007: 3945-3950.

[3]DANIELHC,KANNALAJ,HEIKKILJ.Jointdepthandcolorcameracalibrationwithdistortioncorrection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2012, 34(10): 2058-2064.

[4] 田原嫄,黃合成,譚慶昌,等.攝像機鏡頭畸變的研究[J].計算機工程與應用,2009,45(26):49-52.(TIANYY,HUANGHC,TANQC,etal.Researchoncameralensdistortion[J].ComputerEngineeringandApplications, 2009, 45(26): 49-52.)

[5]ZHANGZ.Aflexiblenewtechniqueforcameracalibration[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2000, 22(11): 1330-1334.

[6] 韋爭亮,鐘約先,袁朝龍,等.單攝像機單投影儀三維測量系統標定技術[J].清華大學學報(自然科學版),2009,49(2):202-205,209.(WEIZL,ZHONGYX,YUANCL,etal.Calibrationofa3Dmeasurementsystemhavingonecameraandoneprojector[J].JournalofTsinghuaUniversity(ScienceandTechnology), 2009, 49(2): 202-205, 209.)

[7] 張虎,達飛鵬,李勤.基于兩相同圓的自標定方法[J].儀器儀表學報,2010,31(3):618-624.(ZHANGH,DAFP,LIQ.Self-calibrationusingtwosamecircles[J].ChineseJournalofScientificInstrument, 2010, 31(3): 618-624.)

[8] 吳福朝,王光輝,胡占義.由矩形確定攝像機內參數與位置的線性方法[J].軟件學報,2003,14(3):703-712.(WUFC,WANGGH,HUZY.Alinearapproachfordeterminingintrinsicparametersandposeofcamerasfromrectangles[J].JournalofSoftware, 2003, 14(3): 703-712.)

[9] 張維忠,趙志剛,油世明,等.繞光軸旋轉拍攝LCD上平面靶標實現相機標定[J].儀器儀表學報,2011,32(1):120-125.(ZHANGWZ,ZHAOZG,YOUSM,etal.CalibratingcamerausingplanarpatternonLCDwitharotatingcamera[J].ChineseJournalofScientificInstrument, 2011, 32(1): 120-125.)

[10] 裴明濤,賈云得.基于主動視覺的攝像機線性自標定方法[J].北京理工大學學報,2006,26(1):27-30,35.(PEIMT,JIAYD.Linearself-calibrationtechniquebasedonactivevision[J].TransactionofBeijingInstituteofTechnology, 2006, 26(1): 27-30, 35.)

[11] 王琳,趙健康,夏軒,等.基于雙目立體視覺技術的橋梁裂縫測量系統[J].計算機應用,2015,35(3):901-904.(WANGL,ZHAOJK,XIAX,etal.Bridgecrackmeasurementsystembasedonbinocularstereovisiontechnology[J].JournalofComputerApplications, 2015, 35(3): 901-904.)

[12]BRADSKIG,KAEHLERA.LearningOpenCV:computervisionwiththeOpenCVlibrary[M].Sebastopol,CA:O’ReillyMedia, 2008: 124.

[13] 張鋮偉,王彪,徐貴力.攝像機標定方法研究[J].計算機技術與發展,2010,20(11):174-179.(ZHANGCW,WANGB,XUGL.Astudyonclassificationofcameracalibrationmethods[J].ComputerTechnologyandDevelopment, 2010, 20(11): 174-179.)

[14] 史永杰.高精度視覺檢測系統的研究[D].長春：吉林大學,2007:28-40.(SHIYJ.Researchonhighprecisionvisioninspectionsystem[D].Changchun:JilinUniversity, 2007: 28-40.)

[15] 喬彥峰,高峰端,王志乾,等.基于三次擬合方程畸變校正的光電測量系統[J].光電工程,2008,35(6):28-31.(QIAOYF,GAOFD,WANGZQ,etal.Distortioncorrectionforthephotoelectricitymeasuringsystembasedonthecubicfittingequation[J].Opto-ElectronicEngineering, 2008, 35(6): 28-31.)

[16] 陳嵐峰,楊靜瑜,崔崧,等.基于MATLAB的最小二乘曲線擬合仿真研究[J].沈陽師范大學學報(自然科學版),2014,32(1):75-79.(CHENLF,YANGJY,CUIS,etal.MATLABsimulationofcurvefittingbasedonleast-squares[J].JournalofShenyangNormalUniversity(NaturalScienceEdition), 2014, 32(1): 75-79.)

[17]CHAY,LEEGY,KIMS.Imagezoomingbycurvatureinterpolationanditerativerefinement[J].SIAMJournalonImagingSciences, 2014, 7(2): 1284-1308.

[18]VISHNUKUMARS,NAIRMS,WILSCYM.Edgepreservingsingleimagesuper-resolutionwithimprovedvisualquality[J].SignalProcessing, 2014, 105: 283-297.

KONG Yingqiao, born in 1992, M. S. candidate. Her research interests include stereo vision, image matching.

ZHAO Jiankang, born in 1966, Ph. D., professor. His research interests include flight control system of unmanned aerial vehicle.

XIA Xuan, born in 1987, Ph. D. candidate. His research interests include pattern recognition, satellite navigation.

High-precision calibration and measurement method based on stereo vision

KONG Yingqiao, ZHAO Jiankang*, XIA Xuan

(DepartmentofInstrumentScienceandEngineering,ShanghaiJiaoTongUniversity,Shanghai200240,China)

In stereo vision measurement system, the distortion caused by the optical system makes imaging of target deviate from the theoretical imaging point, which results in measurement error of system. In order to improve the accuracy of the measuring system, a new measurement method based on stereo vision was proposed. Firstly, a quartic polynomial on the whole imaging plane was fitted through the pixel resolution of each angular point on the calibration board, the coefficient of the fitted polynomial was proportional to the distance from the object to the camera. Then, the longitudinal distance of the detected object was measured by using the measuring distance principle of binocular model. Finally, based on the obtained polynomial, the monocular camera was used to measure the transverse dimension of the detected object. The experimental results show that, when the distance between the object and the camera is within 5 m, the longitudinal distance error of the proposed method can be reduced to less than 5%. And when the object is 1 m away from the camera, the measurement error of transverse width of the proposed method is within 0.5 mm, which approaches to the theoretical highest resolution.

calibration; pixel resolution; distortion equation; fitting; measuring distance of binocular model; measuring size of monocular model

2016- 11- 07;

2017- 01- 13。

孔穎喬(1992—)，女，江蘇泰興人，碩士研究生，主要研究方向：立體視覺、圖像匹配； 趙健康(1966—)，男，湖南益陽人，教授，博士，主要研究方向：無人機飛行控制系統； 夏軒(1987—)，男，湖南湘潭人，博士研究生，主要研究方向：模式識別、衛星導航。

1001- 9081(2017)06- 1798- 05

10.11772/j.issn.1001- 9081.2017.06.1798

TP

A