基于Halcon的單目相機(jī)標(biāo)定方法與測(cè)量實(shí)驗(yàn)

李曉曉，楊 濤，雷 進(jìn)，孫付春，吳昊榮

(1.成都大學(xué)機(jī)械工程學(xué)院，四川 成都 610106；2.成都農(nóng)業(yè)科技職業(yè)學(xué)院機(jī)電信息學(xué)院，四川 成都 611130；3.成都大學(xué)電子信息與電信工程學(xué)院，四川 成都 610106)

0 引言

在自動(dòng)化生產(chǎn)過(guò)程中，機(jī)器視覺(jué)廣泛地應(yīng)用于尺寸測(cè)量、工況監(jiān)控和缺陷檢測(cè)等領(lǐng)域[1-2]。相機(jī)標(biāo)定直接影響視覺(jué)測(cè)量結(jié)果的精準(zhǔn)性[3]。基于機(jī)器視覺(jué)在智能制造測(cè)量領(lǐng)域的廣泛應(yīng)用，越來(lái)越多的從業(yè)人員開(kāi)始在標(biāo)定方面進(jìn)行研究。張夢(mèng)洋[4]針對(duì)單目相機(jī)，利用遺傳算法對(duì)相機(jī)內(nèi)參優(yōu)化求解，獲得更加精確的相機(jī)內(nèi)參，該方法在精度上優(yōu)于張正友法，但實(shí)時(shí)性較差。田少兵等[5]利用改進(jìn)粒子群算法進(jìn)行相機(jī)內(nèi)參標(biāo)定，相機(jī)內(nèi)參準(zhǔn)確性更高，收斂速度更快。覃興勝等[6]針對(duì)激光雷達(dá)三維目標(biāo)識(shí)別采用棋盤格板定板提出一種標(biāo)定外參的標(biāo)定方法，提高了現(xiàn)行外參標(biāo)定法的精度。赫美琳等[7]和賴文敬等[8]針對(duì)棋盤格板定板提出了一種快速獲取單目相機(jī)內(nèi)部參數(shù)的標(biāo)定方法，其中賴文敬提出的方法對(duì)高精度相機(jī)內(nèi)參獲取更為有效。考慮到圓點(diǎn)標(biāo)定板在相機(jī)標(biāo)定中也得到相當(dāng)多的應(yīng)用，利用機(jī)器視覺(jué)商業(yè)軟件Halcon對(duì)原點(diǎn)標(biāo)定板進(jìn)行相機(jī)標(biāo)定研究，探索圓點(diǎn)標(biāo)定板圖像數(shù)量對(duì)相機(jī)參數(shù)的影響及驗(yàn)證圓點(diǎn)標(biāo)定板的標(biāo)定精度是十分有意義的。

1 單目視覺(jué)系統(tǒng)實(shí)驗(yàn)平臺(tái)搭建

視覺(jué)系統(tǒng)由工業(yè)相機(jī)、鏡頭、照明光源、標(biāo)定板、工作平臺(tái)及相關(guān)軟件等組成，單目視覺(jué)系統(tǒng)指的是系統(tǒng)中只使用了一個(gè)相機(jī)。圖1是為案例搭建的單目視覺(jué)測(cè)量系統(tǒng)，可用來(lái)進(jìn)行缺陷檢測(cè)和尺寸測(cè)量等實(shí)驗(yàn)。利用視覺(jué)系統(tǒng)進(jìn)行視覺(jué)標(biāo)定或測(cè)量實(shí)驗(yàn)時(shí)，通過(guò)光源控制器根據(jù)工業(yè)環(huán)境需求調(diào)整光源。

圖1 單目視覺(jué)測(cè)量系統(tǒng)實(shí)驗(yàn)平臺(tái)

2 單目視覺(jué)系統(tǒng)標(biāo)定工作原理

相機(jī)成像依據(jù)的是小孔成像原理，由圖像像素坐標(biāo)轉(zhuǎn)換為空間坐標(biāo)實(shí)質(zhì)是一個(gè)坐標(biāo)系轉(zhuǎn)換過(guò)程。在像素距離與實(shí)際距離的轉(zhuǎn)換過(guò)程中，涉及相機(jī)的內(nèi)部參數(shù)和外部參數(shù)，相機(jī)標(biāo)定的目的在于獲取相機(jī)內(nèi)部參數(shù)和外部參數(shù)。

2.1 機(jī)器視覺(jué)坐標(biāo)系

標(biāo)定過(guò)程實(shí)質(zhì)是機(jī)器視覺(jué)坐標(biāo)系的轉(zhuǎn)換。機(jī)器視覺(jué)涉及世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像物理坐標(biāo)系和像素坐標(biāo)系。機(jī)器視覺(jué)4個(gè)坐標(biāo)系間的關(guān)系[6]見(jiàn)圖2。

圖2 機(jī)器視覺(jué)坐標(biāo)系空間關(guān)系

1)像素坐標(biāo)系(O1-uν)：以像平面左上角頂點(diǎn)為坐標(biāo)系原點(diǎn)，從左往右為u軸正方向，從上往下為ν軸正方向，單位為像素。

2)圖像物理坐標(biāo)系(O-xy)：以像平面橫縱坐標(biāo)中點(diǎn)為坐標(biāo)原點(diǎn)O，x軸與u軸平行，y軸與ν軸平行，單位為mm。

3)相機(jī)坐標(biāo)系(Oc-xcyczc)：原點(diǎn)Oc位于鏡頭光心處，xc軸與yc軸分別與像面兩邊平行，zc軸為鏡頭光軸。

4)世界坐標(biāo)系(Ow-xwywzw)：用于描述待測(cè)物體在三維世界中的位置，可根據(jù)實(shí)際需求確定坐標(biāo)原點(diǎn)。

2.2 機(jī)器視覺(jué)坐標(biāo)系轉(zhuǎn)換

假設(shè)在世界中存在一點(diǎn)，其世界坐標(biāo)為(xw，yw，zw，1)，相機(jī)坐標(biāo)為(xc，yc，zc，1)。該點(diǎn)世界坐標(biāo)系和相機(jī)坐標(biāo)系的轉(zhuǎn)化是通過(guò)旋轉(zhuǎn)R和平移T兩個(gè)過(guò)程完成的，則：

(1)

式中：R=R(γ)R(δ)R(θ)，為3×3旋轉(zhuǎn)矩陣；T=T(xt，yt，zt)，為3×1平移矩陣，xt，yt，zt的數(shù)值分別為世界坐標(biāo)系和相機(jī)坐標(biāo)系原點(diǎn)之間的差值；γ，θ，δ分別為世界坐標(biāo)系(Ow-xwywzw)向相機(jī)坐標(biāo)系(Oc-xcyczc)轉(zhuǎn)換過(guò)程中繞xw軸、yw軸、zw軸旋轉(zhuǎn)的角度，故而有：

相機(jī)坐標(biāo)系中的點(diǎn)投影到圖像物理坐標(biāo)系中，可用式(2)表示：

(2)

式中：焦距f表示焦點(diǎn)到鏡頭中心OcO距離。像素坐標(biāo)系(O1-uν)和圖像坐標(biāo)系(O-xy)之間關(guān)系如式(3)：

(3)

結(jié)合公式(1)～(3)，三維空間中任一點(diǎn)的世界坐標(biāo)與像素坐標(biāo)關(guān)系有：

(4)

相機(jī)外參中，R=R(γ)R(δ)R(θ)，R(γ)、R(δ)、R(θ)為3個(gè)分別與γ，θ，δ相關(guān)的獨(dú)立參數(shù)；T=T(xt，yt，zt)，xt，yt，zt也為3個(gè)獨(dú)立參數(shù)。故相機(jī)外參共含有6個(gè)參數(shù)，且可表示為x平移、y平移、z平移、x旋轉(zhuǎn)、y旋轉(zhuǎn)、z旋轉(zhuǎn)。同時(shí)在面陣相機(jī)(division)模式中，其內(nèi)參表示為：Focus、Kappa、Sx、Sy、Cx、Cy、W、H，F(xiàn)ocus為鏡頭焦距；Kappa為鏡頭畸變系數(shù)；Sx，Sy為單個(gè)像素寬和高；Cx，Cy為圖像中心點(diǎn)坐標(biāo)；W、H為圖像的寬和高。即相機(jī)標(biāo)定就是為了獲得相機(jī)外參的x平移、y平移、z平移、x旋轉(zhuǎn)、y旋轉(zhuǎn)、z旋轉(zhuǎn)6個(gè)參數(shù)，以及相機(jī)內(nèi)參的Focus、Kappa、Sx、Sy、Cx、Cy、W、H 8個(gè)參數(shù)。

3 單目相機(jī)視覺(jué)標(biāo)定方法

Halcon為德國(guó)MVtec公司開(kāi)發(fā)的機(jī)器視覺(jué)軟件，其自帶相機(jī)標(biāo)定助手，有助于快速精準(zhǔn)實(shí)現(xiàn)相機(jī)參數(shù)標(biāo)定。圖3為利用Halcon軟件的相機(jī)標(biāo)定流程。

圖3 相機(jī)標(biāo)定流程

實(shí)驗(yàn)所用圓點(diǎn)標(biāo)定板型號(hào)為GB050-2-7×7，如圖4所示，由7×7的圓點(diǎn)陣列和一個(gè)帶切角的邊框組成，邊框切角描述的是-x和-y的方向，每個(gè)圓點(diǎn)理論直徑為2 mm，理論圓心距4 mm，精度±0.1 mm。

圖4 相機(jī)參數(shù)標(biāo)定用標(biāo)定板

3.1 利用Halcon標(biāo)定助手的相機(jī)標(biāo)定過(guò)程

采用Halcon標(biāo)定助手的具體操作步驟如下。

1)生成標(biāo)定板描述文件。在桌面建立命名為“50-38”的文件夾，在程序窗口運(yùn)行代碼：gen_caltab(7，7，0.004，0.5，′C:/Users/Desktop/50-38/caltab50-38.descr′，′C:/Users/Desktop/50-38/caltab50-38.ps′)，運(yùn)行該行代碼后，在文件夾“50-38”內(nèi)會(huì)生成文件名為“caltab50-38.descr”的標(biāo)定板描述文件。

2)安裝標(biāo)定板描述文件，初步設(shè)置相機(jī)參數(shù)。在“安裝”標(biāo)題欄下，加載“50-38”文件夾內(nèi)的標(biāo)定板“描述文件”，即文件名為“caltab50-38.descr”的文件。攝像機(jī)模型默認(rèn)“面掃描(多項(xiàng)式)”，通過(guò)相機(jī)廠家提供的產(chǎn)品說(shuō)明書提供的相機(jī)參數(shù)，設(shè)置單個(gè)像元尺寸的寬和高為1.85 μm×1.85 μm，焦距25 mm。在標(biāo)定助手中安裝好的“描述文件”和設(shè)置的攝像機(jī)參數(shù)如圖5所示。

圖5 標(biāo)定板圖像采集

3)加載標(biāo)定板圖像，完成相機(jī)標(biāo)定。單擊“標(biāo)定”標(biāo)簽，相機(jī)標(biāo)定需要的標(biāo)定板圖像可以通過(guò)事先采集好的圖像文件導(dǎo)入，也可以利用“圖像采集助手”實(shí)時(shí)采集。以利用“圖像采集助手”實(shí)時(shí)采集方式為例，通過(guò)手動(dòng)調(diào)整光源、相機(jī)光圈和鏡頭，界面中實(shí)時(shí)采集的標(biāo)定板圖像名稱后的“狀態(tài)”欄下會(huì)出現(xiàn)“特征提取失敗”“檢測(cè)出品質(zhì)問(wèn)題”“確定”3種狀態(tài)。當(dāng)出現(xiàn)“特征提取失敗”提示時(shí)，表明該標(biāo)定板圖像特征提取失敗，需要重新采集，其余2種狀態(tài)則可以實(shí)現(xiàn)相機(jī)標(biāo)定，但在“檢測(cè)出品質(zhì)問(wèn)題”狀態(tài)下標(biāo)定結(jié)果精度略有不足。圖5為本案例采集的27張標(biāo)定板圖像。

當(dāng)所有的標(biāo)定板圖像特征提取成功后，還需要設(shè)置一個(gè)參考位姿。參考位姿要求靠近相機(jī)視野的中心，“01#”標(biāo)定板圖像為本案例參考位姿。單擊“標(biāo)定”按鈕完成相機(jī)標(biāo)定，獲得相機(jī)標(biāo)定結(jié)果。從標(biāo)定結(jié)果可知：攝像機(jī)位姿態(tài)(也稱相機(jī)外參)[x平移、x旋轉(zhuǎn)、y平移、y旋轉(zhuǎn)、z平移、z旋轉(zhuǎn)]=[-0.632 341，359.215，0.857 009，0.747 602，329.119，359.356]，攝像機(jī)參數(shù)(也稱相機(jī)內(nèi)參)[Focus、Kappa、Sx、Sy、Cx、Cy、W、H]=[25.000 5，-39.893，1.849 93，1.85，1 999.94，1 499.97，4 000，3 000]，且標(biāo)定后的平均誤差為0.070 706 7 mm。

4 標(biāo)定結(jié)果測(cè)量驗(yàn)證實(shí)驗(yàn)

對(duì)目標(biāo)圖像進(jìn)行視覺(jué)測(cè)量時(shí)，對(duì)被測(cè)目標(biāo)圖像進(jìn)行校正有利于提高精度。圖6為傾斜的標(biāo)定板圖像校正圖。其中，圖6(a1)和圖6(a2)分別為相機(jī)采集的第4幀和第9幀的原始圖像；圖6(b1)和圖6(b2)為圖像旋轉(zhuǎn)角度特征提取過(guò)程，紅色連線為圖像旋轉(zhuǎn)角度特征提取路徑；圖6(c1)和圖6(c2)為校正后的標(biāo)定板圖像。

圖6 標(biāo)定板圖像校正

將加載的圖像矯正后，利用Halcon軟件的“測(cè)量助手”模塊進(jìn)行測(cè)量。利用Halcon測(cè)量助手測(cè)量時(shí)，選擇被測(cè)量對(duì)象的圖像顯示形式，在“邊緣”標(biāo)簽下，選擇“測(cè)量/繪制線段”，在被測(cè)量對(duì)象上“劃線”測(cè)量，劃線的特征圓點(diǎn)如圖7所示。選擇校正后的第7幀標(biāo)定板圖像，對(duì)第4行、第2列的特征圓點(diǎn)進(jìn)行直徑測(cè)量。

圖7 標(biāo)定板單個(gè)特征圓點(diǎn)測(cè)量

表1為實(shí)驗(yàn)中標(biāo)定板圓點(diǎn)(第4行、第2列)的實(shí)際測(cè)量數(shù)據(jù)。因?yàn)闃?biāo)定板圖像上劃線區(qū)域與特征圓點(diǎn)只有2個(gè)接觸點(diǎn)，所以測(cè)量結(jié)果只顯示2個(gè)點(diǎn)，2點(diǎn)間的距離即為標(biāo)定板特征圓點(diǎn)的直徑。標(biāo)定板圓點(diǎn)理論直徑為2 mm，測(cè)量結(jié)果為1.961 38 mm，偏差為0.038 62 mm，相對(duì)誤差為1.93%，證實(shí)了標(biāo)定結(jié)果的準(zhǔn)確性。

表1 單個(gè)特征圓點(diǎn)實(shí)際圖像的測(cè)量尺寸

同時(shí)，用同一條測(cè)量曲線圈定標(biāo)定板上的多個(gè)特征圓點(diǎn)，如圖7標(biāo)定板圖像上第3行的全部7個(gè)特征圓點(diǎn)。表2為該排特征圓點(diǎn)實(shí)際測(cè)量結(jié)果。由表2可以得到，7個(gè)特征圓點(diǎn)與劃線區(qū)域共有14個(gè)交點(diǎn)，測(cè)量的標(biāo)定板特征圓點(diǎn)與標(biāo)定板理論偏差中，最大偏差為0.070 38 mm，最小偏差為0.039 92 mm，平均偏差為0.056 55 mm，精度都高于0.1 mm，說(shuō)明利用Halcon標(biāo)定助手標(biāo)定的準(zhǔn)確性可以得到保障，且利用機(jī)器視覺(jué)測(cè)量物體的尺寸精度較高。

表2 多個(gè)特征圓點(diǎn)實(shí)際圖像測(cè)量尺寸

5 結(jié)語(yǔ)

利用自搭建的單目視覺(jué)系統(tǒng)實(shí)驗(yàn)平臺(tái)，借助視覺(jué)軟件Halcon對(duì)圓點(diǎn)標(biāo)定板進(jìn)行標(biāo)定實(shí)驗(yàn)，獲取標(biāo)定板圖像數(shù)量對(duì)相機(jī)標(biāo)定參數(shù)的影響，并通過(guò)實(shí)驗(yàn)驗(yàn)證了圓點(diǎn)標(biāo)定板的標(biāo)定精度。在本實(shí)驗(yàn)條件下，對(duì)圓點(diǎn)標(biāo)定板單個(gè)特征圓點(diǎn)進(jìn)行測(cè)量時(shí)得到偏差為0.038 62 mm，對(duì)多個(gè)特征圓點(diǎn)進(jìn)行測(cè)量時(shí)得到平均偏差為0.056 55 mm，二者測(cè)量精度都高于0.1 mm，證明了Halcon軟件在相機(jī)標(biāo)定中的準(zhǔn)確性。顯然，作為機(jī)器視覺(jué)測(cè)量應(yīng)用的基礎(chǔ)，未來(lái)相機(jī)標(biāo)定精度和操作簡(jiǎn)易度將會(huì)得到進(jìn)一步發(fā)展。