基于LabView的多項(xiàng)式畸變模型圖像矯正方法①

吳亞帥,劉新妹,殷俊齡,高志亨

(中北大學(xué) 電子測(cè)試技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,太原 030051)

機(jī)器視覺(jué)被廣泛地應(yīng)用于自動(dòng)化檢測(cè)和測(cè)量的視覺(jué)系統(tǒng)中[1].在實(shí)際應(yīng)用中,精密度的局限性會(huì)導(dǎo)致機(jī)器視覺(jué)系統(tǒng)采集的圖像產(chǎn)生各種畸變,例如徑向畸變、透視畸變等[2],隨著成像設(shè)備制造技術(shù)的不斷提高,數(shù)字圖像的分辨率越來(lái)越高,圖像的畸變?cè)跈z測(cè)中不容忽視,必須對(duì)其進(jìn)行矯正[3].圖像畸變矯正技術(shù)的研究主要有兩個(gè)方面:光學(xué)機(jī)械設(shè)計(jì)上的矯正和數(shù)字圖像處理上的矯正[4].利用光學(xué)和機(jī)械結(jié)構(gòu)對(duì)鏡頭進(jìn)行矯正存在諸多局限性,如高精度的光學(xué)圖像采集鏡頭價(jià)格昂貴、結(jié)構(gòu)設(shè)計(jì)較為復(fù)雜等[5],因此采用數(shù)字圖像處理技術(shù)對(duì)畸變進(jìn)行矯正已成為目前研究的主要方向.

在圖像畸變矯正理論中,畸變模型的確立是畸變矯正的理論基礎(chǔ),也是相機(jī)標(biāo)定的主要內(nèi)容,而對(duì)于參考模型的選取將直接影響到畸變圖像矯正的效果[6].目前在研究中的畸變模型各有優(yōu)缺點(diǎn),比如Fitzgibbon模型[7]包含未知參數(shù)少,計(jì)算量小但精度不高;Brown模型[8]和Heikkila 模型[9]較復(fù)雜,雖可以較好的提高圖像矯正精度,但算法計(jì)算的復(fù)雜性與工作量也成倍增加[10].因此,需要根據(jù)實(shí)際情況合理規(guī)劃建立攝像頭的畸變模型,達(dá)到實(shí)驗(yàn)設(shè)計(jì)目的.

目前常用的軟件開(kāi)發(fā)平臺(tái)有:HALCON、Vision Pro、OpenCV 和LabView 等[11].其中LabView 采用圖形化編程方式,軟件開(kāi)發(fā)周期短,特別適合工控及自動(dòng)化測(cè)試場(chǎng)合,能夠快速完成視覺(jué)系統(tǒng)的模型建立,提高測(cè)試效率[12].因此,本文以PCB 板為研究對(duì)象,結(jié)合徑向畸變和切向畸變,使用了一種多項(xiàng)式畸變成像模型,基于LabView 平臺(tái)和NI Version 模塊采用校準(zhǔn)點(diǎn)陣對(duì)機(jī)器視覺(jué)系統(tǒng)進(jìn)行校準(zhǔn),利用雙線(xiàn)性插值算法對(duì)圖像畸變進(jìn)行矯正,并對(duì)矯正結(jié)果進(jìn)行對(duì)比分析得出結(jié)論.

1 圖像畸變模型的建立

理想條件下,機(jī)器視覺(jué)成像系統(tǒng)可以被抽象為小孔成像模型,鏡頭的圖像畸變可以忽略不計(jì).然而實(shí)際并非理想,鏡頭本身特性的不完美性對(duì)成像的最終結(jié)果造成的影響是不可忽視[13].

1.1 畸變模型的確立

本文在圖像畸變的矯正主要研究徑向畸變和切向畸變,徑向畸變是由于現(xiàn)實(shí)中鏡頭所用的凸透鏡或凹透鏡組合固有的光學(xué)特性,導(dǎo)致真實(shí)坐標(biāo)點(diǎn)沿著像面徑向產(chǎn)生的偏移.切向畸變與徑向畸變的影響不同,切向畸變是使圖像像素沿著切線(xiàn)方向變形,如將矩形變?yōu)樘菪螆D像[14].

根據(jù)泰勒級(jí)數(shù)定義和鏡頭在畸變中心處不會(huì)產(chǎn)生畸變,以及徑向畸變是沿畸變中心對(duì)稱(chēng)的特性,徑向畸變數(shù)學(xué)模型表示式為:

式中,r為理想中像素點(diǎn)到原點(diǎn)的距離,(x,y)為畸變點(diǎn)在圖像的原始坐標(biāo),即為圖像矯正后的坐標(biāo);k1,k2,…,kn表示徑向畸變的待定系數(shù).

切向畸變的數(shù)學(xué)模型表示式為:

式中,(x,y)為圖像畸變像素點(diǎn)在相機(jī)圖像平面的原始坐標(biāo)位置;(xcorrected,ycorrected)為矯正后的新坐標(biāo)位置,p1,p2為描述切向畸變的待定系數(shù).

本文結(jié)合式(1)和式(2)采用的多項(xiàng)式畸變模型表達(dá)式為:

式中,k1,k2,p1,p2,k3為需要求解的鏡頭畸變系數(shù).

1.2 坐標(biāo)系的建立

本文對(duì)畸變模型的研究建立4 種計(jì)算機(jī)視覺(jué)坐標(biāo)系:世界坐標(biāo)系、相機(jī)坐標(biāo)系、成像平面坐標(biāo)系和圖像坐標(biāo)系,坐標(biāo)系統(tǒng)轉(zhuǎn)換模型示意圖如圖1.不難看出,真實(shí)世界坐標(biāo)系與相機(jī)坐標(biāo)系之間的變換可以通過(guò)旋轉(zhuǎn)和平移來(lái)實(shí)現(xiàn).

圖1 坐標(biāo)系統(tǒng)轉(zhuǎn)換模型示意圖

世界坐標(biāo)系在平移T后,先沿z軸旋轉(zhuǎn) θ度,再沿y軸旋轉(zhuǎn) φ度,最后沿z軸旋轉(zhuǎn) ψ度便可以得到相機(jī)坐標(biāo)系,轉(zhuǎn)換關(guān)系表示為:

其中,R為旋轉(zhuǎn)矩陣,與θ,φ 和 ψ有關(guān).

若不考慮鏡頭畸變影響,成像點(diǎn)可有相機(jī)坐標(biāo)系投影得到:

式中,f為相機(jī)焦距,圖像坐標(biāo)系和成像平面坐標(biāo)系轉(zhuǎn)換關(guān)系為:

其中,(x,y)為圖像像素坐標(biāo),Sx,Sy分別為每個(gè)像素在兩個(gè)坐標(biāo)軸上的物理尺寸,(x0,y0)為光軸與像平面交點(diǎn)在圖像坐標(biāo)系中的坐標(biāo),fx,fy為成像平面上的等效焦距.

設(shè)Ow中的zw=0,可以得出:

式中,k為比例系數(shù),M為相機(jī)內(nèi)部參數(shù)矩陣.

設(shè)H為單應(yīng)性矩陣,令:

由旋轉(zhuǎn)矩陣R的φ、ψ的正交性,可以得出約束方程:

只要采集的圖像有足夠的圖像和物理空間的對(duì)應(yīng)點(diǎn),就可以求出H,M矩陣中只有5 個(gè)未知量,當(dāng)采集的圖像至少為3 幅時(shí),就可以根據(jù)建立的約束方程求出M矩陣中的內(nèi)參數(shù).由式(7)進(jìn)一步得到相機(jī)視覺(jué)模型的外參數(shù)θ,φ,ψ和T由此可知,成像過(guò)程其實(shí)就是三維空間坐標(biāo)系之間的轉(zhuǎn)換過(guò)程.

1.3 坐標(biāo)轉(zhuǎn)換結(jié)果

本文圖像選用德國(guó)Basler acA 系列相機(jī)及其配套鏡頭采集,且按上述坐標(biāo)系之間的轉(zhuǎn)換,結(jié)合多項(xiàng)式畸變模型和2.2 節(jié)的公式基于LabView和NI Version 軟件平臺(tái)建立坐標(biāo)系.設(shè)計(jì)滿(mǎn)足實(shí)驗(yàn)要求的15×15 圓點(diǎn)陣列,并粘在一張光滑平板上.相鄰水平點(diǎn)、垂直點(diǎn)的中心間距均為10 mm,點(diǎn)直徑4 mm.其中主要采集模板中的4×5 點(diǎn)陣.建立的坐標(biāo)系如圖2.

圖2 坐標(biāo)系建立前后圖

在進(jìn)行坐標(biāo)轉(zhuǎn)換時(shí)涉及的點(diǎn)數(shù)較多,本文選取圖像中的其中20 個(gè)點(diǎn)的坐標(biāo),依據(jù)上述坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,得出轉(zhuǎn)換結(jié)果如表1.

表1 多項(xiàng)式畸變成像模型坐標(biāo)轉(zhuǎn)換參數(shù)

由各點(diǎn)的轉(zhuǎn)換結(jié)果,可得:最大誤差為0.010848;計(jì)算平均誤差為0.008485;標(biāo)準(zhǔn)差為0.000449.也證實(shí)了:實(shí)際坐標(biāo)和圖像坐標(biāo)的轉(zhuǎn)換通過(guò)這一步驟,可以實(shí)現(xiàn)較小誤差的精確轉(zhuǎn)換.

2 機(jī)器視覺(jué)系統(tǒng)校準(zhǔn)

在機(jī)器視覺(jué)系統(tǒng)中,系統(tǒng)校準(zhǔn)是指利用包含多個(gè)點(diǎn)的標(biāo)準(zhǔn)模板,為系統(tǒng)提供真實(shí)世界坐標(biāo)系中多個(gè)坐標(biāo)點(diǎn)的已知信息[15].有了這些信息,就可以結(jié)合成像系統(tǒng)模型,獲得圖像總各像素點(diǎn)與真實(shí)世界之間的線(xiàn)性或非線(xiàn)性的映射關(guān)系,如將這些信息應(yīng)用到后續(xù)的圖像采集中,就可以降低各種畸變對(duì)系統(tǒng)檢測(cè)結(jié)果的影響,并可對(duì)畸變圖像進(jìn)行矯正.

2.1 系統(tǒng)校準(zhǔn)方法分析

日前在LabView 平臺(tái)研究常用的系統(tǒng)校準(zhǔn)方法有:簡(jiǎn)易系統(tǒng)校準(zhǔn)法、透視校準(zhǔn)和校準(zhǔn)點(diǎn)陣校準(zhǔn).簡(jiǎn)易系統(tǒng)校準(zhǔn)法和透視校準(zhǔn)是兩種通過(guò)手工輸入已知信息點(diǎn)就可以實(shí)現(xiàn)系統(tǒng)校準(zhǔn)的方法,在實(shí)踐工程中,若鏡頭存在徑向或切向畸變,手工輸入已知信息點(diǎn)的校準(zhǔn)方法就相對(duì)麻煩和效率低下[16].本文采用校準(zhǔn)點(diǎn)陣為校準(zhǔn)過(guò)程提供信息點(diǎn)輸入的工具,對(duì)系統(tǒng)進(jìn)行校準(zhǔn).

2.2 基于LabView 平臺(tái)的系統(tǒng)校準(zhǔn)

這里采用上文中的多項(xiàng)式畸變成像模型的機(jī)器視覺(jué)系統(tǒng)采用校準(zhǔn)點(diǎn)陣,在實(shí)驗(yàn)室的LabView 平臺(tái)上進(jìn)行程序設(shè)計(jì)和圖像校準(zhǔn).校準(zhǔn)程序界面如圖3.

圖3 圖像校準(zhǔn)程序界面

校準(zhǔn)圖和校準(zhǔn)結(jié)果如圖4.在LabView 中通常采用誤差映射表(error Map)、畸變率(distortion)、平均誤差(mean error)、最大誤差(maximum error)以及標(biāo)準(zhǔn)差(standard deviation)等相關(guān)信息來(lái)衡量判斷系統(tǒng)校準(zhǔn)的質(zhì)量.誤差映射表表示產(chǎn)生畸變像素與真實(shí)位置之間的距離,其值越小,說(shuō)明計(jì)算得到的真實(shí)世界的坐標(biāo)越精確;畸變率主要用來(lái)說(shuō)明采集的圖像相對(duì)于正常圖像的變形情況,等于像素位置誤差占像素到光心位置所對(duì)應(yīng)像素距離的百分比,本質(zhì)上屬于相對(duì)誤差,在機(jī)器視覺(jué)系統(tǒng)中,一般要確?；兟市∮?%.

圖4 圖像校準(zhǔn)前后對(duì)比以及誤差參數(shù)圖

由系統(tǒng)校準(zhǔn)結(jié)果圖4(c)可見(jiàn):誤差映射表(error map)為0.6530;均誤差(mean error)為0.66;畸變率(distortion)為0.19%,達(dá)到較好的校準(zhǔn)結(jié)果.

3 圖像畸變矯正算法

經(jīng)過(guò)系統(tǒng)校準(zhǔn)后,可對(duì)采集圖像進(jìn)行一定的畸變的矯正,在機(jī)器視覺(jué)系統(tǒng)中,圖像的坐標(biāo)值都是整數(shù)離散的,處理后的圖像坐標(biāo)信息往往與原圖像的位置坐標(biāo)并不一一對(duì)應(yīng),這就會(huì)導(dǎo)致圖像矯正完的坐標(biāo)對(duì)應(yīng)原圖有可能出現(xiàn)不是整數(shù)點(diǎn),因此,就需要用到圖像插值算法[17],進(jìn)一步提高圖像的清晰度.

3.1 圖像矯正算法

圖像矯正的方法目前主要有:0 階插值算法、雙線(xiàn)性插值算法、三次卷積插值算法[18].0 階插值算法是根據(jù)就近原則,利用距離目標(biāo)點(diǎn)最近的像素點(diǎn)來(lái)代替目標(biāo)點(diǎn),該算法計(jì)算便捷快速,但會(huì)產(chǎn)生較為嚴(yán)重的失真,無(wú)法滿(mǎn)足清晰度要求較高的圖像處理;雙線(xiàn)性插值算法通過(guò)在水平和垂直兩個(gè)方向均進(jìn)行線(xiàn)性插值來(lái)確定新圖像中像素值,處理后圖像縮放質(zhì)量較高;三次卷積插值算法將插值點(diǎn)附近的16 個(gè)參考點(diǎn)的灰度值變化考慮在內(nèi),利用三次分段函數(shù)多項(xiàng)式進(jìn)行計(jì)算,精度高但計(jì)算量較大,且對(duì)硬件處理要求較高[19].

對(duì)比分析3 種插值算法,雙線(xiàn)性插值法改善了灰度值離散的問(wèn)題,且兼顧滿(mǎn)足插值精度和算法簡(jiǎn)潔性的要求.因此,本文的圖像矯正算法采用雙線(xiàn)性插值法.

3.2 基于LabView 平臺(tái)圖像畸變矯正

在實(shí)驗(yàn)室電路板檢測(cè)平臺(tái)上進(jìn)行了搭建和對(duì)采集圖像的畸變矯正,圖像矯正可以采用適應(yīng)原圖比例(scale to fit)和保持原圖比例(scale to preserve)兩種方式.在校準(zhǔn)程序中添加矯正模塊的程序代碼,圖像矯正程序界面如圖5黑框內(nèi)容所示.

圖5 圖像矯正程序界面

圖像矯正的結(jié)果如圖6(b)、圖6(c)所示.圖像矯正的誤差參數(shù)如圖7所示.

圖6 PCB 電路板圖像不同方式下矯正前后對(duì)比圖

圖7 校準(zhǔn)并矯正后的誤差參數(shù)圖

由此得出:(1)使用不同縮放模式對(duì)圖像進(jìn)行矯正,生成的矯正圖像尺寸不同;(2)在Scale to Preserve 方式下生成的矯正圖像要略大于源圖像;(3)矯正方式的不同只對(duì)矯正后生成圖像的尺寸大小有影響,與矯正精度無(wú)關(guān);(4)采用線(xiàn)性插值算法進(jìn)行矯正后的圖像畸變率為0.10%要小于校準(zhǔn)后的畸變率0.19%.

4 實(shí)驗(yàn)結(jié)果分析

本文對(duì)結(jié)論在實(shí)驗(yàn)室的電路板檢測(cè)平臺(tái)上進(jìn)行驗(yàn)證,取一塊PCB 電路板采集15 幅圖像,按照設(shè)計(jì)的矯正方案,分別采用多項(xiàng)式畸變模型和Heikkila 模型進(jìn)行畸變矯正實(shí)驗(yàn),矯正后各項(xiàng)誤差參數(shù)見(jiàn)表2、表3.

得到表2、表3中15 幅圖像矯正后的誤差映射平均值分別為0.4393、0.6487,均畸變率為分別0.152701%和0.436 4306%,從誤差參數(shù)的平均值來(lái)看,采用多項(xiàng)式畸變模型矯正誤差明顯較小效果更好,滿(mǎn)足圖像矯正的處理要求;圖像矯正后像素精度達(dá)到0.01,畸變率最小可達(dá)到0.087727%,實(shí)現(xiàn)了滿(mǎn)意的矯正效果.

5 結(jié)論

本文通過(guò)分析攝像頭的成像原理和圖像畸變的原因,基于LabView 平臺(tái)在多項(xiàng)式畸變模型的背景,使用校準(zhǔn)點(diǎn)陣對(duì)機(jī)器視覺(jué)系統(tǒng)進(jìn)行校準(zhǔn),用本文設(shè)計(jì)的矯正方式對(duì)圖像進(jìn)行矯正.通過(guò)實(shí)驗(yàn)測(cè)試,得到圖像矯正后像素誤差可精確至0.01,畸變率最小可至0.087727%,且在LabView 平臺(tái)中程序編寫(xiě)相對(duì)簡(jiǎn)單,開(kāi)發(fā)周期較短.證明此方法較好地實(shí)現(xiàn)了對(duì)圖像畸變的矯正,有效消除畸變影響,是實(shí)現(xiàn)精密檢測(cè)中的必要手段和有效的方法.

表2 多項(xiàng)式畸變模型的PCB 圖像矯正后誤差參數(shù)表

表3 Heikkila 模型的PCB 圖像矯正后誤差參數(shù)表