基于激光線陣的線陣相機在線畸變標定和校正

羅曉賀,賈克斌,熊道權,田秀臣,劉鵬宇

(1.北京工業大學信息與通信工程學院,北京 100022；2.北京世紀東方國鐵科技股份有限公司,北京 100070)

1 引 言

很多細小特征的測量需要高精度的圖像,實際應用中的相機不可避免地存在畸變現象,直接影響圖像的質量和測量的精度。線陣相機因其分辨率高、抗干擾性強等優勢,現廣泛應用于各領域的無接觸實時測量系統中[1-3],因此,線陣相機的畸變標定和校正方法研究成為目前測量領域的一個熱點。

目前,現有的線陣相機畸變標定的方法主要是利用特定結構的靶標實現測量[4-8]。例如,Horaud等人[4-5]提出基于特定形狀平面靶標的標定方法,通過靶標特征點相對位置的變化,再借助精密位移平臺對平面靶標進行特定方向的移動,實現所有特征信息的提取,進而實現線陣相機畸變的標定。Luna等[6]在Horaud標定方法的基礎上進行了改進,將2D平面靶標改為了3D靶標,避免了精密位移平臺的使用,但是3D靶標制作比較困難,成本高。孫博等[7]在傳統平面靶標的基礎上提出一種利用激光跟蹤儀輔助的線陣相機標定方法,通過激光跟蹤儀測量靶標上的6個標記點獲得靶標的位姿和姿態,再結合平面靶標特征點的特征變化完成了線陣相機的標定。上述方法的相機標定參數全面:均可獲取相機和被測物之間的全部相對位姿,而且后面兩種方法還在此基礎上實現了鏡頭的非線性畸變標定。但是,這些方法,一方面無法保證標定時和工作時鏡頭參數和使用場景的一致性；另一方面,其標定過程都比較復雜且耗時；因此,無法實現線陣相機的在線實時標定和校正。

隨著激光技術的迅速發展,激光結構光因其高亮性、形式多樣性和結構穩定性在測量領域的應用越來越廣泛[9-10]。其思想主要為基于結構光的物像形狀的變化實現目標的在線測量。此外,在很多特定應用領域,相機和成像物之間的相對位置固定。例如,軌道交通測量中,相機放置在軌檢車上,相機和軌道之間的距離、夾角等都不發生變化。此時,相機需要標定的參數比較少。本文針對該應用場景,結合激光結構光的應用,提出一種基于激光線陣的線陣相機在線畸變標定和校正方法。一方面,該方法畸變標定場景和標定結果的使用場景是統一的,無差別的,這在一定程度上可以提高標定精度；另一方面,無需放置靶標,一切都以開關的形式、而非人工的形式實現標定過程、以及標定和測量的轉換過程,在一定程度上提高了測量的效率及自動化的程度。

2 畸變標定和校正原理

2.1 畸變標定和校正原理圖

如圖1所示,為線陣相機的畸變校正原理圖。圖1(a)為激光器發射出的激光線陣圖樣,其中圖示豎向激光線組成相互平行的“基準線陣”；橫向的兩條激光線稱為“范圍標志線”,這兩線相互平行且位于基準線陣的近中心位置。范圍標志線內的基準線陣的相對位置固定,且可以通過預先測定而已知。

具體的畸變標定和校正過程為:首先,激光線陣被投影在圖1(b)所示的被測物體上,形成圖1(c)所示的場景；然后將線陣相機對準圖1(c)中范圍標志線內的任意一行,并保持相機和被測物體都不動,線陣相機利用時鐘觸發,形成多行重復的圖像,并輸出,如圖1(d)所示；通過圖像處理獲取圖1(d)中亮線的位置,再對比于圖1(a)中線陣相對位置的測定值(測定值看作為各激光線相對位置的真值),即可獲取此時(相機和成像物)相對位姿下的相機畸變系數,完成標定；關掉激光器,保持相機和被測物距離不變,移動相機或被測物,使二者相對運動而成像(如圖1(e)所示),根據標定得到的畸變系數即可實現圖像畸變的實時校正。

圖1 畸變標定和校正原理圖

在上述過程中,①激光線陣中設置“范圍標志線”的目的為:確保基準線陣相對間隔的不變性；這是因為,基準線陣不可避免地存在一定的不平行度,這會使得不同位置的相鄰線之間的間隔不同；在設置了間距較小的“范圍標志線”后,會大大縮小基準線陣的使用范圍,而該范圍內激光線的相對間隔可以看作是不變的。②基準線陣的投射位置和被測物體的成像位置是重合的,根據基準線陣相對位置的變化計算得到的畸變系數進行畸變校正的話,相當于對被測物進行了實時的畸變標定和校正,而無需已知此時相機的視場大小,也無需知道相機和被測物體之間的角度、距離等,準確高效。③靜止線陣相機的成像目標為一條線,采用時鐘觸發會形成同一線目標不斷重復的圖像,此時的亮線在圖像中是絕對豎直的,便于計算。

2.2 畸變標定和校正公式

線陣相機成像模型示意圖如圖2所示。圖中,O2x2y2為被測物面；O1x1為線陣相機的線性傳感器的長度方向；O1x1f為平行于物面的輔助線；O1x1f與O1x1的夾角為θ。相機和物面的相對運動方向平行于物面(保證了物距不變)；在相對運動過程中,物面上的線性物視場依次成像在線性傳感器上,此時線性傳感器的軌跡形成一個平面,稱為像面；像面和物面成θ角,且相對位置不變(即物距和θ角保持不變)。

圖2 相機成像模型示意圖

在上述運動情況下,只需要考慮鏡頭本身的非線性畸變和θ角所形成線性畸變即可。這兩種畸變在像面上的表現都是各點在O1x1軸上的一維位置變化。此時,線陣相機畸變的數學模型可以表示為:

Δf=k0+k1f+k2f2+k3f3+…+knfn+…

(1)

式中,f表示目標在O1x1軸上的實際歸一化線性視場大小；Δf表示目標在O1x1軸上的實際歸一化線性視場和理想歸一化線性視場的差值；kn(n=0,1,2,…)表示畸變系數；f0=f-Δf,表示目標的理想歸一化線性視場位置；畸變標定和校正的核心內容為獲取畸變系數kn。

2.2.1 基準線陣相對間隔zm和歸一化線性視場fm

基準線陣相對間隔是求解公式(1)中歸一化線性視場的關鍵,而歸一化線性視場為計算畸變系數的參數。因此,首先應該明確基準線陣相對間隔和歸一化線性視場的概念。現以圖1(d)為例進行概念的說明。

(1)基準線陣定位

將圖1(d)重新顯示為圖3(a)。對圖3(a)中基準線陣的各激光線進行編號,序號以m表示(m從1開始,從左到右依次增加)。理論上講,圖3(a)各行的光強分布完全相同；取圖像中的任意一行,光強分布如圖3(b)所示。對光強進行去背景、加權求平均等操作后,求得各激光線列坐標。激光線列坐標,由符號xm表示。

(2)基準線陣相對間隔zm

以序號為1和2的激光線間隔為標準,計算基準線陣相對間隔zm為:

(2)

很顯然,z1=0,z2=1。

(3)基準線陣歸一化線性視場大小fm

以圖3(a)為例,圖像的最小列號為xmin=0,且對應于-1視場；最大列號為xmax=2048,對應于1視場；中心列號xmedian=(2048+0)/2=1024對應于0視場。則基準線陣列號xm對應的歸一化線性視場為:

圖3 基準線陣定位示意圖

(3)

2.2.2 畸變系數計算

假設已知基準線陣相對間隔的測定值(即真值)zm0和激光線陣的實際歸一化線性視場fm,對畸變系數進行計算。

(1)初始計算過程

① 尋找位于圖像0視場兩側的激光線。如圖3(b)所示,假設序號為mA和mB(=mA+1)的激光線位于0視場的兩側,其實際歸一化線性視場分別為fmA和fmB。因為畸變中心一般位于圖像中心列位置附近,所以現假設[fmA,fmB]范圍內的位置沒有畸變。

② 以fmA和fmB的視場間距為標準間距；zm0中序號為mA和mB的數分別為zmA0和zmB0；則各激光線的理想歸一化線性視場fm0為:

(4)

③ 則激光線陣的實際歸一化線性視場和理想歸一化線性視場的差值為:

Δfm=fm0-fm

(5)

④ 以公式(1)為依據,采用最小二乘法擬合Δfm和fm之間的關系式,其系數kn(n=1,2,…)即為所求的畸變系數。

(2)優化過程

在上述過程中存在一個假設:[fmA,fmB]范圍內的位置沒有畸變,而且所有的計算都是以fmA,fmB的數值為基準進行的。但是,實際上該范圍肯定存在一個小的畸變,因此,fmA,fmB的數值存在一定誤差；為了減小該誤差的影響,需要對其進行優化。

優化過程為:

① 將初始計算過程求得的kn和fm代入公式1,重新擬合出一個新的歸一化線性視場差值,記為Δfm_1；此時Δfm_1中序號為mA和mB的數(分別記為ΔfmA_1和ΔfmB_1),對比于Δfm中相應位置的數據(分別記為ΔfmA和ΔfmB)是有一定的差值的；

② 計算bA=|(ΔfmA_1-ΔfmA)/ΔfmA|和bB=|(ΔfmB_1-ΔfmB)/ΔfmB|；如果bA<0.05,bB<0.05,則跳轉至過程⑤,否則繼續過程③；(注:0.05為自己定義的數值,數越小,精度越高,計算量越大)

③ 選擇Δfm_1中的序號為mA和mB的數,并替換掉Δfm中相應位置的數據,得到新的Δfm；

④ 然后根據最小二乘法擬合新的Δfm和fm之間的關系式,得到新的畸變系數kn；然后回到過程①。

⑤ 根據最新擬合到的Δfm_1中的序號為mA和mB的數(ΔfmA_1和ΔfmB_1)來補償序號為mA和mB的激光線的理論歸一化線性視場。即,公式(4)中的fmA和fmB被優化補償為fmA+ΔfmA_1和fmB+ΔfmB_1；然后重新計算公式(4),(5),再根據公式(1)進行多項式擬合,得到最終的畸變系數kn。

3 數據仿真和誤差分析

在整個測量過程中,很多環節都會產生誤差,如:經過優化,fmA,fmB的數值存在的誤差會大大減小,但是依舊會有殘留；去背景和加權求平均的激光線定位算法會存在一定誤差；基準線陣相對間隔的真值zm0是由測定得到的,會存在一定的測定誤差,等等。其中,由zm0的測定誤差造成的畸變校正誤差稱為“基準誤差”,其余原因造成的畸變校正誤差稱為“原理誤差”。

為了分析原理誤差和基準誤差的變化規律及大小,現設定仿真參數如下:

(1)假設在一定的物距下,相機的目標線視場為[-130,130]mm,目標采集點為一組間隔為1 mm的點；則目標歸一化線視場的理論數值為f0=-1∶(1/130)∶1(即以1/130為間隔,從-1到1的序列值)。

(2)激光線陣(激光線數量記為num≥3)以一定的距離照射到目標上時,且邊緣的兩條激光線分別對應線視場-130 mm和130 mm。激光線陣的相對間隔的測定值(即真值)zm0,如圖4(a)所示。圖中,橫坐標為激光線的序號m,縱坐標為zm0-m+1。

圖4 誤差分析

(3)相機的分辨率為1×2048,鏡頭畸變曲線如圖4(b)所示。圖中,橫坐標為歸一化的線性視場；縱坐標為畸變量,由符號d表示,單位為(%)。很顯然,該鏡頭的最大畸變發生在最大視場處,為1.8 %,即max(|d|)=1.8 %。

(4)像面和物面的夾角為θ(可設定為不同的數值)。

3.1 原理誤差分析

選擇num=41,θ=5°。首先,根據圖4(b)顯示的鏡頭畸變和θ=5°,結合公式(1)～(3),仿真得到激光束的實際歸一化線性視場fm；然后,根據2.2.2的過程即可求得畸變系數kn(n=0,1,2,…)；最后,根據kn對fm進行校正,得到校正后的數據fz。δf=fz-f0,即為原理誤差,曲線f0-δf如圖4(c)所示。

由圖4(c)可知,當num=41,θ=5°時,原理誤差的最大相對值為2.0632×10-5,對應的畸變校正的絕對誤差為2.0632×10-5×1024=0.0211 pixel。

改變鏡頭的最大畸變量(即圖4(b)中各數同時除以某個數值)、θ和num,可得到其余原理誤差曲線。現將各曲線中|δf|的最大值提取出來,并轉化為絕對誤差,列于表1中。

表1 原理誤差最大值

根據表1中數據可知:(1)當相機的畸變量(包括d和θ)固定時,原理誤差會隨著激光線數量的增加而減小,達到最小值后再隨著激光線數量的增加而增加；很顯然,在上述仿真條件下,激光線數量大約為41時達到最優；因此,為減小測量誤差,實際測量中激光線數量盡量選擇最優值。(2)當激光線數量固定時,原理誤差會隨著鏡頭畸變量d的增加而增加,而θ的影響不太大。

3.2 基準誤差分析

在3.1描述的仿真過程中,給zm0加上一定量的測定誤差(符合以σerr為方差的高斯分布),得到基準誤差。類似于表1,不同參數下對應的基準誤差最大值如表2所示。

根據表2中數據可知:(1)當相機畸變量固定時,基準誤差會隨著測定誤差的增加而增加；當num=41,max(|d|)為1.8 %,測定誤差σerr<3×10-4時,基準誤差<0.1 pixel；(2)當測定誤差σerr固定,且鏡頭最大畸變量max(|d|)<3.6 %,像面和物面夾角θ<10°時,相機畸變量的大小對基準誤差的影響不靈敏。

表2 基準誤差最大值(num=41)

4 實驗設計與結果

為了驗證上述算法的有效性,在實驗室中進行了一系列的實驗。

4.1 實驗裝置

實驗裝置如圖5所示,由兩個系統組成:

圖5 實驗裝置示意圖

系統1:圖像采集系統

(1)線陣相機。相機采用的是DALSA線陣相機,其分辨率為1×2048,像素尺寸為7.04 μm,行頻最高可達52 kHz；相機鏡頭焦距為12.5 mm,最小物距為0.1 m,畸變曲線如圖4(b)所示。

(2)激光線陣。定制的激光線陣,輸出波長為650 nm,基準線陣數為41條,范圍標志線為2條；在0.25 m正投影下,基準線距約為6.5 mm,線長約為190 mm；范圍標志線線距約為8 mm,線長約為260 mm。經測定,激光線陣相對間隔如圖4(a)所示,測定誤差<1.6×10-4。

(3)光源。采用了24 V的線陣光源,其尺寸為20×500 mm。

(4)電動移動平臺。相機、激光線陣和光源位置相對固定,被安裝在一個電動平移臺上,該平移臺的有效運動距離為1.5 m,運動速度可以在0.01～0.5 m/s之間連續轉換。電動平臺運行,線陣相機和被測物之間實現了相對移動,進而拍攝到一系列的圖像。

(5)旋轉編碼器。采用的歐姆龍編碼器,分辨率為1024 P/R。編碼器安裝在移動平臺的電機轉軸上,用于保證圖像的分辨率不受移動速度變化的影響。

系統2:被測件

(1)標定板。被測物采用標準網格標定板。根據標定板圖像校正后的角點位置,實現畸變校正精度的定量分析。標定板有12×9個網格,網格的邊長為20 mm×20 mm。

(2)三維旋轉臺。三維旋轉臺用于支撐并調整標定板的位姿,采用大恒GCM-1123M三維旋轉臺,調節范圍為±4°,分辨率為2′。在實驗之前,應將標定板和相機的距離調至0.25 m(使得線陣投影寬度剛好能夠包含被測物的寬度),標定板和移動平臺的移動面調至平行,且標定板的豎向直線與相機傳感器平行(便于數據處理)。

4.2 實驗數據

4.2.1 畸變標定

啟動激光線陣,將線陣投影在標定板上；關閉條形光源,并保持所有器件不動,啟動相機時鐘觸發,連續采集10幅2048×2048的圖像,得到其均值圖如圖6(a)所示。提取其中的一行,計算得到各激光線的位置,并帶入公式(2)和(3),得到各激光線的實際歸一化線視場fm,如圖6(b)所示。將圖4(a)的數據和fm采用2.2.2的數據處理過程,即可得到相機的畸變系數kn,如表3所示。其中,中間參數:激光束的歸一化線視場差Δfm,如圖6(c)所示。

圖6 基準線陣均值圖像和相關數據

表3 畸變系數

4.2.2 畸變校正及誤差分析

關閉激光線陣、開啟條形光源和移動平臺,采集到1幅1500×2048的標定板圖像,如圖7(a)所示,根據表3中的畸變系數kn,對圖7(a)進行畸變校正,校正后圖像如圖7(b)所示。

圖7 單次測量的標定板圖像及相應數據

對圖7(b)中各角進行編號,記為N。N以1為起始,從上往下,從左到右依次增加。各角點在從圖7(a)到圖7(b)的校正過程中的位移量如圖7(c)所示。

以圖7(b)中N=1和2的角點位置為基準,結合標定板各角點的理想相對位置關系,反推出其余各角點的理想位置；而圖7(b)中各角點的實際位置和理想位置的距離記為各角點的校正誤差,如圖7(d)所示。圖7(d)中各角點校正誤差的均方根為σ=0.5685 pixel。

5 總 結

綜上,本文提出了一種線陣相機在線畸變標定和校正方法。該方法適用于物距不變的場景,標定時只需一組相對間隔已知的激光線陣即可。當相機被放置在工作位置之后,將激光線陣投射到被測物體上,在靜止狀態下對激光線陣成像；根據像中激光線陣的位置,并結合激光線陣的理論相對間隔,即可以實現相機工作位置的畸變標定；然后,保持相機和被測物相對位姿不變,相機開始工作,此時可以利用標定結果對相機工作過程中采集到的圖像進行實時校正。標定和校正過程簡單、快捷,而且標定場景和相機的工作場景是相同的,結果比較可靠。此外,激光線陣的數量會影響最終的標定和校正精度,經分析發現,當物距為0.25 mm,物視場為±130 mm時,激光線陣的數量存在一個最優值,約為41。實驗證明,在激光線陣數量為41,物距為0.25 m時,校正后影像點的位置偏差均方根為0.5685 pixel。