激光照射性能測量中異源相機的標定方法

景文博， 黃炳坤， 劉健， 于洪洋

(1.長春理工大學 光電工程學院， 吉林 長春 130022； 2.長春理工大學 電子信息工程學院， 吉林 長春 130022)

0 引言

激光照射性能測試系統通常采用單個相機的降級使用進行測量，可見光靶板和近紅外光斑目標成像在同一幅圖像上，可見光和近紅外目標清晰度不能同時得到保證，后期的目標檢測精度低。本文要標定的系統是可見光相機和近紅外相機作為一個測量系統，可見光系統成像具有較強的對比度和形態信息，可以準確快速的對被測量目標進行監視、識別等操作，而近紅外相機對近紅外波段的激光成像技術具有明顯優勢。該系統前端成像部分采用卡塞格林光學系統進行設計，在保證測量精度的同時可以有效減小測量系統的體積，并且受光學鏡頭制造精度及裝調精度等的影響，目標經鏡頭成像后通常會產生不同程度的非線性畸變，需要對兩個相機進行標定消除畸變；另外，由于可見光相機和近紅外相機的安裝、分辨率不同、視場不同均會產生一定程度的空間透視誤差，需要對兩個相機進行空間配準消除軸線非一致性的影響。

張正友相機標定法[1]廣泛應用于單個大視場短焦距相機畸變校正；Merras等[2]利用改進的遺傳算法對未知三維場景進行參數自標定，該方法適用于相機內部參數變化較大情況；Ramalingam等[3]提出一種針孔、魚眼、折反射及多相機網絡的統一標定方法，利用空間中的一組圖像像素和相關的光線建立相機模型，根據圖像像素與空間三維光線的映射關系求解參數，可以將相機的中心、軸向及非中心分開校準。上述方法主要集中在短焦相機標定，考慮因素過多，計算過程復雜。Reznicek等[4]提出了相機校準的有限元方法；而Manuel[5]提出了基于深度學習單圖像標定方法，從一個單一的圖像來預測外在(傾斜和滾動)和內在(焦距和徑向畸變)參數；孟曉橋等[6-7]在相機自標定方法中提出更具穩定性的基于曲線擬合的圓形標定法。這些方法均沒有涉及在遠距離長焦距成像系統中如何進行相機標定的具體方法。傳統的雙相機軸線一致性是通過機械調整法完成[8]，一般會受到裝調精度的影響。通過圖像特征的相機配準方法主要有：楊琪[9]提出基于復合特征的異源圖像配準方法；吳雪[10]在紅外與可見光圖像融合用到基于改進多尺度分析的方法；甘健飛[11]用基于目標檢測的方法實現紅外可見圖像配準，通過融合梯度方向的信息和互信息，對異源圖像運動目標進行特征檢測，從而實現配準；Kong等[12]利用結構轉移融合方法進行紅外和可見光圖像融合，首先構建結構轉移模型將灰度結構從可見光輸入圖像轉移到紅外圖像中，然后執行紅外細節增強策略來補充紅外圖像的缺失細節。這些方法都是根據圖像特征在像素坐標平面完成的平面配準，由于該測量中的可見光相機和近紅外相機坐標平面存在一定的空間變換關系，上述方法無法提供兩個相機坐標平面的空間變換配準。在激光照射性能測量過程中，共用卡塞格林反射式光學系統的可見光相機和近紅外相機(因為兩個相機作為一個整體使用，以下稱這個整體為異源相機)屬于長焦、遠距離成像系統，本文要解決異源相機的畸變校正和軸線一致性配準問題。由于卡塞格林光學系統帶來的像差在成像中不可忽略，根據對張正友短焦、近距離成像相機標定方法的改進，提出一種長焦、遠距離的相機標定方法，對成像圖像進行畸變校正；同時，通過在室內采用網格目標板對可見光和近紅外相機的空間變換進行配準，完成雙相機光軸一致性配準。

1 相機標定和配準方法

激光照射性能測量系統如圖1，由卡塞格林反射結構、光學透鏡、直角分光棱鏡、窄帶濾光片、反射鏡、可見光相機、近紅外相機等組成。

圖1 激光照射性能測量光學系統示意圖Fig.1 Schematic diagram of laser irradiation performance measurement optical system

可見光的靶板目標和近紅外的光斑目標同時經過卡塞格林反射結構傳播至測量系統中，經過分光棱鏡分為兩路，分別獲得可見光靶板和近紅外光斑圖像。

1.1 相機標定

本文選用擴展的針孔模型作為相機模型，該模型可以得到世界坐標系到圖像坐標系的映射關系[11]。定義世界坐標系為OwXwYwZw，可見光圖像像素坐標系為Ovuvvv. 在本文中，可見光和近紅外相機的標定方法相同，以下只對可見光相機標定進行討論。

遠距離成像相機標定中可以忽略透視畸變的影響，本文在張正友相機標定方法[1]的基礎上，使相機內參數中扭曲因子為0，則可見光圖像坐標系與世界坐標系的轉換關系[13-14]可表示為

(1)

1.1.1 內外參數求解

一般情況下，假設物體平面在世界坐標系中的Zw坐標為0. 可見光相機的圖像與三維空間點單應性關系為

(2)

式中：rvok(k=1,2,3)是旋轉矩陣Rvo第k列。

當Zw=0，(2)式中的單應性矩陣可以表示為

(3)

將單應性矩陣Hv表示為3個列向量：

(4)

式中：λv為任意標量。

由(4)式可求得相機外參數為

(5)

相機三維空間的運動，各個旋轉單位向量相互正交，即rvo1和rvo2是單位正交的向量，于是有

(6)

(7)

因為Nv為對稱矩陣，只需提取出其中的6個元素，即令nv=[Nv11,0,Nv22,Nv13,Nv23,Nv33]T，然后可以得到：

(8)

式中：wvij=[hi1hj1hi1hj2+hi2hj1hi3hj2hi3hj1+hi1hj3hi3hj2+hi2hj3hi3hj3]T，將(8)式代入(6)式可得

(9)

在標定過程中，采集m張圖像，迭代可以得到：

Bvnv=0，

(10)

式中：Bv是一個2m×6矩陣。當m=3，通常能得到一個唯一解nv；若m>3，為超定方程，通過最優化方法即可求得最優解nv.

(11)

根據求得的相機內參數，結合(5)式即可確定可見光相機的外參數。

1.1.2 畸變參數的求解

相機鏡頭固有的透視失真和復雜的光學系統裝調精度不高的問題，導致理想成像點沿著徑向偏移。為了提高標定精度，同時考慮理想成像點沿著徑向和切向的偏移影響，如圖2所示。

圖2 徑向畸變drv和切向畸變dtvFig.2 Radial distortion drv and tangential distortion dtv

(12)

式中：(uv,vv)、(u′v,v′v)分別為可見光圖像的理想成像點坐標和畸變成像點坐標；kv1、kv2、kv3為可見光相機的畸變參數；pv1、pv2為可見光切向畸變參數。這里定義畸變向量kv=[kv1,kv2,kv3,pv1,pv2]T，將(12)式畸變點與理想點之間的關系定義為

(u′v,v′v)=ψv{(uv,vv),kv},

(13)

式中：ψv表示理想點到畸變點之間的映射關系。

(12)式通過畸變參數說明畸變點與理想點之間的關系，結合(12)式根據圖像坐標系之間的轉換關系可以得到非齊次線性方程組：

Dvkv=dv，

(14)

式中：Dv為含有圖像采樣點和主點坐標的矩陣；dv為含有圖像采樣點對應的理想點坐標的向量。通過正規方程組解法得到最小二乘解[15]：

(15)

上面求解的相機的內參數和外參數并不是相機參數的準確值，獲得的解是有偏差的，求得畸變參數后，就獲得了擴展的針孔模型的全部初始參數，下一步使實際圖像檢測的像素點與成像模型預測的像素點應用LM迭代優化算法[12]對參數進行優化：

(16)

式中：q為參與計算的點的個數；mvi為實際圖像檢測到的像素點;vi是空間三維點Pvj經過沒有進行優化前的參數投影到圖像上的點。最優化的結果就是可見光相機標定的結果。近紅外相機的標定與可見光相同。

1.2 相機配準

由于兩個相機在一個測量系統中，所以標定出可見光相機的內部參數，并將近紅外相機配準到可見光相機上，測量系統所需要的參數就都被得到。下面是可見光圖像平面和近紅外圖像平面的配準過程，網格目標板在兩個相機上的成像示意圖如圖3所示，配準示意圖如圖4所示。

圖3 網格目標板在兩個相機上的成像Fig.3 Imaging of grid target board in two cameras

圖4 像面配準Fig.4 Image registration

本文研究的相機配準本質是相機坐標系之間的轉換，并且相機配準應用的是二維圖像數據，將兩個圖像平面中的一個透視投影到另一個平面，用齊次變換矩陣表示空間投影變換：

(17)

(18)

通過兩個相機采集到的圖像坐標像素坐標，同一對點可以產生兩個方程，因此只需要4個不在一條直線上的點就可以求出配準矩陣T.

1.3 網格十字角點檢測

相機標定和相機配準中的數據主要由兩個相機對應的十字中心點坐標組成。對每個十字中心點感興趣區域(ROI)進行計算獲得亞像素級位置坐標，ROI如圖5所示。

圖5 網格板示意圖Fig.5 Schematic diagram of grid plate

亞像素十字中心檢測的算法按如下步驟進行：

1)對ROI用最大類間方差法做閾值分割，得到二值化的ROI圖像；

2)用閾值分割前的ROI與二值化的ROI圖像相乘得到灰度ROI圖像；

3)對列(行)方向像素進行投影計算獲得灰度累積和最大的一列ξ(行η)；

4)以坐標(ξ，η)為中心像素產生一個鄰域窗口，本文可見光相機圖像鄰域窗口取15×15，近紅外相機圖像鄰域窗口取9×13，在鄰域窗口內按照質心算法進行計算，獲得單個ROI的亞像素十字中心坐標。

2 實驗結果與數據分析

在獲取攝遠光學系統校正模型后，搭建實驗系統，搭建標定系統實物圖如圖6所示，包括：光源；在光源的一側依次設有平行光管以及攝遠光學系統，攝遠光學系統與計算機相連接；平行光管內設有網格板。獲取圖像之前，首先調整各個設備的位置，使得網格板中心點成像于可見光圖像的中心。

圖6 實驗實物圖Fig.6 Experimental system

標定系統參數的各項參數：可見光相機型號IMPERX ICL-B1410，分辨率1 392×1 040，焦距545 mm，像元尺寸6.45 μm；近紅外相機型號XSW-640-TE1, 分辨率640×512，焦距566 mm，像元尺寸20 μm；平行光管型號F1600；網格標定板規格2 mm±0.05 μm；光源為6 V的全光譜燈。

根據要校正的攝遠光學系統通過使用平行光管使系統等效為距離L處光源的校正系統。

產生平行光時焦距為f′v，平行光管微調標尺刻度為l. 平行光管透鏡焦距與折射率關系為

(19)

式中：k為比例常系數；n為空氣中折射率；n′v為可見光相機透鏡折射率。由此計算產生近紅外平行光時的平行光管透鏡焦距f′ni：

(20)

(21)

調整網格板的位置，分別采集可見光與近紅外圖像。

2.1 相機標定和配準的實驗結果

采集圖像如圖7(a)、圖8(a)所示，選擇以圖像中心矩陣區域的網格角點，即如圖5中虛線框示意的網格點所成的像，提取網格角點坐標。提取坐標如圖7(b)、圖8(b)中標記的網格點坐標，圖7(b)是可見光圖像標記的網格點，圖8(b)是近紅外圖像標記的網格點，其中所標記的網格點坐標是亮色的圓點。

圖7 可見光圖像Fig.7 Visible image

圖8 近紅外圖像Fig.8 Near-infrared image

通過成像模型可以計算出邊長d在理想圖像上對應的像素大小，結合畸變向量k(可見光為kv，近紅外為kni)可以得到理想無畸變圖像坐標Cd，之前所提取的畸變圖像坐標記為C. 由(13)式的畸變校正模型，Cd與C之間的映射關系為

Cd=ψ-1(C,k).

(22)

由表1、表2的重投影誤差統計數據可知，采樣點數越多,重投影誤差越小。

表1 可見光相機平均重投影誤差與采樣點數統計表

表2 近紅外相機平均重投影誤差與采樣點數統計表

由1.1節的相機標定方法分別得到可見光相機內參數矩陣Mvi、旋轉向量Rvo、平移向量tvo、畸變向量kv和近紅外相機內參數矩陣Mnii、旋轉向量Rnio、平移向量tnio、畸變向量kni，這里畸變向量保留5維。可見光相機標定和近紅外相機標定的具體結果如表3和表4所示。可見光相機標定的重投影誤差為0.08像素，近紅外相機標定的重投影誤差為0.19像素。

用得到的可見光和近紅外的標定參數對圖像進行畸變校正，得到如圖9校正后的圖像。設光學畸變校正后圖像為I′，原圖像為I，由(22)式的畸變校正模型可得

I′=ψ-1(I,k).

(23)

結合(1)式可得

Hv=Mvi(Rvotvo).

(24)

圖9 畸變校正圖像Fig.9 Distortion corrected images

應用1.2節提出的配準方法，得到配準矩陣。近紅外相機與可見光相機的配準矩陣為

表3 可見光相機標定參數

表4 近紅外相機標定參數

相機配準軸線一致性精度為0.37 μrad.

2.2 外場實驗結果

將異源相機標定出的參數應用在外場實驗,下面是目標位于1 km處所得到的圖像，如圖10～圖12所示。

圖10 外場實驗可見光圖像Fig.10 Visible image in field test

圖11 外場實驗近紅外圖像Fig.11 Near-infrared images in field test

圖12 外場實驗近紅外圖像配準到可見光圖像Fig.12 Field test near-infrared image registered to visible image

提取圖10與圖12中的坐標點，計算可見光圖像上十字中心點與近紅外圖像合作目標坐標點的距離，如表5所示，分為4種情況進行對比實驗，所得命中率測量精度為1 km處的計算結果。

表5 命中率測量精度對比

表5中不校正、不配準是直接根據可見光相機和近紅外相機的視場大小關系，分別以圖像中心為基準，再根據比例關系得出的命中率測量精度；進行4種對比實驗，按照本文提出的方法對圖像進行畸變校正和配準的計算得出的命中率測量精度最高，很好地完成了激光照射性能測量相機的標定。

3 結論

本文提出了一種對異源相機的標定方法，簡化了可見光相機與近紅外相機需要求解的多個參數，解決了基于卡塞格林系統的攝遠光學系統存在畸變的問題和聯合測量精度的問題，實現了異源相機的高精度標定。得到主要結論如下：

1)遠距離測量中忽略透視誤差的影響，對張正友相機標定方法進行改進，相機內參數中扭曲因子為零，建立了相機參數求解模型，計算超定方程組的最小二乘解，每個相機分別獲得了4個內參數、6個外參數及5個畸變參數。

2)根據可見光相機和近紅外相機成像面的空間透視關系，實現了雙相機軸線一致性標定，即得到了近紅外相機和可見光相機的配準矩陣。

3)在外場實驗中，標定出的相機內參數、外參數、畸變參數，以及兩個相機空間的配準矩陣，對實驗數據進行處理，所得結果證明了本文所提的相機標定方法和配準方法的有效性、實用性以及可靠性。