基于激光掃描儀的線陣相機動態高精度標定

韓友美,王留召,鐘若飛

1.山東科技大學測繪科學與工程學院,山東青島266510;2.首都師范大學三維空間信息獲取與應用教育部重點實驗室,北京100048;3.中國測繪科學研究院,北京100039;4.河南理工大學,河南焦作454000

基于激光掃描儀的線陣相機動態高精度標定

韓友美1,2,3,王留召2,4,鐘若飛2

1.山東科技大學測繪科學與工程學院,山東青島266510;2.首都師范大學三維空間信息獲取與應用教育部重點實驗室,北京100048;3.中國測繪科學研究院,北京100039;4.河南理工大學,河南焦作454000

結合線陣相機的成像特點以及正在研制的車載三維數據采集系統本身的特性,提出一種利用激光掃描數據為基準,標定線陣相機內參數的技術方法,以實現激光掃描數據和線陣相機掃描影像精確對準。應用激光掃描儀原始數據中的角度信息,結合線陣相機的成像原理,建立線陣相機的內參數標定模型,并設計相應的試驗方法,計算出了高精度的畸變參數,為實現真實紋理映射奠定基礎,為同類產品的檢校提供參考。

線陣相機;動態檢校;激光掃描儀;車載

1 引 言

建筑物表面紋理數據獲取與真實紋理映射一直是數字城市亟待解決的難點問題,也是城市三維建模的重點研究內容之一[1]。車載三維數據采集系統(vehicle-borne 3D data acquisition system)的研制就是在數字城市建設的推動下應運而生,它的出現加快了城市三維建模的速度[2],同時線陣相機的引入為其在建立城市真彩色三維模型的應用錦上添花。

車載三維信息采集系統由諸多設備組合而成,其中主要是線陣 CCD相機、激光掃描儀、GPS、IMU(inertial measurement unit)慣性導航系統等設備。線陣相機(line scan camera,LSC)作為紋理信息采集傳感器,它具有采集頻率高、視角寬的優點,克服了傳統面陣數碼相機不能及時存儲圖像以及產生影像漏洞的缺點。同面陣數碼相機一樣線陣數碼相機的非量測性和鏡頭的畸變仍然是導致其在紋理數據采集中發揮優勢的主要瓶頸之一。常見的傳統面陣數碼相機的標定方法包括:空間后方交會、直接線性變換、基于多像滅點、解析鉛垂線以及自檢校法等[3-6],這些方法依賴于在不同的位置獲取相同的目標的影像,然后借助于共線方程來計算相機的內方位元素及其畸變參數。線陣相機作為面陣相機的特例,它本身的線陣特性需要為其探索新的檢校方式,目前對線陣相機的檢校大多是在固定相機位置不動調整特制靶標的位置來進行的[7-9],目標離相機的距離比較近,測得的精度較低。

線陣相機和激光掃描儀(laser scanner,LS)作為車載三維數據采集系統的兩個重要的組成部分,其中線陣相機是用于獲取街道兩旁建筑物的彩色紋理信息,激光掃描儀可獲取相應的建筑物高精度三維坐標,兩者有一定的共同點:在采集數據瞬間,激光掃描儀采集的數據可以看作離散點組成的線,而線陣相機采集的是一條寬度為一個像素的RGB彩色線條。正是由于這種共性才使得借助激光掃描儀數據的特性來對線陣相機進行標定成為可能,本文提出的線陣相機的標定方法有別于傳統的面陣相機和當前常用的線陣相機標定思想,標定精度高,可為類似的線陣CCD傳感器標定提供參考。

2 線陣相機標定參數

車載三維數據采集系統采用的相機是日本JAI公司生產的線陣相機CV-L107CL,圖1是該線陣相機的外形,已經根據車載三維數據采集系統設計需求對其進行了加固。此相機采用棱鏡分光技術,色彩還原好,相機本身還從硬件上固化了按鈕點觸式白平衡,線速率高達19 048線/s,分辨率高,因此能快速采集到非常逼真的彩色影像。但是器械的誤差還是難免存在的,而且后期影像數據還要與激光掃描儀數據進行融合,所以前期必須對其進行精確的檢校。

圖1 JAI線陣相機Fig.1 The JAI camera

線陣相機的誤差主要有鏡頭引起的誤差和CCD引起的誤差。此相機采用的是 Nikon AF14mm鏡頭。鏡頭引起的誤差是由鏡頭物鏡系統設計、制作和裝配所引起的像點偏離其正確位置的誤差,主要是指光學畸變差,光學畸變差包括徑向畸變差和偏心畸變差。偏心畸變差往往不足像元尺寸的三分之一,所以這里僅考慮徑向畸變差[3,10]。

線陣相機CCD引起的誤差主要有CCD安置、CCD陣面不平整和CCD面陣內變形引起的誤差。CCD的安置誤差引起線陣相機的主點坐標不為0; CCD陣面不平整與攝影技術無關,只有利用專業設備通過直接量測CCD元件表面才能得到其精確的不平整度,試驗證明其影響很小,可以不計[3]。

3 線陣相機的參數標定

3.1 概述

線陣相機只有在動態情況下才能對目標物體正常成像,而動態拍攝時,如果采用傳統的面陣相機的標定方式,由于相機和目標間的相對姿態也在不斷變化,線陣相機的線頻之高使得姿態測量很難進行,這就導致線陣相機內方位元素的標定非常困難。國內外專家學者構建了幾種線陣相機標定的方法:早在1993年 Radu Horaud等設計了一組直線組成的圖形用于標定線陣CCD[7],國內學者也做了類似的試驗[8],2008年北京信息科技大學的學者還發明了由多條等間距豎線和兩條平行橫線組成的線陣CCD標定靶標,文獻[9]提出的兩步法線陣標定技術也是基于類似原理設計的,他們的共同特點是通過制作特殊靶標,分析靶標上的特征線在線影像中的分布,確定靶標與相機的相對位置關系,進而標定相機內方位元素。如果將靶標放在較遠位置(相機成像的無窮遠)進行測試,則靶標只能在CCD很小的范圍內成像,要在CCD邊緣得到靶標影像,則需要將靶標設計的很大,實際上這是非常困難和不現實的。因此這幾種方案標定相機的精度就難以保證。

3.2 基于激光掃描儀對線陣相機進行標定的思想

以線陣影像中心O為原點,指向相機頂部的方向為正,建立像平面坐標系(見圖2)。本文對線陣相機檢校的主要內容包括:相機的內方位元素,即像主點在像平面坐標系中的坐標 x0和主距f;徑向畸變差。

圖2 線陣CCD相機的成像原理簡圖The imaging principle of the line scan camera

從圖2中可以看出

其中,xi為目標在影像上的理論坐標值;f為主距;αi是某像素點與主點中心連線與主光軸之間的夾角(也稱作入射角)。

線陣相機的像方坐標只與目標的入射角和主距有關,如果能夠精確確定目標的這兩個參數,就能夠計算出其像方坐標,進而求出相機的內方位元素。

在車載三維數據采集系統中,激光掃描儀是靠動態來測定目標物的三維坐標的傳感器,它有精度較高的角度測量器件,激光角度測量標稱精度為±20″[11],線陣相機CV-L107CL配置的鏡頭標稱主距 f為14 mm(相當于1 000個像素,像素大小為14μ)。

公式(1)xi=tanαi·f中,當α是小角時,可以簡化為 xi=αif

也就是說激光掃描儀的角度誤差引起的影像上的坐標變化不足0.1個像素,因此可忽略激光的角度誤差對線陣相機標定結果的影響。另外通過精密機械加工將線陣相機安裝在激光掃描儀上(見圖3),安裝誤差可以控制在1 cm內,測試目標物體與相機直接的距離大于25 m,根據式(1)也可以得到兩個傳感器的偏心誤差對像素的最大影響為0.4個像素左右,所以這個誤差可忽略,這也是能借助激光掃描儀角度對線陣相機進行檢校的必要前提條件。

圖3 線陣相機和激光掃描儀的剛性固定結構Fig.3 The rigid construction of the LSC and LS

將二者剛性嚴格平行固定在一起,采用精密塞規將二者平行性進行調整,最終夾角可調整在±5″以內,這種剛性平行構造使得運動過程中兩傳感器的姿態變化一致。作業時使兩傳感器沿精密導軌運行,得到目標物的點云和線陣影像。對特征點豐富的墻面進行數據采集,編寫程序提取點云中特征點,并查找得到這些點的原始掃描角度。在影像上提取相應的同名點影像坐標并記錄下來。在相機視場內均勻觀測 N組數據,通過平差精確計算出相機參數。

3.3 線陣相機標定模型

根據幾何光學,線陣相機 y=0,其物鏡系統的徑向畸變Δr可用下列奇次多項式表達

其中,Δr是以μm為單位表示的徑向畸變差值; ki(i=0,1,2,…)是描述該物鏡系統徑向畸變的系數;r為該像點的向徑,嚴格說是該像點與自準直主點PPA之間的距離。由于Δr是小值,r可用以下近似式計算

其中,x0是像主點的像平面坐標;X′為該點的像平面坐標。

絕大多數物鏡系統,取三個k系數已經能準確地描述它的畸變曲線,對一些質量好的物鏡系統,只要取前兩項足矣[4]。

將式(1)、(3)代入式(2)轉換得到線陣相機的標定模型

由于 f與x0、k0、k1、k2相關,因此應該分兩步求解來保證結果的正確性。

第一步:求 x0、k0、k1、k2。

對模型進行線性化得到

當具有若干個觀測值時,可將式(4)寫成矩陣的形式

其中,

迭代計算得到 x0、k0、k1、k2。

第二步:求f。

對模型進行線性化得到

當具有若干個觀測值時,將式(5)寫成矩陣形式

其中,A=tanai;X=Δf;L=xi-(xi)。

用第一步求取的參數值作為其初值,迭代計算求取主距f。將得到的f作為初值重新計算第一步的參數,直到所有參數計算都收斂穩定后結束,最終得到較高精度的參數值。具體計算流程見圖4。

圖4 標定參數計算流程圖Fig.4 The flow chart of computing parameters

4 試驗數據及精度分析

將線陣相機和激光掃描儀(按照如圖3所示)的平行剛體結構一同安置在升降平臺上,設置平臺在豎直平面內按照一定的頻率進行移動,對建筑物街景進行數據采集,得到影像和點云原始數據。其中本文選取的對象是點云數據中表現出一定突出特性的磚縫墻。

圖5 彩色點云以及與影像的對應圖Fig.5 The corresponding of the cloud points and the image

用自行開發的程序對點云進行處理,提取出特征點,根據對應位置在影像上找出相應的特征點并進行量測,從而得到試驗數據的觀測值——采集的點的像素值以及對應的角度信息。(圖5為開發的程序的彩色點云與影像的對應的顯示圖)

本文還編制了相應的參數解算程序,并根據經典平差理論設立了粗差剔除機制,計算完一遍參數以后進行判斷,如果

則認為這組數據為觀測不準確數據,從原始數據中剔除這一行的數據,將所有數據檢查一遍,然后用剩余的數據重新進行參數計算。這樣迭代進行計算,采集的每個像素的改正值都小于3倍的標準中誤差,具體數據處理流程見圖4。

試驗初步采集了三組數據,用三組數據分別計算參數,根據參數將相應的一條影像線上的像素進行畸變差計算,畫出相應的畸變差曲線(如圖6),通過三組數據的畸變差曲線的比較,看到畸變差的圖形走勢基本重合,說明標定模型正確,結果精度較高。

圖6 畸變差曲線(每種顏色代表一組數據的計算結果)Fig.6 The curve of the distortion

三組數據的計算結果見表1。

對各組數據分別進行了畸變差改正的中誤差計算:

CV-L107CL相機的像元大小為14μm,每組的觀測數據在150個左右,可以得到最大的一組的畸變差改正值中誤差為0.51×14=7.14μm,已經完全滿足后期進行數據融合的精度要求。

三組數據進行數據分析,得到主點和主距的中誤差分別為單位均是像素(14μm),也就是主點中誤差0.16×14=2.24μm,主距中誤差0.54×14= 7.56μm。由于兩傳感器中心的不重合直接影響到主點的解算結果,因此結果中的主點值不能反應相機的真實情況,但對后期影像與激光數據的融合沒有影響。

表1 三組數據的計算結果及畸變差改正精度Tab.1 The results and the accuracy of the three group data

5 結束語

根據數據分析結果可以看出,該標定方法和數據處理方法計算出的畸變差精度高達7.14μm主點中誤差為 2.24μm,主距 f的中誤差為7.56μm,完全能夠滿足將彩色影像賦給點云的精度要求。此方法得到的畸變差改正參數精度高、穩定性好,也可以用于同類產品標定。如果想進一步提高精度,可以進一步加大線陣相機與被攝物體間的距離,從而進一步降低激光掃描儀測角誤差和機械安裝誤差對整個檢校精度的影響,提高像素和對應角度的觀測精度。

[1] WEI Bo,ZHANG Aiwu.Design and Implementation of a Vehicle-borne System of 3D Data Acquisition and Processing[J].Chinese Journal of Stereology and Image Analysis, 2009,13(1):30-33.(魏波,張愛武.車載三維數據獲取與處理系統設計與實現[J].中國體視學與圖像分析,2008,13 (1):30-33.)

[2] CHEN Yunfang,YE Zetian.Research on Mobile Data Collection System Based on Multi-sensor[J].Transducer and Micro-system Technologies,2006,25(12):23-25. (陳允芳,葉則田.多傳感器組合的移動車載數據采集系統研究[J].傳感器與微系統,2006,25(12):23-25.)

[3] XIE Wenhan,ZHANG Zuxun.Camera Calibration Based on Vanishing Points of Multi-image[J].Acta Geodaetica et Cartographica Sinica,2004,33(4):335-340.(謝文寒,張祖勛.基于多像滅點的相機定標[J].測繪學報,2004,33 (4):335-340.)

[4] FENG Wenhao.Close Range Photogrammetry[M].Wuhan: Wuhan University Press,2004:185-193.(馮文灝.近景攝影測量[M].武漢:武漢大學出版社,2004:185-193.)

[5] LIN Zongjian,CUI Hongxia.Research on the Digital Camera Distortion Calibration [J]. Geomatics and Information Science of Wuhan University,2005,30(2):122-125.(林宗堅,崔紅霞.數碼相機的畸變差檢測研究[J].武漢大學學報:信息科學版,2005,30(2):122-125.)

[6] WANG Dong,FENG Wenhao,LU Xiushan.Camera Calibration ofNikon D1X [J].Science ofSurveying and Mapping,2007,32(2):33-34.(王冬,馮文灝,盧秀山. Nikon D1X相機檢校[J].測繪科學,2007,32(2):33-34.)

[7] HORAUD R,MOHR R,LORECKI B.On Single-Scan Line Camera Calibration [J]. IEEE Transactions on Robotics and Automation,1993,9(1):71-74.

[8] QU Wenqian,YI Yi,HU Xiaole.The Application of Single Scan Line Camera in Vehicle Borne 3D Information Data Acquisition System[J].Journal of Capital Normal University:Natural Science Edition,2008,29(5):9-11.(曲文乾,翼翼,胡曉樂.線陣相機在車載三維信息采集系統中的檢校分析[J].首都師范大學:自然科學版,2008,29(5):9-11.)

[9] ZHANG Hongtao,DUAN Fajie.Study on Calibration of Linear CCD Based on Two Steps[J].Acta Metrologica Sinica,2007,28(4):311-313.(張洪濤,段發階.基于兩步法線陣CCD標定技術研究[J].計量學報,2007,28(4): 311-313.)

[10] W ANG Liuzhao.Small Digital and Aerial Photogrammetry System[D].Kunming:Kunming University of Science and Technology,2006:5-6.(王留召.小型數字航空攝影測量系統[D].昆明:昆明理工大學,2006:5-6.)

[11] WANG Liuzhao,QU Laichao.The Calibration of RA-360 Laser Scanner[C]∥The 6th International Symposium on Digital Earth.Beijing:[s.n.],2009.

The Calibration of the Line Scan Camera Based on Laser Scanner

HAN Youmei1,2,3,WANGLiuzhao2,4,ZHONG Ruofei2
1.Shandong University of Science and Technology,Qingdao 266510,China;2.Capital Normal University,Beijing 100038,China; 3.Chinese Academy of Surveying and Mapping,Beijing 100039,China;4.Henan Polytechnic University,Jiaozuo 454000,China

Based on the characters of the line scan camera and the vehicle-borne 3D data acquisition system,this paper presented a method to calibrate the line scan camera(LSC)based on the laser scanner.Using the angle information in the original laser scanner data,combing the principle of the line scan camera,it built a calibration model for LSC and designed some experiment methods for that.Then it computed high precision calibration parameters,which provides basis for the texture mapping in the future and gives references to the similar sensors calibration.

line scan camera;dynamic calibration;laser scanner;vehicle-borne

HAN Y oumei(1981—),femail,PhD candidate, majors in digital photogrammetry and modeling.

1001-1595(2010)06-0631-05

P234

A

國家863重點項目(2008AA131301)

(責任編輯:雷秀麗)

2009-12-07

2009-02-03

韓友美(1981—),女,博士生,主要研究方向為數字攝影測量與建模。

E-mail:hanyoumei@126.com