車載全景影像與激光點云數(shù)據(jù)配準(zhǔn)方法研究

閆　利，曹　亮，陳長軍，黃　亮

(武漢大學(xué)測繪學(xué)院，湖北 武漢 430079)

Registration of Vehicle-borne Panoramic Image and LiDAR Point Cloud

YAN Li，CAO Liang，CHEN Changjun，HUANG Liang

?

車載全景影像與激光點云數(shù)據(jù)配準(zhǔn)方法研究

閆利，曹亮，陳長軍，黃亮

(武漢大學(xué)測繪學(xué)院，湖北 武漢 430079)

Registration of Vehicle-borne Panoramic Image and LiDAR Point Cloud

YAN Li，CAO Liang，CHEN Changjun，HUANG Liang

摘要：全景影像與激光點云的高精度配準(zhǔn)是車載移動測量系統(tǒng)中多傳感器數(shù)據(jù)集成處理的關(guān)鍵環(huán)節(jié)。本文針對車載多面陣拼接全景影像與激光點云的配準(zhǔn)問題，提出了一套高精度的數(shù)據(jù)配準(zhǔn)方法。通過高密度的靜態(tài)激光點云解算每個面陣CCD在激光掃描儀坐標(biāo)系下的外標(biāo)定參數(shù)，以實現(xiàn)單張CCD影像與激光點云在掃描儀坐標(biāo)系下的配準(zhǔn)，在全景拼接過程中全景影像與單張CCD影像精確的映射關(guān)系已知，利用掃描儀坐標(biāo)系、POS坐標(biāo)系及WGS-84坐標(biāo)系間的轉(zhuǎn)換關(guān)系即可獲得全景影像與激光點云在物方坐標(biāo)系下的動態(tài)、高精度的配準(zhǔn)參數(shù)。試驗表明該數(shù)據(jù)配準(zhǔn)方法精確可靠、適用性強，能滿足基于全景影像與激光點云數(shù)據(jù)融合的城市道路竣工、部件采集、目標(biāo)提取、三維重建等高精度量測應(yīng)用需求。

關(guān)鍵詞：車載移動測量；全景；激光掃描儀；配準(zhǔn)

一、引言

近年來，高效、高精度的城市信息采集技術(shù)的發(fā)展與應(yīng)用使測繪領(lǐng)域發(fā)生了巨大的變革。車載移動測量系統(tǒng)(mobile mapping system，MMS)結(jié)合激光掃描儀、CCD相機、高精度定位定姿系統(tǒng)(position and orientation system，POS)、車程編碼器等多種優(yōu)異的傳感器，是近年來快速發(fā)展的一種新型集成高效的測量系統(tǒng)，廣泛應(yīng)用于地理空間數(shù)據(jù)采集與更新，并逐漸成為三維城市數(shù)據(jù)獲取的重要方法[1]。車載移動測量系統(tǒng)的最大優(yōu)勢是多傳感器數(shù)據(jù)的集成采集與處理，而多傳感器數(shù)據(jù)的高精度配準(zhǔn)是數(shù)據(jù)集成處理的前提。本文重點解決車載移動測量系統(tǒng)中全景影像與激光點云的數(shù)據(jù)配準(zhǔn)問題[2]。

國內(nèi)外學(xué)者對CCD影像與激光點云數(shù)據(jù)配準(zhǔn)問題進行了廣泛的研究。文獻[3]用掃描儀和相機對平面棋盤格標(biāo)定板進行同步測量，以求解二維激光掃描數(shù)據(jù)與框幅式影像的配準(zhǔn)參數(shù)；受文獻[3]方法的啟發(fā)，文獻[4]實現(xiàn)了對三維激光掃描數(shù)據(jù)與框幅式影像的外配準(zhǔn)；文獻[5]使用特殊的標(biāo)定桿對二維激光掃描數(shù)據(jù)與CCD影像進行數(shù)據(jù)配準(zhǔn)；文獻[6]同樣使用平面棋盤格來對三維激光掃描數(shù)據(jù)與CCD影像進行數(shù)據(jù)配準(zhǔn)；文獻[7]給出了一種配準(zhǔn)二維激光掃描數(shù)據(jù)與全向相機影像的方法。以上這幾種影像—點云配準(zhǔn)方法均需借助特殊的標(biāo)定合作目標(biāo)，而且由于激光掃描數(shù)據(jù)分辨率低且不一致，使激光點云與影像間高精度的點、線特征對應(yīng)的獲取非常困難[8]，因此在實際應(yīng)用過程中有一定的局限性。為了克服光學(xué)影像與激光點云在成像特性上的差異所帶來的問題，基于統(tǒng)計和信息論的方法在二者的標(biāo)定問題上得到了應(yīng)用。文獻[9]使用互信息對影像與點云之間的強度與反射信息進行配準(zhǔn)；文獻[10]使用互信息對城市街區(qū)的光學(xué)影像與激光點云進行配準(zhǔn)。然而，這些基于互信息的影像與激光點云配準(zhǔn)方法僅在城市場景中具有非常好的適應(yīng)性，其在自然場景中的應(yīng)用有非常大的局限性[11]。

已有的方法大多集中在解決普通框幅式影像與2D/3D激光點云的數(shù)據(jù)配準(zhǔn)問題，且局限于解決單測站、靜態(tài)數(shù)據(jù)的配準(zhǔn)問題。

本文針對車載移動測量系統(tǒng)中多面陣拼接全景影像與激光點云的數(shù)據(jù)配準(zhǔn)問題，提出了一套適應(yīng)性強、精度高的標(biāo)定方法。該標(biāo)定方法在全景拼接過程中獲得全景影像與單張CCD影像精確的映射關(guān)系，通過分別對組成全景相機的單個CCD相機進行內(nèi)標(biāo)定及在激光掃描儀坐標(biāo)系下的相對外標(biāo)定，并結(jié)合掃描儀坐標(biāo)系、POS坐標(biāo)系、WGS-84坐標(biāo)系間的轉(zhuǎn)換關(guān)系，即可實現(xiàn)全景影像與激光點云在物方坐標(biāo)系下的高精度配準(zhǔn)，為后續(xù)全景影像與激光點云的集成處理奠定基礎(chǔ)。

二、車載移動測量系統(tǒng)集成

車載移動測量系統(tǒng)是一個多傳感器集成的自動化數(shù)據(jù)采集系統(tǒng)，可實時完成載體的GPS定位、姿態(tài)解算、城市三維空間信息的激光掃描數(shù)據(jù)及全景影像數(shù)據(jù)的采集。系統(tǒng)搭載的傳感器主要有兩類：一類是位姿傳感器，包括GPS、慣性測量單元(IMU)及車輪編碼器，用于獲取車載系統(tǒng)的位置和姿態(tài)；另一類是數(shù)據(jù)采集傳感器，包括激光掃描儀和全景相機，其中三維激光掃描儀用于獲取目標(biāo)的三維幾何信息，而全景相機則用于獲取目標(biāo)的紋理特征，如圖1所示。

圖1　車載移動測量系統(tǒng)結(jié)構(gòu)圖

本文主要討論車載移動測量系統(tǒng)中全景相機與激光掃描儀的集成標(biāo)定問題，因此對車載移動測量系統(tǒng)中使用的全景相機和激光掃描儀進行簡單的介紹。

1. 多面陣拼接全景相機

目前國內(nèi)外已經(jīng)有多家廠商推出了成熟的全景相機，如PointGrey、CycloMedia、EyeScan、Fodis等。但現(xiàn)有的全景相機存在分辨率不高、價格昂貴，以及全景映射過程未知，無法自主控制等缺點，因此課題組自主研發(fā)了基于面陣CCD拼接的高分辨率全景相機。該全景相機由8個分辨率為2058像素×2456像素的工業(yè)CCD鏡頭沿水平方向均勻排列而成，如圖2所示。全景影像采集時，由時間同步系統(tǒng)控制8個CCD鏡頭同時曝光，通過全景拼接獲得分辨率為9173像素×2294像素的全景影像。拼接過程中保證像點攝影光束的方向不變，且記錄拼接全景與原始單片的像素對應(yīng)關(guān)系。

2. 激光掃描儀

車載移動測量系統(tǒng)集成了Riegl公司兩種不同型號的激光掃描儀：2D/3D一體化掃描儀VZ-400和路面2D掃描儀LMS-Q120i，其中VZ-400掃描儀安裝在車體的右后側(cè)，用于獲取車輛兩側(cè)的目標(biāo)點云信息，LMS-Q120i掃描儀安裝在車體的后部，主要用于獲取地表面點云，從而實現(xiàn)場景三維空間信息和反射強度信息的全方位獲取。

圖2　全景相機內(nèi)部示意圖

三、車載全景影像與激光點云數(shù)據(jù)配準(zhǔn)

全景影像與激光點云的數(shù)據(jù)配準(zhǔn)是使全景影像能與物方坐標(biāo)系下同一場景的激光點云進行“套合”，即需要恢復(fù)全景影像拍攝瞬間相機在物方坐標(biāo)系下的位置與姿態(tài)，并使全景影像中每個像素構(gòu)成的攝影光束與物方點云形成對應(yīng)。

圖3　全景影像與激光點云數(shù)據(jù)配準(zhǔn)法

在全景拼接時，全景影像與單張面陣CCD影像間的映射關(guān)系可精確得到；激光掃描儀坐標(biāo)系與POS坐標(biāo)系之間的轉(zhuǎn)換關(guān)系可通過建立高精度標(biāo)定控制場解算獲得，該過程在本文中不作詳細介紹；而POS坐標(biāo)系與WGS-84坐標(biāo)系間的轉(zhuǎn)換關(guān)系可由POS數(shù)據(jù)插值獲取。因此，若能得到單張面陣CCD影像與激光點云在激光掃描儀坐標(biāo)系下的配準(zhǔn)參數(shù)，則可實現(xiàn)車載全景影像在物方坐標(biāo)系下與激光點云的高精度配準(zhǔn)。另外，由于全景成像系統(tǒng)的8個CCD鏡頭為非量測工業(yè)鏡頭，成像畸變大，內(nèi)方位元素未知，故需要首先對CCD鏡頭進行內(nèi)標(biāo)定。車載移動測量系統(tǒng)中的主要傳感器——激光掃描儀、全景相機、POS系統(tǒng)被固定在剛性平臺，其相對位姿關(guān)系穩(wěn)定不變，本文全景影像與激光點云數(shù)據(jù)配準(zhǔn)方法描述如圖3所示。

1. 單片影像與點云的相對配準(zhǔn)

依據(jù)本文車載全景影像與激光點云的數(shù)據(jù)配準(zhǔn)方法，其核心步驟在于將8個CCD鏡頭與激光點云在激光掃描儀坐標(biāo)系下進行配準(zhǔn)，即獲取CCD鏡頭在掃描儀坐標(biāo)系下的外方位元素。由于課題組車載系統(tǒng)所采用的VZ-400掃描儀能夠支持在同一掃描坐標(biāo)系下的移動二維線掃描及靜態(tài)三維全景掃描兩種工作模式，因此可利用VZ-400掃描儀在車載系統(tǒng)保持靜止?fàn)顟B(tài)下的三維全景高密度掃描數(shù)據(jù)為CCD鏡頭的標(biāo)定提供控制點。

在合適的標(biāo)定場景中布設(shè)靶標(biāo)，靶標(biāo)需分布均勻，且要在深度方向上有豐富的變化。調(diào)整車載系統(tǒng)至合適位置及方向，并在車載系統(tǒng)靜止條件下依次利用8個CCD鏡頭獲取標(biāo)定場景影像，且使用VZ-400掃描儀獲得標(biāo)定場景的激光點云數(shù)據(jù)。標(biāo)定數(shù)據(jù)獲取后，在每張影像和其對應(yīng)的激光點云數(shù)據(jù)中選取4個以上的靶標(biāo)控制點，得到其對應(yīng)的圖像坐標(biāo)(x,y)及激光掃描坐標(biāo)系下的激光點坐標(biāo)(X,Y,Z)，結(jié)合內(nèi)標(biāo)定所獲取的相機內(nèi)方位元素(x0,y0,f)和畸變參數(shù)，得出共線方程

(1)

式中，dx、dy分別為像點在x、y方向的畸變改正量；XS、YS、ZS分別為CCD相機在掃描儀坐標(biāo)系下的位置TCL的3個分量；而ai、bi、ci(i=1,2,3)則構(gòu)成旋轉(zhuǎn)矩陣RCL的9個元素。

由共線方程列出對應(yīng)的誤差方程并迭代優(yōu)化，即可求得CCD鏡頭與激光點云的在掃描儀坐標(biāo)系下的相對配準(zhǔn)參數(shù)。

2. 全景影像與點云的絕對配準(zhǔn)

設(shè)某物方點P在全景影像上成像并同時獲得其激光點數(shù)據(jù)，將全景影像與點云在物方坐標(biāo)系下的配準(zhǔn)即是求得全景成像坐標(biāo)系與物方坐標(biāo)系下點P的轉(zhuǎn)換關(guān)系，其中涉及全景成像坐標(biāo)系、單片坐標(biāo)系、掃描儀坐標(biāo)系、POS坐標(biāo)系和物方WGS-84坐標(biāo)系，其轉(zhuǎn)換關(guān)系描述如圖4所示。

由全景與單片的映射關(guān)系，可以獲取該點在對應(yīng)單片影像的像空間坐標(biāo)系下的坐標(biāo)(XC，YC，ZC)。利用上節(jié)中求得的8個CCD鏡頭在激光掃描儀坐標(biāo)系下的外方位元素TCL、RCL，則該點在單片像空間坐標(biāo)系與激光掃描儀坐標(biāo)系的轉(zhuǎn)換關(guān)系描述為

圖4　坐標(biāo)系統(tǒng)關(guān)系轉(zhuǎn)換示意圖

(2)

式中，(XL，YL，ZL)為該點在掃描儀坐標(biāo)系下的坐標(biāo)。通過系統(tǒng)標(biāo)定，掃描儀坐標(biāo)系與POS坐標(biāo)系的轉(zhuǎn)換關(guān)系TLP、RLP已知，若記POS坐標(biāo)系下點的坐標(biāo)為(XP，YP，ZP)，則由掃描儀坐標(biāo)系到POS坐標(biāo)系轉(zhuǎn)換關(guān)系為

(3)

(4)

式(2)—式(4)分別描述了掃描儀坐標(biāo)系、POS坐標(biāo)系、WGS-84坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。將全景影像與激光點云進行配準(zhǔn)就是要獲得二者在WGS-84坐標(biāo)系下的轉(zhuǎn)換關(guān)系。若設(shè)單片的像空間坐標(biāo)系與WGS-84坐標(biāo)系的轉(zhuǎn)換矩陣為RCW、TCW，則兩坐標(biāo)系下的點滿足

(5)

根據(jù)矩陣推導(dǎo)可求得

(6)

TCW=TLW+RLWTCL

(7)

其中

(8)

(9)

將式(8)、式(9)代入式(6)、式(7)，即可計算出RCW和TCW。

四、試驗與分析

1. 全景影像與點云數(shù)據(jù)融合精度

由上述車載影像與點云數(shù)據(jù)配準(zhǔn)方法可知，全景影像與激光點云在WGS-84坐標(biāo)系下的配準(zhǔn)其最核心的環(huán)節(jié)是求得單個CCD鏡頭在掃描儀坐標(biāo)系下的相對配準(zhǔn)參數(shù)。以某會展中心的選定建筑區(qū)域作為標(biāo)定場景，采用上一節(jié)中描述的方法獲取標(biāo)定數(shù)據(jù)。以3號相機為例，在影像和激光點云中提取了對應(yīng)的10個靶標(biāo)點，其中7個靶標(biāo)點作為控制點平差解算標(biāo)定參數(shù)，另外3個靶標(biāo)點作為檢核點檢驗標(biāo)定精度，坐標(biāo)殘差統(tǒng)計見表1。

表1　影像與激光點云相對配準(zhǔn)殘差　像素

由表1可知，平差解算后控制點的點位均方差為1.48像素，檢核點的點位殘差也在1.6個像素以內(nèi)，標(biāo)定精度滿足相關(guān)應(yīng)用的要求。

獲得每個CCD相機在掃描儀坐標(biāo)系下的標(biāo)定參數(shù)后，在已知全景影像與單片的映射關(guān)系及掃描儀坐標(biāo)系與POS坐標(biāo)系轉(zhuǎn)換關(guān)系的情況下，經(jīng)過POS數(shù)據(jù)插值，即可實現(xiàn)全景影像與激光點云在WGS-84坐標(biāo)系的配準(zhǔn)，配準(zhǔn)效果如圖5所示。通過實地布設(shè)地物標(biāo)志點對本文的數(shù)據(jù)配準(zhǔn)精度進行驗證，測得在平均距離為30 m時影像的量測精度為9.907 cm。

圖5　車載全景影像與激光點云配準(zhǔn)效果圖

2. 全景影像與點云數(shù)據(jù)融合效果

獲得車載全景影像與激光點云在物方坐標(biāo)系下的配準(zhǔn)參數(shù)后，通過數(shù)據(jù)融合的方式可以得到賦有地表真實顏色信息的彩色點云數(shù)據(jù)，如圖6所示。另外，將激光點云數(shù)據(jù)反投影到對應(yīng)的全景影像上(如圖7所示)，也能進一步反映出點云與全景影像實現(xiàn)了很好的吻合。由以上融合效果可以看出影像數(shù)據(jù)與點云數(shù)據(jù)形成了較為精確的套合，也進一步驗證了本文車載全景影像與激光點云的數(shù)據(jù)配準(zhǔn)精度。

圖6　融合后的激光點云

圖7　點云反投影到全景影像上的效果圖

五、結(jié)束語

本文給出了一種車載移動測量系統(tǒng)中精確可靠、適用性強的全景影像與激光點云數(shù)據(jù)配準(zhǔn)方法，該方法通過對全景相機的各個CCD鏡頭進行內(nèi)標(biāo)定及在激光掃描儀坐標(biāo)系下的相對標(biāo)定，使單個CCD影像與激光點云在掃描儀局部坐標(biāo)系下得到配準(zhǔn)。結(jié)合全景拼接過程中全景影像與各個單片之間的映射關(guān)系及掃描儀與POS系統(tǒng)之間的標(biāo)定參數(shù)，即可實現(xiàn)車載全景影像與激光點云動態(tài)、高精度的配準(zhǔn)。通過實測數(shù)據(jù)驗證，本文的標(biāo)定方法能滿足城市測量中多傳感器數(shù)據(jù)集成與處理的需求。

參考文獻：

[1]陳允芳，葉澤田.基于多傳感器融合的車載移動測圖系統(tǒng)研究[J].測繪通報,2007(1)：5-7.

[2]張帆，黃先鋒，李德仁.激光掃描與光學(xué)影像數(shù)據(jù)配準(zhǔn)的研究進展[J].測繪通報,2008(2)：7-10.

[3]ZHANG Q, PLESS R. Extrinsic Calibration of a Camera and Laser Range Finder(Improves Camera Calibration)[C]∥Intelligent Robots and Systems.New York: IEEE, 2004.

[4]UNNIKRISHNANN R, HEBERT M. Fast Extrinsic Calibration of a Laser Rangefinder to a Camera[R].[S.l.]：Carnegie Mellon University,2005.

[5]WASIELEWSKI S, STRAUSS O. Calibration of a Multi-sensor System Laser Rangefinder/Camera[C]∥ Intelligent Vehicles’ 95 Symposium. New York: IEEE, 1995.

[6]GAURAV P.Extrinsic Calibration of a 3D Laser Scanner and an Omnidirectional Camera[C]∥7th IFAC Symposium on Intelligent Autonomous Vehicles. Lecce: International Federation of Automatic Control, 2010.

[7]MEI C, RIVES P. Calibration between a Central Catadioptric Camera and a Laser Range Finder for Robotic Applications[C]∥Proceedings 2006 IEEE International Conference on. New York:IEEE, 2006.

[8]GONG X J, LIN Y, LIU J. 3D LiDAR-Camera Extrinsic Calibration Using an Arbitrary Trihedron[J]. Sensors,2013,13(2):1902-1918.

[9]GAURAV P. Automatic Targetless Extrinsic Calibration of a 3D LiDAR and Camera by Maximizing Mutual Information[C]∥Proceedings of the AAAI National Conference on Artificial Intelligence. Toronto:AAAI,2012.

[10]MASTIN A, KEPNER J, FISHER J. Automatic Registration of LiDAR and Optical Images of Urban Scenes[C]∥Computer Vision and Pattern Recognition. New York: IEEE, 2009.

[11]MISHRA R, ZHANG Y. A Review of Optical Imagery and Airborne LiDAR Data Registration Methods[J]. The Open Remote Sensing Journal，2012,5(1):54-63.

引文格式： 閆利，曹亮，陳長軍，等. 車載全景影像與激光點云數(shù)據(jù)配準(zhǔn)方法研究[J].測繪通報，2015(3)：32-36.DOI:10.13474/j.cnki.11-2246.2015.0069

通信作者：曹亮

作者簡介：閆利(1966—)，男，教授，研究方向為攝影測量、遙感圖像處理和車載移動測量技術(shù)。E-mail:lyan@sgg.whu.edu.cn

收稿日期：2014-01-15

中圖分類號：P234.5

文獻標(biāo)識碼：B

文章編號：0494-0911(2015)03-0032-05