3D全景泊車多點(diǎn)圖形拼接標(biāo)定系統(tǒng)裝置

周俊鋒，茅衛(wèi)東，袁浩，王成文，奚新文

(奇瑞新能源汽車技術(shù)有限公司，安徽蕪湖 241002)

0 引言

截至2018年末中國(guó)乘用車市場(chǎng)存量已達(dá)3.25億臺(tái)。汽車產(chǎn)業(yè)的飛速發(fā)展和創(chuàng)造經(jīng)濟(jì)財(cái)富的同時(shí)也改變了人們的生活方式，人們對(duì)行駛安全和操控性要求越來越高，從代步工具需求發(fā)展到目前的車內(nèi)電子科技的需求。為了適應(yīng)可持續(xù)發(fā)展的趨勢(shì)，滿足人們對(duì)汽車電子科技品質(zhì)需求，近年來被動(dòng)安全裝置被應(yīng)用到汽車上，其中全景泊車系統(tǒng)是新興技術(shù)。在駕駛汽車過程中，汽車四周存在六大視野盲區(qū)(如圖1所示)，想要安全駕駛汽車并不是一件容易的事。車輛與障礙物發(fā)生碰擦事故中，其中駕駛員視野盲區(qū)導(dǎo)致事故的日本占21%、中國(guó)占31%。視野盲區(qū)往往給公民的財(cái)產(chǎn)和人生安全帶來嚴(yán)重的損傷。

以上背景加速了全景泊車系統(tǒng)在汽車上的應(yīng)用開發(fā)，隨著360°泊車系統(tǒng)裝車量的提升，將有效減少汽車與道路交通障礙之間的行駛交通事件，減少因視覺盲區(qū)給司機(jī)帶來的駕駛煩惱，為司機(jī)泊車提供便利。行車安全性能夠得到較大的提高，在更大程度上保證了乘客及障礙物的安全，因此具有很重要的社會(huì)價(jià)值和龐大的市場(chǎng)空間。全景泊車4個(gè)或以上攝像頭安裝完畢后，車上電后不能正常工作，所采集的圖像為4個(gè)攝像頭單獨(dú)拍攝的4副曲面畫面，全景圖像會(huì)出現(xiàn)重影、盲區(qū)、圖像拼接處有明顯的拼接痕跡、明顯色差、畫面圖像整體比例不協(xié)調(diào)等問題；迫切需要一套魚眼圖像矯正裝置，該裝置能方便、快捷、穩(wěn)定的將車載360°泊車系統(tǒng)圖像進(jìn)行標(biāo)定。本文作者詳述一種穩(wěn)定可靠的全景監(jiān)控圖形標(biāo)定方案。

圖1 汽車視野六大盲區(qū)

1 標(biāo)定系統(tǒng)裝置機(jī)理

為了讓車身四周的區(qū)域環(huán)境能完整顯示在一個(gè)俯視圖上，在整車車身高固定的情況下，不得不使用廣角鏡頭，水平拍攝角度170°～190°。一個(gè)物體被拍攝后的圖像通過這樣的鏡頭成像后，就變成一個(gè)畸變曲面圖像。那么360°輔助泊車系統(tǒng)的標(biāo)定就是將鏡頭采集的畸變曲面圖像還原成一個(gè)平面，并根據(jù)預(yù)先確定好的裁剪線進(jìn)行圖像拼接。圖2所示為全景泊車鏡頭覆蓋的區(qū)域。

圖2 攝像頭覆蓋區(qū)域

為了獲得車身周邊360°環(huán)境圖像必須達(dá)到超廣角度的視野而使用非線性的廣角攝像頭[5]。由于廣角攝像頭拍攝的圖像是非線性數(shù)據(jù)，直接處理難度大，常規(guī)做法是對(duì)畸變曲面圖像先進(jìn)行規(guī)定場(chǎng)景標(biāo)定矯正處理[6-7]，將超廣角圖像的數(shù)據(jù)從非線性轉(zhuǎn)換成線性，為計(jì)算機(jī)和人類眼睛視網(wǎng)膜可辨認(rèn)的線性圖像，最后在標(biāo)定好的圖像基礎(chǔ)上按預(yù)設(shè)邊界線裁剪拼接處理。

圖像傳感器上的2D圖像通常是空間物體3D場(chǎng)景的投影結(jié)果。描述這類物體空間坐標(biāo)點(diǎn)的3D坐標(biāo)與圖像中2D相應(yīng)坐標(biāo)的關(guān)聯(lián)取決于針孔攝像機(jī)成像的透視投影2D圖像，這些2D圖像參變量又稱作針孔鏡頭參變量。這些2D圖像參變量可以經(jīng)過正交實(shí)驗(yàn)與理論計(jì)算求解，而得到參變量的經(jīng)過可以稱為針孔鏡頭的矯正(標(biāo)定)。針孔鏡頭矯正的目的就是通過矯正3D物體的圖像參考位置點(diǎn)(x，y，z)與它在2D圖像中的點(diǎn)(u，v)，確定針孔鏡頭的內(nèi)部亮度圖像、透視投影、圖像元素、采樣點(diǎn)以及鏡頭坐標(biāo)系與空間物體3D坐標(biāo)系的關(guān)系，如圖3所示。上述對(duì)2D圖像進(jìn)行矯正(標(biāo)定)的方法總結(jié)后形成3種[9]：

(1)照相視覺矯正法[10]

此方案是通過理論計(jì)算空間矯正物體在3D空間中的線性參變量。被矯正物由2～3個(gè)正交面互相交錯(cuò)形成。另外，此矯正方法也使用1個(gè)正交面來標(biāo)定，需要事先計(jì)算出正交面的水平移動(dòng)規(guī)律。此方法矯正速度快，但購(gòu)置矯正設(shè)備價(jià)格高，還需要事先對(duì)該物體進(jìn)行理論計(jì)算和試驗(yàn)作為基礎(chǔ)。

(2)自標(biāo)定方法[11]

自矯正方案不用被矯正參考物，僅需要在不變矯正場(chǎng)景中沿任一方向移動(dòng)針孔鏡頭即完成圖像的矯正工作。矯正場(chǎng)景一般為趨向于固定不動(dòng)的剛性物體，為針孔鏡頭增加了兩項(xiàng)約束參變量。如所需的圖像由不同鏡頭采集，即便所有參數(shù)一致，4幅采集圖所提供的任一對(duì)應(yīng)坐標(biāo)點(diǎn)信息可以得到新裁剪拼接的全景圖像。由于這種方案需要采集的參變量較多，所以同樣一組圖像矯正后的精細(xì)化效果一般。

(3)張正友標(biāo)定技術(shù)[12]

此方法簡(jiǎn)單易用穩(wěn)定性好。該方案要求鏡頭對(duì)同一矯正塊在幾個(gè)位置采集多幅圖像，將圖像2D點(diǎn)坐標(biāo)提取出來，通過這些2D坐標(biāo)與3D坐標(biāo)相吻合的點(diǎn)，得到最終矯正合格結(jié)果。此方法是目前商業(yè)化較為可靠的圖像矯正方法。

圖3 透視投影幾何

張正友標(biāo)定基本原理為：在鏡頭視線范圍內(nèi)，采集大于3副圖像；然后將實(shí)物坐標(biāo)系固定在矯正平面上，矯正平面可以放置于攝像頭水平位置為佳，設(shè)矯正實(shí)物面的坐標(biāo)是鏡頭參數(shù)矩陣，X=(x，y，z)T是圖像實(shí)物平面上點(diǎn)的齊次坐標(biāo)，u=(u，v)T是標(biāo)定平面上點(diǎn)透視投影到圖像平面上對(duì)應(yīng)點(diǎn)的齊次坐標(biāo)，T和(r1，r2，r3)分別為實(shí)物矯正塊對(duì)應(yīng)鏡頭坐標(biāo)系的旋轉(zhuǎn)矩陣和平行位置向量，以上邏輯可用以下公式表示：

(1)

(2)

先將數(shù)個(gè)圖像采集點(diǎn)累加后，則公式可簡(jiǎn)寫成Sh=0，求得方程式的解是STS的最小特性值所對(duì)應(yīng)的特性向量。簡(jiǎn)化計(jì)算該向量后就會(huì)得到H，使用非線性最小平方法來求的H最大似然集合估算。

用h1、h2、h3表示三列，則有：

(3)

式中：λ為常數(shù)。

其中，任一圖片能提取下述二個(gè)對(duì)鏡頭參數(shù)矩陣的約束方程式：

(4)

其中：K-T為(K-1)T或(K-)-1。

(5)

B是一個(gè)對(duì)稱矩陣，也可以表示為以下形式：

(6)

(7)

其中：vij=[hi1hj1，hi1hj2+hi2hj1，hi3hj1+hi1hj3，hi3hj2+hi2hj3，hi3hj3]T，則公式內(nèi)參數(shù)約束關(guān)系可寫為

(8)

對(duì)矯正塊拍攝多幅圖片并通過多個(gè)同樣的方程組，將其疊加后得出：

Vb=0

(9)

由公式(3)可得：

r1=λK-1h1，r2=λK-1h2，r3=r1×r2,t=λK-1r2

(10)

本文作者參考張正友矯正魚眼鏡頭曲面畸變圖片的方法，通過計(jì)算出圖片中間元素之間的坐標(biāo)對(duì)應(yīng)關(guān)系實(shí)現(xiàn)圖片矯正。此標(biāo)定方法使用的矯正塊成本較低、使用方便、易制作免維護(hù)并對(duì)標(biāo)定場(chǎng)景要求低，能滿足汽車全景泊車標(biāo)定精度需求。首先將地面打磨平整(誤差小于1 cm/m)，再使用黑白相間油漆在地坪上涂刷出矯正塊；然后將車輛開到標(biāo)定場(chǎng)景內(nèi)，按住車輛標(biāo)定程序(程序自動(dòng)移動(dòng)鏡頭)，采集20張任一角度的圖片[13]；最后對(duì)這20張圖片進(jìn)行標(biāo)定。主要按如下4個(gè)步驟：

(1)通過車載360°全景模塊控制器，可讀取鏡頭采集的多組圖片；

(2)軟件提取黑白相間角點(diǎn)(圖4)，對(duì)圖像進(jìn)行處理；

(3)求得坐標(biāo)的相互關(guān)系，矯正鏡頭內(nèi)部參變量；

(4)根據(jù)拍攝的第一幅圖片矯正鏡頭外部參變量。

圖4 角點(diǎn)提取

根據(jù)以上推算矯正得到文中采用的超廣角相機(jī)內(nèi)部參變量為

矯正效果如圖5—圖6所示。其中，圖5為使用廣角攝像機(jī)對(duì)矯正塊采集到的圖片，使用張正友矯正后的圖片如圖6所示。可得：圖像袪除了原超廣角圖片中存在的曲面畸變效果，標(biāo)定效果良好。以上足以說明，通過張正友圖像矯正機(jī)制能夠很好地滿足廣角攝像頭拍攝的曲面畸變圖片的矯正需要。

圖5 原廣角圖像

圖6 矯正后圖像

2 滿足在線100%連續(xù)標(biāo)定系統(tǒng)裝置要求

根據(jù)以上理論在汽車廠設(shè)置全景標(biāo)定系統(tǒng)裝置工位，要求平攤的場(chǎng)地5 m×8 m，分為涂刷成黑白相間的區(qū)域、能擺放車體區(qū)域、標(biāo)定設(shè)備操縱位置3個(gè)部分，對(duì)地面平整度的要求誤差小于1 cm/m；光照條件：標(biāo)定時(shí)光線均勻、地面不存在陰影、保證車輛前后左右的地面處照度大于10 lux；隔絕周圍其他強(qiáng)光線進(jìn)入標(biāo)定區(qū)域(如較強(qiáng)的太陽(yáng)光等)。標(biāo)定區(qū)域采用水泥亞光處理，黑白相間方格與標(biāo)定區(qū)域水泥地面保持在一個(gè)水平面上，并采用啞光色彩，反光能力弱，方格大小為20 cm×20 cm；整體尺寸符合圖7要求。

圖7 標(biāo)定裝置地面示意

由于汽車生產(chǎn)車間在對(duì)全景魚眼鏡頭標(biāo)定為連續(xù)作業(yè)(節(jié)拍120 s)，車輛在進(jìn)入標(biāo)定區(qū)域中時(shí)，需要快速確定X、Y向位置，精度在±1 cm，這時(shí)就需要制作專用的導(dǎo)向和定位裝置對(duì)車每次停放標(biāo)定位置的唯一性確認(rèn)。

3 標(biāo)定系統(tǒng)裝置車輛定位設(shè)計(jì)

車輛的定位采用鐵質(zhì)焊接導(dǎo)軌用螺栓固定在地面上，根據(jù)輪胎尺寸進(jìn)行車輛定位擺放，其示意圖如圖8所示。

圖8 車輛定位裝置方案

將車輛輪胎方向?qū)?zhǔn)導(dǎo)軌，使車輪能夠按照導(dǎo)軌將前輪卡在定位槽中，如圖9所示。

4 標(biāo)定系統(tǒng)裝置使用

標(biāo)定系統(tǒng)環(huán)境光照以漫射光為主,光源照明采用LED燈管垂直照明, 避免普通熒光日光燈管的50 Hz頻閃, 要求環(huán)境亮度值在300～1 000 lux之間,照明燈管安裝在標(biāo)定場(chǎng)正上方4.5 m高度。

5 標(biāo)定系統(tǒng)裝置使用

先把車停在指定位置上；操作員使用汽車面板的組合鍵按鈕(同時(shí)UI模擬按鍵和遠(yuǎn)光燈5S)，進(jìn)入自動(dòng)矯正；自動(dòng)矯正成功后，畫面會(huì)提示矯正完成。

如自動(dòng)標(biāo)定提示失敗時(shí)，請(qǐng)檢查燈光是否正常，方格表面是否有污物，車輛是否進(jìn)入指定位置，確認(rèn)正常后，再次進(jìn)行自動(dòng)標(biāo)定即可，如圖10所示。

圖10 標(biāo)定流程

6 標(biāo)定圖形判定原理

判斷原理標(biāo)定完成之后通過計(jì)算處理可以獲得攝像頭圖像中的任意點(diǎn)坐標(biāo)Pimg對(duì)應(yīng)的物理點(diǎn)坐標(biāo)Pphy。

理想情況下計(jì)算出來的物理坐標(biāo)Pphy與其對(duì)應(yīng)的真實(shí)物理坐標(biāo)PPHY應(yīng)該完全一致。實(shí)際工程環(huán)境下則會(huì)存在一定誤差Epos=Pphy-PPHY。

可以用所有輔助點(diǎn)的計(jì)算物理坐標(biāo)與真實(shí)物理坐標(biāo)均方誤差S來評(píng)價(jià)標(biāo)定效果。通過拼接區(qū)域標(biāo)定點(diǎn)的計(jì)算物理坐標(biāo)與真實(shí)物理坐標(biāo)的均方誤差來評(píng)價(jià)拼接效果。

(1)

判斷流程如圖11所示。

圖11 標(biāo)定判斷流程

7 結(jié)論

本文作者所論述的全景式監(jiān)控影像系統(tǒng)裝置，使用簡(jiǎn)易標(biāo)定方案、自動(dòng)標(biāo)定結(jié)果評(píng)估，主要完成兩項(xiàng)任務(wù)：

(1)判決標(biāo)定點(diǎn)識(shí)別是否準(zhǔn)確。標(biāo)定點(diǎn)能否正確識(shí)別直接決定標(biāo)定工作能否成功完成。

(2)標(biāo)定效果評(píng)價(jià)。在實(shí)際使用環(huán)境中，因各種誤差因素影響，即使標(biāo)定點(diǎn)都能準(zhǔn)確識(shí)別，標(biāo)定結(jié)果也會(huì)有一定的誤差，誤差在拼接圖像上主要體現(xiàn)為圖像畸變、拼接錯(cuò)位。

目前自動(dòng)標(biāo)定采用冗余標(biāo)定點(diǎn)方案，自動(dòng)標(biāo)定所識(shí)別標(biāo)定點(diǎn)除標(biāo)定必須用的圖像點(diǎn)之外，也會(huì)同時(shí)識(shí)別一部分輔助標(biāo)定點(diǎn)。主要利用必需的點(diǎn)來完成標(biāo)定，然后用部分輔助標(biāo)定點(diǎn)來驗(yàn)證標(biāo)定點(diǎn)識(shí)別是否成功。

通過利用標(biāo)定數(shù)據(jù)計(jì)算出圖像中輔助標(biāo)定點(diǎn)對(duì)應(yīng)的物理坐標(biāo)，計(jì)算物理坐標(biāo)與真實(shí)物理坐標(biāo)誤差會(huì)在一個(gè)比較小的范圍內(nèi)波動(dòng)，誤差超過一定閾值即可判定標(biāo)定點(diǎn)識(shí)別失敗。

本文作者對(duì)全景式監(jiān)控影像系統(tǒng)標(biāo)定機(jī)制和簡(jiǎn)易在線批量標(biāo)定裝置的應(yīng)用進(jìn)行了詳細(xì)闡述，對(duì)魚眼鏡頭采集的扭曲畫面進(jìn)行修正處理，通過圖像畸變還原、拉伸和裁剪，將前后左右的畫面處理成平面可視畫面，簡(jiǎn)單、有效和快速，在汽車生產(chǎn)廠家可以推廣使用本套裝置。