雙目攝像機標(biāo)定及校正算法

侯一民 洪梁杰

（東北電力大學(xué)自動化工程學(xué)院，吉林 吉林 132012）

0 引言

近年來，隨著計算機性能的不斷提高和圖像處理技術(shù)的不斷突破，計算機視覺技術(shù)在健康醫(yī)療、智能監(jiān)控、機器人以及無人駕駛等諸多領(lǐng)域得到了廣泛的應(yīng)用。在計算機視覺研究領(lǐng)域，雙目立體視覺是一項非常重要的研究內(nèi)容，其利用雙目攝像機模仿人眼，基于視差理論實現(xiàn)三維測距與定位。目前，雙目立體視覺得到了世界各國研究機構(gòu)的全力投入與支持，在理論以及實踐應(yīng)用方面取得了不錯的成果。例如，微軟公司與美國華盛頓大學(xué)聯(lián)合研發(fā)了一套基于立體視覺技術(shù)的道路導(dǎo)航探測系統(tǒng)，該探測系統(tǒng)成功地應(yīng)用于復(fù)雜火星環(huán)境下的火星探測車“探測者號”的視覺導(dǎo)航。美國麻省理工學(xué)院將雙目立體視覺與雷達系統(tǒng)融合，并巧妙地將其應(yīng)用于道路交通領(lǐng)域。浙江大學(xué)開發(fā)出一種番茄采摘機器人，其使用雙目立體視覺技術(shù)有效地解決對遮擋番茄以及成簇番茄的識別和三維定位[1]。哈爾濱工業(yè)大學(xué)提出異構(gòu)雙目視覺系統(tǒng)，并將其成功應(yīng)用到了足球機器人的導(dǎo)航系統(tǒng)中[2]，這是一種結(jié)合了固定攝像機和可旋轉(zhuǎn)攝像機的異構(gòu)雙目模型，實現(xiàn)了在無傳感器工作的環(huán)境下保持基礎(chǔ)導(dǎo)航的功能。對雙目攝像機進行標(biāo)定與校正是研究立體視覺的前提，其標(biāo)定方法和立體校正方法對立體視覺系統(tǒng)的研究有非常重要的作用。

1 雙目攝像機標(biāo)定及立體校正

雙目視覺的基本原理是借助2個視點觀察同一景象來獲取在不同視角下的感知圖像，然后利用三角測量原理計算圖像像素間的視差，進而重建其三維空間信息。該過程類似于人類視覺的立體感知過程。一個完整的雙目立體視覺系統(tǒng)可以分為數(shù)字圖像采集、相機標(biāo)定、圖像立體校正、立體匹配以及三維重建等。圖1展示了理想狀態(tài)下雙目平行的立體視覺三維模型。

如圖1所示，在理想狀態(tài)下，光學(xué)參數(shù)完全相同的左、右2臺攝像機都滿足線性成像模型，并且處在同一高度，左右光軸相互平行。左攝像機的坐標(biāo)系為Ol-xlylzl，其對應(yīng)的物理坐標(biāo)系為Ol-xlyl，其中xl、yl分別與左攝像機成像平面的豎直、水平方向垂直，Ol為光軸與左攝像機成像平面的交點；右攝像機的坐標(biāo)系為Or-xryrzr，其對應(yīng)的物理坐標(biāo)系為Or-xryr，其中xr、yr分別與右攝像機成像平面的豎直、水平方向垂直，Or為光軸與右攝像機成像平面的交點。在空間中任取一點P（X，Y，Z），點P在左右攝像機上的成像點分別以Pl（xl，yl），Pr（xr，yr）表示，f代表有效焦距，B為左右攝像機光心Ol、Or之間的距離，也稱作基線距離。在計算中假設(shè)左目相機的坐標(biāo)系與世界坐標(biāo)系重合，就能夠通過計算求得目標(biāo)在三維空間中的坐標(biāo)信息，如公式（1）所示。

圖1 雙目立體視覺系統(tǒng)三維模型

在公式（1）中，xl、xr代表點P在左右攝像機成像平面上所形成的視差d，即空間中一點在雙目圖像中的位置差異。圖2為雙目立體視覺系統(tǒng)深度計算的示意圖。

圖2 平行雙目視覺深度信息測量系統(tǒng)深度計算示意圖

如圖2所示，Ol、Or分別為光軸與左右攝像機成像平面的交點，Ol、Or為左右攝像機的光心，pl、pr為空間內(nèi)任一點P在左右攝像機上的成像點，Z表示深度。根據(jù)相似三角形的基本原理，可以推導(dǎo)出深度公式，如公式（2）所示。

由公式（2）可以得出深度與視差之間呈反比例，即求得的深度值隨著視差值的減小而增大；反之，得到的視差越大，求出的深度值則越小，如圖3所示。

圖3 深度與視差關(guān)系圖

通常先用單攝像機的標(biāo)定分別得到2個攝像機的內(nèi)、外參數(shù)，進而得到物點與像點間的映射關(guān)系。攝像機標(biāo)定參數(shù)見表1。表1中A為相機的內(nèi)部參數(shù)矩陣；fx、fy為像平面中的有效焦距[3]，u0、v0為圖像的的中心點，即主點的像素坐標(biāo)，γ為相機2個坐標(biāo)軸之間的不垂直因子（理想情況下不垂直因子為0）；k1、k2為徑向畸變系數(shù)，p1、p2為切向畸變系數(shù)，R、T分別為攝像機位置變化的方向（旋轉(zhuǎn)矩陣）與位置（平移矩陣）關(guān)系。

表1 攝像機標(biāo)定參數(shù)

雙目立體視覺系統(tǒng)中最重要的一步就是匹配問題，即在右攝像機成像平面中尋找匹配點pr與左攝像機成像平面上的某點pl相對應(yīng)，為了避免在全局進行掃描搜索，可以根據(jù)極線幾何理論，確保匹配點一定在待匹配點pl的對應(yīng)極線上，這樣就可以在極線上搜索并快速找到匹配點，從而實現(xiàn)高匹配精度和高準(zhǔn)確率的效果。

事實上，由于相機內(nèi)部構(gòu)造以及相機的擺放位置和方式都會對實驗造成一些誤差，因此要保證2個攝像機的圖像的行對準(zhǔn)，使立體匹配更可靠、計算更可行，就還需要對圖像對進行立體校正，從而確保2張圖像的極線能夠平行，且左右圖像對應(yīng)的像素在同一條直線上，提高匹配的可靠性和算法的效率。

目前關(guān)于立體校正的算法有Hartley和Bouguet算法，它們分別是針對未知參數(shù)和已知參數(shù)的校正方法。該文所選用的立體校正算法是Bouguet算法。

2 該文攝像機的標(biāo)定及校正方法

2.1 攝像機標(biāo)定結(jié)果與分析

該文采用黑白相間的棋盤作為標(biāo)定板，黑白方格相交的點稱之為角點，角點更有利于像素點的定位與測量。整個過程大致可以分為2個部分：1） 分別對左、右攝像機進行單目相機標(biāo)定，得到左攝像機和右攝像機的標(biāo)定參數(shù)。2） 進一步計算左右攝像機之間的旋轉(zhuǎn)矩陣和平移向量，完成立體標(biāo)定。圖4為該文的棋盤格標(biāo)定板，其大小為20 mm×20 mm，格數(shù)為6×11格。

圖4 棋盤格標(biāo)定板

2.1.1 圖像采集

首先固定攝像機；其次，在不同角度和位置采集棋盤格標(biāo)定板的圖像。為了能夠得到更加精確的標(biāo)定信息以及保證棋盤格在圖像中占有足夠比例，該實驗設(shè)定采集10幅以上的標(biāo)定圖像。

2.1.2 角點提取

在采集待標(biāo)定圖像后，需要對圖像棋盤格的角點進行提取和檢測。圖5是一幅左目圖像的角點提取結(jié)果，即棋盤方格中小正方形的4個頂點，圖中黑色方框所涵蓋的范圍是角點所在的區(qū)域，叉號表示識別出來的角點，該結(jié)果共提取了66個角點，選取左上角的第一個角點作為世界坐標(biāo)系的坐標(biāo)原點，Z軸垂直于模板平面，并且指向模板外，根據(jù)右手規(guī)則確定X、Y軸，創(chuàng)建世界坐標(biāo)系，棋盤格平面就是世界坐標(biāo)系的平面。

圖5 角點提取結(jié)果

2.1.3 算法標(biāo)定

攝像機標(biāo)定圖像采集，完成角點提取步驟后，再進行張正友算法標(biāo)定。該標(biāo)定方法是介于傳統(tǒng)標(biāo)定算法與自標(biāo)定算法之間的一種靈活度與準(zhǔn)確性比較高的方法，其標(biāo)定過程如下：首先，攝像機采用線性成像模型，在不考慮光學(xué)畸變的情況下通過單應(yīng)性矩陣求出攝像機的標(biāo)定參數(shù)；其次，引入畸變模型，求解出在線性模型下的相關(guān)參數(shù)；最后，將參數(shù)作為初始值對其進行非線性化優(yōu)化，獲取最終的模型標(biāo)定參數(shù)。因為實驗中標(biāo)定圖像大小是1280×720dpi，所以理想主點坐標(biāo)應(yīng)為圖像的中心位置，即（640，360）；而標(biāo)定結(jié)果左右圖像的主點坐標(biāo)分別為（690，368）和（669，377），雖然與理想標(biāo)定結(jié)果有一定的誤差，但是都在合理的誤差范圍內(nèi)。

雙目相機標(biāo)定參數(shù)中的旋轉(zhuǎn)矩陣R表示雙目相機的旋轉(zhuǎn)關(guān)系，可以通過Rodrigues算法轉(zhuǎn)換為矩陣形式。平移向量T代表右目相機相對于左目相機的距離（該文以左目相機為坐標(biāo)軸原點），該文所用的雙目相機的基線距離為43 mm，與標(biāo)定結(jié)果42.9 mm近似相等，其他2個方向的距離很小，與實際情況相符。

2.2 立體校正實現(xiàn)

該文利用Open CV工具箱對圖像進行圖像剪裁、Bouguet校正以及消除畸變等操作。首先，利用徑向和切向畸變系數(shù)矯正圖像對；其次，輸入標(biāo)定參數(shù)，并用stereo Rectify函數(shù)與initUndistort-Rectify Map函數(shù)得到平移與旋轉(zhuǎn)參數(shù)；最后，用remap函數(shù)得到校正后的圖像對。立體校正前、后的圖像對如圖6和圖7所示。

對比圖6和圖7可以看出，經(jīng)過校正的圖像實現(xiàn)了左右2幅圖像的行對齊，每一行都能夠沿著極線在水平方向上對齊。

圖6 未經(jīng)校正前的圖像

圖7 立體校正后的圖像

3 結(jié)論

該文首先介紹了雙目立體視覺的基本原理；其次闡述了關(guān)于相機標(biāo)定和立體校正的相關(guān)內(nèi)容；再次，詳細(xì)介紹了相機標(biāo)定實驗，并針對相關(guān)圖像數(shù)據(jù)進行分析；最后，通過OpenCV中提供的相關(guān)函數(shù)并結(jié)合標(biāo)定參數(shù)對雙目圖像進行立體校正，實現(xiàn)了行對齊。該文完成了雙目立體視覺研究的前期工作，即通過標(biāo)定方法獲取標(biāo)定參數(shù)，利用標(biāo)定參數(shù)完成圖像對的立體校正，使圖像對實現(xiàn)行對齊。在雙目立體視覺研究的后期，還需要使用立體匹配算法，通過視差值的計算得到圖像對的深度圖，進而根據(jù)成像原理和雙目測距原理實現(xiàn)三維重建。

該文在實際的標(biāo)定過程中，遇到的實驗條件可能是復(fù)雜多變的，為了獲得更加準(zhǔn)確的成像效果，需要不斷調(diào)整攝像機的焦距，從而使攝像機的內(nèi)外參數(shù)發(fā)生了變化。因此，接下來在相機標(biāo)定方面的研究重點主要在于對圖像的快速自標(biāo)定方法進行研究，進而提高標(biāo)定的實時性。