共軸立體視覺深度測量

摘要：共軸立體視覺測距是一種深度恢復的新方法，利用光軸處于同一直線的兩架相機，從單一角度獲取圖像信息，將三維空間的深度信息轉換成二維空間的縮放視差，從而通過圖像旋轉與縮放、特征點提取、圖像匹配、中心點估計等技術恢復深度信息。該技術具有測量系統(tǒng)體積小、實時性強等特點。介紹了該技術的深度恢復公式和算法，并設計了共軸立體攝影測距傳感器，用實景實驗和3DS MAX模擬實驗對該技術進行了驗證。試驗結果表明，中長距離深度測量精度優(yōu)于0.1%。

關鍵詞：立體視覺； 共軸成像； 機器視覺； 圖像處理； 深度測量

中圖分類號：TN91934文獻標識碼：A文章編號：1004373X(2012)06011504

Depth measurement by coaxial stereo vision

XIONG Lanhui， WANG Yuanqing

(School of Electronic Science and Engineering， Nanjing University， Nanjing 210093， China)

Abstract： Depth measurement based on coaxial stereo vision is a new method of depth recovery. It may respectively produce images by the two coaxial cameras. The image information is obtained from a single view point. The depth information of the 3D space is converted into the Zoom parallax of 2D space. Thereby， The depth information is recovered with the technologies of image rotating/scaling， characteristic point acquisition， image matching and central point estimation， etc. The system with the technologies has the characteristics of small volume and high realtime performance， and is based on imaging model of monocular stereo vision for machine. The principles of coaxial stereo vision are described. The depth recovery formula and algorithm of the system is introduced. The experimental result indicates that relative error is less than 0.1%， covariance for the actual range is 100 m and computational average depth is 99.959 m.

Keywords： stereo vision; coaxial imaging; machine vision; image processing; depth measurement

收稿日期：20111019

基金項目：國家質檢公益性行業(yè)科研專項經費資助項目（編號201110233）；國家自然科學基金重點資助項目（608320036）深度測量在立體視覺技術中有著重要作用，是三維重建、目標定位不可缺少的部分。近年來，隨著技術進步，深度測量在無損檢測、虛擬現(xiàn)實、軍事探測、醫(yī)學分析等重大領域均有應用。研究者對深度測量技術進行了廣泛深入的研究，其測量方法包括基于飛秒光、結構光、干涉、激光掃描、雷達、攝影圖像［12］等。本文主要討論的深度測量技術基于攝影圖像，為中長距離深度測量，百米至千米量級。攝影深度測量以機器視覺為基礎，包括雙目視覺［3］與單目視覺［4］兩種，在大地測量等方面運用廣泛。共軸立體視覺深度測量由單目視覺中的雙焦成像測距［5］演化而來，與雙目深度測距方法相結合，具有單一觀測點、測量系統(tǒng)體積小、實時性強等優(yōu)點。本文對共軸立體視覺深度測量的方法和系統(tǒng)進行了詳盡闡述，主要研究了共軸立體視覺系統(tǒng)結構和參數(shù)、傳感器設計、特征點提取、圖像匹配和中心點估計等關鍵技術，并通過實景實驗和模擬實驗實現(xiàn)了深度計算。

1系統(tǒng)原理及方案設計

1.1共軸立體視覺深度測量理論

共軸成像模型如圖1所示，符號含義見表1。

表1系統(tǒng)參數(shù)

f1 /mm后置鏡頭焦距f2 /m前置鏡頭焦距r1 /μm后置成像平面像點中心距r2 /μm前置成像平面像點中心距L /m鏡頭間距Z /m地面物點深度θ /（°）被測區(qū)域視場角

圖1中，傳感器陣列CCD1和CCD2位于前后不同成像平面，分別與2個定焦鏡頭對應。從物點A在兩個CCD上的成像點距離CCD中心的距離r1，r2中，可明顯看出具有一定視差，由視差便可恢復A點深度，其分辨精度與CCD像元大小有關。

圖1共軸成像模型根據(jù)雙焦成像模型，可推導出如下公式。

(1)像點位置方程：r1/f1=R/(Z+L)

r2/f2=R/Z(1)像點位置方程根據(jù)光的直線傳播特性而來，聯(lián)立式(1)消去R可得：

(2)深度計算方程：Z=(f2/f1)r1r2－(f2/f1)r1·L(2)由式2可知，鏡頭焦距f1，f2及透鏡中心距L均為已知系統(tǒng)參數(shù)，只要求得像點中心距r1，r2便可恢復深度信息Z。

設圖像傳感器單位像元尺寸為s，共軸圖像對中心點為(xc，yc)，點(x1，y1)和點(x2，y2)分別為被測物點A在2幅圖像中的匹配點，則有：ri=(xi－xc)2+(yi－yc)2·s，i=1，2(3)由式(2)和式(3)可知，共軸立體視覺深度測量將被測物點深度信息的求解問題轉化為了圖像對中被測物點對應匹配點坐標和圖像中心點坐標的求解問題。

(3) 過中心點原理。如圖2所示，前后相機圖像相對中心點呈中心縮放，對應像點連線通過中心點。則兩圖像中的同名點(x1，y1)和(x2，y2)與圖像中心點(xc，yc)的連線必定在同一方向上，故有：x1－xcx2－xc=y1－ycy2－yc(4)過中心點原理是共軸立體視覺中一個重要原理，在特征點提取、特征點匹配和中心點恢復算法中都運用。

1.2共軸立體視覺深度測量精度分析

為了分析簡便，將物點的深度計算公式歸結為矢量函數(shù)關系式：Z=F(L，f1，f2，r1，r2)(5)根據(jù)誤差分析理論，用Ψi表示各參數(shù)誤差的傳遞函數(shù)：ψi=δiΔ=Fi(6)式中：i代表L，f1，f2，r1，r2各參數(shù)；δi是參數(shù)i的誤差Δi對整體誤差貢獻的分量。

相應的，令ΔL，Δf1，Δf2為成像系統(tǒng)硬件參數(shù)L，f1，f2的標定誤差，即系統(tǒng)誤差；Δr1，Δr2為被測點A所對應像點中心距r1，r2的提取誤差，受軟件算法及傳感器元件尺寸影響，即隨機誤差。

圖2過中心點原理圖根據(jù)誤差理論得到測量的總誤差是系統(tǒng)誤差和隨機誤差的合成誤差，可推導綜合誤差為：ΔZ=ΔL·ψL+Δf1·ψf1+Δf2·ψf2+

Δr1·ψr1+Δr2·ψr2(7)用Δ表示軟件算法提取像點中心距的誤差（假設Δr1=Δr2=Δ），包括像點匹配誤差和圖像中心點計算誤差，根據(jù)式(2)、式(6)及式(7)，徑向位移提取誤差引起系統(tǒng)測量總體誤差函數(shù)為：ΔZ=z(z+L)［z(f1+f2)+Lf2］RLf1f2·Δ(8)由式(8)分析可知，提高共軸立體視覺深度測量精度主要有3條途徑：

（1） 減小像點徑向位移的提取誤差Δ，可通過選擇合理軟件算法，采用高精度圖像采集裝置，提高像點匹配精度和中心點估計精度；

（2） 增大L，f1，f2，可選擇L，f1，f2較大的圖像采集裝置，確定合理的硬件參數(shù)；

（3） 減小Z/R的比值，可合理選擇攝像機拍攝視角，讓觀測角盡可能大。

1.3共軸立體視覺傳感器設計

根據(jù)以上提高精度的3條途徑，本文設計了一種高精度廣角數(shù)碼相機作為圖像采集單元，原理如圖3所示，被關注區(qū)域的光線以較大視場角進入長焦廣角鏡頭，匯聚于大尺寸高分辨率CCD上，將光信號轉換為高清數(shù)字圖像。

該相機由光學鏡頭部分、光電傳感器部分和機械調節(jié)部分構成。光學鏡頭為施奈德大焦距廣角鏡頭，焦距210 mm，視場角為±36°；光電傳感器采用大尺寸CCD，分辨率為1 420萬像素，像元尺寸為5.1 μm。鏡頭和CCD之間用遮光皮腔連接，屏蔽雜光，確保圖像質量。相機CCD部分由機械調節(jié)部分托起，可調節(jié)焦距F和CCD光軸距離R以便接收所關注區(qū)域的清晰圖像。采用2個圖像采集單元共軸排列，充分滿足前文提高精度的途徑2和3，可獲取高質量共軸攝影圖像對，設圖像算法匹配誤差為1/10像素，根據(jù)式8可算出100 m測距理論誤差小于0.05 m。

圖3圖像采集單元原理圖2算法分析

利用共軸圖像傳感器采集共軸圖像對之后，首先進行圖像校正，需要用到圖像平滑，圖像旋轉，極線校正［6］等算法，然后進行深度恢復。深度恢復首先要獲得被測點在圖像對中的匹配點的準確位置，這需要用到特征點提取，亞像素匹配等算法；其次利用中心點估計算法得到特征點中心距r1，r2。

2.1特征點提取算法

本文采用SIFT算法［7］進行特征點提取。SIFT算法是一種多尺度特征提取算法，也是一種基于特征的配準方法，能夠適應縮放，平移，旋轉圖像中特征點對的匹配。對于共軸圖像對有很強的特征點提取及匹配能力。利用SIFT算子對圖像特征點做提取的步驟為：

(1) 構造圖像尺度空間；

(2) 在尺度空間檢測極值點，確定極值點的位置和尺度；

(3) 精確確定關鍵點的位置和尺度，同時去除低對比度的關鍵點，以增強匹配穩(wěn)定性、提高抗噪聲能力；

(4) 為每個關鍵點指定方向參數(shù)，使算子具備旋轉不變性；

(5) 關鍵點描述子的生成，即生成SIFT特征向量。

利用SIFT進行特征點提取的特征點，可作為像點匹配的初始匹配點，從而減小搜索區(qū)域，簡化計算量。由共軸立體視覺深度測量拍攝原理可知，共軸圖像對滿足過中心點原理，設點(x1，y1)和點(x2，y2)為通過SIFT計算后獲得的共軸圖像對中的匹配點，則其滿足式（4）。考慮圖像質量的不確定性，我們可以加入同名點匹配限定條件，精度eps為0.1，故有：x1－xcy1－yc－x2－xcy2－yc

特征點提取后需要進行圖像匹配，找出同一特征點在2幅共軸圖像中的同名點，圖像匹配算法包括像素級匹配和亞像素匹配的算法。匹配所采用的方法很多，本文所采用的是基于灰度相似度的方法，即選取模板在一定區(qū)域范圍內對匹配對象進行搜索，找到相關度最大點作為圖像匹配點。基于灰度相關的像素級匹配速度取決于搜索窗口大小，本文采取最大相關點搜索法加快匹配速度。

（1） 像素級匹配。選取特征點，確定前置相機圖像中的搜索區(qū)域，將后置相機圖像插值為前置相機圖像相同尺寸，選定后置相機圖像中的標準區(qū)域作為匹配模板，然后計算相關性，并得到像素級匹配點(x，y)。理想的情況下，匹配點(x*，y*)范圍應限制在： x*∈［x－0.5，x+0.5］

y*∈［y－0.5，y+0.5］(10)（2) 亞像素級匹配。調整搜索區(qū)域為點(x，y)附近，利用牛頓-拉普森算法，最小二乘法或梯度算法［8］獲取亞像素級匹配點，考慮圖像質量的不確定性，亞像素級匹配點(x*，y*)的有效區(qū)域由式（10）擴展為式（11）所示：x*∈［x－1，x+1］

y*∈［y－1，y+1］(11)若計算結果超出式(10)范圍，則轉到下一步：

（3） 雙線性插值搜索算法。如圖4所示。P0為像素級匹配點，P1和P2分別為第1步和第2步的亞像素級匹配點。點陣列表示每一步的搜索區(qū)域，箭頭則指向最大相關性的像素。

圖4雙線性插值搜索算法(1) 假設網格代表像素塊，實心點為對應像素位置。初始點P0為搜索區(qū)域中像素級匹配點，計算其周圍8點與模板對應像素點的灰度相關系數(shù)。

(2) 求得最大相關系數(shù)點P1及其相關系數(shù)Rmax后，按最大相關系數(shù)方向移動，步長減半，在搜索區(qū)域所對應位置進行雙線性插值以更新搜索區(qū)域。

(3) 比較當前中心像素點灰度相關系數(shù)與前一次值，若灰度相關性降低，則方向改變，退回上一步，步長減半。

(4) 重復步驟(1)~(3)，直到達到所規(guī)定精度。

表2實景實驗的深度計算結果

100 m物點123456平均值深度 /m100.192101.40199.446100.38998.60199.72699.95988 m物點123456平均值深度 /m87.99388.39988.387 887.79987.32187.90187.967

2.3中心點估計算法

中心點坐標(xc，yc)的計算可由過中心點原理得到，由式(4)得：xc(y1－y2)+yc(x1－x2)=x2y1－x1y2(12)利用最小二乘法求解中心點估計值：y1(1)－y2(1)x1(1)－x2(1)



y1(N)－y2(N)x1(N)－x2(N)xc

yc=

x2(1)y1(1)－x1(1)y2(1)



x2(N)y1(N)－x1(N)y2(N)(13)則像點中心距可根據(jù)式(3)求得。

3實驗

3.1中距實景拍攝實驗

圖5給出了運用前文設計的傳感器進行實景拍攝獲得的圖像，拍攝角度為水平拍攝，拍攝方式為被測區(qū)域局部拍攝，參數(shù)按式(14)設置，相機單位像素尺寸s=5.5 μm。原圖像大小為4 592×3 056像素。深度恢復結果見表2。首先對圖像進行特征點提取和圖像匹配，獲取被測點在共軸圖像對的同名點及其坐標值；然后按照同名點坐標進行中心點估計，得到中心點坐標x= -12 101.53，y=1 274.941，單位為像素；再根據(jù)同名點坐標和中心點坐標，按照關系式(2)和式(3)計算出對應點的深度。

L=2 m，f1=210 mm，f2=210 mm，θ=30°(14)

100 m深度恢復誤差約-0.041%，88 m深度恢復誤差為-0.037 5%，受特征點位置影響小，具有較高的準度和精度。

3.2長距3DS Max仿真實驗

圖6為3DsMax環(huán)境下所獲得的別墅圖像，拍攝角度為垂直拍攝，拍攝方式為局部放大渲染，參數(shù)按式(15)設置，草地距相機高度H=1 000 m，單位像素尺寸s=8 μm。原圖像大小為7 469×5 300像素。

圖5實景拍攝獲得的圖像圖63DSMAX環(huán)境下獲得的別墅圖像另一相機所獲圖像由于在理想成像質量下只存在縮放和位移偏差，不再列出，有：H=1 000 m，L=2 m，f1=400 mm，

f2=400 mm，θ=40°(15)表3為圖6中部分特征點深度計算結果。

表3模擬實驗的深度計算結果

序號123456計算深度 /m999.4321 000.1221 000.811944.722973.125974.273真實深度 /m1 0001 0001 000944.643973.999973.999相對誤差 /%-0.060.010.080.01-0.090.03序號789101112計算深度 /m960.476959.499964.588974.191974.539959.144真實深度 /m959.993959.993964.522973.999973.999959.995相對誤差 /%0.05-0.050.010.020.06-0.09

由表3可知，深度恢復誤差在0.1%以下，且受特征點位置影響小，具有較高的準度和精度。

4結語

與傳統(tǒng)雙目立體視覺深度測量系統(tǒng)一樣，共軸立體視覺深度測量系統(tǒng)的深度恢復精度與光學系統(tǒng)的成像質量、系統(tǒng)參數(shù)誤差、CCD器件像素尺寸、圖像匹配精度等有很大關系。可通過增大鏡頭焦距和相機間距，對光學系統(tǒng)進行修正和校正，提高測量精度。