基于極曲線幾何和支持鄰域的魚眼圖像立體匹配

宋　濤，熊文莉，侯培國，李海濱*，陳　琛

(1．燕山大學 工業(yè)計算機控制工程河北省重點實驗室，河北 秦皇島 066004;

2．秦皇島視聽機械研究所，河北 秦皇島 066000)

?

基于極曲線幾何和支持鄰域的魚眼圖像立體匹配

宋濤1,2，熊文莉1，侯培國1，李海濱1*，陳琛1,2

(1．燕山大學 工業(yè)計算機控制工程河北省重點實驗室，河北 秦皇島 066004;

2．秦皇島視聽機械研究所，河北 秦皇島 066000)

提出了一種基于極曲線幾何和變支持鄰域的立體匹配算法來解決魚眼立體視覺中圖像變形導致的極曲線求取和匹配代價計算問題。首先，對魚眼相機進行標定并獲取相機的相關(guān)參數(shù)；針對魚眼鏡頭的畸變問題，根據(jù)魚眼鏡頭的優(yōu)化投影模型推導出系統(tǒng)的極曲線方程，并利用得到的極線方程確定對應點的搜索范圍。然后，根據(jù)同源像點在左右圖像上的位置關(guān)系確定各中心像素點的支持鄰域，并計算出不同視差條件下該支持鄰域在另一幅圖像上的對應支持鄰域，利用獲取的支持鄰域計算出各點的匹配代價。最后，利用WTA(Winner Takes All)策略選取最佳匹配點得到最終的匹配結(jié)果。基于提出的極曲線和支持鄰域?qū)山M魚眼圖像進行了匹配實驗并與傳統(tǒng)方法進行了實驗對比，結(jié)果表明：提出的方法的匹配準確度比傳統(tǒng)方法分別提高了4.03%和4.64%。實驗結(jié)果驗證了極曲線的應用加快了匹配速度并減少了誤匹配；支持鄰域的使用使其對匹配代價計算的準確度優(yōu)于傳統(tǒng)方法。 該算法滿足了魚眼圖像立體匹配對信息獲取速度、準確度和數(shù)量的要求。

計算機視覺；立體匹配；魚眼圖像；極曲線幾何；支持鄰域

*Correspondingauthor,E-mail:hbli@ysu.edu.cn

1　引　言

作為計算機視覺的關(guān)鍵技術(shù)之一，立體匹配一直是計算機視覺領(lǐng)域的研究熱點，并且已經(jīng)形成了比較成熟的理論體系。雙目立體視覺系統(tǒng)多采用針孔相機，該領(lǐng)域已發(fā)展出了很多成熟的算法[1-4]，然而針孔相機視場角相對較小，獲取信息有限。魚眼相機能一次性捕捉超過半球視場范圍內(nèi)的場景信息，將其應用到雙目立體視覺系統(tǒng)中，故可有效地增強系統(tǒng)采集信息的效率。與視場角相當?shù)钠渌曈X系統(tǒng)相比，魚眼相機裝置簡單、體積小、便于攜帶，在城市環(huán)境三維重建[5]、實時路況監(jiān)測[6-8]、機器人導航[9-11]、雙足機器人步調(diào)規(guī)劃[12]等需要實時獲取大視場范圍場景三維信息的應用領(lǐng)域具有很大優(yōu)勢。但是，魚眼圖像的非線性畸變嚴重，給圖像的匹配帶來了很大難度。對魚眼圖像的研究主要集中在鏡頭設(shè)計[13-14]、畸變矯正[14-15]和相機參數(shù)標定[16]這3方面。有關(guān)魚眼圖像立體匹配的研究相對較少，且對未經(jīng)畸變矯正的圓形魚眼圖像的立體匹配研究主要集中在稀疏匹配和準稠密匹配[17-19]。國外對魚眼圖像的立體匹配的研究開展較早，為了實現(xiàn)魚眼圖像的實時匹配，Li[7]將魚眼圖像投影到球面上用經(jīng)緯法表示，并對球面圖像定義了一種立體視差。Zafer[20]也選擇在球面框架下完成對魚眼圖像的視差估計，以避免魚眼圖像矯正過程中積累的誤差對后續(xù)匹配結(jié)果的精確度有影響。Julien[5]在Li的基礎(chǔ)上提出利用2D和3D極曲線來指導魚眼圖像的立體匹配。但是他們都沒有說明是如何應對魚眼圖像畸變完成匹配代價計算的。對此，文獻[18]和文獻[19]分別提出用仿射變換和旋轉(zhuǎn)變換近似表示魚眼圖像的局部畸變，然后根據(jù)近似模型對種子的支持鄰域進行規(guī)范化以完成匹配代價的計算和匹配擴散。但這兩種算法的匹配結(jié)果依賴于近似模型的準確性，且只能獲取種子點及其鄰近點的準稠密匹配結(jié)果，對需要豐富匹配數(shù)據(jù)的應用來說略顯不足，匹配適用范圍受限。

本文提出一種直接對圓形魚眼圖像進行立體匹配的算法，該算法首先根據(jù)魚眼雙目視覺系統(tǒng)的投影模型推導出魚眼圖像的極曲線方程；然后，根據(jù)該系統(tǒng)的投影特性，提出一種支持鄰域確定法，利用這個方法可以計算得到圖像中各點在不同視差條件下的支持鄰域；接著，為了體現(xiàn)本文極線與支持鄰域?qū)ζヅ湫Ч母纳颇芰Γ谄ヅ浯鷥r計算和最佳匹配點選取時分別以最簡單的SAD(Sum of Absolute Differences)為代價函數(shù)計算待匹配點的匹配代價，采用最簡單的WTA(Winner Take All)策略選取最佳匹配點。

針對未經(jīng)矯正的圓形魚眼圖像的立體匹配，本文算法主要旨在解決兩個問題：以極曲線作為對應點的搜索范圍，提高匹配的速度和準確度[20]；準確確定各像素的支持鄰域及各鄰域在另一幅圖像上的對應支持鄰域，以減小圖像變形對匹配代價計算的影響。

2　魚眼相機成像模型

理想情況下魚眼相機的成像過程可以分為兩步：第一步，空間內(nèi)的點線性地投影到鏡頭球面；第二步，鏡頭球面上的點按體視投影、等立體角投影、等距投影以及正交投影這幾種投影模型非線性的映射到魚眼圖像上[17]。但是，實際的魚眼相機投影過程的第二步并不完全遵循以上4種投影模型[21]。對此，可以通過引入畸變項實現(xiàn)對魚眼相機投影模型的優(yōu)化[22]。以等立體角模型魚眼相機為例，如圖1所示。

圖1　魚眼鏡頭成像模型圖Fig.1　Imaging model of fisheye lens

空間內(nèi)一點P，在鏡頭球面上的理想投影點為P′， 理想情況下，P′應非線性地投影到p′，但實際卻投影在p。則p′與p間的映射關(guān)系可以表示為:

(1)

(2)

其中，r是魚眼圖像上的像素點P′(xp′,yp′)到圖像主點的距離，f是鏡頭的焦距，a、n是相機的內(nèi)參數(shù)，i1、i2、j1、j2、m1、m2是模型參數(shù)，θ是入射光線與鏡頭光軸的夾角，(θ,φ)為P′的球面坐標，公式(2)是一種通用的魚眼鏡頭投影模型，可以表示各種投影模型的魚眼鏡頭的投影關(guān)系。Δt、Δr是優(yōu)化魚眼相機投影模型的畸變項，它們的表達式如下所示：

(3)

模型中各參數(shù)的求取方法見參考文獻[22]。

3　魚眼圖像立體匹配

3.1魚眼圖像極線方程

為了精確求取魚眼圖像的極曲線，必須考慮魚眼鏡頭的畸變問題，本文以上述優(yōu)化成像模型為基礎(chǔ)，推導得到魚眼圖像通用的極曲線解析式，參數(shù)設(shè)定也更便于后續(xù)的匹配處理。

圖2　極曲線示意圖Fig.2　Schematic diagram of epipolar curve

如圖2所示，雙目視覺中兩個魚眼相機的光軸平行，半球形鏡頭的4個極點el1,el2,er1,er2在一條直線上。P是空間內(nèi)的一點，其在左鏡頭球面的投影為Pl，在左相機坐標系下Pl可以表示為:

(4)

為了方便后續(xù)對極曲線上的點逐一進行匹配處理，將α、β作為可控變量，則3D極曲線上的點可以用式(6)表示:

(5)

(6)

其中，α為平面OP與相機坐標系中y軸所成角，用來確定極曲線，α∈(0,π)。β是入射光線與相機坐標軸所成角，用來確定極曲線上的點，β∈(0,π)。聯(lián)立方程(4)和(6)可得α、β、θ、φ之間的變換關(guān)系：

(7)

將方程(7)代入式(5)可以得到pl在右圖像上極曲線的最終方程：

(8)

3.2支持鄰域的確定

基于區(qū)域的立體匹配算法是利用對應點鄰域內(nèi)灰度信息的相關(guān)程度進行匹配的，在紋理豐富、視差平滑區(qū)能得到較理想的匹配結(jié)果。但是，受魚眼圖像變形的影響，傳統(tǒng)的匹配窗口在計算匹配代價時存在很大偏差。如圖3所示，同樣是以封面塔尖為中心的11 pixel×11 pixel的矩形窗口，在左右兩幅魚眼圖像中所包含的像素點并不相同。因此在匹配代價計算過程中，如果采用傳統(tǒng)的矩形窗口作為支持鄰域，這兩個窗口內(nèi)的像素點很可能對應于空間中不同的點，容易造成誤匹配，這一問題在變形嚴重的圖像邊緣部分更加突出。事實上，一個深度平滑變化的空間矩形在左右兩幅圖像上的投影形態(tài)和大小會隨著深度的不同而有所變化。因此，本文根據(jù)魚眼鏡頭成像的特性確定各點支持鄰域，以解決因圖像變形引起的常規(guī)匹配窗口內(nèi)支持鄰域不對應問題，提高魚眼圖像的匹配精度。

圖3　以塔尖為中心點的傳統(tǒng)窗口(大小為11×11)Fig.3　Traditional matching windows which take spire as center with size of 11×11

圖4　魚眼雙目立體視覺投影特性示意圖Fig.4　Projection characteristics of fisheye binocular stereo vision

如圖4所示，入射光線OPW所在平面PwOY與X軸所成角用γ表示，γ∈(0,π)。分析魚眼雙目視覺系統(tǒng)的成像特性發(fā)現(xiàn)：假設(shè)過Pw點的空間直線CD在左相機坐標系中投射到左鏡頭球面的α值為αl，在右相機坐標系中投射到右鏡頭球面的α值為αr，在平行魚眼雙目視覺中αl=αr；過Pw點空間的直線AB在左相機坐標系下γ等于γl，在右相機坐標系中γ等于γr。以左相機坐標系為參考系，γ相同的空間點在以右相機坐標系為參考系時γ也相等。本文根據(jù)魚眼雙目立體視覺成像的特性，推導出魚眼圖像不同位置像素點，在不同視差情況下的支持鄰域。具體推導過程如下。

圖5　支持鄰域推導圖Fig.5　Support neighborhood derivation

如圖5所示，以左相機坐標系為參考，空間點PW在左鏡頭球面上的投影點為Pl，入射光線OPw與y軸所成角用ω表示，以左相機坐標系為參考系，則Pl點坐標可以表示為:

(9)

聯(lián)立公式(7)和(10)可得：

(10)

假設(shè)Ql點是Pl點的相鄰點，是空間點QW在鏡頭球面的投影點，與Pl點具有相同的γ，α角為αl，β角為βl。以左相機坐標系為參考系時，Ql坐標可以表示為

(11)

與Pl點各參數(shù)間的關(guān)系計算方法相同，可以求得Ql點γ、βl、αl間的關(guān)系表達式,如式(12)所示：

(12)

又因為Ql、Pl具有相同的γ，聯(lián)立式(10)和式(12)可求出βl：

(13)

在平行雙目立體視覺系統(tǒng)中，PW、QW在另一個鏡頭球面的投影點為Pr、Qr，其所在極曲線角度分別為α、αl，在右鏡頭球面也具有相同的γ′。根據(jù)上述求解過程，可以得到左鏡頭球面上Pl點的相鄰點集(即支持鄰域)在右鏡頭球面上對應的投影。因此，在對未經(jīng)矯正的圓形魚眼圖像進行立體匹配的過程中，就可以準確地確定各點的支持鄰域，再將基于區(qū)域的立體匹配算法應用到圓形魚眼圖像的立體匹配中。

3.3匹配算法步驟

為了得到魚眼圖像的極曲線方程，本文根據(jù)文獻[22]的魚眼鏡頭優(yōu)化投影模型推導出極曲線解析式。同時根據(jù)魚眼圖像的投影特性確定支持鄰域，確保計算匹配代價的同時，使左右支持鄰域內(nèi)的像素點一一對應，從而減少圖像變形對匹配代價計算的準確性造成影響。為了驗證是本文的支持鄰域提高了算法的匹配準確度，本文采用最簡單的代價函數(shù)和匹配代價聚合方法。算法的關(guān)鍵步驟歸納如下：

(1) 利用平面圓形標定板進行標定實驗，獲取魚眼相機投影模型參數(shù)的初值。然后，通過最小化理論像點與實際像點之間的距離，優(yōu)化模型參數(shù)。

(2) 根據(jù)投影模型推導出魚眼圖像的極曲線方程，考慮到實際雙目視覺系統(tǒng)并不能完全滿足平行系統(tǒng)的條件，所以匹配時沿著相應的極曲線在其附近搜索對應點。

(3) 根據(jù)同一場景在左右魚眼圖像中投影位置關(guān)系，確定匹配過程中各點在不同視差下的支持鄰域，以SAD作為代價函數(shù)，在RGB彩色空間完成匹配代價的計算。

(4) 利用WTA策略獲取待匹配像素的最佳匹配點，實現(xiàn)魚眼圖像的立體匹配。

4　實　驗

4.1實驗設(shè)備

本文實驗的硬件設(shè)備有：420 mm×594 mm規(guī)格的標定板；Pentium(R) Dual-Core CPU計算機；魚眼雙目立體視覺實驗平臺。該實驗平臺的組成包括：雙目視覺支架臺、兩臺NM33-F型魚眼攝像機，其焦距為1.27 mm。圖片拍攝過程中，左右兩個相機光軸嚴格平行，并且4個極點在一條直線上。圖6(彩圖見期刊電子版)為利用魚眼相機拍攝獲取的兩組立體圖像對，圖像尺寸為480 pixel×640 pixel，其中紅色的曲線是本文推導得到的6對極曲線，圓形區(qū)域左右兩端紅色的點即為極點。

(a) 左圖　　　　　　(b) 右圖 (a) Left images 　　　　(b) Right images 圖6　魚眼圖像對及其若干極曲線Fig.6　A pair of fisheye images and their epipolar curves

4.2實驗結(jié)果及分析

首先對兩魚眼相機進行標定實驗，獲取相關(guān)的相機參數(shù)，結(jié)果如表1所示。

表1　參數(shù)標定結(jié)果[16]

表中(uo,vo)是圖像的主點坐標，mu、mv是相機的內(nèi)部參數(shù)。

(a) 矩形匹配窗口　　　　 (b) 支持鄰域(a) Rectangle matching window　(b) Support neighborhood圖7　稀疏匹配結(jié)果 Fig.7　Results of sparse matching

對匹配結(jié)果進行統(tǒng)計，如表2所示：第一組圖像對中，參考圖一共標記了273個SIFT特征點，采用矩形窗口計算匹配代價時，誤匹配像素對有41對，準確率為84.98%；采用本文支持鄰域計算匹配代價時，誤匹配像素對有30對，準確率為89.01%。第二組圖像對中，參考圖一共標記819個特征點，采用矩形窗口計算匹配代價時，誤匹配像素對有166對，準確率為79.73%；采用本文支持鄰域計算匹配代價時，誤匹配像素對為128對，準確率為84.37%。利用本文的支持鄰域計算匹配代價時，兩組圖像的匹配結(jié)果分別提高了4.03%和4.64%。仔細觀察圖7會發(fā)現(xiàn)：對應特征點間的連接線不是相互平行的，這是因為魚眼鏡頭的非線性成像使得同源點在左右圓形魚眼上的圖像，不僅橫坐標有差別，縱坐標也存在差異。

表2　稀疏匹配結(jié)果

在等極曲線上尋找同源點，無疑縮小了同源點的搜索范圍，不僅減少了誤匹配對數(shù)，還加快了匹配速度。從以上實驗結(jié)果還可以看出：對于未經(jīng)矯正的魚眼圖像，本文提出的支持鄰域方法可以有效提高匹配算法的精度。需要說明的是，本文的實驗結(jié)果是通過最簡單的相似度計算方法和最簡單的最佳匹配結(jié)果確定法得到的，如果對這兩部分加以改進，匹配結(jié)果則能夠得到進一步優(yōu)化。

5　結(jié)　論

本文對魚眼雙目視覺立體匹配中存在的問題進行了研究，提出了一種基于極曲線幾何和支持鄰域的魚眼圖像立體匹配算法。為了更準確地求取極曲線，本文考慮鏡頭的畸變情況，根據(jù)魚眼鏡頭的優(yōu)化投影模型推導出平行魚眼雙目視覺系統(tǒng)通用的極曲線方程。根據(jù)該極曲線確定出了對應點的搜索范圍，提高了匹配速度和準確度。此外，由于魚眼圖像變形嚴重，采用傳統(tǒng)矩形窗口會使窗口像素不對應，針對這一問題，本文根據(jù)魚眼鏡頭投影特性確定圖像中各點在不同視差情況下的支持鄰域。實驗結(jié)果表明，采用本文的支持鄰域方法處理后，兩組實驗圖像的匹配精確度分別提高了4.03%和4.64%。

本文提出的匹配算法能夠減小因非線性投影模型造成的魚眼圖像畸變對匹配結(jié)果的影響，為常規(guī)立體匹配算法在魚眼圖像上的應用提供了一種可行方案。

[1]王燦進, 孫濤, 陳娟. 局部不變特征匹配的并行加速技術(shù)研究[J]. 液晶與顯示, 2014, 29(2):266-274.

WANG C J, SUN T, CHEN J. Speeding up local invariant feature matching using parallel technology[J].ChineseJournalofLiquidCrystalsandDisplays, 2014, 29(2):266-274. (in Chinese)

[2]肖志濤, 盧曉方, 耿磊,等. 基于極線校正的亞像素相位立體匹配方法[J]. 紅外與激光工程, 2014, 43(S1):225-230.

XIAO ZH T, LU X F,GENG L,etal.. Sub-pixel matching method based on epipolar line rectification[J].InfraredandLaserEngineering, 2014, 43(S1):225-230. (in Chinese)

[3]張來剛, 魏仲慧, 何昕,等. 面向低紋理圖像的快速立體匹配[J]. 液晶與顯示, 2013, 28(3):450-458.

ZHANG L G, WEI ZH H, HE X,etal.. New stereo matching method based edge extraction[J].ChineseJournalofLiquidCrystalsandDisplays, 2013,28(3):450-458. (in Chinese)

[4]楊晟, 李學軍, 朱詩兵,等. 抗仿射形變異構(gòu)金字塔復合描述點特征匹配算法[J]. 紅外與激光工程, 2014, 43(7):2387-2392.

YANG SH, LI X J, ZHU SH B,etal.. Robust affine-invariant isomerous pyramid feature and multi-description for point feature matching [J].InfraredandLaserEngineering, 2014, 43(7):2387-2392. (in Chinese)

[5]MOREAU J, AMBELLOUIS S, RUICHEK Y. 3D reconstruction of urban environments based on fisheye stereovision[C].IEEEInternationalConferenceonSignalImageTechnologyandInternetBasedSystems(SITIS)，2012,42(4):36-41.

[6]LI S G. Binocular spherical stereo[J].IEEETransactionsonIntelligentTransportationSystems.2008, 9(4): 589-600.

[7]LI S G. Real-time spherical stereo[C].IEEEInternationalConferenceonPatternRecognition(ICPR). 2006,3: 1046-1049.

[8]HANE C, HENG L, LEE G,etal..Real-time direct dense matching on fisheye images using plane-sweeping stereo[C].IEEEInternationalConferenceon3DVision(3DV). 2014:57-64.

[9]DRULEA M, SZAKATS I, VATAVU A,etal.. Omnidirectional stereo vision using fisheye lenses[C].2014IEEEInternationalConferenceonIntelligentComputerCommunicationandProcessing(ICCP).2014: 251-258.

[10]KIM D, CHOI J, YOO H,etal..Rear obstacle detection system with fisheye stereo camera using HCT[J].ExpertSystemswithApplications,2015,42(17-18):6295-6305.

[11]GOEDEME T, NUTTIN M , TUYTELAARS T,etal.. Omnidirectional vision based on topological navigation [J].InternationalJournalofComputerVision(IJCV), 2007, 74(3): 219-236.

[12]KITA N. Direct floor height measurement for biped walking robot by fisheye stereo[C].IEEEInternationalConferenceonHumanoidRobots(Humanoids), 2011, 187-192.

[13]陳琛, 胡春海. 球幕投影通用型變焦魚眼鏡頭設(shè)計[J]. 光學 精密工程, 2013, 21(2):323-335.

CHEN CH, HU CH H. Design of general type zoom fish-eye lens for dome-screen projector [J].Opt.PrecisionEng., 2013,21(2):323-335.(in Chinese)

[14] 張寶龍, 李丹, 張少敬,等. 非球面魚眼鏡頭設(shè)計及畸變校正算法研究[J]. 光學學報, 2014, 34(12): 222-227.

ZHANG B L, LI D, ZHANG SH J,etal.. Design of aspheric fisheye lens and study of distortion correction algorithms [J].ActaOpticaSinica, 2014, 34(12):222-227.(in Chinese)

[15]英向華,胡占義.一種基于球面透視投影約束的魚眼鏡頭校正方法[J].計算機學報, 2003, 26 (12):1702-1708.

YING X H, HU ZH Y. Fisheye lense distortion correction using spherical perspective projection constraint [J].ChineseJournalofComputers, 2003, 26(12): 1702-1708.(in Chinese)

[16]賈云得,呂宏靜,徐岸,等.一種魚眼鏡頭成像立體視覺系統(tǒng)的標定方法[J].計算機學報, 2000, 23(11):1215-1219.

JIA Y D, LV H J, XU A,etal.. Fisheye lens camera calibration for stereo vision system[J].ChineseJournalofcomputers, 2000, 23(11): 1215-1219.(in Chinese)

[17]祝海江,徐曉波,周靖林.基于球面透視投影旋轉(zhuǎn)矩陣的魚眼圖像匹配[J].光學學報,2013,33(2):122-129.

ZHU H J, XU X B, ZHOU J L. Fisheye image matching based on rotation matrix under spherical perspective projection[J].ActaOpticaSinica，2013,33(2):122-129. (in Chinese)

[18]許振輝,張峰,孫風梅,等.基于鄰域傳遞的魚眼圖像的準稠密匹配[J].自動化學報,2009,35(9): 1159-1167.

XU ZH H, ZHANG F M, SUN F,etal.. Quasi-dense matching by neighborhood transfer for fish-eye images[J].ActaAutomaticaSinica, 2009,35(9):1159-1167.(in Chinese)

[19]LI X, LI J. Rotation model based quasi-dense matching propagation for uncalibrated fisheye images[C].IEEEConferenceonComputerApplicationandSystemModeling(ICCASM),2010,11:181-185.

[20]姜宏志, 趙慧潔, 梁宵月,等. 基于極線校正的快速相位立體匹配[J]. 光學 精密工程, 2011, 19(10):2520-2525.

JIANG H ZH, ZHAO H J, LIANG X Y,etal..Phase-based stereo matching using epipolar line rectification [J].Opt.PrecisionEng.,2011, 19(10):2520-2525.(in Chinese)

[21]KANNALA J, BRANDT S S . A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses [J].IEEETransactionsonPatternAnalysisandMachineIntelligence(PAMI).2006, 28(8): 1335-1340.

[22]李海濱,褚光宇,張強,等.基于優(yōu)化的魚眼鏡頭成像模型的空間點定位[J].光學學報，2015,35(7): 247-253.

LI H B, CHU G Y, ZHANG Q,etal..Space point positioning based on optimization of fisheye lens imaging model [J].ActaOpticaSinica, 2015,35(7): 247-253.(in Chinese)

宋濤(1982-)，男，黑龍江齊齊哈爾人，高級工程師，博士研究生，2008年于燕山大學獲得工學碩士學位，主要從事機器視覺及智能儀器設(shè)計方面的研究。E-mail：tonysong66@gmail.com

導師簡介：

侯培國(1968-)，男，山東郯城人，教授，博士生導師，1990年7月于東北重型機械學院獲得學士學位，1993年、2003年于燕山大學分別獲得工學碩士、博士學位，現(xiàn)為燕山大學電氣工程學院黨委書記，主要從事光電檢測、智能檢測、智能控制、智能儀器等方面的研究。E-mail:pghou@ysu.edu.cn

(版權(quán)所有未經(jīng)許可不得轉(zhuǎn)載)

Stereo matching for Fish-eye images based on epipolar geometry and support neighborhood

SONG Tao1,2, XIONG Wen-li1HOU Pei-guo1, LI Hai-bin1*, CHEN Chen1,2

(1.KeyLaboratoryofIndustrialComputerControlEngineeringofHebeiProvince,YanshanUniversity,Qinhuangdao066004,China; 2 .Audio-visualMachineryResearchInstituteofQinhuangdao,Qinhuangdao066000,China)

A stereo matching algorithm based on epipolar geometry and support neighborhood was proposed to solve the problems of epipolar curve and matching cost calculation caused by image distortion in fisheye stereo system. Firstly,a fisheye camera was calibrated to obtain its relevant parameters. For the lens distortion of a fisheye lens, the epipolar curves of the system were derived according to the projection model of fisheye lens ,and these epipolar curves were used to define searching scope when searching for corresponding points. Then, according to the position relationship between homologous points on the left and right images, the support neighborhood of each pixel was determined, the corresponding support neighborhood in other image was calculated in different parallaxes and the local matching cost was calculated based on support neighborhoods. Finally, matching results were obtained by using the Winner Takes All(WTA) strategy. The epipolar geometry and support neighborhood were used to perform a matching experiment and a comparison experiment for two groups of fisheye images. Experimental results show that the matching accuracies of the two groups are increased by 4.03% and 4.64% respectively as compared to traditional methods. It concludes that the epipolar curves speed up the matching speed and reduce the error; the accuracy rate of matching cost calculation by proposed support neighborhood is also superior to that of the traditional matching for the fisheye lens. This method meets the requirements of stereo matching of fisheye images for capturing speeds, accuracy and quantity.

computer vision; stereo matching; fisheye image; epipolar curve geometry; support neighborhood

2016-05-13；

2016-06-22.

河北省自然科學基金資助項目(No.D2015203310，No.D2014203153)

1004-924X(2016)08-2050-09

TP391.41

A

10.3788/OPE.20162408.2050