基于仿復(fù)眼視覺成像的目標(biāo)信息獲取方法

陳愛華,何炳蔚,高誠輝

(福州大學(xué)機械工程及自動化學(xué)院,福建 福州 350108)

?

基于仿復(fù)眼視覺成像的目標(biāo)信息獲取方法

陳愛華,何炳蔚,高誠輝

(福州大學(xué)機械工程及自動化學(xué)院,福建 福州 350108)

目標(biāo)信息獲取是視覺測量的關(guān)鍵技術(shù),提出了一種基于仿復(fù)眼視覺成像的目標(biāo)三維信息獲取方法.該方法根據(jù)復(fù)眼視覺成像原理,采用單攝像機和平面微透鏡陣列進行成像,建立目標(biāo)點和成像點之間的對應(yīng)幾何關(guān)系,利用歸一化互相關(guān)窗口匹配算法,獲得目標(biāo)的深度信息,從而計算出其三維坐標(biāo)信息,通過試驗驗證了該方法的可行性和正確性.

復(fù)眼; 三維信息獲取; 互相關(guān)匹配; 深度提取

CHEN Ai-hua,HE Bing-wei,GAO Cheng-hui

(School of Mechanical Engineering and Automation,Fuzhou University,Fuzhou,350108,China)

隨著光電技術(shù)的發(fā)展,視覺技術(shù)已發(fā)展到可以獲取目標(biāo)的三維信息,因其具有非接觸、無損、實時性、結(jié)構(gòu)簡單等特點,故廣泛應(yīng)用于機器導(dǎo)航、工業(yè)測量和公共安防監(jiān)控等領(lǐng)域[1-3].通過視覺技術(shù)獲取目標(biāo)的三維信息,其主要難點在于如何從二維平面圖像恢復(fù)真實世界的三維結(jié)構(gòu)信息,或者計算特定目標(biāo)的深度信息.

立體視覺技術(shù)通過兩個或兩個以上的圖像獲取目標(biāo)的三維信息,是目前應(yīng)用較廣的獲取方法.然而,傳統(tǒng)的立體視覺系統(tǒng)需要兩個或兩個以上的相機,系統(tǒng)結(jié)構(gòu)較為復(fù)雜龐大,需要精確標(biāo)定多個不同相機的內(nèi)部參數(shù)和外部參數(shù),同時需要考慮圖像特征立體匹配問題,僅用兩個像素點進行匹配分析受到瑕疵像素的影響,從而限制了其在許多領(lǐng)域的應(yīng)用.

近年來,LAND,HORISAKI等提出了采用仿復(fù)眼視覺成像系統(tǒng)來獲取目標(biāo)三維信息的方法[4-6].這種視覺系統(tǒng)主要模仿節(jié)肢動物復(fù)眼系統(tǒng)來解決視覺感知問題,其應(yīng)用已成為眾多行業(yè)學(xué)者的研究重點[7-11].它只需要一個相機和一個微透鏡陣列,一次成像可以從多個視點捕獲同一目標(biāo)的多張圖像,有效地獲取目標(biāo)的三維信息,解決了立體視覺的測量問題,主要應(yīng)用于工業(yè)測量、目標(biāo)定位跟蹤、安全監(jiān)控和三維成像等領(lǐng)域[12-15].

本文構(gòu)建了仿復(fù)眼視覺成像系統(tǒng),分析研究了其成像原理以及目標(biāo)點和成像點之間的對應(yīng)關(guān)系,利用互相關(guān)圖像匹配算法,計算各個目標(biāo)點的深度信息,從而獲取目標(biāo)的三維信息.

1 成像原理

1.1 視覺成像系統(tǒng)

仿復(fù)眼視覺系統(tǒng)的結(jié)構(gòu)配置如圖1所示,主要由1個CCD(Charge-coupled Device)相機、1個主透鏡和1個長方形微透鏡陣列組成.微透鏡陣列是由一系列微小的單元透鏡組成,單元透鏡間的間距很小,其相對位置不同,一次成像可以從多個視點捕獲同一目標(biāo)的多張單元圖像,因此擁有水平方向和垂直方向的視差分析,采用多個對應(yīng)像素點的匹配,匹配結(jié)果好,可以精確地獲取目標(biāo)的三維信息.不同于其他視覺系統(tǒng)[12-14],該視覺系統(tǒng)將微透鏡陣列安裝在主透鏡和目標(biāo)之間,微透鏡陣列的物理尺寸不會受到主透鏡大小的限制,可以獲得更寬的基線以提高立體成像性能.此外,與文獻[15]中相機陣列的解決方案相比,該視覺系統(tǒng)只需要一個相機,因此它具有緊湊的系統(tǒng)配置且成本低.

圖1 視覺系統(tǒng)的配置結(jié)構(gòu)

1.2 成像幾何關(guān)系

圖2表示了視覺系統(tǒng)中空間目標(biāo)點與相應(yīng)成像點之間的成像幾何關(guān)系[16].假設(shè)每個微透鏡所獲得的目標(biāo)圖像都成像在同一個虛擬圖像平面P上且單元圖像互相不重疊,通過調(diào)整主透鏡的焦距使虛擬圖像平面在相機中清晰成像.為了便于分析,以一維微透鏡陣列來分析空間目標(biāo)點與相應(yīng)成像點之間的成像幾何關(guān)系.

圖2 視覺系統(tǒng)的成像幾何關(guān)系

在圖2中,Xi是目標(biāo)點x通過第i個單元透鏡在圖像平面P上所成的像點,Xc,i是在CCD相機成像平面上獲得的相應(yīng)的像點.在微透鏡成像過程中,根據(jù)相似三角形幾何關(guān)系,目標(biāo)點x在圖像平面P上的像點坐標(biāo)Xi為

(1)

同樣,在CCD相機成像過程中,可得相應(yīng)的成像坐標(biāo)

(2)

根據(jù)式(1)和式(2)可得

(3)

式中:Dx為單元透鏡在x方向上間距;fc為相機鏡頭的焦距;fa為單元透鏡的焦距;L為微透鏡聚焦平面P與主透鏡之間的距離;z為目標(biāo)點與微透鏡陣列之間的距離,即為目標(biāo)的實際深度信息.

同樣可得y方向上的成像坐標(biāo)為

(4)

由式(3)可得,目標(biāo)點在相機成像平面上第i1個單元圖像的像點和第i2個單元圖像的像點之間的距離為

(5)

式中:i1,i2表示相機成像平面上的單元圖像；由于fa,fc,L和Dx為已知參數(shù),因此通過比較不同的單元圖像,即可計算出目標(biāo)點的深度信息z.

2 三維信息獲取方法

2.1 互相關(guān)匹配

根據(jù)式(3),如果已知相機成像平面上兩個單元圖像的對應(yīng)像點坐標(biāo)Xc,i1和Xc,i2,就可以計算出每個目標(biāo)點的實際深度z.但由于受到系統(tǒng)安裝誤差、計算誤差和零件制造誤差等因素的影響,不同單元圖像中的對應(yīng)像點難于正確匹配.為了精確地計算目標(biāo)點的深度,本文采用多幅單元圖像匹配的歸一化互相關(guān)立體匹配算法.

假設(shè)空間目標(biāo)點的深度為z,利用式(3),(5)算出每個單元圖像中的對應(yīng)像素點.為了確定這些對應(yīng)像素點是同一目標(biāo)點的投影點,本文以每個單元圖像中的對應(yīng)像素點為中心,選取(2k+1)×(2k+1)(2k+1)×(2k+1)像素的窗口,根據(jù)式(6)對相鄰單元圖像中的窗口進行歸一化互相關(guān)計算,獲得相鄰單元圖像(i,j)和(i′,j′)的相關(guān)值為

C(i,j),(i′,j′)=

(6)

式中：m表示所選窗口橫坐標(biāo)像素數(shù)；n表示所選窗口的縱坐標(biāo)的像素數(shù)；I(Xi+m,Yj+n)表示單元圖像中所選窗口內(nèi)相應(yīng)位置的像素值.

計算縱向方向和橫向方向上相鄰單元圖像的匹配窗口的互相關(guān)值C,將這些互相關(guān)值迭加可得相似性匹配準(zhǔn)則M(z)

(7)

假設(shè)給定z的取值范圍,對式(7)進行重復(fù)計算,就可以獲得一條相似性匹配準(zhǔn)則M的曲線.M(z)取最大值時所對應(yīng)的z值即為目標(biāo)點的實際深度.

2.2 三維信息獲取

獲取目標(biāo)點的實際深度z后,根據(jù)式(3)和式(4),計算出目標(biāo)點的橫向坐標(biāo)x和縱向坐標(biāo)y,獲得目標(biāo)點的三維信息.目標(biāo)點的坐標(biāo)x和y為

(8)

式中:(X0,Y0)為中心單元圖像中對應(yīng)的像素坐標(biāo)點;(dx,dy)為CCD相機在x和y方向上的像素點間距,為相機已知參數(shù).

從式(8)可知,深度值z是目標(biāo)三維信息精確獲取的關(guān)鍵參數(shù).為了評價深度值z提取的有效性和精確性,本文采用深度均方差來量化,即

(9)

式中:σ為深度z的均方差的量化;z(x,y)為所提取的深度值;d(x,y)為目標(biāo)點的實際深度值,N為目標(biāo)點的數(shù)量.

3 試驗結(jié)果和分析

試驗系統(tǒng)設(shè)置如圖3所示,試驗系統(tǒng)由微透鏡陣列、主透鏡、CCD相機和平面目標(biāo)組成,安裝固定在平面光學(xué)平臺上.試驗中使用的參數(shù),如表1所示.

圖3 試驗系統(tǒng)設(shè)置

單元微透鏡尺寸Dx×Dy/mm1.68x1.05微透鏡焦距fa/mm5.89微透鏡的數(shù)目/個19×13單元圖像的像素大小/像素60×40像素相機的焦距fc/mm35目標(biāo)的實際深度d(x,y)/mm115主透鏡與聚焦平面P之間的距離L/mm182匹配單元圖像的數(shù)目/個19×13匹配窗口大小(2k+1)×(2k+1)/像素7×7

通過試驗系統(tǒng)獲得平面目標(biāo)的單元圖像陣列,但每個單元圖像分辨率較低,圖像質(zhì)量較差,存在噪聲.因此,在深度提取之前采用小波圖像增強算法對單元圖像陣列進行圖像增強,以獲得較好的圖像質(zhì)量,提高深度提取精度.實驗獲得的單元圖像陣列和單元圖像如圖4所示.

圖4 單元圖像陣列和放大的單元圖像

根據(jù)所提出的深度提取方法,在中心單元圖像上任選一個像素點(629,530),可獲得相應(yīng)的相似性準(zhǔn)則曲線M,如圖5所示,M最大值所對應(yīng)的深度值z為115mm,與實際深度相符.

由于歸一化互相關(guān)匹配方法采用窗口匹配,因此單個目標(biāo)點的深度提取結(jié)果不能反映本文方法的穩(wěn)定性和正確性.為了準(zhǔn)確地評估提取方法的性能,試驗提取了平面目標(biāo)所有像點,計算出深度信息及其均方差,得到平面目標(biāo)的深度均方差為6.06mm,平均深度為116.31mm.圖6表示了單元圖像陣列的深度圖,將這些深度值與實際深度值進行比較,相對誤差δ≤0.87%占41.5%,0.87%<δ≤2.61%占32.7%,2.61%<δ≤4.35%占11.3%,δ4.35%只占14.5%.從以上試驗結(jié)果可知,目標(biāo)的深度信息得到正確提取.從圖6可以看出,平面目標(biāo)中間區(qū)域的深度誤差較大,主要在于中間區(qū)域的紋理比較單一,窗口匹配誤差較大.

圖5 相似性匹配準(zhǔn)則曲線

通過試驗提取的深度信息,計算出目標(biāo)的橫向坐標(biāo),用于測量平面目標(biāo)幾何尺寸.如圖7所示,將測量目標(biāo)安裝在離微透鏡陣列一定距離的位置,測量目標(biāo)實際大小為16 mm×16 mm,獲得該目標(biāo)的單元圖像陣列.在中心單元圖像上,采用Harris角點檢測算法提取目標(biāo)圖像的4個角點坐標(biāo)(625,495)、(655,495)、(655,525)和(625,525),分別計算其深度信息,其深度均為126 mm,如圖8所示.通過試驗計算,可獲取相對應(yīng)的實際坐標(biāo)(335.5136,265.7268)、(351.6182,265.7268)、(351.6182,281.8314)和(335.5136,281.8314),測量目標(biāo)大小為16.1046 mm×16.1046 mm,絕對誤差為0.1046,相對誤差為0.65%,獲得較好的測量結(jié)果.

圖6 平面目標(biāo)的深度圖

圖7 平面測量目標(biāo)及其單元圖像陣列

圖8 4個角點的相似性匹配準(zhǔn)則曲線

4 結(jié)論

本文研究了一種基于仿復(fù)眼視覺成像的目標(biāo)三維信息獲取方法,利用仿復(fù)眼成像原理和歸一化互相關(guān)窗口匹配算法,獲取目標(biāo)的三維坐標(biāo)信息.該方法不需要相機標(biāo)定,只需單相機和微透鏡陣列,結(jié)構(gòu)簡單,操作簡單方便,測量精度較高,可用于平面幾何測量、機器導(dǎo)航、物體定位、跟蹤監(jiān)測等.由于受到光學(xué)組件的制造誤差、系統(tǒng)安裝誤差、單元陣列圖像分辨率、微透鏡個數(shù)以及匹配窗口大小的影響,試驗結(jié)果還存在誤差.

[1] MALAMAS E N,PETRAKIS E G M,ZERVAKIS M,et al.A survey on industrial vision systems,applications and tools[J].Image and Vision Computing,2003,21(2):171-188.

[2 ] RANKIN A L,HUERTAS A,MATTIES L H.Stereo vision based terrain mapping for off-road autonomous navigation[C]∥Grant R.Gerhart.Proc.SPIE 7332,Unmanned Systems Technology XI,Orlando:SPIE,2009:10-14.

[3 ] RICHA R,POIGNET P,LIU Chao.Three-dimensional motion tracking for beating heart surgery using a thin-plate spline deformable model[J].Int.J.Robotic Res.2010,29:218-230.

[4] LAND M F.Compound eyes:old and new optical mechanisms[J].Nature,1980,287:681-686.

[5] RYOICHI H,SATORU I,YUSUKE O,et al.Three-dimensional information acquisition using a compound imaging system[J].OPTICAL REVIEW,2007,14(5):347-350.

[6] Park J H,Min S W,Jung S,et al.New stereovision scheme using a camera and a lens array[C]∥Bahram Javidi.Proc.SPIE 4471,Algorithms and Systems for Optical Information Processing V,San Diego:SPIE 2001:73-80.

[7] 陳明君,劉業(yè)勝,李子昂,等.仿生光學(xué)復(fù)眼設(shè)計及其制造技術(shù)研究新進展[J].機械工程學(xué)報,201l,47(1):16l-168.

CHEN Mingjun,LIU Yesheng,LI Ziang,et al.New research progress in design and manufacture ofartificial optical compound eye[J].Journal of Mechanical Engineering,2011,47(1):16l-168.

[8 ] NAEMURA T,YOSHIDA T,HARASHIMA H.3-D computer graphics based on integral photography[J].Optics Express,2001,8(2):255-262.

[9 ] HONG S H,JAVIDI B.Improved resolution 3D object reconstruction using computational integral imaging with time multiplexing[J].Optics Express,2004,12(19):4579 4588.

[10] PASSALIS G,SGOUROS N,ATHINEOS S,et a1.Enhanced reconstruction of three-dimensional shape and texture from integral photography images[J].Applied Optics,2007,46(22):5311-5320.

[11] JAVIDI B,PONCE D R,HONG S H.Three-dimensional recognition of occluded object by using computational integral imaging[J].0ptics Letters,2006,31(8):1106-1108.

[12] TANIDA J,KUMAGAI T,YAMADA K,et al.Thin observation module by bound optics (TOMBO):Concept and experimental verification[J].Appl.Opt.,2011,40(11):1806-1813.

[13] REN N G,LEVOY M,BREDIF M,et al.Light field photography with a hand-held plenoptic camera[R].Stanford:Comput.Sci.Tech.Rep,2005.

[14] ALDALALI B,LI C,ZHANG L,et al.Micro cameras capable of multiple viewpoint imaging utilizing photoresist microlens arrays[J].Microelectromech.Syst.,2012,21(4):945-952.

[15] LEVOY M.Light fields and computational imaging [J].IEEE Computer,2006,8:46-55.

[16] OKANO F,HOSHINO H,ARAI J,et al.Real-time pickup method for a three-dimensional image based on integral photography[J].Appl.Opt.,1997,36:1598-1603.

Object information acquisition based on artificial compound eye visual imaging

As a critical technology for visual measurement,a 3D object information acquisition method proposed via the artificial compound eye visual imaging.With application of the single camera and plane microlens array,the geometric mapping relationship between the object and imaging points is established.By employing the normalized cross-correlation matching algorithm,the in-depth object information is extracted for 3D coordinate information.To this end,the feasibility and correctness of the proposed method are verified.

compound eye;3D information acquisition;cross-correlation matching;in-depth extraction

國家自然科學(xué)基金資助項目(F030601)；福建省教育廳產(chǎn)學(xué)研資助項目(JA13033)

陳愛華(1978-),男,副教授,博士生,E-mail:cah@fzu.edu.cn

TP 391.7

A

1672-5581(2016)01-0001-05