手部三模態(tài)圖像采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)*

苑瑋琦，王黎黎，張寧寧

（沈陽工業(yè)大學(xué)視覺檢測(cè)技術(shù)研究所，遼寧沈陽 110870）

0 引言

手掌皮下靜脈和掌紋具有很好的穩(wěn)定性和唯一性，自然狀態(tài)下手掌為半握狀態(tài)，特征信息不易被獲取;手掌掌形特征簡(jiǎn)單，測(cè)量量小，認(rèn)證速度快 ，可作為靜脈和掌紋識(shí)別的重要條件。雖然手部指紋特征也具有不變性［2］，但指紋特征極易被竊取。與單一模態(tài)系統(tǒng)相比，采用手掌靜脈、掌紋和掌形3種模態(tài)相結(jié)合設(shè)計(jì)的采集系統(tǒng)優(yōu)勢(shì)互補(bǔ)，降低了檢測(cè)復(fù)雜度，能更好地適用于安防、考勤等要求較高安全性的場(chǎng)合，并結(jié)合非接觸方式采集，避免了疾病的傳染。

本文設(shè)計(jì)了一種在非接觸條件下采集手掌靜脈、掌紋和掌形三模態(tài)圖像的采集系統(tǒng)，它為非接觸手多模態(tài)信息融合識(shí)別技術(shù)搭建了理想的硬件平臺(tái)。

分析手部三模態(tài)成像原理和特征，設(shè)計(jì)并選擇能夠同時(shí)清晰獲取3種模態(tài)特征的圖像傳感器和鏡頭，使三幅圖像手掌位置不發(fā)生改變。配合圖像傳感器采用可見光與850 nm近紅外光補(bǔ)光系統(tǒng)，設(shè)計(jì)系統(tǒng)光源的均勻性排布和控制電路。拍攝的三模態(tài)圖像數(shù)據(jù)通過千兆網(wǎng)線上傳到計(jì)算機(jī)中，通過手限定區(qū)域定位功能使手掌限定在可識(shí)別的范圍內(nèi)，解決了非接觸式手掌位置不固定影響識(shí)別的問題。最終，對(duì)三模態(tài)圖像進(jìn)行融合識(shí)別，通過上位機(jī)軟件實(shí)時(shí)顯示識(shí)別結(jié)果。本系統(tǒng)可實(shí)時(shí)快速獲取手部三模態(tài)特征圖像進(jìn)行身份識(shí)別，實(shí)用性強(qiáng)。

1 系統(tǒng)總體硬件結(jié)構(gòu)

圖1為系統(tǒng)總體框圖。此系統(tǒng)為非接觸式采集圖像，被采集者站立時(shí)水平自然伸出手掌，即可進(jìn)行采集。控制電路主要用于光源切換和光強(qiáng)調(diào)整。采用可在多光譜下成像的雙CCD攝像機(jī)，符合系統(tǒng)焦距、景深、視角等要求的鏡頭，以及由近紅外及可見光LED組成的系統(tǒng)光源。攝像機(jī)、鏡頭、光源和采集箱體構(gòu)成了采集環(huán)境。另外，若實(shí)驗(yàn)需要，本系統(tǒng)也可以單獨(dú)采集任一模態(tài)的手部特征圖像。

圖1 系統(tǒng)總體框圖Fig 1 Block diagram of system

2 手部三模態(tài)特征成像原理

計(jì)算機(jī)視覺系統(tǒng)中的紅外光主要用于半透明等的物體檢測(cè)，而在近紅外區(qū)域內(nèi)體液和軟組織相對(duì)透明，720～1100 nm波長的近紅外光能夠較好地透射進(jìn)入皮下組織［3］。而血液中的血紅蛋白對(duì)近紅外光譜有較多的吸收，此時(shí)采用對(duì)近紅外光敏感度高的圖像傳感器就會(huì)獲取到靜脈圖案。掌紋、掌形特征分布在手掌表面，主要獲取掌紋的紋理特征和掌形的尺寸特征，肉眼在可見光下可觀察到，因此，采用對(duì)可見光敏感度高的圖像傳感器，即可獲取包含掌紋、掌形特征的圖像。

3 成像單元設(shè)計(jì)

圖像傳感器和鏡頭對(duì)成像質(zhì)量起著非常關(guān)鍵的影響，必須在極短的時(shí)間內(nèi)拍攝3種模態(tài)特征的圖像，并使成像的分辨率、對(duì)比度、景深等能夠達(dá)到系統(tǒng)的使用要求。

3．1 光學(xué)攝像機(jī)

本系統(tǒng)要求的攝像機(jī)能夠同時(shí)采集手掌靜脈、掌紋、掌形3種模態(tài)特征的圖像，即能夠在可見光波段和近紅外波段都能清晰地成像，并且3種模態(tài)特征的圖像手掌位置一致，以便識(shí)別時(shí)能準(zhǔn)確定位，簡(jiǎn)化算法。電荷耦合器件（charge coupled device，CCD）攝像機(jī)解析度高、靈敏度高、分辨率高、畸變小、噪聲低，能夠很好地滿足本設(shè)計(jì)要求。

采用雙CCD多光譜攝像機(jī)，內(nèi)部集成雙圖像傳感器，圖2［4］為本系統(tǒng)圖像傳感器光譜，對(duì)可見光和近紅外都有較好的感光特性，并且采用1/3 in逐行掃描傳感器，有效像素為1024×768，對(duì)于手掌靜脈和掌紋的細(xì)微紋理特征都能夠清晰地捕獲。該相機(jī)內(nèi)部集成可見光和近紅外2只感光元件和分光棱鏡，如圖3，可將入射相機(jī)里的光線分離成2路射入可見光傳感器和近紅外傳感器，分別進(jìn)行光電轉(zhuǎn)換。2片CCD上可以獲得2張角度和視場(chǎng)完全一致的圖像。因此，采用本攝像機(jī)在成像時(shí)，三模態(tài)特征可以分別成像，互不干擾，通過對(duì)上位機(jī)軟件的二次開發(fā)，實(shí)現(xiàn)了同時(shí)采集。

圖2 圖像傳感器近紅外與可見光響應(yīng)曲線Fig 2 Response curve of sensor in NIR and visible light

圖3 雙CCD相機(jī)成像過程Fig 3 Imaging process of dual CCD camera

3．2 鏡頭的計(jì)算與選擇

鏡頭應(yīng)用于多光譜成像，成像距離為200 mm左右，并應(yīng)使手掌能夠成像完整。攝像機(jī)的傳感器尺寸為1/3 in，即4．8 mm ×6．4 mm，焦距可計(jì)算為

其中，f為鏡頭焦距，D為被攝物體距鏡頭的距離，W和H分別為被攝物體的寬度和高度，w和h分別為CCD靶面的寬度和高度，如圖4，計(jì)算得到系統(tǒng)鏡頭焦距f約為4mm，此時(shí)修正的手掌表面距離鏡頭為222．22 mm。

圖4 鏡頭成像原理示意圖Fig 4 Schematic of lens imaging

鏡頭需拍攝全整個(gè)手掌以便進(jìn)行識(shí)別，即鏡頭的視場(chǎng)角（如圖5）。水平和垂直視場(chǎng)角θw，θh由下式計(jì)算得到

式中 垂直視角 θh=58．76°，水平視角 θw=48．49°。只有大于或等于該值鏡頭才能使手掌全部被捕捉到。另外，為了使3幅圖像能夠有相同的焦點(diǎn)，需選用不帶紅外濾光片的3CCD鏡頭。基于以上計(jì)算，選擇鏡頭焦距為4 mm，靶面大小為1/2in，視角為64．5°×49．2°，能夠與攝像機(jī)配套使用。

圖5 鏡頭視場(chǎng)角計(jì)算圖Fig 5 Calculation of lens field of view angle

本系統(tǒng)為非接觸設(shè)備，被采集者手掌放置位置會(huì)有偏差，需考察所選鏡頭的景深（圖6），即在手掌被聚焦清晰后，在該位置前面和后面也可聚焦清晰的區(qū)域大小，通過下式計(jì)算

圖6 鏡頭景深示意圖Fig 6 Schematic diagram of lens filed depth

其中，F(xiàn)為鏡頭焦距與鏡頭有效孔徑之比，T1為前景深，T2為后景深，C為最小模糊圓周，1/2型=0．015 mm，計(jì)算得H=592．59mm，T1=162．58mm，T2=352．59mm。前景深與后景深范圍合理，被測(cè)者手掌采集位置可以有一定偏差，滿足系統(tǒng)要求。

使用該攝像機(jī)和鏡頭，拍攝到的手掌靜脈、掌紋及掌形圖像如圖7，3幅圖像手掌位置不變，大小適中，掌紋紋路特征清晰，靜脈特征明顯。

圖7 系統(tǒng)采集的手掌靜脈、掌紋、掌形圖像Fig 7 Image of palm vein，print and shape acquired by system

4 補(bǔ)光模塊設(shè)計(jì)

機(jī)器視覺系統(tǒng)中，合適的補(bǔ)光模塊可以使圖像獲得最佳的對(duì)比度、亮度以及魯棒性。結(jié)合三模態(tài)成像原理、手掌尺寸及紋理特征等規(guī)律設(shè)計(jì)系統(tǒng)補(bǔ)光模塊。

4．1 光譜的選擇

上述近紅外光可適用皮下靜脈成像。設(shè)計(jì)760，850，890，940 nm 4個(gè)波段光源板選擇本系統(tǒng)的靜脈最佳成像波段，采用50人分別在4種波段下采集10幅靜脈圖像，共計(jì)2000幅。

圖8（a）～（d）為其中一名被采集者在4個(gè)波段采集的靜脈圖像，使用FDR手掌靜脈成像清晰度模型計(jì)算手掌靜脈像素與周圍組織像素灰度值的對(duì)比度

式中RFDR（vt）為靜脈及其周圍區(qū)域像素集合的FDR，μtissue為靜脈周圍區(qū)域灰度值的平均值，μveir為靜脈區(qū)域灰度值的平均值 ，σ2tissue為靜脈周圍組織像素對(duì)應(yīng)灰度值的總體方差，σ2vein為靜脈像素對(duì)應(yīng)灰度值的總體方差，掌靜脈圖像清晰度越好，則RFDR（vt）值越大。對(duì)2000幅圖片分別計(jì)算RFDR（vt）均值，以此評(píng)價(jià)手掌靜脈圖像清晰度［5］，如表1，由上述實(shí)驗(yàn)數(shù)據(jù)看出:850nm波長的RFDR（vt）最大，即采用850 nm光源作為手掌靜脈最佳成像波長。

圖8 同一被測(cè)者四波段靜脈圖像Fig 8 Four-band vein image of same person

掌紋成像是由于屈肌紋處留下光源的陰影，使掌紋與非掌紋區(qū)域?qū)Ρ榷仍龃蟆２ㄩL小的光穿透性弱，且不易發(fā)生衍射，有利于掌紋成像。同一光強(qiáng)下藍(lán)光與紅光、綠光對(duì)比成像效果如圖9，藍(lán)光下掌紋主線清晰、對(duì)比度大、反光少，采用470 nm藍(lán)光光源作為掌紋成像光源。掌形特征獲取輪廓，需要手掌與背景產(chǎn)生較大的對(duì)比度。本系統(tǒng)采用能使掌紋成像的最大光強(qiáng)作為掌形的成像光源，系統(tǒng)更加便捷、經(jīng)濟(jì)、使用度高。

表1 各波長下手掌靜脈圖像FDRTab 1 FDR of palm vein under each wavelength

圖9 藍(lán)光、紅光、綠光掌紋圖像Fig 9 Image of palm print under blue，red，green light

4．2 光源的均勻性優(yōu)化設(shè)計(jì)

光源光照要能夠均勻覆蓋手掌，并且亮度保持穩(wěn)定。光源的均勻性取決于手掌表面與光源的距離，光源的入射角度，被測(cè)試手掌的反射率等。采用常見的LED作為發(fā)光光源。

單個(gè)LED發(fā)光時(shí)光強(qiáng)與發(fā)光角度無關(guān)，LED表面各個(gè)方向光強(qiáng)均勻。將單個(gè)LED假設(shè)為朗伯發(fā)光體，光強(qiáng)分布為朗伯分布，并將單顆LED近似為點(diǎn)光源。照度的近似分布為［6］

其中，E0是垂直方向上距離LED為r處的照度值，θ為觀察角，m值為

其中，θ1/2為LED的半值角，半值角過小，會(huì)眩光，不利于手部特征的采集，選擇LED半值角為30°。根據(jù)上述公式計(jì)算得m值約為4．847，當(dāng)觀察角為半值角方向時(shí)，可得對(duì)應(yīng)的像素點(diǎn)的光強(qiáng)約為垂直方向光強(qiáng)的1/2。由于LED為非相干光源，相鄰2顆LED的距離小于單顆LED的發(fā)光半徑時(shí)，光強(qiáng)會(huì)產(chǎn)生直接疊加，設(shè)計(jì)光源時(shí)單顆LED的半值角方向光線能夠與相鄰LED發(fā)光法向方向的光線匯聚在被測(cè)表面上，則LED疊加量相等，能使光源最均勻，如圖10。

圖10 相鄰LED光強(qiáng)疊加示意圖Fig 10 Diagram of LED intensity superimposed

采用目前通用的方形排列方式［7］，經(jīng)統(tǒng)計(jì)普通人手掌分布在250 mm×200 mm的矩形內(nèi)，設(shè)計(jì)光源排布成4×15的矩形陣列，且光源矩形面積大于手掌。光源強(qiáng)度和光照分布如圖11，系統(tǒng)光源光照均勻，亮度穩(wěn)定。

圖11 光源效果與光照分布圖Fig 11 Diagram of lighting effects and distribution

使用的LED管壓降1．5～1．8 V，額定電流50 mA，光源板集成藍(lán)光光源與近紅外光光源。結(jié)合矩形陣列LED的光學(xué)結(jié)構(gòu)，采用串并行結(jié)合方式驅(qū)動(dòng)?？筛鶕?jù)不同人手掌脂肪厚度差異，連續(xù)調(diào)節(jié)LED光強(qiáng)，并通過電流表直觀觀察。另外，設(shè)計(jì)集成760，850，890，960 nm 4個(gè)波段的近紅外光源板，可按需求切換。

5 系統(tǒng)應(yīng)用程序設(shè)計(jì)

5．1 手限定區(qū)域定位設(shè)計(jì)

采集的圖像通過千兆網(wǎng)卡傳送到電腦上，在識(shí)別之前，根據(jù)實(shí)驗(yàn)室開發(fā)的識(shí)別軟件要求，需要對(duì)采集的圖像審核。檢測(cè)手掌4個(gè)方向極限邊緣點(diǎn)是否都分布在內(nèi)外邊界之間，是，則圖像予以采納進(jìn)行識(shí)別;如果5點(diǎn)當(dāng)中的任意一點(diǎn)超出限定區(qū)域，則圖像不予采納，提示用戶重新擺放手掌進(jìn)行采集。圖12為設(shè)計(jì)流程圖，使用內(nèi)外邊界框限定手掌，其中外邊界框180mm×220mm，內(nèi)邊界110mm×140mm。

圖12 手限定區(qū)域定位流程圖Fig 12 Flow chart of hand limited area

5．2 系統(tǒng)識(shí)別部分

拍攝的圖像除包含手掌靜脈、掌形、掌紋，還包含手指、手腕、環(huán)境背景等區(qū)域，識(shí)別時(shí)，分別對(duì)三種模態(tài)的圖像進(jìn)行特征的提取，并且將識(shí)別結(jié)果進(jìn)行融合，增加識(shí)別的可靠性和準(zhǔn)確性，軟件流程如圖13。

圖13 軟件識(shí)別流程圖Fig 13 Flow chart of software

6 結(jié)果與分析

本系統(tǒng)實(shí)物如圖14，系統(tǒng)開關(guān)、控制旋鈕及電流表均排布于面板上，使用本系統(tǒng)實(shí)時(shí)采集到三模態(tài)特征圖像如圖15，圖像清晰，特征明顯，圖像手掌姿勢(shì)和位置沒有發(fā)生變化。

圖14 采集系統(tǒng)實(shí)物圖Fig 14 Physical image of acquisition system

圖15 系統(tǒng)采集的三模態(tài)圖像Fig 15 Three-modal image acquired by system

設(shè)計(jì)一種完整的非接觸式手多模態(tài)特征采集系統(tǒng)，能夠同時(shí)清晰獲取手掌靜脈、掌紋、掌形三種模態(tài)特征圖像。采用帶有雙圖像傳感器的雙CCD攝像機(jī)，配合850，470 nm補(bǔ)光系統(tǒng)，很好地解決接觸式采集方法的局限性和單一模態(tài)采集方法的識(shí)別率受限等問題，為非接觸手多模態(tài)信息融合識(shí)別技術(shù)搭建了理想的硬件平臺(tái)。

［1］ Brunelli R，F(xiàn)alavigna D．Person identification using multiple cues［J］．IEEE Transactions on PAMI，1995，955 －966．

［2］ 李 俊，吳懷宇，李鵬飛，等．指紋圖像采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［J］．傳感器與微系統(tǒng)，2005，24（1）:38 －42．

［3］ Matcher S J，Elwell C E，Copper C E，et al．Performance comparison of several published tissue near-infrared spectroscopy algorithms［J］．Anal Biochem，1995，227:54 － 68．

［4］ Manual digital 2CCD progressive scan multi-spectral camera user’s manual［EB/OL］．［2009—10—09］．http:∥www．jai．com/camerasolutions/products/ad－080ge．

［5］ 吳 微，苑瑋琦，林 森，等．手掌靜脈識(shí)別典型波長選擇［J］．光學(xué)學(xué)報(bào)，2012，32（12）:1211002．

［6］ Wood D．Optoelectronic semiconductor devices［M］．Upper Saddle River:Prentice Hall，1994:84 －88．

［7］ Narukawa Y．White-light LEDs［J］．Opt＆ Photon News，2004，15:24－29．