摘要: 生物特征計(jì)算旨在實(shí)現(xiàn)人體生物特征的自動(dòng)感知與分析,建立生物特征與人的身份、情感、行為、健康情況和美學(xué)評(píng)價(jià)的對(duì)應(yīng)關(guān)系的可計(jì)算模型。結(jié)合作者近十余年來在生物特征計(jì)算方面的研究,從生物特征識(shí)別、醫(yī)學(xué)和美學(xué)生物特征計(jì)算三個(gè)方面對(duì)生物特征計(jì)算的進(jìn)展和趨勢(shì)進(jìn)行了介紹和展望。
關(guān)鍵詞:
中圖分類號(hào): TP391.4 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):2095-2163(2011)01-0001-08
0引言
生物特征包括人體固有的生理特征(如人臉、指紋、虹膜和掌紋)和行為特征(如步態(tài)、語音和簽名)。由于生物特征具有“人人擁有,人各不同,長(zhǎng)期不變”等優(yōu)點(diǎn),早期的生物特征計(jì)算研究主要集中在生物特征識(shí)別(Biometric Recognition)方面,研究基于生物特征的高可靠自動(dòng)身份鑒別方法[1]。美國(guó)911事件和英國(guó)倫敦地鐵爆炸案等恐怖襲擊事件使得世界各國(guó)更加深刻地認(rèn)識(shí)到了身份識(shí)別技術(shù)的重要性和必要性。作為目前最為安全、可靠和便捷的身份識(shí)別技術(shù),生物特征識(shí)別技術(shù)已成為保障國(guó)家和公共安全的有力措施和核心戰(zhàn)略技術(shù)。目前,指紋、人臉和虹膜識(shí)別系統(tǒng)已經(jīng)在反恐、海關(guān)和刑偵等多個(gè)領(lǐng)域得到了較大規(guī)模的應(yīng)用,但在應(yīng)用中也暴露出這些系統(tǒng)在準(zhǔn)確性、安全性和易用性方面的不足。發(fā)展非限定生物特征識(shí)別技術(shù),擴(kuò)展生物特征識(shí)別家族成員,以及研究多模態(tài)生物特征識(shí)別技術(shù)已成為新的熱點(diǎn)。
然而,生物特征的應(yīng)用并不僅局限于身份識(shí)別領(lǐng)域,人類還具有基于人臉、語音和步態(tài)等生物特征的美學(xué)評(píng)價(jià)、行為和情感分析的功能,中醫(yī)專家能夠通過分析人的舌象、脈象和氣味進(jìn)行辨癥和診病。因而,作為生物特征識(shí)別的擴(kuò)展,旨在利用計(jì)算機(jī)技術(shù)手段實(shí)現(xiàn)人體生物特征的自動(dòng)感知與分析,建立基于生物特征信息的身份識(shí)別、情感和行為分析、健康情況和美學(xué)評(píng)價(jià)的生物特征計(jì)算(Biometric Computing)技術(shù),將在信息科學(xué)、公共安全、人機(jī)交互和生物醫(yī)學(xué)等領(lǐng)域的應(yīng)用中發(fā)揮更為重要的作用。
近年來,隨著傳感器、計(jì)算機(jī)視覺和模式識(shí)別技術(shù)的發(fā)展,針對(duì)公共安全中日益迫切的高可靠身份識(shí)別需求,不僅傳統(tǒng)的生物特征識(shí)別技術(shù)取得了許多新的進(jìn)展和大規(guī)模應(yīng)用,還涌現(xiàn)出了掌紋、步態(tài)、耳朵、指/掌脈和指關(guān)節(jié)識(shí)別等一系列新興生物特征識(shí)別技術(shù)。在視覺監(jiān)控、人機(jī)交互、疾病診斷和美學(xué)計(jì)算等領(lǐng)域,生物特征計(jì)算也獲得了廣泛的關(guān)注并取得了一定的進(jìn)展。總而言之,生物特征計(jì)算旨在實(shí)現(xiàn)人或?qū)<业牟糠止δ埽糜?jì)算機(jī)和信息科學(xué)手段實(shí)現(xiàn)基于生物特征的身份識(shí)別、疾病診斷、美學(xué)評(píng)價(jià)、行為和情感分析,必將對(duì)人們的工作和生活方式產(chǎn)生重大而深遠(yuǎn)的影響。
結(jié)合近十余年來在生物特征計(jì)算方面的研究,本文從生物特征識(shí)別、醫(yī)學(xué)和美學(xué)生物特征計(jì)算三個(gè)方面對(duì)生物特征計(jì)算的進(jìn)展和趨勢(shì)進(jìn)行介紹。
1生物特征識(shí)別
生物特征識(shí)別主要從生物特征采集、鑒別特征提取和快速匹配以及檢索等方面,研究基于生物特征的身份鑒別和身份辨識(shí)技術(shù)。與基于知識(shí)的和基于標(biāo)志物的身份認(rèn)證手段相比,生物特征識(shí)別具有安全便捷、不會(huì)丟失和遺忘等優(yōu)點(diǎn),被認(rèn)為是身份識(shí)別的終極解決方案。隨著模式識(shí)別、計(jì)算機(jī)視覺和信號(hào)處理等相關(guān)學(xué)科的發(fā)展,一些生物特征識(shí)別方法如指紋識(shí)別和虹膜識(shí)別等在技術(shù)上已較為成熟,出現(xiàn)了一些代表性的產(chǎn)品并在出入境管理和智能身份證等重要領(lǐng)域中得到了較大規(guī)模的應(yīng)用。
考慮到各種應(yīng)用領(lǐng)域的特殊需求,以及目前生物特征識(shí)別技術(shù)在易用性、準(zhǔn)確性和安全性方面的問題和不足,目前的生物特征識(shí)別技術(shù)還遠(yuǎn)遠(yuǎn)不夠成熟和完善,仍需進(jìn)一步的深入研究,具體體現(xiàn)在以下幾個(gè)方面:
(1)任何一種生物特征都不是完美無缺的,都存在著各自的缺陷和不足[1]。如指紋并不能嚴(yán)格滿足“人人擁有”和“長(zhǎng)期不變”特性,年齡的增長(zhǎng)、某些類型的長(zhǎng)期勞動(dòng)都會(huì)導(dǎo)致指紋的磨損和退化。據(jù)統(tǒng)計(jì),2%~5%的人不能提供滿足要求的高質(zhì)量指紋圖像[2]。此外,針對(duì)某些特殊應(yīng)用環(huán)境,傳統(tǒng)的生物特征識(shí)別技術(shù)可能不再適用。因此,擴(kuò)展生物特征識(shí)別家族成員,發(fā)展與已有技術(shù)良好互補(bǔ)的新型生物特征識(shí)別技術(shù)一直以來都是一個(gè)重要方向。
(2)目前的研究仍主要集中在限定環(huán)境和用戶配合條件下的生物特征識(shí)別方面,而不可控環(huán)境和非用戶配合情況下的生物特征識(shí)別技術(shù)(即:非限定生物特征識(shí)別)將有助于提升系統(tǒng)的易用性和適用范圍,因而更符合實(shí)際需求[3]。在監(jiān)控和刑偵領(lǐng)域,非限定生物特征識(shí)別更可能成為唯一可行的身份認(rèn)證手段。
(3)針對(duì)單一模態(tài)的生物特征識(shí)別技術(shù)的的缺陷和不足,另一種可行的解決方案是發(fā)展多模態(tài)生物特征采集和識(shí)別技術(shù),綜合利用不同模態(tài)生物特征的冗余性和互補(bǔ)性來改善系統(tǒng)的識(shí)別精度和防偽造攻擊性能[4]。
針對(duì)上述問題,生物特征識(shí)別技術(shù)的發(fā)展越來越呈現(xiàn)出泛在感知、非限定應(yīng)用和融合計(jì)算的趨勢(shì)。下面作者將從生物特征識(shí)別家族新成員、非限定生物特征識(shí)別和多模態(tài)生物特征識(shí)別三個(gè)方面分別加以介紹。
1.1生物特征識(shí)別家族的新成員
本節(jié)首先以掌紋識(shí)別為例,給出了一個(gè)生物特征識(shí)別家族新成員從提出到發(fā)展的具體例子,然后簡(jiǎn)要總結(jié)了近年來出現(xiàn)的幾種主要的新成員。
針對(duì)指紋、人臉和虹膜等主流生物特征識(shí)別技術(shù)的問題和不足,作者1998年在國(guó)際上首次提出了掌紋識(shí)別技術(shù)[5]。掌紋是手掌皮膚上所有紋路的統(tǒng)稱,主要包括乳突紋、主線和皺褶等。與其它生物特征識(shí)別技術(shù)相比,掌紋識(shí)別具有其獨(dú)到的優(yōu)勢(shì),在某些場(chǎng)合下可能會(huì)成為用戶的最佳選擇。
掌紋識(shí)別一般包括掌紋圖像采集、預(yù)處理、特征提取和匹配等幾個(gè)主要方面。掌紋圖像采集方式主要有脫機(jī)和聯(lián)機(jī)兩種方式。由于傳感器和計(jì)算機(jī)處理速度等硬件限制,早期的掌紋圖像采集方式多為脫機(jī)采集,一般采用油墨摁壓法或數(shù)碼相機(jī)來獲取脫機(jī)圖像。2002年后,聯(lián)機(jī)掌紋識(shí)別逐漸成為掌紋識(shí)別的主流[6]。聯(lián)機(jī)方式一般采用CCD成像設(shè)備或掃描儀來獲取數(shù)字掌紋圖像。為了采集掌紋的多光譜信息和三維信息,作者及其研究團(tuán)隊(duì)還設(shè)計(jì)了多光譜掌紋采集設(shè)備[7]和基于結(jié)構(gòu)光的三維掌紋采集設(shè)備[8]。為了獲取高分辨率圖像,Dai和Zhou設(shè)計(jì)了一個(gè)接觸式高分辨率掌紋采集設(shè)備[9]。為了改善系統(tǒng)的易用性,非接觸采集和處理成為近年來掌紋采集的重要發(fā)展方向。需要指出的是,雖然基于低分辨率掌紋圖像的聯(lián)機(jī)識(shí)別已成為掌紋識(shí)別的主流,在刑偵領(lǐng)域,基于現(xiàn)場(chǎng)掌紋痕跡提取高分辨率殘缺掌紋圖像進(jìn)行身份認(rèn)證仍然具有迫切的現(xiàn)實(shí)意義[10]。圖1給出了幾種代表性的聯(lián)機(jī)掌紋圖像采集設(shè)備。
為了消除掌紋的位置、方向和大小等因素的不利影響,需要進(jìn)行掌紋圖像預(yù)處理,實(shí)現(xiàn)手掌檢測(cè)與分割、感興趣區(qū)域(ROI)定位、歸一化處理等。在非接觸掌紋圖像識(shí)別中,手掌的自動(dòng)檢測(cè)和分割將愈加重要。利用掌紋的膚色信息和形狀信息,借鑒人臉檢測(cè)技術(shù),研究人員已經(jīng)提出了一些手掌檢測(cè)方法。針對(duì)ROI定位和歸一化問題,目前主流的方法是檢測(cè)手掌上的關(guān)鍵點(diǎn)(或穩(wěn)定點(diǎn))并建立局部坐標(biāo)系來實(shí)現(xiàn)掌紋圖像的定位和歸一化的[6],如圖2(a)所示。一般包括以下五個(gè)步驟:二值化、手掌邊緣檢測(cè)、關(guān)鍵點(diǎn)檢測(cè)、建立局部坐標(biāo)系和提取掌紋中心塊。圖2(b)所示為提取出的掌紋中心塊。在步驟“關(guān)鍵點(diǎn)檢測(cè)”中,研究人員分別提出了基于小波變換、基于切線和基于角度等分線等各種不同的關(guān)鍵點(diǎn)檢測(cè)算法。
掌紋圖像的特征提取和識(shí)別方法是掌紋識(shí)別的研究重點(diǎn)。針對(duì)高分辨率和現(xiàn)場(chǎng)(Latent)掌紋圖像,目前主要是根據(jù)掌紋圖像特點(diǎn),借鑒和發(fā)展指紋識(shí)別中的細(xì)節(jié)點(diǎn)提取和匹配方法。針對(duì)3D掌紋和多光譜掌紋,一般的做法是在二維掌紋識(shí)別的基礎(chǔ)上發(fā)展新的識(shí)別方法和融合策略。因此,現(xiàn)在將主要回顧面向二維低分辨率掌紋圖像的特征提取和識(shí)別方法。
根據(jù)掌紋特征的表示方式,目前掌紋識(shí)別方法大致可分為全局方法、局部方法和混合方法三類[11]。下面分別進(jìn)行介紹。
1.1.1全局方法
全局方法是通常將掌紋圖像視為一個(gè)二維圖像、高維向量或二階張量,利用一些全局特征提取方法來提取掌紋特征。例如,可以提取圖像不變矩特征或小波變換、傅里葉變換等變換特征;如將掌紋圖像視為一個(gè)高維向量,可以利用一些子空間學(xué)習(xí)方法如主成分分析(PCA)、費(fèi)希爾判別分析(FLD)、獨(dú)立成分分析(ICA)等將掌紋圖像從原始高維圖像空間投影到低維特征空間來提取掌紋圖像的全局特征;如將掌紋圖像視為二階張量,可以利用一些張量子空間方法來提取掌紋圖像的全局特征。此外,一些共生濾波器方法如有限帶寬相位共生法(BLPOC)和優(yōu)化折中綜合鑒別函數(shù)濾波器法(OTSDF)也應(yīng)屬于全局方法。
1.1.2局部方法
局部方法是通過提取掌紋圖像的局部紋理或線特征,實(shí)現(xiàn)掌紋特征的簡(jiǎn)潔表示和有效識(shí)別。掌紋圖像的局部特征主要有邊緣、紋線和紋理特征等。局部方法一般都能獲得較高的識(shí)別精度。針對(duì)掌紋紋理特征,國(guó)內(nèi)外研究人員分別提出了小波變化、傅里葉變換、Gabor相位編碼、融合編碼、競(jìng)爭(zhēng)編碼等方法來提取和表達(dá)掌紋的紋理特征。針對(duì)掌紋紋線,也提出了若干種掌紋線特征提取與表達(dá)技術(shù)。當(dāng)前的局部掌紋識(shí)別方法相關(guān)研究主要集中在紋線方向編碼、線特征提取和局部紋理描述子等方面。
1.1.3混合方法
由于人類的視覺認(rèn)知過程中會(huì)同時(shí)利用圖像的全局特征和局部特征,因此,近年來也出現(xiàn)了一些混合掌紋識(shí)別方法?;旌戏椒梢员挥糜诰C合利用多種掌紋特征的互補(bǔ)性來改善掌紋識(shí)別精度,或者用于基于分層匹配技術(shù)以提高掌紋辨識(shí)和檢索速度。
在上述掌紋識(shí)別方法中,基于方向特征的編碼方法如競(jìng)爭(zhēng)編碼、魯棒線方向編碼[12]和序數(shù)編碼[13]等一般都具有特征模板小、匹配速度快等優(yōu)點(diǎn),近年來獲得了較多關(guān)注,陸續(xù)出現(xiàn)了一些改進(jìn)的編碼和匹配算法[14-15]。經(jīng)過10余年的發(fā)展,掌紋識(shí)別技術(shù)已經(jīng)日臻成熟,在生物特征識(shí)別領(lǐng)域獲得了廣泛認(rèn)可。
除掌紋識(shí)別外,針對(duì)應(yīng)用領(lǐng)域的活體認(rèn)證或視覺監(jiān)控等需求,近年來還涌現(xiàn)了手部靜脈識(shí)別、步態(tài)識(shí)別、人耳識(shí)別和指關(guān)節(jié)紋識(shí)別等新興的生物特征識(shí)別技術(shù)以進(jìn)一步改善身份識(shí)別的精度和穩(wěn)健性、提升系統(tǒng)的識(shí)別速度和增強(qiáng)防偽能力。
1.2非限定生物特征識(shí)別
在監(jiān)控和刑偵等領(lǐng)域,往往不能要求用戶配合和保證數(shù)據(jù)的采集質(zhì)量,有時(shí)候甚至需要比對(duì)專家繪制的人臉?biāo)孛韬捅O(jiān)控系統(tǒng)采集到的人臉圖像來進(jìn)行身份鑒別。即使對(duì)于普通的生物特征識(shí)別系統(tǒng),非限定生物特征識(shí)別也有助于改善系統(tǒng)的易用性和穩(wěn)健性,拓展系統(tǒng)的適用范圍和自適應(yīng)性。因而,非限定生物特征識(shí)別成為近年來本領(lǐng)域研究人員關(guān)注的一個(gè)熱點(diǎn)問題。
非限定環(huán)境下采集到的生物特征往往會(huì)出現(xiàn)數(shù)據(jù)缺失、變形和老化等情況,數(shù)據(jù)的質(zhì)量和系統(tǒng)的識(shí)別性能可能會(huì)大幅度下降;有些時(shí)候數(shù)據(jù)的來源不同(如人臉?biāo)孛韬捅O(jiān)控圖像),導(dǎo)致傳統(tǒng)方法不再適用。本節(jié)將以人臉識(shí)別為例,重點(diǎn)介紹近年來國(guó)內(nèi)外學(xué)者針對(duì)光照和姿態(tài)等非限定環(huán)境下導(dǎo)致的識(shí)別性能下降提出的一些典型解決方案。
針對(duì)光照問題,目前主要有兩種解決思路。第一種方法是發(fā)展新型傳感器,采集對(duì)可見光照環(huán)境不敏感的人臉圖像。Li等[16]提出利用近紅外成像技術(shù)來避免環(huán)境光照對(duì)識(shí)別性能的不利影響,改善人臉識(shí)別的光照魯棒性。Di等[17]進(jìn)一步建立了一個(gè)多光譜人臉圖像數(shù)據(jù)庫,采集了波長(zhǎng)為400~720nm之間的33個(gè)譜段下的人臉圖像,并研究了面向人臉識(shí)別的特征譜段選擇和融合問題。圖3所示為同一個(gè)人在33個(gè)不同譜段下的人臉圖像。
此外,還可以采用建模的思路來解決光照問題。2001年,Shashua和Riklin-Raviv[18]提出了一個(gè)商圖像模型(QI)來從原始圖像估計(jì)出反射率圖像,基于反射率圖像的人臉識(shí)別具有較好的光照不敏感性。隨后,一些學(xué)者提出了廣義QI模型[19]、全變分QI模型(TVQI)和對(duì)數(shù)全變分模型(L-TV)[20]。圖4所示為幾幅自然光照下的人臉圖像以及使用LTV模型得到的光照不變?nèi)四槇D像?;诶什ǎ蹋幔恚猓澹颍簦椋幔睿┕庹漳P停煌庹障峦刮矬w的圖像組成了一個(gè)光照椎。Georghiades等[21]利用若干幅人臉圖像來重建光照椎,并基于光照椎表示進(jìn)行人臉識(shí)別。隨后,基于球面諧波方法,Ramamoorthi[22]、Basri和Jacobs[23]分別證明了不同光照下同一個(gè)人臉的圖像近似分布在一個(gè)9維子空間內(nèi)。
基于建模的方法不僅可以估計(jì)反射率,還可以估計(jì)人臉的三維幾何信息,因此可以用于解決不同姿態(tài)下的人臉識(shí)別問題。Blanz和Vetter[24]提出了一種三維形變模型方法,利用光照模型和人臉三維形狀的先驗(yàn)?zāi)P停軌驈膯畏四槇D像中恢復(fù)出人臉的反射率、三維模型、光照條件與姿態(tài)。最近,Wang等[25]提出了三維球面諧波基形變模型對(duì)任意未知光照條件和姿態(tài)下的人臉進(jìn)行建模,能夠處理極端光照情況下人臉紋理變化幅度較大的問題。
除了光照和姿態(tài)外,針對(duì)表情和年齡等因素,國(guó)內(nèi)外已開展了一些研究工作并出現(xiàn)了一些解決方法,但仍不夠系統(tǒng)和完善。針對(duì)非限定環(huán)境和用戶不配合造成的圖像質(zhì)量下降問題,研究人員從圖像復(fù)原、圖像超分辨以及基于圖像序列的識(shí)別方法等角度進(jìn)行了分析。
近年來發(fā)展起來的現(xiàn)場(chǎng)指紋識(shí)別(Latent Fingerprint Recognition)[26],其目標(biāo)是實(shí)現(xiàn)現(xiàn)場(chǎng)采集指紋與指紋庫中的指紋模板的自動(dòng)比對(duì),實(shí)質(zhì)上是一種非限定生物特征識(shí)別技術(shù)。此外,鑒于目前虹膜識(shí)別對(duì)用戶配合和采集環(huán)境要求較高,為了提升系統(tǒng)的易用性,及將虹膜識(shí)別推廣到遠(yuǎn)距離監(jiān)控等應(yīng)用中,研究人員近年來從非限定圖像采集、穩(wěn)健虹膜檢測(cè)、特征提取與匹配算法等方面對(duì)非限定虹膜識(shí)別開展了研究。
1.3多模態(tài)生物特征識(shí)別
單一模態(tài)的生物特征識(shí)別在識(shí)別精度、安全性或防偽造攻擊等方面往往不能完全滿足應(yīng)用需求,因而多模態(tài)生物特征識(shí)別近年來逐漸引起了研究人員的關(guān)注,目前已出版了第一本多模態(tài)生物特征識(shí)別方面的專著[4]。通過有效地采集、分析和綜合利用人體的多模態(tài)生物特征信息,多模態(tài)生物特征識(shí)別技術(shù)可以改善系統(tǒng)的識(shí)別精度、安全性能和便利性。
多模態(tài)生物特征識(shí)別通過融合多種生物特征識(shí)別技術(shù)來改善身份識(shí)別性能,主要包括不同生物特征、同類生物特征的多模態(tài)表示或多特征表示、同一生物特征的多種識(shí)別算法的融合等。就融合層次而言,有數(shù)據(jù)層融合、特征層融合、匹配層融合和決策層融合四種[4]。下面分別加以介紹。
1.3.1傳感器層融合
在傳感器層,可以通過融合不同傳感器或同一傳感器采集到的生物特征數(shù)據(jù)序列來改善系統(tǒng)的識(shí)別性能。目前的傳感器層融合算法仍主要針對(duì)的是同一生物特征的多種數(shù)據(jù),比較有代表性的方法有指紋圖像拼接和人臉圖像超分辨算法。圖5所示為指紋圖像拼接方法的主要計(jì)算過程[4]。給定同一個(gè)手指的若干幅指紋圖像,指紋圖像拼接首先對(duì)其進(jìn)行比對(duì),將其歸一化到一個(gè)統(tǒng)一的坐標(biāo)系下融合成一個(gè)拼接指紋圖像,然后基于拼接圖像來提取細(xì)節(jié)點(diǎn)特征。與簡(jiǎn)單的各幅圖像的細(xì)節(jié)點(diǎn)特征的增廣相比,圖像拼接方法能夠獲得更為簡(jiǎn)潔的特征表示和識(shí)別精度。對(duì)于不同模態(tài)生物特征(如人臉和掌紋),也出現(xiàn)了一些相應(yīng)的傳感器層融合算法[27],但仍有待深入研究。
1.3.2特征層融合
不同模態(tài)或不同特征提取算法得到的特征具有一定的互補(bǔ)性和冗余性,如何挖掘和利用這些關(guān)聯(lián)特性獲得更具鑒別能力的簡(jiǎn)潔特征表示是特征層融合的主要研究?jī)?nèi)容。不同特征之間的異質(zhì)性、特征之間關(guān)聯(lián)的復(fù)雜性使得特征層融合非常具有挑戰(zhàn)性。近年來發(fā)展起來的維數(shù)約簡(jiǎn)和特征選擇方法,也可以被借鑒于發(fā)展新的特征層融合算法。根據(jù)其工作模式,特征層融合主要有并行和串行兩種。
1.3.3匹配層融合
根據(jù)不同算法在匹配層得到的匹配分?jǐn)?shù),可以設(shè)計(jì)有效的融合規(guī)則和策略進(jìn)行融合決策。基于規(guī)則的融合方法往往需要對(duì)匹配分?jǐn)?shù)進(jìn)行歸一化處理,常用的融合策略主要有加法、乘法、最大、最小以及加權(quán)平均等。Kittler等分析和比較了這些融合規(guī)則的魯棒性問題[28]。因而可以將不同方法得到的匹配得分視為一個(gè)特征向量,使用支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、費(fèi)希爾判別分析或最近鄰分類器等方法。此外,還可以利用高斯混合模型(GMM)等估計(jì)真實(shí)和假冒匹配分?jǐn)?shù)的概率分布,基于似然比檢驗(yàn)方法進(jìn)行融合[29]。基于工作模式,匹配層融合主要有并行、級(jí)聯(lián)和樹形三種。圖6給出了一個(gè)掌紋識(shí)別中綜合使用了加法和乘法準(zhǔn)則的級(jí)聯(lián)融合的例子[30]。
1.3.4決策層融合
在決策層,可以綜合利用不同分類器的決策結(jié)果進(jìn)行融合判斷。由于可利用的信息有限,決策層融合主要有與、或、投票和加權(quán)投票等規(guī)則。
目前,已出現(xiàn)了一些多模態(tài)生物特征識(shí)別系統(tǒng),如指紋+掌紋、人臉+語音、人臉+虹膜、人臉+指紋等,國(guó)內(nèi)外也相繼發(fā)布了一些大規(guī)模多模態(tài)生物特征數(shù)據(jù)庫,為多模態(tài)生物特征識(shí)別技術(shù)的進(jìn)一步發(fā)展提供了良好的前提條件。
2醫(yī)學(xué)生物特征計(jì)算
對(duì)于生物特征識(shí)別而言,一個(gè)完美的生物特征需要滿足“終生不變”特性。實(shí)際上,絕大多數(shù)用于身份識(shí)別的生物特征都不完全滿足這一特性,健康狀況、年齡和工作環(huán)境等因素都會(huì)對(duì)生物特征產(chǎn)生一定程度的影響。醫(yī)學(xué)生物特征計(jì)算正是通過研究疾病和健康狀況對(duì)人的舌象、脈象和氣味等生物特征的影響,利用信號(hào)/圖像處理和模式識(shí)別技術(shù)建立起基于生物特征計(jì)算的醫(yī)學(xué)診斷模型。
中醫(yī)診斷專家能夠根據(jù)人的舌象、脈象和氣味等生物特征進(jìn)行辨癥和診病,能夠?yàn)獒t(yī)學(xué)生物特征計(jì)算的可行性提供保障和必要的分析依據(jù)。傳統(tǒng)的中醫(yī)診斷往往過于依賴醫(yī)生的個(gè)人經(jīng)驗(yàn),在一定程度上存在診斷結(jié)果可重現(xiàn)性不強(qiáng)和主觀化等問題。因而,在保持中醫(yī)診斷自身優(yōu)勢(shì)基礎(chǔ)上,發(fā)展醫(yī)學(xué)生物特征計(jì)算技術(shù),實(shí)現(xiàn)中醫(yī)診斷的客觀化和標(biāo)準(zhǔn)化,將具有重要的研究?jī)r(jià)值和應(yīng)用前景。
與生物特征識(shí)別技術(shù)類似,醫(yī)學(xué)生物特征計(jì)算一般包括數(shù)據(jù)采集與預(yù)處理、病理特征提取、診斷分析等幾個(gè)重要模塊。由于關(guān)注的是病理特征的量化分析和診斷,醫(yī)學(xué)生物特征計(jì)算中的數(shù)據(jù)采集模塊更關(guān)注采集環(huán)境的標(biāo)準(zhǔn)化和穩(wěn)定性,特征提取和診斷分析模塊往往需要借鑒相關(guān)的診斷理論和專家知識(shí)。
以下將結(jié)合計(jì)算機(jī)舌象診斷,對(duì)醫(yī)學(xué)生物特征計(jì)算的幾個(gè)模塊進(jìn)行介紹和分析。舌象能夠反映人體的生理和病理的變化,有助于分析人體的病變部位和局部病變程度。近年來,國(guó)內(nèi)外許多研究人員先后開始運(yùn)用圖像處理和模式識(shí)別技術(shù)開展計(jì)算機(jī)舌象診斷研究,取得了一定的進(jìn)展和成果。下面將從舌圖像獲取、預(yù)處理、特征提取和診斷分析幾個(gè)方面來進(jìn)行回顧和總結(jié)。
2.1舌圖像獲取
舌圖像獲取是計(jì)算機(jī)舌象診斷的基礎(chǔ)。為了穩(wěn)定地獲得高質(zhì)量的舌色、紋理和局部特征信息,需要研制高清晰、高保真的舌象采集設(shè)備。具體而言,為了保證舌色的高保真成像和紋理的可分辨性,舌象采集設(shè)備研制需要通過構(gòu)建穩(wěn)定的封閉/半封閉舌圖像信號(hào)獲取環(huán)境、選擇滿足成像要求的穩(wěn)定光源和CCD傳感器來滿足這些要求。此外,還需要考慮采集的實(shí)時(shí)性和設(shè)備的易用性等因素。目前哈爾濱工業(yè)大學(xué)/香港理工大學(xué)、北京工業(yè)大學(xué)、廈門大學(xué)、臺(tái)灣逢甲大學(xué)、美國(guó)卡耐基梅隆大學(xué)等研究機(jī)構(gòu)都研制了舌圖像采集設(shè)備。圖7所示為作者及其研究團(tuán)隊(duì)研制的舌圖像采集設(shè)備。
2.2預(yù)處理
舌圖像預(yù)處理主要包括舌圖像分割、舌顏色校正和舌體校正等。舌圖像分割的目標(biāo)是將舌體區(qū)域從背景中分離出來[31-32]。雖然目前已有一些分割算法,但由于舌象紋理的復(fù)雜性以及嘴唇和膚色的干擾等因素,舌圖像分割算法仍然值得進(jìn)一步改進(jìn)。不同的采集設(shè)備獲得的舌圖像顏色可能不具有可比較性,需要利用舌顏色校正將采集到的舌圖像從實(shí)際光照環(huán)境(通常指非理想采集環(huán)境)校正到參考光照環(huán)境下。舌顏色校正可以表示為一個(gè)回歸分析問題,可以利用支持向量回歸或多項(xiàng)式回歸方法進(jìn)行顏色校正。舌圖像中的舌體可能是歪斜的,可以利用舌體輪廓的長(zhǎng)度、舌體面積和角度等信息進(jìn)行舌體歪斜校正。
2.3病理特征提取
中醫(yī)舌象診斷所依賴的特征主要有顏色特征、紋理特征、其它舌面局部特征和舌體動(dòng)態(tài)特征等。①舌象顏色一般分為舌苔和舌質(zhì)兩種,通過建立舌苔和舌質(zhì)顏色模型,可以首先進(jìn)行苔質(zhì)分離,再基于顏色直方圖等方法實(shí)現(xiàn)顏色特征提取。②針對(duì)舌苔厚薄、舌質(zhì)老嫩等紋理特征,可以分別設(shè)計(jì)相應(yīng)的紋理特征描述和分類方法。如舌苔厚薄特征可以利用多分辨分析及粗糙集理論對(duì)不同的舌苔形態(tài)進(jìn)行分類,并利用統(tǒng)計(jì)紋理描述子對(duì)相關(guān)特征進(jìn)行量化。舌質(zhì)老嫩特征則可利用分形幾何方法進(jìn)行提取。③舌體上還有一些可用于舌象診斷的局部特征,如舌裂紋、紅星、紅刺、瘀斑瘀點(diǎn)、齒痕等。因而可以根據(jù)這些局部特征的特點(diǎn)設(shè)計(jì)相應(yīng)的圖像特征提取算法進(jìn)行提取。④舌體動(dòng)態(tài)特征包括舌體的運(yùn)動(dòng)狀態(tài)、靈活程度等動(dòng)作和行為特征等。舌體動(dòng)態(tài)特征的提取需要采集舌圖像序列,得到舌體形狀的動(dòng)態(tài)變化特征的量化表示。
2.4舌象診斷分析
舌象診斷分析主要包括疾病分類和癥侯診斷兩個(gè)方面。針對(duì)疾病分類問題,作者基于貝葉斯網(wǎng)絡(luò)對(duì)疾病和量化特征之間的關(guān)系進(jìn)行了分析建模[33],如圖8所示。圖8(a)所示為腸梗阻、膽囊炎、闌尾炎和胰腺炎患者的典型舌圖像,圖8(b)為基于顏色特征和紋理構(gòu)建的貝葉斯網(wǎng)絡(luò)診斷模型。Watsuji 等人研究了采用部分舌象顏色和紋理特征的簡(jiǎn)單“寒-熱”、“虛-實(shí)”癥候的辨癥診斷系統(tǒng)[34]。Chiu等提出了一種基于舌體和舌苔顏色以及空間紋理特征的結(jié)構(gòu)識(shí)別算法,并建立了一個(gè)旨在定量化分析舌象特征的計(jì)算機(jī)化舌象診斷系統(tǒng)[35]。
除舌象外,研究人員還研究了計(jì)算機(jī)脈象分析[36]、氣味分析[37]和視網(wǎng)膜病變分析等醫(yī)學(xué)生物特征計(jì)算技術(shù)。圖9所示為作者及其研究團(tuán)隊(duì)研制的脈搏壓力信號(hào)采集設(shè)備和提取的典型時(shí)域特征示意圖。圖10所示為作者及其研究團(tuán)隊(duì)研制的呼吸氣體數(shù)據(jù)采集設(shè)備以及健康人和糖尿病患者的呼吸氣體響應(yīng)信號(hào)。然而,目前的醫(yī)學(xué)生物特征計(jì)算技術(shù)仍主要集中在單一模態(tài)生物特征的診斷分析上,融合多種模態(tài)的醫(yī)學(xué)生物特征計(jì)算技術(shù)將有助于進(jìn)一步提高診斷精度,這也是未來的發(fā)展方向。
3美學(xué)生物特征計(jì)算
人類具有對(duì)生物特征(如人臉)進(jìn)行美學(xué)評(píng)價(jià)的能力。心理學(xué)研究成果表明人的美感的產(chǎn)生遵循一定的客觀普適規(guī)律,而如何建立大腦對(duì)人臉等生物特征的美學(xué)認(rèn)知計(jì)算模型并發(fā)展有效的人臉美化算法則是美學(xué)生物特征計(jì)算的目標(biāo)。
美學(xué)計(jì)算不僅在認(rèn)知和計(jì)算科學(xué)領(lǐng)域具有重要的科學(xué)意義,在手術(shù)整形美容等領(lǐng)域也有著重要的應(yīng)用前景。近年來美容外科發(fā)展迅猛,由于術(shù)后美容效果得不到患者的認(rèn)同而造成醫(yī)療糾紛也隨之增多,如何設(shè)計(jì)有效的美化算法并提供一種有說服力的容貌美的標(biāo)準(zhǔn)顯得尤為重要。下面以人臉為例,簡(jiǎn)要總結(jié)一下作者近年來在人臉美學(xué)計(jì)算方面的研究進(jìn)展。
容貌美是美學(xué)的重要內(nèi)容,早期的人臉美學(xué)研究注重將感性認(rèn)識(shí)總結(jié)為簡(jiǎn)單幾何關(guān)系,近年來出現(xiàn)了若干種人臉美學(xué)假說,如平均臉假說、對(duì)稱性假說和性別二態(tài)性假說。隨著圖像處理、計(jì)算機(jī)圖形學(xué)和模式識(shí)別的發(fā)展,出現(xiàn)了一些人臉檢測(cè)、關(guān)鍵點(diǎn)定位和形變模板方法來輔助人臉美學(xué)分析,驗(yàn)證上述假說和發(fā)展人臉自動(dòng)美化算法[38,39]。
由于美學(xué)感知本身是一個(gè)不確定性較強(qiáng)的抽象認(rèn)知過程,與其它生物特征計(jì)算相比,美學(xué)生物特征計(jì)算由于其自身獨(dú)特性而更具挑戰(zhàn)性。針對(duì)美學(xué)感知的主觀性和個(gè)體差異問題,主要參考了以下三種搜集審美數(shù)據(jù)的方式。
(1)通過具有打分功能的網(wǎng)站(如HOTorNOT)來搜集人臉圖像和對(duì)應(yīng)的打分。由于互聯(lián)網(wǎng)的開放性和隨意性,這種方式獲得的審美數(shù)據(jù)噪聲比較大。
(2)組織一定數(shù)量的志愿者依據(jù)容貌美規(guī)范對(duì)人臉圖像進(jìn)行分類。這種方法的缺點(diǎn)是比較耗時(shí)耗力。
(3)在互聯(lián)網(wǎng)上搜集知名美麗人臉的照片,如影視劇明星、模特等。
對(duì)搜集到的審美數(shù)據(jù)需要進(jìn)行歸一化和轉(zhuǎn)換為統(tǒng)一的表示形式以滿足后續(xù)處理要求。
為了自動(dòng)提取人臉美學(xué)特征,作者標(biāo)定了人臉圖像上具有生物學(xué)意義的點(diǎn)(如眼角,鼻根等),從而得到不同形式的幾何特征。具體實(shí)現(xiàn)時(shí),可采用人臉識(shí)別中最常用的68點(diǎn)模型,用AdaBoost人臉檢測(cè)方法和主動(dòng)形狀模型來提取人臉圖像中的特征點(diǎn),進(jìn)行歸一化處理并提取幾何特征[40]。圖11給出了算法對(duì)一幅人臉圖像的特征點(diǎn)檢測(cè)結(jié)果。
歸一化后的特征點(diǎn)位于一個(gè)平移、尺度和旋轉(zhuǎn)不變的人臉形狀空間SFS中?;谌四樞螤羁臻gSFS,作者驗(yàn)證了平均臉假說,具體做法是:
(1)利用移動(dòng)最小二乘法(MLS, Moving Least Sq-uare)[41]實(shí)現(xiàn)圖像變形,將原始圖像分別沿靠近平均形狀和遠(yuǎn)離平均形狀的兩個(gè)方向變形。公平起見,沿兩個(gè)方向形變的程度是相同的。圖12給出了一個(gè)圖像變形的具體例子。
(2)給定測(cè)試數(shù)據(jù)集,使用上述方法獲得一組靠近平均形狀的變形圖像和一組遠(yuǎn)離平均形狀的變形圖像。結(jié)合原始圖像,構(gòu)造零假設(shè)和對(duì)立假設(shè),使用假設(shè)檢驗(yàn)的方式驗(yàn)證平均臉假說。
實(shí)驗(yàn)結(jié)果表明,對(duì)很大一部分人臉來說,向靠近平均臉方向變形是可以使其更美,從而驗(yàn)證了平均臉假說的有效性。
總而言之,生物特征計(jì)算技術(shù)將令人臉美學(xué)研究逐步走向客觀化和精確化,相關(guān)研究成果還可以應(yīng)用于整容化妝、藝術(shù)設(shè)計(jì)、游戲娛樂等多個(gè)領(lǐng)域。然而,美學(xué)生物特征計(jì)算仍是一個(gè)新興的研究領(lǐng)域,仍有許多關(guān)鍵科學(xué)和技術(shù)問題值得進(jìn)一步深入研究,如基于認(rèn)知科學(xué)的美學(xué)計(jì)算模型、美學(xué)特征的定義和選擇以及人臉美化算法等。
4結(jié)束語
雖然生物特征計(jì)算近年來得到了廣泛關(guān)注和迅猛發(fā)展,但在方法性能和穩(wěn)健性、非限定和多模態(tài)生物特征識(shí)別以及面向其它應(yīng)用的生物特征計(jì)算理論和方法等方面仍有巨大的發(fā)展空間。隨著對(duì)泛在感知、非限定應(yīng)用、融合計(jì)算和應(yīng)用拓展等方面的深入研究,生物特征計(jì)算有望在信息科學(xué)、公共安全、人機(jī)交互和生物醫(yī)學(xué)等重要領(lǐng)域獲得更為廣泛的關(guān)注和應(yīng)用。
參考文獻(xiàn):
[1] ZHANG D. Automated Biometrics-Technologies and Systems[M].
USA: Kluwer AcAdemic Publishers, 2000.
[2] NIST Report on the United States Congress. Summary of NIST standards for biometric accuracy, temper, resistance and intero- perability[R]. USA: United States Congress, 2001.
[3] RICANEK JrK, SAVVIDES M, WOODARD DL, et al. Uncon- strained biometric identification: emerging technologies[J]. Com- puter, 2010, 43(2): 26-62.
[4] ROSS A, NANDAKUMAR K, Jain AK. Handbook of MultibI- ometrics[M]. USA: Springer, 2006.
[5] SHU W, ZHANG D. Automated Personal Identification by Pa- lmprint[J]. Optical Engineering, 1998, 37(8):2359-2362.
[6] ZHANG D,KONG W K,YOU J,et al. Online palmprint ident- ification[J]. IEEE Trans. Pattern Analysis and Machine Intelli- gence, 2003, 25(9):1041-1050.
[7] ZHANG D, et al. An online system of multi-spectral palmpr- int verification[J]. IEEE Trans. Instrumentation and Measurem- ent. 2010, 59(2):480-490.
[8] ZHANG D, et al. Palmprint recognition using 3-D Information [J]. IEEE Trans. System, Man and Cybernetics, Part C, 2009,39(5): 505-519.
[9] DAI J, ZHOU J. Multifeature-based high-resolution palmprintrecognition[J]. IEEE Trans. Pattern Analysis and Machine Int- elligence, 2011, 33(5): 945-957.
[10] JAIN A, FENG J. Latent palmprint matching[J]. IEEE Trans.Pattern Analysis and Machine Intelligence, 2009, 31(6):10-32-1047.
[11] ZHANG D, ZOU W, YUE F. A Comparative Study of Palm-print Recognition Algorithms[J]. ACM Computing Surveys. To appear, 2011.
[12] SUN Z N, TAN TN, WANG Y, et al. Ordinal palmprint re-presentation for personal identification[C]// Proceedings of theInternational Conference on Computer Vision and Pattern Re-cognition, 2005: 279-284.
[13] HUANG D S, JIA W, ZHANG D. Palmprint verification bas-ed on principal lines[J]. Pattern Recognition, 2008, 41(4): 1316-1328.
[14] YUE F, ZUO W, ZHANG D, et al. Competitive Code-basedPalmprint Recognition using FCM-based Orientation Selection[J]. Pattern Recognition, 2009, 42(11): 2841-2849.
[15]Zuo W, Yue F, Zhang D. On accurate orientation extraction and appropriate distance measure for palmprint recognition[J]. Pattern Recognition, 2011, 43(4): 964-972.
[16] LI S Z,CHU R F,Liao S C,et al. Illumination Invariant F-ace Recognition using Near-Infrared Images[J]. IEEE Trans. Pattern Analysis and Machine Intelligence,2007,29:627-639.
[17] DI W, ZHANG L, ZHANG D, et al. Studies on hyperspectr-al face recognition in visible spectrum with feature band sel-ection[J]. IEEE Trans. SMC-Part A, 2010, 40(6): 1354-1-361.
[18] SHASHUA A, RIKLIN-RAVIV T. The Quotient Image: Clas-sBased Re-Rendering and Recognition with Varying Illumina-tions[J]. IEEE Trans. Pattern Analysis and Machine Intellige-nce, 2001, 23(2):129-139.
[19] WANG H, LI S Z, WANG Y. Generalized Quotient Image[J].Proc. International Conference Computer Vision and Pattern R-ecognition, 2004.
[20] CHEN T,YIN W,ZHOU X S,et al. Total Variation Models for Variable Lighting Face Recognition[J]. IEEE Trans. Patte-rn Analysis and Machine Intelligence, 2006, 28(9):1519-1-524.
[21] GEORGHIADES A,KRIEGMAN D J,Belhumeur P. From fewto many: Generative models for recognition under variable po-se and illumination[J]. IEEE Trans. Pattern Anal. Mach. Int-ell, 2001, 23(6): 643-660.
[22] RAMAMOORTHI R. Analytic PCA construction for theoreticalanalysis of lighting variability in a single image of a lamber-tian object[J]. IEEE Trans. Pattern Analysis and Machine In-telligence, 2002, 24(10): 1322-1333.
[23] BASRI R, JACOBS D. Lambertian reflectance and linear su-bspaces[J]. IEEE Trans. Pattern Anal. Mach. Intell, 2003, 25(2): 383-390.
[24] BLANZ V, VETTER T. Face recognition based on fitting a 3D morphable model[J]. IEEE Trans. Pattern Anal. Mach. In-tell. 2003, 25(9):1063-1074.
[25] WANG Y, ZHANG L, LIU Z, et al. Face relighting from a single image under arbitrary unknown lighting conditions[J]. IEEE Trans. Pattern Analysis and Machine Intelligence. 2009,31(11): 1968-84.
[26] JAIN A K,FENG J. Latent fingerprint matching[J]. IEEE Tr-ans. Pattern Analysis and Machine Intelligence, 2011, 33(1):88-100.
[27] JING X, YAO Y, ZHANG D, et al. Face and palmprint pix-el level fusion and Kernel DCV-RBF classifier for small sa-mple biometric recognition[J]. Pattern Recognition, 2007, 40(11):3209-3224.
[28] KITTLER J, HATEF M, DUIN R P W, et al. On combin-ing classifiers[J]. IEEE Trans. Pattern Anal. Mach. Intell. 1-997, 20(3):226-239.
[29] NANDAKUMAR K, CHEN Y, DASS S, et al. Likelihood ra-tio-based biometric score fusion[J]. IEEE Trans. Pattern Ana-lysis and Machine Intelligence, 2008, 30(2):342-347.
[30] KUMAR A, ZHANG D. Personal authentication using multiplepalmprint representation[J]. Pattern Recognition,2005, 38(10):1695-1704.
[31] PANG B, ZHANG D, WANG K. The bi-elliptical deformablecontour and its application to automated tongue segmentationin Chinese medicine[J], IEEE Trans. Medical Imaging. 2005, 24(8): 46-956.
[32] ZHANG H, ZUO W, WANG K, et al. A snake-based appr-oach to automated segmentation of tongue image using polar edge detector[J], International Journal of Imaging Systems and Te-chnology, 1996, 16(4):103-112.
[33] PANG B, ZHANG D, LI N, et al. Computerized tongue di-agnosis based on Bayesian networks[J]. IEEE Trans. Biomedi-cal Engineering,2004,51(10):1803-1810.
[34] WATSUJI T,ARITA S, SHINOHARA S, et al. Medical app-lication of fuzzy theory to the diagnostic system of tongue in-spection in traditional Chinese medicine[C]// IEEE Internation-al Fuzzy Systems Conference Proceedings,Seoul,Korea,1999:22-25.
[35] CHIU C C. A novel approach based on computerized image a-nalysis for traditional Chinese medical diagnosis of the tongu-e[J]. Computer Methods and Programs in Biomedicine, 2000,61(2):77-89.
[36] ZHANG D, ZUO W, ZHANG D, et al. Gaussian ERP kern-el classifier for pulse waveforms classification[C]. 2010 IEEE International Conference on Pattern Recognition, 2010: 2736-2739.
[37] GUO D, ZHANG D, LI N, et al. A novel breath analysis s-ystem based on electronic olfaction[J]. IEEE Trans. Biomedi-cal Engineering, 2010, 57(11): 2753-2763.
[38] KAGIAN A, DROR G, LEYVAND T, et al. A machine lear-ning predictor of facial attractiveness revealing human-like p-sychophysical biases[J]. Vision Research,2008,48: 235-243.
[39] LEYVAND T, COHEN-OR D, DROR G, et al. Data-driven enhancement of facial attractiveness[J]. ACM Trans. Graphics, 2008, 27(3): 1-9.
[40] ZHANG D, ZHAO Q, CHEN F. Quantitative analysis of hu-man facial beauty using geometric features[J]. Pattern Recogn-ition,2011,44(4): 940-950.
[41] SCHAEFER S, MCPHAIL T, WARREN J. Image deformationusing moving least squares[C]// Proceedings of ACM SIGGRA-PH,2006: 533-540.