基于視圖間鑒別相關(guān)性分析的手語圖像識(shí)別

藍(lán)敏

摘要：典型相關(guān)性分析及其改進(jìn)方法（canonical Correlation Analysis，CCA）是被廣泛運(yùn)用于多視圖特征學(xué)習(xí)的技術(shù)，但目前普遍存在的相關(guān)性分析方法并沒有有效利用視圖間信息，忽視了隱藏在圖像內(nèi)部的鑒別相關(guān)性。為了解決這一問題，提出基于視圖間鑒別相關(guān)性分析（Between-View Discfiminant Correlation Analysis，BVDCA）的手語圖像識(shí)別算法。BVDCA在不同視圖間最大化類內(nèi)相關(guān)性信息，最小化類間相關(guān)性信息，從而可以達(dá)到鑒別分類的目的。進(jìn)一步地，考慮到手語圖像包含大量的非線性特征，提出基于核化的視圖間鑒別相關(guān)性分析（Kernel Between-View Discriminant Correlation Analysis，KBVDCA），以解決線性不可分的目的。在手語圖像數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果驗(yàn)證了二者的有效性。

關(guān)鍵詞：手語識(shí)別;多視圖;相關(guān)性分析;鑒別分析;非線性特征

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）15-0019-03

1引言

最近的十幾年來，信息技術(shù)的不斷發(fā)展和數(shù)據(jù)呈爆炸式的增長(zhǎng)使得我們能夠?qū)陀^事物或個(gè)體進(jìn)行多方面的闡述，從而產(chǎn)生了多視圖數(shù)據(jù)。多視圖數(shù)據(jù)及其相關(guān)的研究算法為生物特征識(shí)別（掌紋識(shí)別、手語識(shí)別等）技術(shù)提供了契機(jī)。例如：在手語圖像識(shí)別過程中，可以提取用于手語的多視圖信息（方向梯度直方圖特征，局部二值模式特征和主成分分析特征等）來進(jìn)行手語辨析。

多視圖學(xué)習(xí)技術(shù)是目前的研究熱點(diǎn)，它通過提取出不同的視圖內(nèi)數(shù)據(jù)特征之間的關(guān)聯(lián)、互補(bǔ)關(guān)系，以達(dá)到改善圖像分類識(shí)別的性能。例如，典型相關(guān)性分析（canonical CorrelationAnalysis，CCA）[31技術(shù)通過挖掘不同視圖間的關(guān)聯(lián)關(guān)系，并向低維空間做投影，最終通過相似度計(jì)算實(shí)現(xiàn)圖像分類。集成典型相關(guān)分析則通過計(jì)算不同視圖數(shù)據(jù)之間的相關(guān)系數(shù)來作為分類的依據(jù)。這兩種方法都沒有利用到視圖數(shù)據(jù)的標(biāo)簽，屬于無監(jiān)督學(xué)習(xí)方法。此外，文獻(xiàn)從最小化類間信息和最大化類內(nèi)信息的角度出發(fā)，提出了鑒別典型相關(guān)性分析方法用于圖像分類。還有，文獻(xiàn)[12]考慮到多視圖數(shù)據(jù)在線性不可分條件下大多數(shù)算法無法取得較好效果這一情況，提出了一種核典型鑒別相關(guān)性分析（Kernelized Discriminative Canonical Correla-lion Analysis，KDCCA）方法，有效地提高了圖像分類方法的魯棒性。

然而總的來看，傳統(tǒng)的方法還有不足之處：1）現(xiàn)有的多視圖方法只能處理二視圖的情形，局限性較大;2）在多視圖學(xué)習(xí)的方法中，可以嘗試同時(shí)進(jìn)行視圖間的鑒別相關(guān)性分析，這種相關(guān)性分析并不直接關(guān)注視圖之間的類內(nèi)散度和類間散度信息，而是從信息冗余的程度來考慮視圖的多樣性給分類帶來的優(yōu)勢(shì)。

鑒于此，本文提出了一種改進(jìn)的多視圖鑒別相關(guān)性分析方法BVDCA，BVDCA試圖在視圖間最大化類內(nèi)相關(guān)性信息，同時(shí)最小化類間相關(guān)性信息，從而達(dá)到提升分類效果的目的。

2視圖間鑒別相關(guān)性分析

為了便于描述，首先給出以下定義，如表1所示。

3實(shí)驗(yàn)與分析

文中采用手語數(shù)據(jù)圖像集進(jìn)行實(shí)驗(yàn)，驗(yàn)證并分析本文算法的有效性。選取的對(duì)比算法有：LDA、MCC和MVDA。本文選擇的分類器統(tǒng)一為最近鄰分類器。

我們選取包含了750，0多張圖像的手語數(shù)據(jù)庫（包含了5種采集角度，N=5）進(jìn)行仿真實(shí)驗(yàn)，該子集包含了5種采集角度來獲取圖像，即N=5，有5個(gè)視圖。每幅圖像統(tǒng)一被預(yù)處理成64×64像素。圖1為手語圖像示意圖。

本文一共做了20次隨機(jī)實(shí)驗(yàn)。在每次實(shí)驗(yàn)中，我們?nèi)我膺x擇80%的數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)，余下的20%數(shù)據(jù)集作為測(cè)試數(shù)據(jù)。取20次實(shí)驗(yàn)結(jié)果的均值作為最終結(jié)果。得到不同算法的識(shí)別率如圖2所示。可以看到，本文方法的識(shí)別率始終要優(yōu)于LDA、MCCA和MVDA等算法。

4結(jié)束語

多視圖學(xué)習(xí)方法能夠挖掘出手語圖像中潛在的隱性信息，因此可以更好地改善分類效果。本文提出一種針對(duì)多視圖學(xué)習(xí)的手語圖像識(shí)別算法BVDCA，它通過使視圖之間的類內(nèi)相關(guān)性最大，類間相關(guān)性最小從而達(dá)到提升分類效果的目的。進(jìn)一步地為了解決目前普遍存在的手語圖像在線性條件下不可分的問題，提出了核化的BVDCA，即KBVDCA，將手語樣本映射至高維空間達(dá)到可分的目的。現(xiàn)實(shí)中的多視圖數(shù)據(jù)大量存在并不僅限于手語圖像，后續(xù)工作將圍繞更為廣義的數(shù)據(jù)進(jìn)行研究。