一種新的標簽散布相關(guān)分析方法

周渝皓 張玉 趙東生

摘要：典型相關(guān)分析是多視圖特征學(xué)習(xí)領(lǐng)域的研究熱點，然而監(jiān)督信息的缺失使其難以學(xué)習(xí)強鑒別力的相關(guān)特征，為此本文提出了一種新的鑒別相關(guān)特征學(xué)習(xí)方法，即標簽散布相關(guān)分析（Label Scatter Correlation Analysis，LSCA）。該方法借助類標簽信息，最大化了視圖間類內(nèi)相關(guān)性，并且最小化了視圖間類間相關(guān)性和視圖內(nèi)類內(nèi)散布，進而學(xué)習(xí)的相關(guān)特征在最大化相關(guān)性同時，盡可能的保留了類標簽的鑒別力和散布結(jié)構(gòu)。良好的實驗結(jié)果已經(jīng)顯示該方法在圖像識別中的有效性。

關(guān)鍵詞：特征學(xué)習(xí);相關(guān)分析;多視圖數(shù)據(jù)處理;圖像識別

中圖分類號：TP311? ? ? 文獻標識碼：A

文章編號：1009-3044（2019）21-0200-04

開放科學(xué)（資源服務(wù)）標識碼（OSID）：

Abstract： Canonical correlation analysis （CCA） is a hot research in multi-view feature learning. However， due to the lack of supervised information， CCA is difficult to obtain correlation features with well discrimination power. To solve this issue， we propose a novel discriminant correlation feature learning method， i.e. label scatter correlation analysis （LSCA）. By means of class label information， the method maximizes intra-class correlations between different views， and minimizes between-view inter-class correlations and within-view intra-class scatters. Thus correlation features learned by our method not only consider the maximum of between-view correlations but also further preserve the discrimination power of class labels and the scatter structures. Encouraging experimental results has showed the effectiveness of the method.

Keywords： Feature Learning; Correlation analysis; multi-view data processing; image recognition

1 引言

多視圖特征學(xué)習(xí)是模式識別和機器視覺的熱門研究課題，其中最具代表性的是典型相關(guān)分析（Canonical Correlation Analysis，CCA）[1]。CCA是用來解決兩個隨機變量之間相關(guān)性的統(tǒng)計學(xué)方法，目前已經(jīng)廣泛應(yīng)用于過程控制[2]、多特征融合[3]、圖像檢索[4]、文本分析與檢索[5]、信號處理[6]等多個領(lǐng)域。

CCA通過最大化相關(guān)準則能夠求解出多視圖數(shù)據(jù)的相關(guān)投影方向，進而獲得低維一致子空間中的相關(guān)特征。Sun等人[7]首次將CCA用于模式識別，并在多視圖圖像識別任務(wù)中獲得了良好的實驗結(jié)果。CCA本身是一種線性特征學(xué)習(xí)方法，因此難以很好地揭示原始數(shù)據(jù)間的非線性關(guān)系。為了掌握原始高維數(shù)據(jù)的非線性信息，相關(guān)特征學(xué)習(xí)經(jīng)常借助圖理論的優(yōu)勢來探索數(shù)據(jù)的局部幾何結(jié)構(gòu)。局部保持CCA（LPCCA）[8]將原始高維數(shù)據(jù)的局部鄰域關(guān)系嵌入到相關(guān)分析理論，進而獲得盡量保留局部幾何信息的非線性相關(guān)特征。為了進一步增強非線性相關(guān)特征的鑒別力，Wang等人[9]提出了一種替代LPCCA（ALPCCA）的方法，并在人臉識別和多特征分類中驗證了該方法的有效性。借助正則化技術(shù)，異構(gòu)結(jié)構(gòu)融合（HSF）方法[10]自然地將CCA和局部保持投影（LPP）[11]結(jié)合在一起，并試圖從原始數(shù)據(jù)中捕獲和保存非線性的局部幾何結(jié)構(gòu)。這些方法在數(shù)據(jù)可視化、姿態(tài)估計、形狀分析、紅外目標分析等方面都取得了成功。然而，缺乏監(jiān)督信息限制了它在識別分類任務(wù)中的鑒別力。

監(jiān)督信息也是一種非常重要的鑒別信息，利用它可以對信息進行更好的分類和分析。鑒別CCA（DCCA）[12]是一種典型的監(jiān)督特征學(xué)習(xí)方法，通過約束視圖間鑒別相關(guān)性來學(xué)習(xí)鑒別相關(guān)特征。基于監(jiān)督信息的相關(guān)特征學(xué)習(xí)方法一般僅考慮了視圖間的相關(guān)監(jiān)督信息，而忽略了視圖內(nèi)的鑒別散布結(jié)構(gòu)。為此，本文提出了一種新的鑒別相關(guān)特征學(xué)習(xí)方法，即標簽散布相關(guān)分析（Label Scatter Correlation Analysis，LSCA）。該方法在類標簽信息的指導(dǎo)下，最大化了視圖間類內(nèi)相關(guān)性，同時最小化了視圖間類間相關(guān)性和視圖內(nèi)類內(nèi)散布結(jié)構(gòu)，從而獲得了類分離性更高、鑒別性更強的相關(guān)特征。為了評估LSCA方法，在兩個常用的圖像數(shù)據(jù)集上設(shè)計一些針對性實驗，大量的實驗結(jié)果能夠給出一個合理的觀察：提出的方法是一種有效的特征學(xué)習(xí)方法。

其余部分組織如下，第二節(jié)簡要回顧了CCA，第三節(jié)詳細描述了LSCA方法，在第四節(jié)中給出實驗結(jié)果和相應(yīng)的分析，第五節(jié)討論了LSCA的本質(zhì)以及對本文的總結(jié)。

2 典型相關(guān)分析

假設(shè)[X=x1，x2，...，xN∈Rdx × N]和[Y=y1，y2，...，yN∈Rdy × N]是同一目標的兩個視圖的數(shù)據(jù)集， 其中[dx]，[dy]是樣本[x]和[y]的維數(shù)，[N]為樣本數(shù)，同時[xi，yii=1，2，...，N]是對應(yīng)同一目標的樣本對。CCA旨在優(yōu)化相關(guān)準則來求解相關(guān)投影方向[α∈Rdx × 1]和[β∈Rdy × 1]，進而使得相關(guān)特征[αTX]和[βTY]擁有最大的相關(guān)性，其中CCA的相關(guān)準則能夠表示為

其中[Sxy=1Ni=1Nxi-xyi-yT]為數(shù)據(jù)集[X]和[Y]的協(xié)方差矩陣，[Sxx=1Ni=1Nxi-xxi-xT]（or[Syy=1Ni=1Nyi-yyi-yT]）是數(shù)據(jù)集[X]（或[Y]）的方差。正如文獻[13]指出，[Sxy]揭示了視圖間的相關(guān)性，而[Sxx]和[Syy]反映了視圖內(nèi)數(shù)據(jù)的總體散布信息，然而該相關(guān)性和總散布結(jié)構(gòu)沒有監(jiān)督信息的指導(dǎo)，難以借助類標簽的信息有效增強相關(guān)的鑒別力。

3 標簽散布相關(guān)分析方法

由于CCA僅僅只利用了成對的樣本信息，無法使用監(jiān)督信息來增強鑒別力，為此本文提出了LSCA方法，該方法能借助類標簽信息，構(gòu)建有效的鑒別相關(guān)分析理論，進而獲得強鑒別力的相關(guān)特征。

首先，利用類標簽信息指導(dǎo)了視圖間類內(nèi)和類間相關(guān)性的構(gòu)建。具體而言，視圖間類內(nèi)相關(guān)性[αTRβ]能夠構(gòu)建為

同樣視圖間類間相關(guān)性[αTHβ]可以表述為：

為了增強視圖內(nèi)的類聚集性，進一步構(gòu)建了基于類標簽的視圖內(nèi)類內(nèi)散布。以數(shù)據(jù)集[X]為例，視圖內(nèi)類內(nèi)散布可以構(gòu)建為

則數(shù)據(jù)集[Y]的視圖內(nèi)類內(nèi)散布為：

LSCA方法在最大化視圖間類內(nèi)相關(guān)性的同時，最小化了視圖間類間相關(guān)性和視圖內(nèi)類內(nèi)散布，因此LSCA方法的相關(guān)準則可以構(gòu)建為

其中[η]為平衡參數(shù)，用于平衡[cw]和[cb]的相對重要性。為了便于模型的分析和優(yōu)化求解，進一步對公式（6）進行推導(dǎo)。視圖間類內(nèi)相關(guān)性能夠進一步等價推導(dǎo)為

其中帶有類標簽的數(shù)據(jù)集X能夠重新表述為[X=x11，…，x1n1，…，xc1，…，xcnc]，對應(yīng)的類指示向量為，[Ini×ni∈Rni×ni]的矩陣元素全為1，[Λ=In1×n1...Ini×ni...Inc×nc∈Rn×n]是一個對角的對稱半正定矩陣，且秩為[c]。

類似公式（7），視圖間類間相關(guān)性同樣能夠進一步推導(dǎo)為：

視圖內(nèi)的類內(nèi)相關(guān)關(guān)系定義如下：

通過求解上述的廣義特征值問題，可以獲得前[d]個最大特征值對應(yīng)的特征向量[{α1，α2，...，αd}]和[{β1，β2，...，βd}]，進而可以構(gòu)建數(shù)據(jù)集[X]和[Y]對應(yīng)的相關(guān)投影矩陣，即[A=α1，α2，...，αdT∈Rdx×d]和[B=β1，β2，...，βdT∈Rdy×d]，并獲得數(shù)據(jù)集[X]和[Y]對應(yīng)相關(guān)特征[ATX]和[BTY]。

4 實驗的結(jié)果和分析

為了驗證提出方法的有效性，在AR圖像數(shù)據(jù)集和XM2VTS圖像數(shù)據(jù)集設(shè)計了針對性實驗。AR圖像數(shù)據(jù)集包含126人的正面圖像，這些圖像具有不同表情、照明條件和遮擋等。在該實驗部分，我們選擇AR圖像的一個常用子集，該子集由120人的每人14幅無遮擋圖像組成。XM2VTS數(shù)據(jù)庫中包含295人的2360幅面部圖像，圖像中人臉的角度、表情和眼鏡等各不相同。從本質(zhì)上而言，這兩個數(shù)據(jù)集屬于單模態(tài)數(shù)據(jù)集。為此借助模態(tài)策略[13]獲取了每幅圖像兩個視圖數(shù)據(jù)。具體而言，利用Coiflets和Daubechies小波變換方法來獲取每幅圖像的兩個視圖數(shù)據(jù)，隨后使用主成分分析將視圖數(shù)據(jù)的維數(shù)約減到100維，以減少小樣本問題。在實驗部分，LSCA方法和CCA、DCCA進行了對比分析。對于所有方法，在這兩個數(shù)據(jù)集上都是每類隨機選擇q （q=3， 4， 5， 6）幅圖像用于訓(xùn)練，剩余圖像作為測試圖像，并且獨立運行10次樣本隨機試驗，在表1和表2中展示了平均識別率。此外，所有方法都是使用了基于歐式距離的最近鄰分離器[13]來獲得而最終的實驗結(jié)果，并且展示的是所有可能維數(shù)下的最優(yōu)識別率。

CCA僅僅利用了成對的樣本信息，且無法有效地利用監(jiān)督信息，進而難以獲得強鑒別力的相關(guān)特征，然而LSCA和DCCA都屬于監(jiān)督相關(guān)學(xué)習(xí)方法，借助監(jiān)督信息進一步增強了相關(guān)特征的類分離性，并且CCA在表1和表2中也顯示出了最低識別率。當(dāng)實驗采用少量訓(xùn)練圖像進行實驗時，使用LSCA獲得的平均識別率與DCCA和CCA獲得平均識別率相差不大。隨著訓(xùn)練圖像的增加，LSCA，DCCA，CCA的識別率都呈現(xiàn)增加的趨勢。與DCCA相比，LSCA不僅考慮了視圖間的監(jiān)督相關(guān)信息，而且進一步約束了視圖內(nèi)類內(nèi)散布結(jié)構(gòu)，這是LSCA表1和表2上擁有更好識別性能的重要原因。

5 結(jié)束語

多視圖特征學(xué)習(xí)的核心任務(wù)是為多視圖數(shù)據(jù)學(xué)習(xí)線性或非線性的投影方向，將原始高維數(shù)據(jù)投影到低維空間，并且低維特征能夠盡量保留原來數(shù)據(jù)的有效信息，進而更利于數(shù)據(jù)的進一步處理。CCA是基于相關(guān)分析理論的多視圖特征學(xué)習(xí)方法，該方法本身是一種無監(jiān)督的方法，難以有效利用類標簽的優(yōu)勢來增強相關(guān)特征的鑒別力，為此，本文提出了一種新的LSCA方法。LSCA在類標簽的指導(dǎo)下構(gòu)建了視圖間類內(nèi)相關(guān)性、視圖間類間相關(guān)性以及視圖內(nèi)類內(nèi)散布，進而形成了LSCA的相關(guān)優(yōu)化模型，并在理論上進一步推導(dǎo)出了該模型的解析解，獲得了強鑒別力的相關(guān)特征。為了驗證提出方法的有效性，在兩個常用的圖像數(shù)據(jù)集上設(shè)計了針對性實驗，良好的實驗結(jié)果已經(jīng)揭示了LSCA的有效性。

參考文獻：

[1] Hardoon D R， Szedmak S， Shawe-Taylor J. Canonical correlation analysis： An overview with application to learning methods[J]. Neural computation， 2004， 16（12）： 2639-2664.

[2] Liu Y， Liu B， Zhao X， et al. A mixture of variational canonical correlation analysis for nonlinear and quality-relevant process monitoring[J]. IEEE Transactions on Industrial Electronics， 2018， 65（8）： 6478-6486.

[3] Chen J， Wang G， Giannakis G B. Graph multiview canonical correlation analysis[J]. IEEE Transactions on Signal Processing， 2019.

[4] X.Y. Wang， L.L. Liang， W.Y. Li， et al.， A new SVM-based relevance feedback image retrieval using probabilistic feature and weighted kernel function， J. Vis.Commun[J]. Image Represent，2016，38：256–275.

[5] X.Z. Gao， Q.S. Sun， H.T. Xu， Multiple instance learning via semi-supervised Laplacian TSVM， Neural Process. Lett. 46 （2017） 219–232.

[6] M. Borga， Learning multidimensional signal processing，Link?ping studies in science and technology， Dissertations， vol.531， Department of Electrical Engineering， Link?ping University， Link?ping， Sweden， 1998.

[7] Q.-S. Sun， S.-G. Zeng， Y. Liu， P.-A. Heng， and D.-S. Xia， “A new method of feature fusion and its application in image recognition，”Pattern Recognit.， vol. 36， no. 12， pp. 2437–2448， Dec. 2005.

[8] T. Sun， S. Chen， Locality preserving CCA with applications to data visualization and pose estimation， Image Vis. Comput. 25 （5） （2007） 531–543.

[9] F. Wang， D. Zhang， A new locality-preserving canonical correlation analysis algorithm for multi-view dimensionality reduction， Neural Process. Lett. 37 （2）（2013） 135–146.

[10] G. Lin， G. Fan， X. Kang， et al.， Heterogeneous feature structure fusion for classifification， Pattern Recogn. 53 （1） （2016） 1–11.

[11] X. He， S. Yan， Y. Hu， et al.， Face recognition using Laplacianfaces， IEEE Trans.Pattern Anal. Mach. Intell. 27 （2005） 328–340.

[12] T. Sun， S. Chen， J. Yang， et al.， A supervised combined feature extraction method for recognition， in： Proceedings of the IEEE International Conference on Data Mining， 2008， pp. 1043–1048.

[13] Su S， Ge H， Tong Y. Multi-graph embedding discriminative correlation feature learning for image recognition[J]. Signal Processing： Image Communication， 2018， 60： 173-182.

【通聯(lián)編輯：梁書】