基于深度學習的監督型典型相關分析

張 恒，陳曉紅，藍宇翔，李舜酩

（1.南京航空航天大學 理學院，南京 211106；2.南京航空航天大學 能源與動力學院，南京 211106）

0 概述

典型相關分析［1-3］（Canonical Correlation Analysis，CCA）是經典的多視圖數據降維方法，其廣泛應用在計算機視覺［4］、故障檢測［5］和風險評估［6］等領域，基本原理是將兩個視圖映射到同一個子空間中，使其在該子空間中的相關性最大。

由于在CCA的建模過程中未利用樣本的標簽信息，因此其屬于無監督降維方法。針對有標簽信息的多視圖數據，文獻［7］提出判別型典型相關分析（Discriminative Canonical Correlation Analysis，DisCCA），能夠同時最大化類內相關性且最小化類間相關性。文獻［8］將CCA與線性判別分析相結合，提出多視圖線性判別分析（Multiview Linear Discriminative Analysis，MLDA），多視圖不相關線性判別分析［9］（Multi-view Uncorrelated Linear Discriminative Analysis，MULDA）進一步消除了MLDA降維后樣本特征之間的冗余信息。

CCA 作為線性降維方法，無法有效處理非線性可分的數據。為此，在CCA 中引入核技巧［10］、流形學習［11］和深度神經網絡［12］作為處理非線性可分數據的主要方法。文獻［13］將核技巧引入到CCA 中，提出核典型相關分析（Kernel Canonical Correlation Analysis，KCCA）。針對數據量較大的數據集，KCCA 計算復雜度較高，文獻［14］提出隨機非線性典型相關分析（Randomized Nonlinear Canonical Correlation Analysis，RCCA），利用隨機非線性投影處理數據的非線性特征，大幅降低了計算復雜度。文獻［15］提出局部保持典型相關分析（Locality Preserving Canonical Correlation Analysis，LPCCA），旨在盡可能地保留數據的局部線性特征，并且降低全局非線性特征。文獻［16］提出一種基于低秩表示的多視圖典型相關分析方法（LRMCCA），該方法保留了數據的局部特征和全局特征，利用低秩表示代替歐氏距離，降低了對噪聲的敏感度。文獻［17］將CCA與深度學習相結合，提出深度典型相關分析（Deep Canonical Correlation Analysis，DCCA），即利用深度神經網絡對兩個視圖進行非線性變換，通過訓練使這兩個深度神經網絡輸出數據之間的相關性最大。文獻［18］提出深度典型相關自動編碼器（DCCAE），不僅保證了兩個深度神經網絡輸出數據的相關性最大，而且能準確地重構出原始數據。

文獻［19］提出監督型深度典型相關分析（Supervised Deep Canonical Correlation Analysis，SDCCA），旨在樣本經深度神經網絡映射后，利用兩個視圖的類內散度矩陣尋找使不同視圖間的相關性更大且同類樣本更緊湊的特征。類似地，文獻［20］將DCCA 與DisCCA 相結合，提出深度判別型典型相關分析（Deep Discriminative Canonical Correlation Analysis，DDCCA），利用深度神經網絡對兩個視圖的數據進行非線性變換，引入指示矩陣使得兩個網絡輸出數據的類內相關性最大且類間相關性最小。SDCCA和DDCCA 同時克服了CCA 的線性和無監督的局限性。

本文提出一種基于深度學習的監督型降維方法DL-SCCA。在2 個獨立的深度神經網絡結構上，通過增加1 個共同的全連接層，以softmax 函數作為該層的激活函數，利用該層的輸出與標簽信息之間的交叉熵對深度神經網絡進行訓練，以降低計算類內散度矩陣和指示矩陣的計算量，并且減少信息冗余。

1 相關工作

1.1 典型相關分析

其中：Cxx=Ε(XXT)；Cxy=Ε(XYT)；Cyy=Ε(YYT)。由于wx和wy具有尺度不變性，因此可將式（1）改寫為：

如果將原始數據投影到多維空間，CCA 的目標函數如式（3）所示：

1.2 深度典型相關分析

DCCA 將深度神經網絡引入到多視圖學習中，通過兩個深度神經網絡分別對兩個視圖進行非線性變換，并對這兩個網絡進行訓練，使其輸出之間的相關性最大。

令fx(X；θx)和fy(Y；θy)為兩個視圖所對應的深度神經網絡，其中θx和θy分別為兩個網絡中的參數，則DCCA 如式（4）所示：

其中：

2 監督型典型相關分析

監督信息和深度學習的融入提高了CCA 的性能，受此啟發，本文提出基于深度學習的監督型典型相關分析（DL-SCCA）。DL-SCCA 分別對兩個視圖的樣本建立不同的深度神經網絡進行非線性變換，同時對輸出的樣本矩陣進行相關性分析，在2 個獨立的網絡上增加1 個共同的全連接層，利用softmax 函數對該層的輸出進行非線性變換，最后計算該層輸出與類別標簽信息之間的交叉熵，使得兩個網絡輸出數據之間的相關性與交叉熵的相反數之和最大化。

在兩個獨立的深度神經網絡結構上，再增加一層帶有C個神經元的輸出層，記為L+1 層。該層根據標簽信息指導訓練網絡。L+1 層與兩個深度神經網絡均為全連接，連接權重為，偏置為bL+1，激活函數為softmax，其輸出如式（8）所示：

圖1 DL-SCCA 的深度神經網絡結構Fig.1 Structure of deep neural network of DL-SCCA

令標簽q∈RC是one-hot 向量，若該樣本屬于第i類，則qi=1，qj=0(j≠i)。與DCCA 類似，DL-SCCA同樣采用批次輸入的方式訓練網絡。假設每次輸入的樣本數量為m，Q=[q1,q2,…,qm]∈RC×m為類別標簽矩陣，Hx∈Rk×m和Hy∈Rk×m為2 個深度神經網絡的輸出矩陣，P=[p1,p2,…,pm]∈RC×m為L+1 層的輸出。DL-SCCA 旨在使Hx與Hy的k個相關系數之和以及P和Q的交叉熵相反數最大化。DL-SCCA采用與1.2 節相同的方式定義，則目標函數如式（9）所示：

本文采用基于梯度的優化方法對DL-SCCA的網絡參數進行更新。式（9）第一項對Hx和Hy的偏導數方法與式（6）一致。令式（9）第二項為Ε=下面計算Ε對于L+1 層m個樣本的線性加權和Z∈RC×m的偏導數。由于：

因此：

則：

根據鏈式求導法則，本文求得目標函數對所有參數的梯度，從而基于梯度對參數進行更新。

DDCCA、SDCCA 和DL-SCCA 均將深 度神經網絡和樣本標簽信息分別與CCA 相結合。圖2 所示為DCCA、DDCCA、SDCCA 和DL-SCCA 的深度神經網絡結構。DCCA、DDCCA 和SDCCA 具有相同的深度神經網絡結構。DCCA 的深度神經網絡對每個視圖數據進行非線性變換，然后對變換后的數據進行相關性分析。該過程未利用樣本的標簽信息，屬于無監督降維。在相關性分析時，基于DisCCA 原理，DDCCA 實現了類內相關性最大化和類間相關性最小化。SDCCA 在相關性分析時，不僅使兩個視圖的相關性最大，并且使得兩個視圖的類內散度最小。這兩種方法在構造指示矩陣和類內散度矩陣時，不僅耗時，而且存在信息冗余的問題。

圖2 深度神經網絡的結構Fig.2 Structure of deep neural networks

針對該問題，DL-SCCA 將標簽信息與DCCA相結合，在DCCA 網絡結構的基礎上增加一個公共的全連接層如圖2（d）的陰影部分，不僅關注兩個視圖數據之間的相關性，還通過交叉熵相反數最大化的方式直接將數據的標簽信息運用在深度神經網絡的訓練中。這種方式提取的特征保證了兩個視圖的相關性最大化，同時使得不同類樣本之間的可分性最大化。與DDCCA和SDCCA相比，DL-SCCA具有2 個優點：1）無需構造類內和類間散度矩陣，降低了計算復雜度；2）該方法不僅對原始高維數據進行降維，而且增加的公共全連接層使其具有分類功能。

3 實驗與分析

3.1 實驗設置

3.1.1 實驗數據集

本文分別在如下6 個數據集上進行實驗。

1）WDBC數據集有2個視圖，包含2類，共計569個樣本。

2）WebKB 數 據集有2 個視圖，包含2 類，共計1 051 個樣本。

3）MFD 數據集有6 個視圖，包 含10 類，共計2 000 個樣本。

4）Dermatology 數據集有2 個視圖，包含6 類，共計358 個樣本。

5）ForestTypes 數據集有2 個視圖，包含4 類，共計523 個樣本。

6）ULC 數據集共有2 個視圖，包含9 類，共計675 個樣本。

3.1.2 不同方法對比

本文選擇CCA、DisCCA、DCCA和DDCCA這4種降維方法進行對比，其中DisCCA 在CCA 的基礎上加入了判別信息。DCCA 由CCA 與深度神經網絡相結合得到，利用深度神經網絡的非線性特征將CCA非線性化。DDCCA 將DCCA 與DisCCA 相融 合，在DCCA 的基礎上引入判別信息。

3.1.3 評價指標

在CCA和DisCCA中，提取數據集X和Y的前k對典型向 量，即本文采用串行的方式將兩個視圖的特征進行融合，得到[XTWx,YTWy]T，使用最近鄰分類器進行分類，最后將分類準確率作為該方法的性能指標。

在DCCA 和DDCCA 中，深度神經網絡最后一層的輸出即為降維之后的樣本，同樣采用串行的方式將2 個視圖的特征進行融合。本文使用最近鄰分類器對測試樣本進行分類，并將統計的分類準確率作為該方法的性能指標。

在DL-SCCA 中采用2 種分類方式：1）采用和DCCA、DDCCA 相同的分類方式；2）采用DL-SCCA特有的網絡結構，即根據第L+1 層的輸出直接判斷樣本的類別，最終計算得到的分類準確率作為實驗的性能指標。

3.1.4 參數設置

由于MFD 數據集有6 個視圖，因此本文將所有的視圖兩兩組合進行實驗。WebKB 數據集為非常稀疏的離散數據，在實驗之前應使用主成分分析對其進行預降維，僅保留方差不為0 的主成分。在DCCA、DDCCA 和DL-SCCA 的實驗部分中，深度神經網絡的深度L統一設置為4，寬度cx、cy為數據維數dx、dy的130%，非線性激活函數φ(·)為tanh 函數，學習率為0.5。在每次實驗時，本文令輸出的維數k在min(dx,dy)的20%～80%之間變化，并重復10 次實驗，選取所有k值對應平均準確率的最大值作為最后的實驗結果。每批次輸入的樣本數量m設為40。在每次實驗中，從每個類別中選取60%的樣本作為訓練集，剩余作為測試集。

3.2 實驗結果分析

CCA、DisCCA、DCCA、DDCCA、DL-SCCA Ⅰ、DL-SCCAⅡ這5 種方法在MFD 數據集上的分類準確率對比如表1 所示，其中，DL-SCCAⅠ方法利用最近鄰分類器得到分類準確率，DL-SCCAⅡ方法采用網絡本身結構得到分類準確率。

表1 在MFD 數據集上不同方法的分類準確率對比Table 1 Classification accuracy comparison among different methods on MFD dataset %

從表1可以看出，DL-SCCAⅠ方法和DL-SCCAⅡ方法在MFD 數據集的15 種視圖組合方式的性能相比于CCA、DisCCA、DCCA、DDCCA 方法均大幅提升。DL-SCCAⅡ方法通過深度神經網絡自身結構進行分類，由于直接利用樣本的類別信息，因此其分類性能相比于最近鄰方法的分類性能較優。由于DisCCA、DDCCA 和DL-SCCA 方法利用類別標簽信息提取低維特征，因此均比無監督學習的CCA 和DCCA 方法的分類性能好。這說明利用數據本身包含的類別標簽信息，可以提升低維特征的分類性能。而非線性降維方法DCCA、DDCCA 和DL-SCCA 相比于線性降維方法CCA 和DisCCA 的性能更優。這說明原有的線性降維方法經過非線性拓展后，能夠有效解決非線性可分的問題。DL-SCCAⅠ和DL-SCCAⅡ兩種分類方式得到的分類準確率相比于DCCA 平均提升了5.26 和6.37 個百分點，相比于DDCCA 提高了1.25和2.36 個百分點。DL-SCCA 方法能夠有效利用數據的類別標簽信息，使降維之后的低維特征具有較優的分類性能。

CCA、DisCCA、DCCA、DDCCA、DL-SCCA Ⅰ、DL-SCCAⅡ這5 種方法在不同數據集上的分類準確率對比如表2 所示。

表2 在不同數據集上各方法的分類準確率對比Table 2 Classification accuracy comparison among different methods on different datasets %

相比無監督的CCA 方法，在ULC 數據集上，DisCCA 方法的分類準確率提高了33.12 個百分點。在ULC 數據集上，DCCA 方法相比CCA 方法的分類準確率提高了59.62 個百分點。DDCCA 方法融合DisCCA 和DCCA 的特點，其兼具非線性和監督學習的性質，相比其改進前的DisCCA 和DCCA，能夠大幅提高分類準確率。本文DL-SCCA 方法和DDCCA方法都對DCCA 進行監督型擴展，但是DL-SCCAⅠ和DL-SCCAⅡ方法得到的分類準確率均比DDCCA高。因此，DL-SCCA 能夠直接有效地利用數據本身包含的類別標簽信息，使其提取的低維特征具有更優的分類性能。

3.3 網絡層數對實驗的影響

深度神經網絡的層數是模型復雜度的一個重要參數，其對模型的性能影響較大。為探究網絡層數對實驗結果的影響，本文將網絡層數L設置為2～14，步長為1，其他參數的設置與3.1.4 節相同。在WDBC、Dermatology、ForestTypes 和ULC數據集上，網絡層數對實驗結果的影響如圖3所示。

圖3 網絡層數對實驗結果的影響Fig.3 Influence of number of network layers on experimental results

從圖3 可以看出，隨著網絡層數的增加，所有數據集上的分類準確率均呈下降趨勢。其原因為樣本數量太少和模型復雜度過高，導致發生過擬合現象。DL-SCCAⅡ方法的分類準確率下降程度更大，說明網絡結構分類器更容易發生過擬合。DL-SCCAⅠ方法在一定程度上可以緩解過擬合現象的發生。

3.4 批次樣本數量分析

由于本文方法需要計算相關性，在訓練模型時本文按批次輸入樣本。本文研究了每批次樣本數量對模型性能的影響，每批次樣本數量m設置為20～140，步長為20，其他參數設置與3.1.4 節一致。本文在WDBC、Dermatology、ForestTypes 和ULC 數據集上進行批次樣本數量分析。由于模型在不同數據集上的訓練時間差異比較大，因此本文對每個數據集的訓練時間進行了歸一化。每批次樣本數量對分類精度的影響如圖4 所示。

圖4 每批次樣本數量對分類精度的影響Fig.4 Influence of number of samples per batch on classification accuracy

從圖4 可以看出，隨著每批次樣本數量的增加，模型的分類精度變化并不明顯，說明每批次的樣本數量對模型性能的影響不大。當每批次樣本數量足夠多 時非奇 異，可去除 其中的正則 化項。為驗證樣本數量對訓練時間的影響，本文將每種方法的訓練時間規范化至0～1，如圖5 所示。

圖5 每批次樣本數量對計算時間的影響Fig.5 Influence of number of samples per batch on calculation time

從圖5 可以看出，隨著每批次樣本數量的增加，訓練時間大幅縮短，因此，在內存足夠的前提下可以適當地增加樣本數量。當獲得的數據是數據流形式時，DL-SCCA 方法能夠達到增量學習［21］的效果。

4 結束語

本文提出基于深度學習的監督型典型相關分析方法DL-SCCA，通過增加一個公共的全連接層，將softmax函數作為激活函數，利用模型輸出與樣本標簽的交叉熵訓練深度神經網絡，獲得具有強判別性的低維表示。實驗結果表明，相比CCA、DisCCA、DCCA 等方法，該方法具有較優的分類性能。后續將通過計算多個視圖的相關性和交叉熵，同時訓練深度神經網絡，使本文方法適用于不完全多視圖數據。