對齊特征表示的跨模態人臉識別

明 悅，王紹穎，范春曉，周江婉

(北京郵電大學 電子工程學院，北京 100876)

1 引 言

跨模態人臉識別的目的是識別數據分布或外觀差異較大的不同模態人臉圖像[1]。近紅外光與可見光人臉、側臉與正臉、素描畫像與照片等都是人臉的不同模態。在安防、刑偵、娛樂等場景中，跨模態人臉識別發揮著重要作用[2]。例如，在安防場景中，不可避免要識別近紅外光下拍攝的人臉圖像。大多數人臉識別算法，在面對跨模態人臉識別時準確率會大幅下降。因此，研究者開始深入研究不同模態人臉之間的差異，并提出多種跨模態人臉識別算法[3-8]，降低不同模態人臉之間差異。

在跨模態人臉識別算法中，生成模型被廣泛用于跨模態人臉合成和學習模態不變的特征表示[9]。生成對抗網絡[10](Generative Adversarial Network, GAN)和變分自動編碼器[11](Variational Auto-Encoders, VAE) 是兩種常用于人臉合成的基本模型。GAN中包含生成器和判別器，二者交替訓練和對抗，最終生成器生成能夠欺騙過判別器的圖像。然而其交替訓練過程會導致訓練不穩定。為克服這一缺陷，一些算法[12-13]采用VAE進行人臉合成。與GAN相比，VAE具有更加穩定的訓練過程，通過最小化重構損失函數可構建輸入數據的潛在高斯分布空間，并合成逼真的人臉，從而獲得具有魯棒性和判別能力的緊湊分布，適用于跨模態人臉識別任務。因此，本文將使用VAE作為基本模型，學習判別性的潛在高斯分布空間。

VAE模型能夠很容易地構建出重建圖像空間和潛在高斯分布空間。因此，相比于直接跨模態合成人臉或對齊潛在向量等在單一空間學習跨模態信息的算法[4-5]，本文基于VAE模型提出一種基于對齊特征表示的跨模態人臉識別算法(Cross-Domain Representation Alignment, CDRA)，提取不同模態人臉圖像中能標識身份的特征信息和跨模態關聯信息。該方法采用潛在高斯分布空間直接進行特征對齊，并在圖像空間間接建立不同模態人臉間的聯系方式，實現不同模態人臉特征在多空間維度的對齊，在圖像空間和潛在子空間同時學習更加具有判別性的身份信息和更加豐富的多層次跨模態信息。如圖1所示，是CDRA算法的框圖。圖中模態A和B為同一個人的可見光圖像和近紅外光圖像。編碼器通過模態內重建損失函數(LDSR)學習高斯潛在分布，交叉模態重建對齊損失函數(LCMA)和高斯分布對齊損失函數(LGDA)協同作用對齊潛在特征表示，將不同模態的潛在特征投影到共同的潛在子空間。該方法主要分為兩部分：

圖1 基于對齊特征表示的跨模態人臉識別算法(CDRA)的流程框圖Fig.1 Framework of Cross-Domain Representation Alignment (CDRA)algorithm

(1)模態內信息提取。為減少特征學習和特征重建過程中的信息損失，CDRA算法首先利用模態內重建(Domain-Specific-Reconstruction，DSR)損失函數來提取同一模態人臉數據的內在身份信息，主要包括同一模態人臉數據中的身份判別信息和紋理、結構等細節信息。

(2)模態間信息提取。在學習到身份信息的基礎上，為減少不同模態人臉特征的差異，本文提出使用交叉模態重建對齊(Cross-Modal-Alignment, CMA)損失函數將潛在特征空間中某一模態的特征重構至另一模態的圖像空間，學習不同模態特征間相關聯的潛在信息，并利用高斯分布對齊(Gaussian-Distribution-Alignment, GDA)損失函數對齊高斯潛在分布，進一步減少不同模態人臉之間的差異。因此，CDRA算法基于CMA和GDA損失函數，將不同模態的潛在特征表示對齊到同一潛在子空間。

本文提出的CDRA算法主要的貢獻如下：

(1)本文提出一種端到端的跨模態特征匹配算法。該算法基于VAE模型構建不同模態人臉的重建圖像空間和壓縮的高斯分布空間來對齊跨模態潛在特征表示，并且能夠很容易地擴展為同時對齊兩個以上的模態。

(2)本文提出使用DSR損失函數，學習模態內人臉具有判別能力的身份信息，能夠有效減少特征對齊過程中的信息損失。

(3)本文通過CMA和GDA損失函數在人臉圖像空間和潛在高斯分布空間協同學習公共的潛在特征表示空間，從而在不同空間提取到不同模態人臉間更加豐富的關聯信息。

(4)來自于公共潛在特征表示空間的特征作為輸出特征，直接用于跨模態人臉識別。本文在跨模態人臉數據集Multi-Pie和CASIA NIR-VIS 2.0上進行人臉識別實驗。實驗結果表明，CDRA算法獲得了比現有方法更高的識別準確率，并具有良好的泛化能力。

2 跨模態人臉識別算法

跨模態人臉識別算法主要分為三類：潛在子空間方法、人臉合成方法和模態不變的特征方法。本節將從這三類方法分別綜述近年來跨模態人臉識別領域的相關工作。

潛在子空間方法的目標是將不同模態的數據投影到一個公共的潛在子空間中。Wang等[14]將CCA (Canonical Correlation Analysis)引入到自動編碼器中，學習針對不同模態特征的非線性子空間。MvDA (Multi-view Discriminant Analysis)[15]方法通過聯合學習人臉多個視點的線性變換，尋找多個視點具有判別性的公共子空間。Wu等[3]通過在跨模態變量上施加松弛約束來為不同模態的人臉特征學習公共的解構潛在空間。潛在子空間方法可以很容易地減少不同模態人臉之間的模態差異，但是在投影的過程中會存在一定程度的信息丟失。

人臉合成方法利用生成模型將人臉從一個模態合成到另外一個模態，以減少不同模態人臉數據的差異。馬爾科夫網絡方法[16]基于人臉的局部塊合成，實現跨模態的人臉生成。Zhang等[8]利用Siamese網絡解構不同模態的人臉數據，通過編碼-解構-解碼的形式，減少不同模態人臉之間的差異。基于GAN的方法[7,17-18]通常通過感知圖像全局或局部細節，實現不同模態間人臉的相互合成。一般人臉合成的方法對于不同的人臉生成任務需要不同的學習機制，因此人臉合成方法存在泛化能力較弱的缺點。

模態不變的特征方法旨在從同一個體不同模態的人臉中學習模態不變的特征。CDL (Coupled Deep Learning)[5]提出一種跨模態的排序機制，能夠最大化類間的差異和類內不同模態之間的差異。He等[4]將Wasserstein距離引入到共享網絡層中，度量不同模態人臉特征分布之間的差異。DFN (Deformable Face Net)[19]為可形變卷積層學習姿態感知的位移場，從而提取到姿態不變的人臉圖像。但是當不同模態的人臉數據存在較大差異時，直接提取模態不變的人臉特征比較困難[20]。

不同于上述方法，本文提出的CDRA算法基于VAE模型學習潛在特征表示空間，并通過對齊潛在特征表示來實現跨模態人臉識別。首先，為減少信息丟失，CDRA算法利用DSR損失函數盡可能地學習具有判別能力的人臉特征表示。在此基礎上，CMA和GDA損失函數分別在圖像空間和潛在高斯分布空間對不同模態的人臉特征表示進行對齊。相比于單一空間對齊的方法，在圖像空間和分布空間同時進行對齊的CDRA算法，能夠獲得不同模態人臉間多個空間維度不同層次的關聯關系，有利于提取到更具判別能力的跨模態關聯信息。并且，CDRA算法本質是對不同模態人臉數據的特征表示進行對齊。因此，適用于不同的跨模態人臉識別任務，而不需要改變學習機制。

3 基于對齊特征表示的跨模態人臉識別算法

基于對齊特征表示的跨模態人臉識別(CDRA)算法是將兩個模型學習得到的特征表示進行對齊，構建不同模態人臉特征之間相關聯的公共潛在特征空間。為減少信息損失和實現更有效的特征對齊，CDRA算法首先通過模態內重建(DSR)損失函數，學習單一模態人臉具有判別能力的信息。基于交叉重建和分布對齊原則，為實現特征在圖像空間的精準映射和在特征空間不同模態特征的精準匹配，通過交叉模態重建對齊(CMA)損失函數和高斯分布對齊(GDA)損失函數實現特征對齊表示。不同于之前在單一圖像或分布空間對不同模態的特征表示進行對齊。CDRA算法利用CMA損失函數和GDA損失函數在圖像空間和分布空間協同建立不同模態人臉間的聯系，從而促進不同模態的潛在特征表示在多空間維度實現更加精確的對齊。接下來，本節將描述CDRA算法的損失函數及其數學表達式。

3.1 VAE和模態內重建(DSR)損失函數

Lre=-Ez～Q(z|x)logP(z|x),

(1)

其中：z是獨立的高斯隨機變量，即z∈N(0,1)。VAE通過梯度下降算法最小化Q(z|x)的分布與高斯分布P(z)的差異，即最小化二者的KL散度，對潛在向量z的分布進行控制：

LKL=D[Q(z|x)‖P(z)].

(2)

因此，VAE是損失函數Lre和LKL共同組成：

LVAE=Lre+LKL.

(3)

CDRA算法的目標是學習n種模態的數據在公共潛在空間的特征表示。因此，CDRA算法模型中包含n個VAE模型。為了減少信息損失和提取具有判別能力的信息，每一個VAE中的編碼器將一種模態的數據編碼到潛在高斯分布空間，解碼器從潛在特征表示中重建出原始輸入數據。CDRA算法的模態內損失是n個VAE損失的總和，稱為模態內重建(DSR)損失函數：

LDSR=

βD[Q(z(i)|x(i))||P(z(i))]，

(4)

其中：β系數決定KL散度項的權重。通過最小化DSR損失，CDRA算法中每個VAE模型的潛在特征表示空間能夠學習到具有判別能力的模態內特征表示。

3.2 交叉模態重建對齊(CMA)損失函數

交叉模態重建對齊是通過解碼來自同一個體另一模態的潛在特征表示來實現的。也就是說，模態A的潛在特征表示輸入到模態B的解碼器中來重構模態B的人臉圖像，而模態B的潛在特征表示輸入模態A的解碼器中來重構模態A的人臉圖像。因此，每一個模態的解碼器除了用于訓練對應模態的潛在特征表示，也將用于訓練另一模態的潛在特征表示。CMA損失函數定義如下:

(5)

其中：E(i)表示第i個模態的樣本通過編碼器得到特征表示，D(j)表示特征通過解碼器得到的第j個模態的重建樣本。通過CMA損失函數對模型進行優化，能夠在圖像空間中學習到不同模態之間的關聯信息，并映射到潛在特征空間，從而實現將不同模態人臉圖像的潛在特征表示映射到同一潛在子空間。

3.3 高斯分布對齊(GDA)損失函數

高斯分布對齊通過最小化同一個體不同模態的潛在高斯分布Wasserstein距離[4]實現。兩個不同模態人臉數據高斯分布之間的2-Wasserstein距離，可構成封閉解：

(6)

其中，對角協方差矩陣由編碼器預測，具有可交換性。因此公式(6)可以簡化為：

(7)

其中，F表示Frobenius范數。因此，在CDRA算法中，GDA損失函數寫作：

(8)

通過GDA損失函數能夠進一步對齊不同模態的特征表示，提高CDRA算法模型的跨模態表達能力。

3.4 CDRA算法損失函數

CDRA算法的總體目標損失函數包括DSR損失函數、CMA損失函數和GDA損失函數。DSR損失函數能夠減少信息損失，學習模態內具有判別能力的身份信息。CMA損失函數和GDA損失函數能夠有效地關聯不同模態人臉的圖像空間和潛在分布空間，學習跨模態信息。為同時學習具有判別能力的身份信息和跨模態信息，CDRA算法將三種損失函數有機結合，學習不同模態人臉的公共潛在空間和特征表示。

L=LDSR+γLCMA+δLGDA,

(9)

其中γ和δ系數表示CMA損失函數和GDA損失函數的權重。γ和δ系數在訓練的不同階段將被設置不同的權重值，有利于逐步實現特征表示對齊。在特征對齊表示的基礎上，不僅可以直接從潛在特征表示空間提取到模態不變的特征，而且可以由解碼器解碼潛在特征得到相應模態的生成人臉。具體細節將在下節中介紹。

4 訓練算法

基于對齊特征表示的跨模態人臉識別(CDRA)算法采用基于卷積神經網絡的VAE模型[21]學習含有高層語義信息的特征。如圖2是基于卷積神經網絡的VAE模型的結構框圖：

圖2 基于卷積神經網絡的VAE模型的結構框圖Fig.2 Framework of VAE model based on convolutional neural network

(1)編碼器由4個卷積層組成，卷積核為4×4，通過將步長設置為2實現下采樣。在每個卷積層后都添加批量歸一化(Batch Normalization，BN)來優化網絡結構，并使用帶泄露修正線性單元(Leaky ReLU)函數作為激活函數。

(2)在編碼器中加入兩個全連接的輸出層，分別用于計算均值和方差，均值和方差將用于計算潛在特征表示和KL散度。

(3)解碼器的卷積核設置為3×3，步長設置為1，通過最近鄰法實現上采樣。

在基于卷積神經網絡的VAE中，編碼器和解碼器的結構大致對稱：編碼器實現學習到能夠表示輸入樣本的潛在特征表示；解碼器由潛在特征表示逐步上采樣，實現從低分辨率重構樣本中重建出高分辨率的重構樣本。

在模型的訓練階段，CDRA算法模型首先通過DSR損失函數訓練VAE學習模態內具有判別能力的信息。在變分自動編碼器學會對特定模態進行編碼之后，通過CMA損失函數和GDA損失函數約束模型將不同模態的特征映射到公共的潛在空間，實現精確的特征對齊。

CDRA算法模型采用warm up策略預熱損失函數的權重并使用貝葉斯優化(Bayesian Optimization)確定權重值，初始值設置均為0，然后以不同的步長增長，如圖3所示：δ從第6個epoch開始到第44個epoch為止，以0.27為步長遞增；γ從第21個epoch開始到第150個epoch為止，以0.022為步長遞增；對于KL散度損失的β系數，從第0個epoch開始到第180個epoch為止，以0.001 3為步長遞增。為進一步增強潛在特征表示的判別能力，學習得到的潛在特征表示還將輸入到softmax層。softmax損失函數從第50個epoch開始起作用。

圖3 CDRA算法損失函數中基于warm up更新的參數權重值Fig.3 Weight parameters updated by warm up strategy in CDRA method′s loss functions

在測試階段，CDRA算法模型通過可視化人臉生成的效果和人臉識別的準確率對學習得到的對齊潛在特征表示的效果進行驗證：

(1)在人臉生成的實驗中,A模態的人臉輸入模態A的編碼器得到模態A到人臉特征表示，將該特征輸入到模態A的解碼器中，則能夠重建出模態A的人臉，而輸入到模態B的解碼器，將重建出模態B的人臉。

(2)在人臉識別的實驗中，模態A的人臉圖像和模態B的人臉圖像分別輸入到模態A的編碼器和模態B的編碼器中，模態A的編碼器和模態B的編碼器將兩種模態映射到公共的潛在特征表示空間，二者對齊的潛在特征表示將作為最終輸出的人臉特征，直接用于人臉識別中。

5 實 驗

本文提出CDRA算法在經典的姿態人臉數據集Multi-Pie[22]近紅外光和可見光人臉數據庫CASIA NIR-VIS 2.0[23]上進行實驗，并對實驗結果進行分析和總結。在Multi-Pie[22]和CASIA NIR-VIS 2.0[23]數據集中均包含兩種人臉模態，因此，n=2。

5.1 實驗數據集

Multi-Pie：Multi-Pie[22]數據集用于姿態人臉對正臉的識別。數據集中前200人的圖像(共計161 460張)作為訓練集，剩余137人的圖像作為測試集，包括probe集 (共72 000張)和gallery集(共137張)。其中正臉作為一種模態，包含姿態變化的人臉作為另一種模態。

CASIA NIR-VIS 2.0：CASIA NIR-VIS 2.0[23]數據集是目前最大和最具挑戰性的可見光(VIS)和近紅外光(NIR)異構人臉識別數據庫。它包括725人，每個人有1～22張可見光和5～50張近紅外光圖像，分為10個子集。訓練集含有來自360人的大約2 500張可見光和6 100張近紅外圖像。在測試集中，gallery集中包含358人的可見光圖像，每個人只有一張圖像，probe集包含著358人的6 000多張近紅外圖像。

5.2 潛在特征表示維度的影響

潛在特征表示維度是CDRA算法模型中，唯一需要進行手動選擇的參數。因此，本節通過實驗分析模型中潛在特征表示的維度對模型性能的影響，從而確定模型中公共潛在空間的最佳特征維度。

實驗結果如圖4所示，隨著特征維度的增加，人臉識別的準確率總體呈現先上升后下降的趨勢。在維度為128時，人臉識別準確率在兩個數據庫上均到達頂峰。原因主要有以下兩點：(1)潛在特征表示的維度越大，模型的復雜程度和靈活度也越高，就能夠學習到性能更好的特征表示；(2)潛在特征表示是對輸入人臉數據的壓縮表示，能夠學習到人臉數據中最重要的特征表示。但是，如果維度太大，潛在特征空間會學習到人臉數據中不太重要的信息，反而會降低模型的特征表示能力。

圖4 潛在特征表示維度對人臉識別準確率的影響Fig.4 Face recognition accuracy rates with different latent feature dimensions

潛在特征表示維度的選取需要兼顧模型的復雜度和性能，因此，根據實驗結果和分析，在后續實驗中，選取的特征維度為128。

5.3 DSR,CMA,GDA損失函數的影響

為了確定DSR,CMA和GDA損失函數的影響，在不改變網絡結構的前提下，本實驗將采用不同損失函數的組合對網絡模型進行訓練和測試。不同損失函數的組合包括LDSR,LDSR+γLCMA,LDSR+δLGDA和LDSR+γLCMA+δLGDA。

如圖5所示，由于基于LDSR訓練的模型僅在模態內學習表示單一模態的信息，而不能獲取不同模態之間的相關性，因而學習得到的模型的跨模態人臉識別準確率最低。基于LDSR+γLCMA和LDSR+δLGDA訓練的模型通過在圖像空間或潛在分布空間對齊潛在特征表示，提高了跨模態人臉識別準確率。而基于LDSR+γLCMA+δLGDA訓練的模型相比于基于LDSR+γLCMA和LDSR+δLGDA訓練的模型在Multi-Pie和CASIA NIR-VIS 2.0數據集上準確率均有較大幅度提升。這證明在圖像空間和潛在分布空間同時對齊分布，能夠建立圖像空間和潛在分布空間的內在聯系，有利于潛在特征表示學習到更具有判別能力的跨模態信息。

圖5 損失函數對人臉識別準確率的影響Fig.5 Face recognition accuracy rates with different loss functions

5.4 Multi-Pie數據集上的實驗結果

CDRA算法在姿態人臉數據集Multi-Pie上不同角度變化的人臉對正臉的識別。在該數據集上，本文使用人臉識別的準確率(識別正確的樣本/樣本總數)作為評價指標，實驗結果如表1所示。

表1 Multi-Pie數據庫上的人臉識別準確率

實驗結果表明，隨著人臉變化角度的增加，人臉紋理信息丟失的越來越多，因而所有方法的人臉識別準確性都隨著角度的增加而下降。FIP+LDA[24]和MVP+LDA[25]算法在提取到對姿態魯棒的特征后，利用LDA進一步提高特征的判別能力。而CPF[26],DR-GAN[17]和CAPG-GAN[27]算法通過對姿態進行編碼，指導網絡合成正臉。不同于上述方法，CDRA算法通過DSR損失函數學習具有判別能力的信息，然后通過CMA和GDA損失函數在圖像空間和潛在分布空間學習跨模態信息，從而減少含有角度變化的人臉與正臉之間的潛在特征表示差異。因此，CDRA算法不僅能夠在潛在特征分布空間學習到對姿態魯棒的人臉特征，而且能夠從公共的潛在特征空間中解碼重建出正臉圖像。如圖6所示，是CDRA算法人臉合成的效果圖。其中，a，c，e行是含有姿態變化的原始人臉，b，d，f行是合成的正臉。經觀察可知，CDRA算法對人臉的一些外觀細節實現了較為真實的合成，這表明不同模態的潛在特征表示不僅實現了精準對齊，而且包含具有判別能力的身份信息和結構信息。

圖6 CDRA算法的人臉合成效果Fig.6 Visualization of face synthesis of CDRA method

5.5 CASIA NIR-VIS 2.0數據集上的實驗結果

CDRA算法在可見光(VIS)和近紅外光(NIR)人臉圖像數據集CASIA NIR-VIS 2.0上進行VIS-NIR人臉識別實驗，并與現有的最好的算法進行比較。在該數據集上，本文使用人臉識別的準確率和當假正類率(FAR)=0.1%時的真正類率(TAR)值作為評價指標，實驗結果如表2所示。實驗結果表明，CDRA算法能夠將可見光與近紅外光人臉圖像映射到公共的潛在特征表示空間，有效地減少可見光與近紅外光人臉圖像之間的差異，提高了VIS-NIR人臉識別的準確率。

表2 CASIA NIR-VIS 2.0數據庫上的實驗結果

基于傳統手工設計特征的方法KDSR[28]難以克服不同模態人臉間數據分布的差異，學習到具有模態不變性的特征。基于深度學習的方法Gabor+RBM[29],IDNet[30],CDL[5],ADFL[31],DVR[3]和Peng等.[33]得益于深度特征具有更強的表達能力[32]，在VIS-NIR人臉識別中表現出較為出色的性能。本文提出的CDRA算法不僅在圖像空間對可見光和近紅外光人臉進行對齊，而且在潛在高斯分布空間對可見光和近紅外光人臉的潛在特征分布進行對齊，從而在不同的空間學習到不同模態之間更強的關聯信息。

5.6 人臉生成實驗結果

CDRA方法在CUHK-CUFS[34]數據集上進行人臉生成的實驗。該數據集包含素描人臉和照片人臉，CDRA模型中的編碼器將素描人臉和照片人臉映射到同一潛在特征空間，而解碼器將潛在特征解碼為照片人臉和素描人臉。因此，CDRA模型可同時實現由人臉照片和人臉素描畫像的互相轉換，即由照片生成素描人臉和由素描人臉生成照片。

本文將CDRA方法與非GAN類方法和GAN類方法的生成人臉進行可視化對比，實現結果如圖7和圖8所示。非GAN類方法(MWF[35]，SSD[36]，RSLCR[37]，FCN[38])生成的圖像通常呈現較為模糊的效果，而GAN類方法(GAN[39]，CycleGAN[40]，DualGAN[41]，CSGAN[42]，EGGAN[43])生成的圖像包含較為豐富的紋理和細節信息。但是非GAN類方法生成的圖像與原始圖像的相似性更高，而GAN類方法生成的圖像在相似性保持方面表現不足。本文提出的CDRA方法更傾向于保持與原始圖像的相似性，對于眼睛、鼻子等部分的細節信息生成效果較好，但是頭發和衣服部分的生成圖像較為粗糙。這是因為變分自動編碼器的潛在特征空間是學習人臉的壓縮表示，會提取到人臉中結構和五官等重要的信息，忽略不太重要的頭發、配飾等信息。

圖7 CUHK-CUFS數據集中由照片生成素描人臉的效果圖Fig.7 Visualization of the sketch face synthesis from photos in CUHK-CUFS dataset

圖8 CUHK-CUFS數據集中由素描生成照片人臉的效果圖Fig.8 Visualization of the photo face synthesis from sketches in CUHK-CUFS dataset

本文使用SSIM作為生成圖像的質量評測標準。SSIM用于測量原始人臉與生成人臉之間的結構相似性。

表3和表4是CDRA與現有方法在CUHK-CUFS和CUHK-CUFSF數據集上的SSIM值。本文不僅測試了由人臉照片生成的人臉素描圖像的SSIM值，而且測試了由人臉素描圖像生成的人臉照片的SSIM值。SSIM的取值范圍是0～1，SSIM值越大表示兩張圖片越相似。實驗結果表明，由人臉照片生成的人臉素描圖像的SSIM值要整體低于由人臉素描圖像生成的人臉照片的SSIM值。這是因為在繪制人臉的素描圖像時，繪制者的手法不同，但是模型是所有繪制手法的統一表示。因此，由人臉照片生成素描圖像比由素描圖像生成人臉照片更加困難。

表4 由素描人臉生成照片人臉的SSIM值

表3 由照片人臉生成素描人臉的SSIM值

非GAN類方法在SSIM上的表示要優于GAN類方法，原因是GAN類方法傾向于合成具有清晰紋理的圖像，卻容易忽略保持人臉的結構相似性。本文提出CDRA方法在非GAN類方法和GAN類方法中均獲得較高的SSIM值。CDRA在圖像空間的對齊使得圖像獲得紋理信息，在特征空間的對齊保證同一個體的人臉保持相似性信息，從而使得生成的人臉圖像獲得了較好的結構相似性。

6 結 論

本文提出了一種基于對齊特征表示的跨模態人臉識別算法(CDRA)。該算法基于VAE模型，利用DSR損失函數，促使CDRA算法模型從每一種人臉模態中學習到具有判別能力的身份信息。在此基礎上，CMA和GDA的損失函數協同作用，在圖像空間和潛在分布空間對不同人臉模態的潛在特征表示進行了有效的對齊，從而在不同的空間維度進一步增強了不同模態間的關聯性。CDRA算法在不同的跨模態人臉識別任務中均表現出色，在Multi-Pie數據集上的人臉識別的準確率的平均值為97.2%，在CASIA NIR-VIS 2.0數據集上的人臉識別準確率為99.4%±0.2%，同時在CUHK-CUFS數據集的人臉跨模態生成實驗中表現出較好的人臉結構相似性和局部細節描述能力。綜上所述，CDRA算法具有良好的判別能力和泛化能力。