徐光生，王士同

1.江南大學 人工智能與計算機學院，江蘇 無錫 214122

2.江南大學 江蘇省媒體設計與軟件技術重點實驗室，江蘇 無錫 214122

近年來，遷移學習[1]在機器學習和計算機視覺等領域引起了廣泛的關注和研究。遷移學習是運用已存有的知識對不同但相關領域問題進行求解的一種新的機器學習方法，它有望解決稀疏標記數(shù)據(jù)的問題。根據(jù)采用的技術的劃分，遷移學習可以分為半監(jiān)督學習[2-3]方法、基于特征選擇[4-6]方法、基于特征映射[7-9]方法和基于權重[10-11]方法。本文主要關注于半監(jiān)督學習與基于特征映射方法的交叉應用場景。

基于特征映射的遷移學習是把各個領域的數(shù)據(jù)從原始高維特征空間映射到低維特征空間，在該低維空間下，源域數(shù)據(jù)與目標域數(shù)據(jù)擁有相同的分布。本文基于此思路從一個或兩個域中尋找數(shù)據(jù)的新的特征表示，以便在兩個域之間建立橋梁來減少邊緣分布差異和條件分布差異。考慮到現(xiàn)實應用場景下，尤其是當數(shù)據(jù)是多模態(tài)時，在算法的訓練階段目標域的數(shù)據(jù)并不總是完整的，僅有部分數(shù)據(jù)是可獲得的。因此本文主要關注不完整模態(tài)場景下的遷移學習問題。

低秩約束[12-13]已經(jīng)在遷移學習等相關領域中得到了廣泛的應用，它可以對源域或目標域的重構(gòu)系數(shù)矩陣施加低秩約束來揭示它們的內(nèi)在的數(shù)據(jù)結(jié)構(gòu)。此外，源域和目標域的投影子空間結(jié)構(gòu)也可以通過低秩約束的感知位置重構(gòu)特性被挖掘，從而達到減輕兩域之間的邊緣分布差異的效果。這種低秩重建[14]可以指導常規(guī)的子空間遷移學習，整個遷移過程被描述為迭代更新重建系數(shù)和子空間投影。此外，Liu等人[15]還使用稀疏誤差項來補償異常值，避免了一定程度上的負遷移。基于低秩約束的重構(gòu)在人臉、物體、視頻等基準數(shù)據(jù)庫上都取得了良好的結(jié)果，這證明其是行之有效的數(shù)據(jù)對齊工具，因此可以應用于遷移學習過程中的源域與目標域之間的數(shù)據(jù)對齊。一般來說，對于常規(guī)的低秩子空間遷移學習，它們關注的核心問題是如何在遷移學習過程中獲得使源域數(shù)據(jù)和目標域數(shù)據(jù)耦合效果更好的子空間投影，這導致它們大都需要一個必要的前提條件：在訓練階段需要完整的源域信息和目標域信息參與算法的訓練。然而，當源域信息或目標域信息不完整時，這些常規(guī)的低秩子空間遷移學習算法則效果較差甚至失敗。不幸的是，許多現(xiàn)實應用場景是條件苛刻的，例如本文關注的不完整模態(tài)問題，它的目標域數(shù)據(jù)就是殘缺的。常規(guī)的低秩子空間遷移學習算法無法很好地解決該問題，幸運的是，Ding 等人[16]提出在模態(tài)信息完全丟失的情況下可以考慮借鑒其他與目標數(shù)據(jù)集相似的具有完整模態(tài)數(shù)據(jù)的其他數(shù)據(jù)集，這為本文的不完整模態(tài)問題提供了一個很好的解決思路。例如，目標數(shù)據(jù)集中具有完整的低分辨率（low resolution，LR）圖像和不完整的高分辨率（high resolution，HR）圖像，輔助數(shù)據(jù)集中具有完整的相關但略有不同的低分辨率（LR）圖像和高分辨率（HR）圖像，在理想情況下，從輔助數(shù)據(jù)集的低分辨率（LR）圖像與高分辨率（HR）圖像之間的遷移學習過程中獲得的知識可以應用到不完整的目標數(shù)據(jù)集的遷移學習中。然而，現(xiàn)實中存在許多因素導致兩個數(shù)據(jù)集不同，這就導致不能保證輔助數(shù)據(jù)集總是起著有益的作用，也有可能會帶來負遷移。因此，如何減小輔助數(shù)據(jù)集和目標數(shù)據(jù)集之間的差異也是本文使用此解決思路重點關注的問題。

為了克服上述挑戰(zhàn)，本文提出了一種基于潛在的低秩約束的不完整模態(tài)遷移學習算法（incomplete modality transfer learning algorithm via latent lowrank constraint，IMTL），所提的算法可以解決不完整模態(tài)遷移問題。算法的主要思想是基于潛在的低秩約束來學習共享子空間[17]，同一數(shù)據(jù)集內(nèi)的不同模態(tài)和不同數(shù)據(jù)集之間的數(shù)據(jù)投影到該子空間中可以取得良好的對齊。此外，本文還利用了不完整目標域中少量的標記數(shù)據(jù)來保持目標域在學習過程中的流形結(jié)構(gòu)[18]。本文的主要貢獻可以總結(jié)歸納如下：

（1）拓展了基于潛在的低秩約束的丟失模態(tài)遷移學習的應用場景，在該框架中引入不完整目標域信息以解決不完整模態(tài)問題，充分利用了不完整目標域的標記信息來提升共享子空間的耦合能力。

（2）通過借助相似的具有完整模態(tài)的輔助數(shù)據(jù)集，探索了跨模態(tài)方向（cross-modality direction transfer，TM）和跨數(shù)據(jù)集（cross-datasets direction transfer，TD）方向的不完整模態(tài)信息遷移。

（3）利用不完整目標域中的少量標記數(shù)據(jù)進行監(jiān)督信息對齊，從而不完整目標域的內(nèi)在結(jié)構(gòu)在遷移學習過程中得以保持。

（4）在人臉識別、物體分類等數(shù)據(jù)集上大量的實驗驗證了所提算法的有效性，超越或競爭于一些傳統(tǒng)的遷移學習算法。

1 相關工作

本文主要關注基于特征映射的遷移學習。遷移學習已經(jīng)被證明是圖像分類、協(xié)作推薦和情感分析等許多現(xiàn)實應用場景下一種有效的技術，根據(jù)采用的技術劃分，可以將其分為半監(jiān)督學習方法、基于特征選擇方法、基于特征映射方法和基于權重方法。本文旨在尋找不同模態(tài)和不同數(shù)據(jù)集的共享子空間，因此屬于基于特征映射的遷移學習，但是傳統(tǒng)的基于特征映射的遷移學習方法都沒有明確解決不完整模態(tài)問題。

在特征適應方面，子空間學習引起了廣泛的關注，具體而言，子空間學習本質(zhì)上是試圖找到一個合適的子空間，在該子空間中盡可能地保留原始特征的區(qū)分性表示。子空間學習被引入遷移學習框架中以彌合公共特征空間中兩個域之間的分布差距，通過常規(guī)子空間學習方法獲得公共特征空間，可以解決維數(shù)詛咒和源域與目標域之間分布差異的問題。本文旨在尋找合適的共享子空間以減輕不同模態(tài)和不同數(shù)據(jù)集之間的邊緣分布（marginal distribution，MD）[19]差異和條件分布（conditional distribution，CD）差異。

低秩約束在矩陣分析、數(shù)據(jù)恢復和耐噪數(shù)據(jù)表示等方面取得了較為不錯的效果，它有效地將低秩約束引入數(shù)據(jù)矩陣，可以幫助構(gòu)建判別性特征空間并消除異常值。低秩約束已經(jīng)在遷移學習中得到了廣泛的利用，它力求尋找源域和目標域之間的關系，并揭示源域和目標域的內(nèi)在的數(shù)據(jù)結(jié)構(gòu)。但是，當數(shù)據(jù)在恢復底層結(jié)構(gòu)方面受到限制時，從不足的觀測數(shù)據(jù)中挖掘潛在的知識就變得很必要。潛在因子[20-22]在許多數(shù)據(jù)挖掘和機器學習應用場景中起著關鍵作用，它通過使用貪婪搜索、推斷或近似算法來試圖找尋一些人或機器無法觀測到的隱藏變量。在本文中，潛在因素被引入低秩約束子空間遷移學習框架中以幫助恢復目標域中丟失的模態(tài)信息，這與傳統(tǒng)的子空間遷移學習方法或不具有任何潛在因素的低秩遷移學習方法區(qū)分開來。

2 基于潛在的低秩約束的不完整模態(tài)遷移學習

2.1 問題形式化

在不完整模態(tài)遷移學習場景下，給定一個輔助數(shù)據(jù)集和目標數(shù)據(jù)集，它們分屬于不同的特征空間。輔助數(shù)據(jù)集中具有完整的模態(tài)信息，目標數(shù)據(jù)集中的目標數(shù)據(jù)丟失大部分模態(tài)信息，保留了少量的模態(tài)數(shù)據(jù)及其標簽信息。算法的目的就是借助輔助數(shù)據(jù)集中的完整模態(tài)信息和少量帶有標簽信息的目標數(shù)據(jù)來將源域的知識傳遞到目標域。

假定存在輔助數(shù)據(jù)集A和目標數(shù)據(jù)集B，每個數(shù)據(jù)集都包含兩種模態(tài)：和，其中d是原始特征維數(shù)，na代表數(shù)據(jù)集A中的樣本數(shù)量，nb代表數(shù)據(jù)集B中的樣本數(shù)量。如圖1所示，在該模型中一共有四個數(shù)據(jù)集，分別是輔助數(shù)據(jù)集中的源域SA與目標域TA和目標數(shù)據(jù)集中的源域SB和不完整目標域TB，TB中保留的圖像為少量標記的目標數(shù)據(jù)，而空白處則表示TB中丟失的數(shù)據(jù)。源域和目標域分別具有不同的模態(tài)，傳統(tǒng)的遷移學習算法關注的是同一個數(shù)據(jù)集內(nèi)的兩種模態(tài)之間的知識遷移或者同一種模態(tài)的不同數(shù)據(jù)集之間的知識遷移，例如SA→TA和SB→TB或SA→SB和TA→TB。然而，當目標域數(shù)據(jù)不完整時，單一的只關注同一數(shù)據(jù)集內(nèi)或同一種模態(tài)之間的知識遷移并不足夠幫助取得較好的實驗效果，尤其如果目標域數(shù)據(jù)大量缺少，殘缺信息散亂的目標域數(shù)據(jù)甚至可能導致失敗。因此選擇借鑒輔助數(shù)據(jù)集中的知識遷移對于解決不完整模態(tài)問題至關重要，本文基于低秩約束的子空間遷移學習框架，引入潛在因子挖掘目標域數(shù)據(jù)中丟失的信息，然后探索了跨模態(tài)方向與跨數(shù)據(jù)集方向的知識遷移。致力于尋找不同數(shù)據(jù)集和不同模態(tài)的共享子空間來傳遞源域中的判別性區(qū)分能力并緩解源域與目標域之間的分布差異。在下文中，IMTL 的具體實現(xiàn)將被詳細呈現(xiàn)。

2.2 基于潛在的低秩約束的子空間遷移學習

在不完整模態(tài)問題中，如何恢復丟失部分的目標域數(shù)據(jù)是解決該問題的重點，丟失部分的目標域數(shù)據(jù)在知識遷移過程中起著至關重要的作用。在下文中，為方便推導解釋起見，以跨模態(tài)方向（TM）為例。

為了恢復丟失部分的目標域數(shù)據(jù)，本文首先假定丟失部分的目標域數(shù)據(jù)是可觀測的，因此目標數(shù)據(jù)集的目標域可以定義為為保留的目標數(shù)據(jù)，則為丟失部分的數(shù)據(jù)。在低秩約束子空間遷移學習框架下，輔助數(shù)據(jù)集和目標數(shù)據(jù)集可分別構(gòu)建各自的子空間，并傳遞源域中的模態(tài)信息至目標域：SA→TA和SB→TB。因此，針對輔助數(shù)據(jù)集和目標數(shù)據(jù)集，引入低秩約束子空間遷移學習公式：

將式（5）的約束條件轉(zhuǎn)化為：(I-L)PTS=PT(TAZA+TBZB)，I∈Rp×p，顯然，TA和TB通過共享子空間P重構(gòu)了低維源域特征PTS。從幾何角度來分析，式（5）實際上提出了在兩個方向上重構(gòu)低維源域特征PTS：列（PTTA和PTTB）重構(gòu)[24]和行(PTS)重構(gòu)[25]，列重構(gòu)通常被認為是字典學習，行重構(gòu)則被稱之為潛在因子。在數(shù)據(jù)矩陣中，列空間代表主要特征，行空間代表關鍵對象部分，當數(shù)據(jù)中的某些樣本丟失（即數(shù)據(jù)矩陣中的某些列為空），通過行重構(gòu)來恢復數(shù)據(jù)是非常行之有效的。因此，本文旨在沿著PTTA和PTTB的列空間和PTS的行空間來恢復不完整的目標域數(shù)據(jù)。

此外，本文為了使所提算法更加穩(wěn)定，遵循Ding等人[25]的設定，選擇預先學習源域數(shù)據(jù)的低維特征來保持低維源域特征固定，因此，上述目標函數(shù)可以被改寫為如下形式：

式中，D為源域低維特征，并由SA和SB經(jīng)P投影降維得D=[DA,DB]=[PTSA,PTSB]=PTS。

2.3 監(jiān)督信息對齊

在不完整模態(tài)的問題中，有輔助數(shù)據(jù)集中的兩種模態(tài)和目標數(shù)據(jù)集中的兩種模態(tài)共四個數(shù)據(jù)集，而上述于潛在的低秩約束的遷移子空間框架只考慮了如何恢復丟失部分的數(shù)據(jù)，既沒有闡述不同數(shù)據(jù)集之間的潛在關系，也沒有充分利用不完整目標域數(shù)據(jù)中的標簽信息。在跨模態(tài)（TM）方向下，SA和SB構(gòu)成源域，但是由于SA和SB分屬于不同的數(shù)據(jù)集，標簽信息各不相同，本文采用無監(jiān)督度量方法——最大均值差異（maximum mean discrepancy，MMD）[26]，通過計算SA和SB投影后的特征均值之間的差值來促使它們在共享子空間中特征對齊[27]，于是定義了正則項如下所示：

此外，不完整的目標域數(shù)據(jù)TB中的標記信息也需被充分利用，本文采用了監(jiān)督的正則項來將TB中的不同類別的數(shù)據(jù)分別對齊。TB包含了多個類別的數(shù)據(jù)，這些類別的數(shù)據(jù)應位于對應類別的子空間中，重構(gòu)系數(shù)矩陣ZB完成與源域?qū)耐活悇e數(shù)據(jù)的領域到領域的重構(gòu)，因此，分別耦合TB中的不同類別的類內(nèi)數(shù)據(jù)至關重要。于是，本文提出了監(jiān)督的正則項如下：

這里，C表示TB中的類別數(shù)量，代表TB中的第i類的第j個樣本，μi代表TB中的第i類的樣本平均值。上述正則項促使同類別的數(shù)據(jù)彼此接近，這為不同類別數(shù)據(jù)各自對齊提供了保證，也有益于TB在遷移學習過程中保持內(nèi)在結(jié)構(gòu)[28]。

2.4 目標函數(shù)和優(yōu)化

為了放松原始問題，本文將稀疏項E∈Rp×n引入目標函數(shù)，這樣不僅將原本的硬約束轉(zhuǎn)換為軟約束，避免了潛在的過擬合問題，而且如果能使E的l1范數(shù)最小化，則可以補償數(shù)據(jù)噪聲。另一方面，為了學習到的共享子空間投影P更具有效性，選擇對P施加l2,1范數(shù)并求其最小化以借其全局結(jié)構(gòu)稀疏性來幫助尋找最重要的特征部分，這樣既避免了過多的差異性較大的特征來擾亂源域與目標域之間的數(shù)據(jù)對齊，也讓具有一定稀疏性的共享子空間投影P降低了存儲上的負擔。至此，基于潛在的低秩約束的不完整模態(tài)遷移學習的目標函數(shù)可以被定義為：

式中，λ、α、β和γ是四個平衡參數(shù)，正交約束PTP=Ip被施加可以避免共享子空間P的任意小的平凡解。

問題可以通過已有的算法——增廣拉格朗日方法（augmented Lagrange methods，ALM）解決，于是本文引入四個變量JA、JB、K和Q將式（9）轉(zhuǎn)化為如下最小化問題：

式（10）的拉格朗日函數(shù)形式如下：

這里，F(xiàn)1、F2、F3、F4和F5是五個拉格朗日乘子，μ＞0 是懲罰參數(shù)，表示矩陣的內(nèi)積，=tr(ATB)。不難看出，無法同時更新優(yōu)化JA、JB、ZA、ZB、L、K、E、P和Q。幸運的是，可以通過交替方向乘子法（alternating direction method of multipliers，ADMM）依次地解決每個子問題，并不斷地迭代更新優(yōu)化這些參數(shù)直至收斂。具體而言，當更新其中的一個參數(shù)時，需要固定其他參數(shù)。假設當前迭代次數(shù)為t(t＞0)，t+1次迭代具體各項的更新如下：

（1）固定JB、ZA、ZB、L、K、E、P和Q，將它們視為常數(shù)項，從而得到如下JA的更新公式：

（2）固定JA、ZA、ZB、L、K、E、P和Q，將它們視為常數(shù)項，從而得到如下JB的更新公式：

（3）固定JA、JB、ZB、L、K、E、P和Q，將它們視為常數(shù)項，從而Γ對ZA進行求導得：

化簡得：

（4）固定JA、JB、ZA、L、K、E、P和Q，將它們視為常數(shù)項，從而Γ對ZB進行求導得：

（5）固定JA、JB、ZA、ZB、L、E、P和Q，將它們視為常數(shù)項，從而得到如下K的更新公式：

（6）固定JA、JB、ZA、ZB、K、E、P和Q，將它們視為常數(shù)項，從而Γ對L進行求導得：

（7）固定JA、JB、ZA、ZB、L、K、P和Q，將它們視為常數(shù)項，從而得到如下E的更新公式：

（8）固定JA、JB、ZA、ZB、L、K、E和P，將它們視為常數(shù)項，從而得到如下Q的更新公式：

（9）固定JA、JB、ZA、ZB、L、K、E和Q，將它們視為常數(shù)項，從而Γ對P進行求導得：

式（12）、式（13）和式（18）可通過奇異值閾值（singular value thresholding，SVT）[29]運算解得，式（21）和式（22）可通過收縮算子進行求解，詳細的算法流程在算法1中列出。參數(shù)μ、ρ、ε、maxμ和maxt參考了相關的遷移學習算法MMTL（missing modality transfer learning）[22]給出。其他的四個參數(shù)λ、α、β和γ則在實驗中調(diào)節(jié)，并在實驗章節(jié)中給出分析。

算法1IMTL算法

2.5 復雜度分析

為方便解釋起見，假設SA、TA、SB和TB都是維度為d×n的矩陣，共享子空間投影P是維度為d×p的矩陣，這里，d為原始特征維數(shù)，n為源域或目標域的樣本大小，p為降維的維數(shù)。步驟2、3、6的核范數(shù)計算與步驟4、5、7、10的矩陣乘法和逆運算是所提算法的主要耗時部分。顯而易見，步驟2、3中的奇異值分解（singular value decomposition，SVD）計算的時間復雜度為O(n3)，步驟6 中的SVD 計算的時間復雜度為O(p3)，如果在實驗中選擇較小的降維維數(shù)，可以加速步驟6 的計算。步驟4 的時間復雜度取決于式（15）：式（15）的第一項為，包括了矩陣乘法運算和逆運算，可以推導出其時間復雜度為O(2pdn+dn2+n3)，通常在實驗中設置p?n且p?d，因此，時間復雜度為O(2pdn+dn2+n3)≈O(dn2+n3) ；式（15）的第二項為P(D-PTTBZBLD-E)+JA+(1-F2)/μ，由此可推導出其時間復雜度為O(pdn+2pn2+2p2n+pdn+2pn2+pdn+2pn2)≈O(3pdn+6pn2)。最后，第一項與第二項的乘法運算的時間復雜度為O(2n3)。因此，步驟4的時間復雜度為O(dn2+n3+3pdn+6pn2+2n3)≈O(dn2+3n3)。同理，步驟5的時間復雜度取決于式（17），式（17）采用式（15）同樣的解法，因此步驟5 的時間復雜度為O(dn2+3n3)。類比推導出步驟7 與步驟10 的時間復雜度分別為O(2pdn+4pn2)、O(4dn2+2d2n+d3)。最后，步驟8 和步驟9 都采用收縮算子進行求解，因此步驟8 和步驟9 的時間復雜度分別為O(2pn) 和O(pd) 。綜上所述，所提算法的時間復雜度為O(Τ(n3+n3+p3+dn2+3n3+dn2+3n3+2pdn+4pn2+4dn2+2d2n+d3+2pn+pd))≈O(Τ(8n3+6dn2+d3+2d2n))，Τ為所提算法的迭代次數(shù)。

3 實驗

3.1 數(shù)據(jù)集

本文分別在3 組多模態(tài)數(shù)據(jù)集上驗證了所提算法的實驗效果，它們分別是人臉數(shù)據(jù)集BUAA[30]和Oulu，人臉數(shù)據(jù)集CMU-PIE 和Yale B，物體數(shù)據(jù)集ALOI-100和COIL-100。

BUAA 和Oulu 都是人臉數(shù)據(jù)集，BUAA 數(shù)據(jù)集包含了150類，Oulu 數(shù)據(jù)集包含了80類，它們中的每類都包含兩種模態(tài)圖像：近紅外人臉圖像和可見光人臉圖像。實驗中，對于BUAA 數(shù)據(jù)集，隨機選擇75類對應的近紅外人臉圖像作為一個模態(tài)數(shù)據(jù)集，剩下的75類對應的可見光人臉圖像作為另一個模態(tài)數(shù)據(jù)集。對于Oulu 數(shù)據(jù)集，隨機選擇40類對應的近紅外人臉圖像作為一個模態(tài)數(shù)據(jù)集，剩下的40 類對應的可見光人臉圖像作為另外一個模態(tài)數(shù)據(jù)集。這4個模態(tài)數(shù)據(jù)集之間既沒有樣本重復，也沒有標簽重復，它們中的圖像尺寸都設為30×30。

CMU-PIE 和Yale B 都是人臉數(shù)據(jù)集，CMU-PIE數(shù)據(jù)集包含了68 類，Yale B 數(shù)據(jù)集包含了38 類。由于CMU-PIE 和Yale B 中都只包含一種模態(tài)圖像，需要將其轉(zhuǎn)換為高分辨率（HR）圖像和低分辨率（LR）圖像。對于CMU-PIE 數(shù)據(jù)集，采用其中的Pose C27人臉圖像，對于Yale B 數(shù)據(jù)集，采用裁剪后的人臉圖像，先將這兩個數(shù)據(jù)集中的人臉圖像的尺寸調(diào)整為32×32 作為高分辨率（HR）圖像，然后將HR 圖像降采樣為8×8的尺寸，再內(nèi)插回32×32的尺寸，將其作為低分辨率（LR）圖像。模態(tài)數(shù)據(jù)集設置可參考BUAA和Oulu數(shù)據(jù)集設置。

ALOI-100 和COIL-100 都是一個物體數(shù)據(jù)集，ALOI-100 數(shù)據(jù)集包含了100 類，COIL-100 數(shù)據(jù)集包含了100 類。由于ALOI-100 和COIL-100 都是旋轉(zhuǎn)角度來采樣的，每類中的圖像都相隔5°，共有72張圖像。本文選擇兩種視圖view1[0°，85°]和view2[90°，175°]，模態(tài)數(shù)據(jù)集設置可參考BUAA 和Oulu 數(shù)據(jù)集設置。

3.2 實驗設置

在實驗部分，每組數(shù)據(jù)集都有4 個數(shù)據(jù)集，隨機選擇其中的一個數(shù)據(jù)集作為不完整模態(tài)數(shù)據(jù)，對于不完整模態(tài)數(shù)據(jù)，隨機采樣20%與其他的3個數(shù)據(jù)集作為訓練數(shù)據(jù)，剩下的不完整模態(tài)數(shù)據(jù)作為測試數(shù)據(jù)。本文從測試數(shù)據(jù)中每類隨機選擇一個樣本作為參考數(shù)據(jù)，參考數(shù)據(jù)與測試數(shù)據(jù)之間沒有樣本重復，學習到的投影P用于對參考數(shù)據(jù)和測試數(shù)據(jù)降維，然后采用KNN 作為分類器重復上述操作10 次取平均結(jié)果。此外，本文旨在探討兩個方向上的低秩重構(gòu)——跨模態(tài)(TM)和跨數(shù)據(jù)集（TD）。在跨模態(tài)方向下，源域的數(shù)據(jù)結(jié)構(gòu)有助于發(fā)現(xiàn)潛在的標簽和丟失數(shù)據(jù)的結(jié)構(gòu)，設置相同模態(tài)的數(shù)據(jù)集在同個域中如S=[SA,SB]，T=[TA,TB]。在跨數(shù)據(jù)集方向下，完整的模態(tài)信息從輔助數(shù)據(jù)集傳遞到目標數(shù)據(jù)集，設置同個數(shù)據(jù)集的不同模態(tài)在同個域中如S=[SA,TA]，T=[SB,TB]。在此基礎上，本文還進行了TM和TD交替方向的實驗對比：TMD 和TDM，先學習一個方向上的投影P，再利用嵌入該投影子空間中的數(shù)據(jù)學習另一方向上的投影。

本文采用RDALR（domain adaptation with low rank reconstruction）[31]、GFK（geodesic flow kernel）[32]、DASA（subspace alignment）[33]、MEDA（manifold embedded distribution alignment）[34]和MMTL 這5 個算法作為對比算法，并采用了主成分分析（principal component analysis，PCA）[35]、線性判別分析（linear discriminant analysis，LDA）[36]和局部保留投影（locality preserving projection，LPP）[37]這3 種子空間方法進行評估。由于RDALR、GFK 和DASA 都是域自適應算法，實驗中遵循它們的原始實驗設置。具體而言，對于RDALR，首先學習源域的旋轉(zhuǎn)轉(zhuǎn)換矩陣W，然后將旋轉(zhuǎn)后的源域與目標域結(jié)合來訓練子空間以在訓練階段提取特征；對于GFK和DASA，使用不同的子空間方法從源域和目標域?qū)W習映射矩陣G和子空間對齊矩陣M，然后應用于測試階段；對于MEDA，首先使用不同的子空間方法習得流形特征，然后進行自適應因子與分類器的迭代優(yōu)化，最后將該分類器應用于測試階段。而MMTL與本文是同樣的方法迭代求解，即在訓練階段從源域和目標域中學習子空間投影矩陣，然后應用于測試階段。對于DASA、GFK、RDALR和MEDA，采用TD（跨數(shù)據(jù)集）方向為例，而對于MMTL 和IMTL，則遵循它們的原始設定，學習不同方向的共享子空間投影。

3.3 結(jié)果分析

在BUAA 和Oulu 人臉數(shù)據(jù)集上的實驗結(jié)果如表1所示。由表1可知，所提算法在BUAA 和Oulu 人臉數(shù)據(jù)集上的大部分測試任務中都排名第一。對于傳統(tǒng)的對比算法DASA 和GFK，它們只關注了如何將源域和目標域投影到各自的低維特征空間并使特征空間彼此盡量接近，忽略了源域和目標域中不同類別數(shù)據(jù)之間的差異，而低秩約束在一定程度上指導了源域與目標域之間對應類別數(shù)據(jù)的重構(gòu)，因此，基于低秩約束子空間學習的所提算法的性能是優(yōu)于DASA 和GFK 的，這也證明了施加低秩約束策略的有效性。對于算法RDALR，它與所提算法都采用了低秩約束策略，但是在不完整模態(tài)問題中，目標域中的數(shù)據(jù)是部分丟失的，這隨之帶來的問題是在源域到目標域的低秩重構(gòu)過程中，目標域中某些類別數(shù)據(jù)的丟失會導致源域中的對應類別數(shù)據(jù)重構(gòu)失準或失敗，因此，RDALR 算法的性能是遠小于本文所提算法的。對于算法MEDA，它所關注的是如何減輕源域與目標域的邊緣分布差異與條件分布差異，并評估不同應用場景下邊緣分布差異與條件分布差異的重要性，缺少了對不完整數(shù)據(jù)的處理，這就導致了在不完整模態(tài)應用場景下性能較差的表現(xiàn)。最后對于算法MMTL，它與所提算法都是基于潛在的低秩約束子空間遷移學習框架，而不同的是它們的應用場景并不同，MMTL 針對的是完全丟失的目標域數(shù)據(jù)，而所提算法則是關注部分丟失的目標域數(shù)據(jù)，因此，對于部分殘缺的目標域數(shù)據(jù)進行了監(jiān)督信息對齊的所提算法的性能是優(yōu)于MMTL的。

表1 在BUAA和Oulu人臉數(shù)據(jù)集上各算法的分類精度Table 1 Accuracy of algorithms on BUAA and Oulu face datasets 單位：%

在ALOI-100 和COIL-100 數(shù)據(jù)集上的實驗結(jié)果如圖2所示，顯然所提算法在PCA和LPP子空間方法的評估下的平均性能好于所有對比算法，并且受不同子空間方法的擾動影響較小。

圖2 在ALOI-100和COIL-100數(shù)據(jù)集上各算法的分類精度Fig.2 Accuracy of algorithms on ALOI-100 and COIL-100 datasets

在CMU-PIE和Yale B人臉數(shù)據(jù)集上的實驗結(jié)果如表2 所示。對于CMU-PIE 和Yale B 數(shù)據(jù)集，由于降采樣維度設置為8×8，所提算法設置TM（TD）方向的子空間維數(shù)為64，然后學習維度為60 的TD（TM）方向的子空間。由表2 可知，盡管所提算法在第一個方向無法設置更高的維度，基于潛在的低秩約束子空間遷移學習仍保證了所提算法的性能遠優(yōu)于DASA、GFK、RDALR 和MEDA。對此，原因可能是CMU-PIE 和Yale B 這兩個人臉數(shù)據(jù)集差異性較大，DASA、GFK、RDALR和MEDA在TD（跨數(shù)據(jù)集）方向上無法從源域上學習到足夠有用的知識，而所提算法從不同的方向完成源域到目標域的重構(gòu)保證了源域的判別性區(qū)分能力的傳遞。

表2 在CMU-PIE和Yale B人臉數(shù)據(jù)集上各算法的分類精度Table 2 Accuracy of algorithms on CMU-PIE and Yale B datasets 單位：%

3.4 模型分析

本節(jié)將分析算法的收斂性和模型的共享子空間維度對于不完整模態(tài)遷移學習效果的影響，同時也會通過分析源域信息對齊項和目標數(shù)據(jù)信息對齊項等正則化參數(shù)來驗證它們的有效性。在本節(jié)中，主要評估以下參數(shù)：子空間維度參數(shù)p、稀疏項參數(shù)λ、全局結(jié)構(gòu)稀疏項參數(shù)α、源域信息對齊項參數(shù)β和目標數(shù)據(jù)信息對齊項參數(shù)γ。這里采用PCA子空間方法進行評估，以COIL-view1作為測試案例，通過固定其他參數(shù)來逐一測試它們對于算法的意義。

圖3（a）展示了所提算法以COIL-view1和CMULR作為測試案例，隨著迭代次數(shù)的變化算法精度的變化效果。顯而易見，所提算法在不同的場景下以不同的速度收斂，但大致都在45 次迭代后收斂穩(wěn)定。此外，對于不同的場景，不同方向的遷移學習的效果也不盡相同。對于COIL-view1，TM（跨模態(tài)）和TD（跨數(shù)據(jù)集）最終取得的效果差別不大，而對于CMULR，TM（跨模態(tài)）相較于TD（跨數(shù)據(jù)集）則有較大的優(yōu)勢，原因可能是CMU-PIE 和Yale B 之間由于不同的照明條件、主體身份和捕獲設備等因素導致了相似度很低，因此，TD（跨數(shù)據(jù)集）只能遷移少量的有用知識到不完整模態(tài)。

圖3 參數(shù)分析Fig.3 Parameter analysis

圖3（b）展示了所提算法以COIL-view1為測試案例隨著子空間維度p的變化，算法精度的變化效果。本文分別采用了PCA、LPP 和LDA 三種子空間方法來評估子空間維度p對于所提算法的影響。由圖3（b）可知，不同子空間評估的算法效果隨著維度變化而趨向于平穩(wěn)，并且最高精度也不一定在最高維度處取得。

圖4（a）～圖4（d）展示了所提算法以COIL-view1為測試案例，隨著不同參數(shù)的變化算法精度的變化效果。由圖4可知，這些參數(shù)通常在較小的值時取得的效果較好，且隨著參數(shù)值的增大算法精度趨向于穩(wěn)定或一定的下降。此外，對于參數(shù)λ、α、β和γ，本文依次設置它們?yōu)?并固定其他參數(shù)，由圖4可以看出，對于絕大部分測試任務，當參數(shù)設置為0 時效果較差，這驗證了這些參數(shù)對于所提算法的有效性。

圖4 正則化參數(shù)分析Fig.4 Regularization parameter analysis

4 結(jié)論

為了解決不完整模態(tài)遷移學習問題，本文提出了一種基于潛在的低秩約束的不完整模態(tài)遷移學習算法。所提算法基于低秩子空間遷移學習框架，引入潛在因素挖掘丟失的模態(tài)信息，并利用監(jiān)督信息來促進數(shù)據(jù)對齊。此外，所提算法借用完整的輔助數(shù)據(jù)集探索了跨數(shù)據(jù)集和跨模態(tài)兩個不同方向的遷移學習。通過潛在的低秩約束學習適當?shù)淖涌臻g，可以更好地從兩個方向恢復模態(tài)缺失信息。在三對數(shù)據(jù)集上的實驗效果證明了所提算法的優(yōu)越性。