領域自適應研究綜述

李晶晶，孟利超，張 可，2，魯 珂，申恒濤

（1.電子科技大學 計算機科學與工程學院，成都 611731；2.電子信息控制重點實驗室，成都 610000）

0 概述

在海量數據的支撐下，機器學習尤其是深度學習算法在計算機視覺、自然語言處理等領域得到廣泛應用并取得了較大成功。機器學習的理想應用場景是有大量帶標記的訓練實例，并且訓練數據與測試數據具有相同的分布。然而，在許多現實應用中，收集足夠的帶標記訓練數據通常耗時、代價昂貴甚至無法實現。同時，在機器學習被使用的諸多領域中，數據獨立同分布的假設往往并不成立。數據分布存在差異導致傳統的機器學習算法訓練得到的模型往往不能在相似的新領域中取得預期結果，這限制了機器學習模型的泛化能力和知識復用能力。

遷移學習和領域自適應技術可以改善機器學習模型在跨領域任務中的性能。當目標領域中無法獲得大量帶標簽數據用于訓練具有良好性能的機器學習模型時，可以考慮在不同但相關的有大量帶標簽數據可以被獲取的輔助領域進行模型預訓練，然后對訓練好的模型進行調整并應用于目標領域，這克服了實際應用中目標域難以獲取帶標簽數據的困境。然而，跨域的數據分布差異成為了模型遷移的障礙。領域自適應旨在學習一個模型使得在輔助領域獲取的知識能夠在目標領域較好地得到泛化，引入領域自適應技術可以減小輔助領域與目標領域的數據分布差異，從而實現領域不變知識的跨域遷移和復用。領域自適應是機器學習與計算機視覺范疇內的前沿研究方向之一，在生物信息學等方面有極大的應用前景。遷移學習和領域自適應技術有望處理目標領域標注數據稀缺的問題，避免從頭進行模型訓練的高額成本，從而提高機器學習模型的普適性和知識遷移復用的能力，因此，遷移學習與領域自適應具備較大的理論研究價值和廣闊的應用前景。

本文總結國內外學者對領域自適應技術的研究現狀，介紹領域自適應的相關概念、算法分類、代表性方法、典型應用以及目前存在的挑戰，在此基礎上，對領域自適應技術的發展趨勢及未來研究方向進行展望。

1 研究現狀

遷移學習試圖讓機器學習人類的類比學習和“舉一反三”的能力，遷移學習受到人類可以智能地應用以前學習到的知識來更快更好地解決新問題這一事實的啟發。1995 年，NIPS 關于“學會學習”的研討會討論了機器學習領域的遷移學習基本動機，自1995 年之后，遷移學習以“學會學習”“知識遷移”“終生學習”“多任務學習”“歸納遷移”“增量學習”等不同的名稱出現，逐漸引起人們的關注。2005 年，美國國防部高級研究計劃局（DARPA）的信息處理技術辦公室（IPTO）對遷移學習進行新的定義：一個系統對先前學習到的知識或技能進行識別并將其運用于新任務的能力。2010 年發表于TKDE（IEEE Transactions on Knowledge and Data Engineering）的綜述論文A Survey on Transfer Learning 系統闡述了遷移學習的研究歷程，提出遷移學習的形式化定義及分類，并將領域自適應對應于遷移學習的子領域之一。

在隨后的理論研究中，淺層域適應的常用算法主要分為基于實例的DA 和基于特征的DA［1］。文獻［1］將深度DA 分為基于差異、基于對抗和基于重建三大類。文獻［2］將其分為基于實例、基于映射、基于網絡和基于對抗四大類。文獻［3-4］從數據和模型的角度對遷移學習和領域自適應的多種代表性方法進行概述。文獻［5］關注單源無監督的域適應場景，特別是該設定下的深度域適應方法，根據域偏移損失和生成/判別設定的不同，將深度域適應方法歸類為基于差異的方法、基于對抗生成的方法、基于對抗判別的方法和基于自監督的方法四類。文獻［6-7］側重于從特征選擇、特征空間對齊的角度對域適應算法進行研究，文獻［8-9］基于對抗學習的思想進行算法的拓展和改進。文獻［10］結合元學習、對抗學習、正則化的思想，提出基于元學習的權重時序正則化域對抗網絡。文獻［11］從領域分布差異、對抗、重構和樣本生成4 個角度對深度域適應方法進行綜述，并對跨域標簽空間不同的復雜場景進行概述。

在域適應的應用方面，文獻［12］總結域適應在諸如圖像分類、目標檢測、語義分割、姿態估計、視頻動作檢測等計算機視覺領域中的應用，文獻［3］總結域適應方法在醫學影像與計算機輔助診斷、生物序列分析、交通場景識別、推薦系統等領域的應用。此外，域適應在文本分類、情感分析、相關性提取、機器翻譯等自然語言處理領域也得到了廣泛應用［13］。

本文在上述研究的基礎上，圍繞域適應的概念、分類、代表方法、典型應用、現存挑戰等方面進行研究和分析。

2 領域自適應

2.1 問題定義與基礎理論

參考文獻［14］，本文先給出域、任務、遷移學習這3 個相關概念的定義，隨后給出領域自適應的形式化定義。

定義1（領域D）一個領域D 由d 維的特征空間X 和邊緣概率分布P(X)兩個部分組成，其中，X 是n 個樣本的集合，每個樣本對應d 維特征空間X 中的一個特征向量，即X={x1,x2,…,xn}?X，因此，可用D={X,P(X)}來表示一個領域［14］。

定義2（任務T）給定一個特定的領域D={X,P(X)}，一個任務T 由標簽空間Y 和類別預測函數f(˙)兩個部分組成，給定一個實例的特征向量表示，類別預測函數f(˙)可以預測其對應的類別標簽f(x)，從概率的角度，可表示為邊緣概率分布P(y|x)，因此，可用T={Y,P(Y|X)}來表示給定領域后的一個任務［14］。

進一步定義源域DS和目標域DT，源域數據定義為，其 中，表示源域的數據實例，為對應的類別標簽。同樣地，目標域數據定義為，其 中，表示目標域的輸入數 據，為對應類別預測函數的輸出。在通常情況下，源域中數據量豐富且類別標簽可獲取，而目標域中數據量較少，且往往無法獲取其真實的類別標簽，即通常存在0 ≤nT?nS。

定義3（遷移學習）給定一個源域DS和源學習任務TS，目標域DT和目標學習任務TT，在DS≠DT或者TS≠TT，即源域和目標域不相同的設定下，遷移學習旨在利用源域DS和源學習任務TS的知識來幫助提高目標域DT中目標預測函數fT(˙)的學習性能［14］。

定義4（領域自適應）在遷移學習的設定中，假定2 個域待解決的任務相同，即TS=TT，通常這一任務為分類任務，假定標簽空間在2 個域中共享，即Y=YS=YT，本文研究這一設定下知識的跨域遷移復用［12］問題，領域自適應作為遷移學習的子領域之一而出現。

2.2 算法分類

領域自適應的研究場景可按照不同維度進行劃分，本文將從數據標簽是否可獲取、參與域的數量、跨域數據特征空間的構成3 個維度對域適應算法進行分類，并簡要介紹與域適應相關的其他領域。圖1所示為算法分類的整體框架。

圖1 領域自適應算法分類整體框架Fig.1 Overall framework of domain adaptation algorithms classification

2.2.1 有無監督分類

根據源域和目標域數據標簽是否可獲取及其質量，可將域適應分為無監督域適應（Unsupervised Domain Adaptation，UDA）、半監督域適應（Semi-Supervised Domain Adaptation，SSDA）和弱監督域適應（Weakly-Supervised Domain Adaptation，WSDA）3類，具體如下：

1）無監督領域自適應目前得到廣泛研究，其主要研究源域有大量帶標簽的干凈數據、目標域僅有標簽不可獲取的少量數據的情景，即。

2）半監督領域自適應研究源域有豐富的帶標簽數據、目標域有標簽不可獲取的數據和少量帶標簽數據的情況，即，其中，DT和DU分別代表目標域帶標簽樣本和無標簽樣本的集合［15-16］。半監督領域自適應與無監督領域自適應的區別在于，進行跨域適配時利用目標域少量帶標簽的樣本信息。當目標域帶標簽數據樣本很少時，半監督域適應也被稱為少樣本域適應［17］。

3）弱監督領域自適應考慮源域數據不純凈、存在噪聲的情況，其基本設定仍為，即源域數據標簽可獲取，目標域數據標簽不可獲取，但放寬了源域數據是清潔的這一假設，源域的數據樣本可能在特征和標簽中包含噪聲，其目標是訓練模型以降低源域噪聲對遷移的負影響，實現無噪聲源域樣本的正向轉移［18］。

2.2.2 參與域數量分類

按照源域和目標域的數量，可以將域適應分為單源域適應、多源域適應和多目標域適應3 類，如圖2 所示。

圖2 域適應分類示意圖Fig.2 Schematic diagram of domain adaptation classification

單源域適應只關注將單一源域的知識遷移到單一目標域的情景。傳統的無監督、半監督領域自適應大多屬于這一類別。

多源域適應指帶標簽的數據來源于多個不同的源域，不僅存在源域和目標域數據分布的差異，同時多個源域之間的數據分布也可能不同。文獻［19］提出一種分布加權組合的規則，用多個源域分布的加權組合來構建目標分布。DCTN（Deep Cocktail Network）將這一規則用于對抗設置［20］。文獻［21］使用多源域自適應的矩匹配網絡（M3SDA）來對齊多個源域和目標域之間的分布差異等。

多目標域適應研究將源域的知識遷移到多個無標簽目標域的情況，且設定源域和目標域之間、不同的目標域之間均存在數據分布的差異。針對這一設定，文獻［22］提出模型參數自適應的方法，文獻［23］使用信息論的方法找到所有域的特征共享子空間，以實現源域知識在多個目標域上的遷移。

2.2.3 同構異構分類

根據源域和目標域數據的特征空間是否相同，可將域適應分為同構領域自適應和異構領域自適應兩類。

同構領域自適應指源域和目標域樣本具有相同的特征空間和標簽空間，即XS=XT且YS=YT，并且具有相同的維度，即dS=dT。此類方法主要關注不同領域下的單一相同任務，減少跨域數據分布偏移帶來的性能下降問題，從而實現模型或知識的跨域遷移復用。

異構領域自適應指源域和目標域具有不同的特征空間，通常也不重疊，源域和目標域不共享特征/標簽，其維度也可能不同，即XS≠XT和/或YS≠YT，且dS≠dT。異構領域自適應更具挑戰性，因為在應對跨域數據分布差異的同時，還需要進行特征空間和標簽空間的轉換，從而適應知識跨域遷移的需求［24］。

2.2.4 領域泛化與小樣本學習

本節介紹領域泛化和小樣本學習2 個與領域自適應相關的概念。

領域泛化的目標是在目標域不可見的情況下，利用多個源域的帶有類別標簽和域標簽的數據訓練得到一個領域泛化的模型［25］，其與領域自適應的區別在于，領域泛化在訓練階段不可獲取目標域的樣本，而領域自適應在訓練階段可以獲取無標簽的目標域樣本。

小樣本學習旨在根據給定的少量帶標簽樣本和帶標簽的基類學習新的類別［15］。小樣本學習和半監督領域自適應問題具有不同的假設：小樣本學習不使用無標簽的數據，其目標是獲取關于新類別的知識；半監督領域自適應問題使用目標域無標簽的樣本用于訓練，并且其目標是對新的領域中具有相同類別的樣本進行適配。

2.3 基于距離度量的方法

為了減少源域和目標域的數據分布差異，可以基于某種差異度量指標將源域和目標域特征映射到一個公共的再生核希爾伯特空間（RKHS）中，通過最小化域間分布差異的度量指標學習特征變換，實現源域和目標域的分布對齊，這便是基于距離度量的方法的基本思想。度量域間分布差異的指標包括KL 散度、最大均值差異（MMD）、Wasserstein 距離等。基于距離度量的典型方法及其特征總結如表1 所示。

表1 基于距離度量的方法Table 1 Methods based on distance measurement

2.3.1 KL 散度

KL 散度是兩個概率分布間差異的非對稱性度量。給定兩個概率分布P?Rk×1、Q?Rk×1，Q與P的KL 散度表示用Q近似P時所丟失的信息，定義［26］為：

文獻［27］將KL 散度與原型網絡的思想相結合，提出可遷移原型網絡（Transferrable Prototypical Networks，TPN），用于解決無監督領域自適應問題，其基本思想是：首先將目標域中的每個樣本與源域中最近的原型進行匹配，并為其分配“偽標簽”；隨后在僅基于源域數據、僅基于目標域數據、基于源域和目標域數據3 種情況下分別計算得到各個類的原型；接著進行端到端的訓練，同時最小化不同設定下類原型的差異以及每個樣本在三種類原型下分類的類別概率分布差異。在TPN 中，可以使用MMD 度量類原型的差異，通過KL 散度度量樣本在不同類原型下分類的概率分布差異。

2.3.2 最大均值差異

最大均值差異（MMD）是度量跨域分布差異時被廣泛使用的度量指標。給定源域和目標域的數據分布XS、XT，MMD 定義為［1］：

其中，?表示將原始數據映射到一個再生核希爾伯特空間中的核函數。MMD 通過計算在再生核希爾伯特空間中域間實例均值之間的差異來代表數據分布的差異。

在淺層域適應方法中，文獻［28］提出遷移成分分析方法（TCA）［28］。TCA 以MMD 來度量邊緣分布的差異，以散點矩陣作為約束條件來學習一個從經驗核特征空間到低維特征空間的線性映射。此外，文獻［29］在TCA 的基礎上引入MMD 和流形學習的思想，提出局部保留聯合分布適配的方法LPJT。LPJT 期望訓練得到一個特征變換矩陣，將兩個域的樣本映射到一個低維特征空間，并在這個特征空間中同時實現邊緣概率分布和條件概率分布的最小化。

在深度域適應中，文獻［30］提出深度適應網絡（DAN），在假設條件概率分布保持不變的前提下，在AlexNet 網絡的后3 層全連接層上添加對域間分布差異的度量，將最大均值差異（MMD）度量延展為多核最大均值差異（MK-MMD）度量，其網絡架構如圖3 所示。

圖3 深度適應網絡架構Fig.3 Architecture of deep adaptation network

進一步考慮條件分布的偏移，聯合適配網絡（JAN）［31］根據聯合最大平均差異（JMMD）度量，對輸入特征和輸出標簽的聯合分布差異在多個領域特定層中進行適配。JAN 網絡架構如圖4 所示。

圖4 JAN 網絡架構Fig.4 Architecture of JAN network

文獻［32］提出基于MMD 對邊緣分布和條件分布進行適配的DTN。除了使用MMD 進行特征的適配外，殘差遷移網絡（RTN）［33］還添加了殘差模塊用于分類器的自適應。RTN 網絡架構如圖5 所示。

圖5 RTN 網絡架構Fig.5 Architecture of RTN network

2.3.3 Wasserstein 距離

相比于KL 散度、JS 散度等分布差異度量指標，Wasserstein 距離考慮概率空間的基本幾何性質，并且能夠比較無重疊的分布之間的差異。兩種分布PS和PT之間的Wasserstein 距離或推土機距離定義［34］為：

其中，Iinf表示最大下界，π(PS,PT)表示PS、PT中所有可能的聯合分布。Wasserstein 距離可以理解為將概率分布PS轉換為PT的最小傳輸質量，該極小值（最大下界）難以處理，因此，可以使用Wasserstein 距離的Kantorovich-Rubinstein 對偶性，其定義［34］為：

其中，Ssup是所有1-Lipschitz函數f：X→R 的最小上限。

文獻［35］提出一種基于Wasserstein 距離減小跨域特征分布差異的領域不變特征學習方法，命名為Wasserstein 距離引導下的表示學習（WDGRL）。WDGRL 訓練一個領域評價網絡，以估計源特征表示與目標特征表示之間的經驗Wasserstein 距離，同時以對抗的方式訓練特征提取網絡以最小化經驗Wasserstein距離。通過迭代對抗訓練，最終學習到跨域的領域不變特征表示。文獻［36］提出分層Wasserstein 差異（SWD），旨在捕獲特定于某一任務的分類器的輸出之間自然的差異性概念，其基于幾何理論，提出檢測遠離源域支持的目標樣本的方法，并能夠以端到端的可訓練方式進行有效的分布對齊。

2.3.4 最大密度差異

給定源域DS和目標域DT，源域和目標域數據樣本為XS和XT，源域和目標域的數據分布為P和Q，最大密度差異（MDD）定義為：

其中，和分別是XS和XT獨立同分布的拷貝，表示歐幾里得范式距離的平方。式（5）右側第一項最小化P和Q之間的域間差異，后兩項分別最大化P和Q中的類內密度。如圖6 所示，MDD 在最小化域間差異的同時，能夠最大化域內的密度，并且與廣泛使用的MMD 不同，MDD 的實用變體可以被平穩有效地整合到深度域自適應體系結構中，并通過隨機梯度下降進行優化。

圖6 最大密度差異示意圖Fig.6 Schematic diagram of maximum density difference

文獻［37］提出最大密度差異（MDD）的概念，并將其簡化后加入到對抗性領域自適應的框架中，提出一種既具有對抗性訓練又具有度量學習能力的對抗性緊密匹配（ATM）領域自適應方法。

2.3.5 其他差異度量方法

文獻［38］提出利用階矩差來匹配概率分布的高階中心矩，利用矩序列對概率分布的等效表示定義一個新的距離函數，稱為中心矩差異（CMD）。文獻［39］使用高階統計量（主要是三階和四階統計量）進行域匹配，提出一種高階矩匹配方法（HoMM），并將其進一步擴展到再生核希爾伯特空間中。

2.4 基于對抗學習的方法

借鑒生成式對抗網絡的思想，可以在深度方法中引入對抗的思路來進行領域自適應?；趯沟姆椒煞譃閷剐耘袆e和對抗性生成兩類。文獻［40］從所使用損失函數的類型、是否進行權值共享以及所基于的模型為生成式模型還是判別式模型3 個角度，對基于對抗學習的域適應方法進行歸類，并提出一個通用的框架，如圖7 所示。基于對抗學習的典型方法及其特征總結如表2所示。

圖7 基于對抗學習的域適應方法通用框架Fig.7 General framework of domain adaptation methods based on confrontation learning

表2 基于對抗學習的方法分類Table 2 Classification of methods based on confrontation learning

2.4.1 基于對抗性判別的方法

基于對抗性判別的域適應方法雖然使用了不同的對抗策略，但其基本思想都是在域鑒別器上施加一個對抗性目標將域間分布差異的度量轉化為在潛在特征空間中進行領域混淆，以此對特征提取器進行訓練從而實現特征級的領域自適應。

用C表示利用帶標簽數據訓練得到的樣本分類器，用D表示領域鑒別器，用F表示特征提取與表示，θC、θD、θF為分別與之相對應的參數。生成對抗域適應方法的目標是通過對參數θF進行學習來最小化樣本分類器的分類損失LC，同時最大化領域鑒別器的判別損失LD，使得特征表示F更具判別性和域不變性。此外，對抗訓練的目標是最小化領域鑒別器D的判別損失LD。上述原理可概括為如下的目標函數：

域對抗網絡（DANN）［41］基于上述的通用框架而提出，其架構由一個特征提取器、一個分類器和一個領域鑒別器構成，如圖8 所示。DANN 中融入了GAN 的生成對抗思想，其訓練可以通過插入特定的梯度反轉層（GRL）來實現。

圖8 DANN 網絡架構Fig.8 Architecture of DANN network

文獻［40］提出對抗判別域適應（Adversarial Discriminative Domain Adaptation，ADDA）方法，使用一個標簽翻轉的GAN 損失將優化過程分為生成器和判別器兩個獨立的目標，其目標函數設置為：

其中，MS表示源特征提取器，Mt表示目標特征提取器。式（7）第一項計算源域樣本類別標簽預測的損失，第二項計算域鑒別器的損失，第三項計算經過域適應后目標域樣本的分類損失。

除了對齊邊緣分布外，文獻［42］提出條件對抗域適應方法（CDAN），考慮對齊條件概率分布來促進兩個域間的域適應。在DANN 的基礎上，將分類器的預測g作為特征表示f所依賴的條件，通過聯合變量h=（f，g）引入分類預測g來對域判別器D附加條件，同時對特征表示f和分類器預測g的跨域協方差進行建模，隱式地解決多模態結構識別問題，提升跨域分布適配的性能。

2.4.2 基于對抗性生成的方法

基于GAN 的生成式方法屬于像素級的領域自適應，生成從源域到目標域的圖像，并通過訓練使得生成的圖像與從目標域分布中采樣得到的圖像相同，從而實現領域的混淆。此外，基于CycleGAN 的損失，學者們提出了一些有效的域適應方法。

HOFFMAN 等［43］提出循環一致對抗域適應方法（CyCADA），在保證語義一致性的同時，在像素級和特征級都進行跨域適配。在適應過程中使用循環一致性損失匹配結構和語義一致性，并基于特定的視覺識別任務來實現語義損失。語義損失既指導總體表示具有判別性，又在映射前后保證了跨域的語義一致性。類似地，TZENG 等［44］使用像素級對齊和特征級對齊對目標檢測任務執行領域自適應。

LI 等［45］擴展了先前基于CycleGAN 的研究，將條件對抗域適應方法與循環一致性損失相結合，提出循環一致條件對抗遷移網絡（3CATN）方法來對齊兩個域。利用特征與對應的類別預測的協方差來部署條件域判別器，以捕獲嵌入在數據中的復雜多峰結構，同時考慮到域不變特征變換由兩個域共享，可以相互表示的特性，訓練兩個特征轉換器，一個將特征從源域轉換到目標域，另一個將特征從目標域轉換到源域，并基于兩個特征轉換器來計算循環一致性損失，由此在捕獲數據復雜多峰結構的同時，避免由于條件不正確而造成的負面影響。

2.5 其他代表性方法

2.5.1 基于重構的方法

文獻［46］設計基于重構的思想解決領域自適應問題的代表性方法，其提出了深度重構分類網絡（DRCN），這是一種聯合學習有監督地預測源域標簽和無監督地對目標域數據進行重構的卷積網絡。DRCN 的編碼參數在兩個任務之間共享，而解碼參數彼此分離，目的是使所學的標簽預測函數能夠很好地對目標區域內的樣本進行分類，從而將數據重構視為支持標簽預測自適應的輔助任務。

2.5.2 基于樣本選擇的方法

在早期的淺層域適應方法中，對實例進行重加權來克服兩個域間數據邊緣概率分布的偏差從而實現領域自適應，這是最常見的方法之一，其核心思想是計算一個樣本實例歸屬于源域實例或目標域實例的似然比，用這一比例來對樣本進行賦權。

通過計算兩個域間數據分布的最大均值差異（MMD）來對數據樣本加權是常用的方法。此外，基于AdaBoost 的遷移自適應增強方法（TrAdaBoost）［47］也是實例權重法的典型代表，其訓練過程如圖9 所示，在訓練目標分類器的過程中，與傳統的AdaBoost方法相同，提高目標域中錯誤分類實例的權重，同時降低源域中錯誤分類實例的權重，從而緩解其對訓練過程的影響，然后在權重更新后的實例上繼續進行目標分類器的訓練，如此迭代地更新源域和目標域的實例權重。

圖9 TrAdaBoost 方法原理說明Fig.9 Principle explanation of TrAdaBoost method

考慮部分域適應的設定，即目標域的類別少于源域的類別（YT?YS）的情景，在這種情況下，具有不同標簽的源域實例對于域適應可能具有不同的重要性，往往需要對源域樣本加權以實現遷移樣本選擇。文獻［48］提出一種部分域適應的方法，稱為基于重要加權對抗網絡的領域自適應（IWANDA）。IWANDA由兩個特征提取器、兩個領域鑒別器和一個標簽預測器組成。首先，對源域特征提取器和標簽預測器進行預訓練；然后，在訓練過程中將這兩個組件固定；其次，根據第一個領域鑒別器的結果對源域樣本加權，如果預測源域實例很可能屬于目標域，則該實例極有可能與目標域關聯，將被分配較大的權重；最后，對目標域特征提取器與第二個領域鑒別器進行類似于GAN 的對抗訓練，以進行參數更新。此外，文獻［49］也構建了類似的用于部分遷移學習的選擇性對抗網絡。

2.6 數據集與實驗結果

本節介紹被廣泛用于度量不同方法在跨域自適應任務中性能表現的標準數據集，并對代表性方法在典型任務中的實驗結果進行總結。

2.6.1 數據集

Digits數字數據集包含MNIST［50］、USPS、SVHN［51］3個數據集，MNIST、USPS 為包含0～9 共10 個數字的具有不同分布的手寫數字數據集，MNIST 包含共70 000 張28×28 的灰度圖像，其中，60 000 張作為訓練數據，10 000張用于測試。USPS包含尺寸為16×16的7 291張和2 007 張灰度圖像分別用于訓練和測試。SVHN 為街景數字圖像數據集，其中的數字圖像包含更為復雜的街景背景，該數據集共包含73 257張尺寸為32×32的彩色圖像用于訓練，以及26 032 張圖像用于測試。上述3 個數據集圖片樣例如圖10 所示。

圖10 Digits 數據集圖片樣例Fig.10 Image examples of Digits dataset

Office-31 數據集［52］是經典的視覺域適應基準數據集，包含來自Amazon（A）、DSLR（D）和Webcam（W）三個不同的域、涵蓋31 個類別的4 110 張圖片，其中，Amazon（A）為電商網站中的展示圖片，DSLR（D）為數碼單反相機拍攝的圖片，Webcam（W）為圖像處理軟件處理后的圖片。A、D、W 數據集的樣本數量分別為2 817、498 和795，數據集圖片示例如圖11 所示。

圖11 Office-31 數據集圖片示例Fig.11 Image examples of Office-31 dataset

Office-Home 數據集是一個相對較新的基準，包含來自4 個領域65 個類別的15 585 張圖片。4 個領域具體如下：

1）藝術（Ar）：以素描、繪畫、裝飾等形式對物體進行的藝術描繪。

2）剪貼畫（Cl）：剪貼畫圖像的收集。

3）產品（Pr）：沒有背景的對象圖像，類似于Office 數據集中Amazon 類別的圖像。

4）真實世界（RW）：用普通相機捕捉到的對象圖像。

Ar、Cl、Pr 和RW 域中分別包含2 421、4 379、4 428 和4 357 張圖像［53］。

2.6.2 實驗結果

在結果評測中，均采用目標域數據樣本分類正確率作為算法性能的度量指標。表3 所示為Digits 數據集上幾種代表性方法在MNIST→USPS（M→U）、USPS→MNIST（U→M）、SVHN→MNIST（S→M）3 個域適應任務中的測試結果，其中最優結果加粗表示。

表3 不同方法在Digits 數字數據集上的性能對比Table 3 Performance comparison of different methods on Digits digital dataset

表4 所示為在Office-31 數據集上構建的A→D、A→W、D→A、D→W、W→A、W→D 6 個域適應任務中各代表性方法的性能表現。表5所示為Office-Home數據集上12 個跨域適配任務中各方法的性能表現。

表4 不同方法在Office-31 數據集上的性能對比Table 4 Performance comparison of different methods on Office-31 dataset

表5 不同方法在Office-Home 數據集上的性能對比Table 5 Performance comparison of different methods on Office-Home dataset

2.7 典型應用

2.7.1 圖像分類

圖像分類是計算機視覺應用的基本任務，上述大多數領域自適應算法［32-33］在最初提出時都是用來解決圖像分類問題的，并在諸如Digits、Office-31、Office-Home、VisDA-2017 等標準數據集的跨域圖像分類任務中測試算法性能。

2.7.2 目標檢測

近年來，基于候選區域的卷積神經網絡（R-CNNs、Fast R-CNNs 和Faster R-CNNs）在目標檢測方面取得了重要進展，然而，訓練每個類別檢測窗口需要大量帶標簽的數據，考慮到窗口選擇機制與領域無關，深度域適應的方法可用于分類器的跨域適應。大規模自適應檢測（LSDA）［54］對目標域的分類層進行訓練，然后使用預先訓練好的源模型和輸出層自適應技術直接更新目標分類參數。文獻［55］基于Faster R-CNNs 方法，從特征圖和區域自適應兩個角度切入，提出改進的域適應多場景目標檢測模型，并將其應用于多場景道路車輛檢測中。此外，文獻［56-58］也致力于研究領域自適應在目標檢測領域的應用。

2.7.3 自然語言處理

領域自適應技術已經在自然語言處理領域得到了廣泛應用，包括情感分析［59］、文本分類［60］、關系提取［61］、問答系統［62］和機器翻譯［63］等方面。

2.7.4 推薦系統

傳統的推薦系統通常依賴于用戶與項目交互矩陣來進行推薦和預測，這些方法通常需要大量的訓練數據才能得出準確的建議。然而，諸如用戶的歷史交互數據在現實場景中往往稀少。領域自適應技術可以利用來自其他推薦系統（即源域）的數據來幫助在目標域中構建推薦系統。在基于實例的方法中，文獻［64］利用源域不確定評級作為約束條件，幫助完成目標域上的評級矩陣分解任務。在基于特征的方法中，文獻［65］提出一種稱為“坐標系統遷移（CST）”的方法，同時利用用戶側和物品側的潛在特征。文獻［66］基于矩陣分解技術生成用戶和物品的特征表示，然后使用深度神經網絡來學習跨域的特征映射。此外，文獻［67-68］也研究了域適應方法在跨域推薦系統中的應用。

3 現存挑戰及未來研究方向

目前已有的領域自適應方法主要分為基于距離度量的方法和基于對抗學習的方法?；诰嚯x度量的方法多使用已有的幾種距離度量指標，如MMD等，通過變換形式不斷重復使用，但是對度量指標本身的研究非常有限。已有的研究結果表明，僅使用現有的距離度量指標，很難取得令人滿意的遷移學習效果?；趯箤W習的方法雖然在近年來得到廣泛應用與關注，但是對抗網絡中存在泛化和均衡等固有挑戰，使得基于對抗學習的方法難以保證模型的泛化能力。

3.1 流式數據與在線持續遷移學習

在已有算法研究中，通常認為可在同一時刻獲取大量的源域帶標簽數據，并且這些數據具有相似的分布，但是在現實應用中，源域的數據往往以流式形態而不斷產生，并不能在某一時刻獲得大量的數據，同時不同時間產生的源域數據也可能具有不同的數據分布。如何識別源域數據中的概念漂移以及進行增量域適應和在線域適應是有待研究的問題。同時，當數據以不斷進化的方式產生時，如何處理不同時期的模型災難性遺忘問題也成為遷移學習中的難點。當前已有一些學者針對持續學習展開研究，今后可將持續學習和遷移學習相結合，以應對流式數據中存在的挑戰。

3.2 語義分歧與開放集遷移學習

目前大多領域自適應算法研究封閉集中的跨域知識遷移，即通常假設源域和目標域共享類別標簽，但是在現實場景中，源域和目標域具有相同的類別標簽空間這一假設往往并不成立，存在源域數據類別多于目標域、目標域數據類別多于源域等情況。針對前者，文獻［48-49］嘗試對源域實例加權來增強跨域共享標簽實例的重要性；針對后者，可以通過零樣本學習、小樣本學習的技術學習關于新類別的知識［69-71］。目前，針對開放集的跨域遷移仍有待進一步研究。

3.3 數據隱私與數據訪問受限的遷移學習

目前的領域自適應方法大多假設帶標簽的源域數據可以不受限制地獲取，在現實場景中，與目標域相關的源域或輔助領域數據可能來自于另外的機構和個人，可能無法訪問數據的全部信息。在此類情況下，如何在進行跨域知識遷移的同時保護數據的隱私是一個重要問題。開發基于模型參數而非數據特征的域適應技術以及開發基于加密數據的域適應技術是可供選擇的研究方向。此外，領域泛化為目標域數據訪問受限的遷移學習提供了一些思路。

3.4 負遷移

負遷移是領域自適應中被廣泛討論的挑戰之一。領域自適應的目標是使用源域的知識來提升目標任務的性能，但是在有些情況下存在引入源域的知識會帶來目標模型性能下降的問題，即產生負遷移現象，其原因是源域和目標域具有較低的相關性，相關性越小，則可供遷移的領域不變知識越少，學習到的跨領域噪聲越多。如何衡量跨域的可遷移性以及避免負遷移仍是該領域的一個重要問題，未來可設計對應的相關性量化指標。

4 結束語

模型的遷移能力和泛化能力是通用人工智能所面臨的兩大挑戰。領域自適應技術為當前人工智能邁向通用人工智能提供了可行方案，也是在有限標記數據的情況下最大化數據利用率的有效方法。本文針對基于度量學習的方法和基于對抗學習的方法，對領域自適應進行總結，闡述領域自適應的產生背景及國內外研究現狀，給出相關概念和領域自適應的形式化定義，并從不同的視角對相關研究領域和方法進行分類。在此基礎上，圍繞基于距離度量學習的方法和基于對抗學習的方法介紹該領域代表性算法的技術細節，并分析域適應在學界和業界不同領域中的應用情況以及現存的挑戰。今后將對領域自適應研究中的現實鴻溝、語義鴻溝、數據隱私和負遷移問題進行分析。