基于自步學(xué)習(xí)的開放集領(lǐng)域自適應(yīng)

劉星宏 周 毅 周 濤 秦 杰

1 （東南大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 南京 211189）

2 （新一代人工智能技術(shù)與交叉應(yīng)用教育部重點(diǎn)實(shí)驗(yàn)室（東南大學(xué)） 南京 211189）

3 （南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 南京 210094）

4 （南京航空航天大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 南京 210016）（xhoml158@gmail.com）

深度學(xué)習(xí)方法最吸引人的一點(diǎn)是：經(jīng)過數(shù)百萬個(gè)標(biāo)注樣本的訓(xùn)練[1-4]，模型在與訓(xùn)練集獨(dú)立同分布的新數(shù)據(jù)上可以獲得出色的性能.然而，當(dāng)它們被部署到與源域具有顯著不同的域分布的目標(biāo)域中時(shí)，其性能通常會急劇下降，這種不匹配的域分布稱為域偏移.域偏移由各種視角、各種照明條件和不同傳感器引起，但可以利用遷移學(xué)習(xí)方法[5-6]最小化域偏移.一種直觀的方法是對目標(biāo)域樣本人工標(biāo)注標(biāo)簽并對已經(jīng)訓(xùn)練好的模型進(jìn)行微調(diào).然而，在目標(biāo)域上標(biāo)注大量標(biāo)簽是耗時(shí)且昂貴的.

為了解決這個(gè)問題，無監(jiān)督領(lǐng)域自適應(yīng)（unsupervised domain adaptation, UDA）方法[7-10]提出將標(biāo)簽知識從有標(biāo)注的源域遷移到無標(biāo)注的目標(biāo)域，同時(shí)克服源域和目標(biāo)域間的域偏移.無監(jiān)督領(lǐng)域自適應(yīng)的經(jīng)典方案[8,11]是：利用領(lǐng)域硬標(biāo)簽，即將源域樣本標(biāo)記為1，將目標(biāo)域樣本標(biāo)記為0，然后應(yīng)用梯度反轉(zhuǎn)層（gradient reverse layer, GRL）來最小化源域和目標(biāo)域之間的邊緣分布差異.在實(shí)際場景中，目標(biāo)域中的部分樣本可能不屬于源域中的任何類別，即未知類（unknown class）.開放集領(lǐng)域自適應(yīng)[12-13]（open-set domain adaptation, OSDA）提出：在無監(jiān)督領(lǐng)域自適應(yīng)的基礎(chǔ)上，模型還需區(qū)分出那些不屬于源域已知類別的未知類樣本.在這種情形下，若強(qiáng)制性地將整個(gè)目標(biāo)域與源域進(jìn)行對齊，那么將不可避免地導(dǎo)致負(fù)遷移.我們觀察到，直接采用領(lǐng)域硬標(biāo)簽進(jìn)行開放集領(lǐng)域自適應(yīng)將會對齊整個(gè)目標(biāo)域與源域，導(dǎo)致未知類樣本會被分類器錯(cuò)誤地預(yù)測為源域和目標(biāo)域共享的已知類（known class）.

為了應(yīng)對開放集領(lǐng)域自適應(yīng)的額外挑戰(zhàn)，我們提出了一種基于自步學(xué)習(xí)的新框架，其僅將目標(biāo)域中的已知類與源域?qū)R，使模型學(xué)習(xí)域不變特征，并區(qū)分目標(biāo)域中的已知類和未知類樣本.自步學(xué)習(xí)（selfpaced learning）是一種訓(xùn)練機(jī)器學(xué)習(xí)模型的策略.這種策略的主要思想是模擬人類的學(xué)習(xí)過程，即在訓(xùn)練初期，模型只關(guān)注那些相對容易正確分類的樣本；然后隨著學(xué)習(xí)的深入，模型會逐漸開始處理更具挑戰(zhàn)性的樣本.自步學(xué)習(xí)模型在訓(xùn)練過程中可以自動從易到難，選擇合適的樣本進(jìn)行學(xué)習(xí).利用自步學(xué)習(xí)的優(yōu)點(diǎn)在于：模型在訓(xùn)練初期主要關(guān)注易于學(xué)習(xí)的、噪聲較低的樣本，而在訓(xùn)練后期再處理那些更難、包含更多噪聲的樣本.這種方式可以使模型避免在訓(xùn)練初期就被噪聲數(shù)據(jù)所迷惑.

為了將目標(biāo)域中的已知類與源域?qū)R，我們提出了雙重多分類器模塊.一方面，雙重多分類器可以引導(dǎo)模型僅對齊目標(biāo)域的已知類，而不是將整個(gè)目標(biāo)域與源域?qū)R，從而防止將整個(gè)目標(biāo)域?qū)R到源域時(shí)出現(xiàn)負(fù)遷移.另一方面，利用未標(biāo)記的目標(biāo)域樣本，雙重多分類器可以根據(jù)不同訓(xùn)練階段逐步調(diào)整閾值.為了學(xué)習(xí)目標(biāo)域中的已知類特征，基于自步學(xué)習(xí)，我們提出了多準(zhǔn)則跨域混合模塊.多準(zhǔn)則跨域混合模塊混合帶真實(shí)標(biāo)簽的源域樣本和帶偽標(biāo)簽的目標(biāo)域樣本以降低偽標(biāo)簽的噪聲并使得模型具備學(xué)習(xí)域不變特征.在初始訓(xùn)練階段，雙重多分類器會計(jì)算出較高閾值，此時(shí)多準(zhǔn)則跨域混合模塊僅混合少量帶偽標(biāo)簽的目標(biāo)域樣本.隨著訓(xùn)練的進(jìn)行，閾值逐漸調(diào)整到合適的值，從而允許模型利用更多具有偽標(biāo)簽的目標(biāo)域樣本.因此，模型可以從目標(biāo)域中較簡單的樣本到較復(fù)雜的樣本中逐漸學(xué)習(xí)得到域不變特征.此時(shí)，由于閾值的下降，增加了帶有偽標(biāo)簽的目標(biāo)域樣本輸入數(shù)量，增加了由偽標(biāo)簽帶來的噪聲，但由于模型的學(xué)習(xí)率已經(jīng)相對較低，因此對模型性能的負(fù)面影響較小.進(jìn)一步地，為了使模型滿足開放場景中可信人工智能的需求，我們結(jié)合了各種標(biāo)準(zhǔn)，包括熵（entropy）、一致性（consistency）和置信度（confidence），從而能更精確地區(qū)分目標(biāo)域中的已知類和未知類.我們認(rèn)識到僅依靠置信度值不能準(zhǔn)確區(qū)分已知類和未知類，因?yàn)橹眯哦热狈Σ淮_定程度的區(qū)分能力.結(jié)合熵和置信度，二者相互補(bǔ)充，覆蓋了平滑和非平滑類分布[11]，還引入一致性，以修正置信度導(dǎo)致的預(yù)測錯(cuò)誤[11].此外，我們期望模型可以自動計(jì)算合適的閾值，無需在測試過程中進(jìn)行經(jīng)驗(yàn)性調(diào)參從而使得模型在不同超參數(shù)及實(shí)驗(yàn)設(shè)定下?lián)碛辛己玫聂敯粜砸詽M足開放場景可信人工智能的要求.基于以上思想，本文提出了基于自步學(xué)習(xí)的開放集領(lǐng)域自適應(yīng)（self-paced learning for open-set domain adaptation，SPLOSDA）模型.SPL-OSDA可以將目標(biāo)域的已知類與源域?qū)R，學(xué)習(xí)域不變特征，并區(qū)分已知類和未知類樣本.

本文的主要貢獻(xiàn)包括3個(gè)方面:

1）為了有效地篩選從簡單到復(fù)雜的目標(biāo)域樣本并避免領(lǐng)域硬標(biāo)簽引起的負(fù)遷移，提出了雙重多分類器.雙重多分類器用于匹配目標(biāo)域與源域2個(gè)域之間的已知類而非將整個(gè)目標(biāo)域與源域進(jìn)行對齊.此外，雙重多分類器會自動計(jì)算用于區(qū)分目標(biāo)域中已知類和未知類的閾值.這種自調(diào)整閾值策略使得模型由較簡單的樣本到較復(fù)雜的樣本中逐漸學(xué)習(xí)域不變特征.此外，本文方法無需在測試階段進(jìn)行經(jīng)驗(yàn)性調(diào)參來找出區(qū)分已知類和未知類樣本的最佳閾值.

2）引入了一種新穎的基于自步學(xué)習(xí)的方法，稱為多準(zhǔn)則跨域混合.該方法可以有效學(xué)習(xí)域不變特征并準(zhǔn)確區(qū)分已知類和未知類.通過跨域混合，模型學(xué)習(xí)域不變特征的能力得到了顯著增強(qiáng).同時(shí)，這種方法還能最小化偽標(biāo)簽引起的噪聲.與僅依靠置信度值相比，利用多準(zhǔn)則有助于更好地區(qū)分已知類和未知類樣本，使得模型能滿足開放場景可信人工智能的要求.

3）在3個(gè)公開基準(zhǔn)數(shù)據(jù)集上進(jìn)行了全面的實(shí)驗(yàn)，比較了本文的方法與各種最先進(jìn)的技術(shù).本文模型始終表現(xiàn)出卓越的性能，說明其有效性；還對模型的各組件進(jìn)行了深入分析，以便更好地理解它們對模型整體性能的貢獻(xiàn).

1 相關(guān)工作

1.1 無監(jiān)督領(lǐng)域自適應(yīng)

無監(jiān)督領(lǐng)域自適應(yīng)的目標(biāo)是將源域的標(biāo)簽知識遷移到無標(biāo)簽的目標(biāo)域上以減輕由于域差異而導(dǎo)致的性能下降.無監(jiān)督領(lǐng)域自適應(yīng)的數(shù)學(xué)本質(zhì)是最小化聯(lián)合分布偏移，這可以分為邊緣分布偏移和條件分布偏移.Ben-David等人[14]在理論上證明了，通過減小邊緣分布偏移并同時(shí)最小化在源域上的分類損失，可以實(shí)現(xiàn)無監(jiān)督領(lǐng)域自適應(yīng)的目標(biāo).Ganin等人[8]受到生成對抗網(wǎng)絡(luò)（generative adversarial nets, GAN）[15]的啟發(fā)，設(shè)計(jì)了一個(gè)對抗域模塊來衡量域之間的差異，并引入了一個(gè)梯度反轉(zhuǎn)層來最小化源域和目標(biāo)域之間的邊緣分布偏移.梯度反轉(zhuǎn)層可以幫助模型學(xué)習(xí)域不變特征.Wu等人[16]指出，僅利用來自源域和目標(biāo)域的有限樣本進(jìn)行學(xué)習(xí)不能保證潛在空間中的特征是域不變的.他們引入了跨域和跨類別混合的方法，以指導(dǎo)分類器在更連續(xù)的潛在空間中學(xué)習(xí)域不變特征.Xu等人[17]提出了一種基于像素和特征級別的跨域混合方法.該方法混合不同比例的源域樣本和目標(biāo)域樣本，從而生成代表不同狀態(tài)的各種特征.文獻(xiàn)[16-17]在生成了更連續(xù)的潛在空間后最小化邊緣分布偏移，以保證特征是域不變的.Long等人[18]認(rèn)為，僅僅是減少邊緣分布差異可能無法準(zhǔn)確地對齊具有多模態(tài)分布的2個(gè)域.他們構(gòu)建了一個(gè)具有條件鑒別器的模型來減少條件分布差異.Yu等人[10]指出，在實(shí)際應(yīng)用中邊緣分布和條件分布具有不同的重要性.他們提出了一個(gè)動態(tài)對抗因子來定量評估邊緣和條件分布的相對重要性.與文獻(xiàn)[8]相比，文獻(xiàn)[10]提高了模型的性能.針對交通圖像語義分割，文獻(xiàn)[19]提出了通過采用優(yōu)化上采樣方法和focal loss的損失函數(shù)以改進(jìn)交通圖像中數(shù)據(jù)量較小的類別難以被正確分割的問題.文獻(xiàn)[20]通過最大化模型中2個(gè)分類器的分類差異，并通過分類器和特征提取器間對抗學(xué)習(xí)的方式來最小化目標(biāo)域和源域間的域差異.這些傳統(tǒng)的無監(jiān)督領(lǐng)域適應(yīng)方法是針對封閉集領(lǐng)域自適應(yīng)（closed-set domain adaptation,CSDA）任務(wù)設(shè)計(jì)的，不能直接應(yīng)用于開放集領(lǐng)域自適應(yīng)問題.

1.2 開放集領(lǐng)域自適應(yīng)

與封閉集領(lǐng)域自適應(yīng)任務(wù)相比，開放集領(lǐng)域自適應(yīng)的額外挑戰(zhàn)是模型需要在沒有目標(biāo)域標(biāo)簽的情況下區(qū)分目標(biāo)域的已知類和未知類.代表性的封閉集領(lǐng)域自適應(yīng)學(xué)習(xí)范式是將源域和目標(biāo)域樣本分別標(biāo)記為1和0，并設(shè)計(jì)了一個(gè)梯度反轉(zhuǎn)層來減少2個(gè)域之間的邊緣分布差異.然而，在開放集領(lǐng)域自適應(yīng)場景中將整個(gè)目標(biāo)域與源域匹配是不明智的，因?yàn)檫@會導(dǎo)致模型將未知類樣本分類為已知類.Saito等人[13]設(shè)計(jì)了一個(gè)帶有額外未知類的分類器，以區(qū)分目標(biāo)域中的未知類別.他們提出了一種帶經(jīng)驗(yàn)性超參數(shù)的損失函數(shù)來訓(xùn)練分類器.Liu等人[21]采用了一種從粗到細(xì)的加權(quán)機(jī)制，逐步將目標(biāo)域中的已知類和未知類分開.他們的方法允許在訓(xùn)練階段對不同樣本的重要性進(jìn)行加權(quán)；他們還提出了開放度（openness）指標(biāo)，用于衡量目標(biāo)域中未知類的比例.Shermin等人[22]也有類似于文獻(xiàn)[21]的想法.他們引入了一個(gè)補(bǔ)充分類器，用于為每個(gè)樣本分配不同的權(quán)重.Luo等人[23]提出了一種使用圖神經(jīng)網(wǎng)絡(luò)來抑制潛在條件移位的新方法.隨后，他們采用對抗學(xué)習(xí)來最小化源域和目標(biāo)域之間的差異.Pan等人[24]設(shè)計(jì)了一個(gè)稱為SE-CC（self-ensembling with category-agnostic clusters）的模型.他們將所有未標(biāo)記的目標(biāo)域樣本聚類以獲取類別無關(guān)的聚類，這有助于揭示與目標(biāo)域相關(guān)的特征空間結(jié)構(gòu).此外，他們還應(yīng)用互信息來提高模型性能.Zhou等人[25]則提出了一種協(xié)作區(qū)域聚類和對齊方法（collaborative regional clustering and alignment method）來識別類別無關(guān)的共有局部特征.所有上述開放集領(lǐng)域自適應(yīng)方法[13,21-25]都依靠模型在測試階段產(chǎn)生的置信度來區(qū)分已知類和未知類，這在某些情況下并不十分可靠，特別是當(dāng)目標(biāo)域的開放度很大時(shí).相比之下，我們提出了在更連續(xù)的潛在空間中學(xué)習(xí)域不變特征，并結(jié)合多個(gè)標(biāo)準(zhǔn)來精確分離已知/未知類的方法.

1.3 自步學(xué)習(xí)

自步學(xué)習(xí)范式是許多有監(jiān)督學(xué)習(xí)模型的核心，特別是帶有噪聲標(biāo)簽的模型[26-30].最近，一些研究將自適應(yīng)學(xué)習(xí)與無監(jiān)督領(lǐng)域適應(yīng)相結(jié)合，例如PCDA[31]和SPCL[32].然而，PCDA是專門為封閉集領(lǐng)域自適應(yīng)設(shè)計(jì)的，因此不適用于開放集領(lǐng)域自適應(yīng)場景.另一方面，SPCL假設(shè)目標(biāo)域樣本均屬于未知類別，這意味著目標(biāo)域和源域類別之間沒有重疊.這種假設(shè)也阻礙了SPCL在目標(biāo)域和源域具有共享的已知類的開放集領(lǐng)域自適應(yīng)場景中的應(yīng)用.此外，Li等人[33]為部分領(lǐng)域自適應(yīng)問題（partial domain adaptation，PDA）設(shè)計(jì)了自適應(yīng)源類權(quán)重方案（adaptive source class weighting scheme），從而使得模型能在不同的訓(xùn)練階段動態(tài)調(diào)整目標(biāo)域樣本的預(yù)測值.但部分領(lǐng)域自適應(yīng)問題與開放集領(lǐng)域自適應(yīng)問題不同在于：開放集領(lǐng)域自適應(yīng)問題中目標(biāo)域存在未知類樣本；而部分領(lǐng)域自適應(yīng)問題的目標(biāo)域中并不存在未知類樣本.因而文獻(xiàn)[33]提出的CSDN模型也無法直接地應(yīng)用到開放集領(lǐng)域自適應(yīng)問題.

2 基于自步學(xué)習(xí)的開放集領(lǐng)域自適應(yīng)

2.1 基本定義

定義1.在傳統(tǒng)的無監(jiān)督領(lǐng)域自適應(yīng)場景中，具有NS個(gè)樣本的、有標(biāo)簽的源域以及具有NT個(gè)樣本的、無標(biāo)簽的目標(biāo)域其中源域的分布p與目標(biāo)域的分布q顯著不同.

定義2.定義源域類別集合為CS，目標(biāo)域類別集合為CT，那么在開放集領(lǐng)域自適應(yīng)場景中，我們有CSCT.即，源域類別集合是目標(biāo)域類別集合的非空真子集.對于目標(biāo)域的任一類別ct，若ctCS，則稱其為已知類；反之，若ctCS，則稱其為未知類.

定義3.開放集領(lǐng)域自適應(yīng)問題的目標(biāo)是通過領(lǐng)域自適應(yīng)，將與源域樣本存在域偏移的目標(biāo)域已知類樣本正確分類為CS中相對應(yīng)的類別，同時(shí)還需將不屬于CS的目標(biāo)域樣本正確分類為未知類別.

定義4.對于開放集領(lǐng)域自適應(yīng)場景，我們定義開放度，其中|·|代表集合的勢.

定義5.在領(lǐng)域自適應(yīng)任務(wù)中，梯度反轉(zhuǎn)層在前向傳播過程中不改變輸入數(shù)據(jù)，但在反向傳播過程中會改變梯度的符號.在前向傳播階段，設(shè)xin為梯度反轉(zhuǎn)層的輸入，xout為輸出，則有xout=xin；在反向傳播階段，設(shè)傳入的梯度為，其中L是損失函數(shù)，則經(jīng)過梯度反轉(zhuǎn)層后輸出的梯度為

2.2 總體架構(gòu)

圖1（a）展示了SPL-OSDA的整體架構(gòu).SPL-OSDA包括雙重多分類器模塊和多準(zhǔn)則跨域混合crossdomain mix-up with multiple criteria （CMMC）模塊.雙重多分類器模塊由一個(gè)對抗學(xué)習(xí)分類器GC和一個(gè)輔助分類器Gaux組成.我們利用雙重多分類器模塊將目標(biāo)域中的已知類與源域?qū)R，該模塊還利用無標(biāo)簽的目標(biāo)域樣本生成閾值h并傳遞給多準(zhǔn)則跨域混合模塊.多準(zhǔn)則跨域混合模塊由m個(gè)分類器組成，我們將其標(biāo)記為GM1～GMm.多準(zhǔn)則跨域混合模塊用于區(qū)分目標(biāo)域中的已知類和未知類.基于自步學(xué)習(xí)，我們在多準(zhǔn)則跨域混合模塊中設(shè)計(jì)了跨域混合方法，以降低偽標(biāo)簽的噪聲并使得模型在更連續(xù)的潛在空間中學(xué)習(xí)域不變特征.圖2展示了多準(zhǔn)則跨域混合模塊中實(shí)現(xiàn)跨域混合的方式.其中是由GC預(yù)測的對于目標(biāo)域樣本的偽標(biāo)簽.若且其多準(zhǔn)則系數(shù)≥h，則將目標(biāo)域樣本與源域樣本進(jìn)行像素級的跨域混合，λ是人為設(shè)定的超參數(shù).

Fig.1 Illustration of SPL-OSDA and self-paced learning process圖1 SPL-OSDA示意圖及自步學(xué)習(xí)流程

Fig.2 Cross-domain mix-up method in CMMC module圖2 CMMC模塊中的跨域混合方法

2.3 雙重多分類器

為了將目標(biāo)域中的已知類與源域?qū)R，我們設(shè)計(jì)了雙重多分類器模塊，從而計(jì)算樣本屬于已知類的概率.具體地說，該模塊對于已知類的目標(biāo)域樣本和所有源域樣本會輸出較高的概率值，我們可以利用概率值精確地將目標(biāo)域中的已知類和源域進(jìn)行對齊.

傳統(tǒng)的無監(jiān)督封閉集領(lǐng)域自適應(yīng)問題使用的通常是閉集域分類器，即為分類器設(shè)置|CS|個(gè)分類頭.但在開放集領(lǐng)域自適應(yīng)問題中，僅使用閉集域分類器會造成模型過度自信地（overconfidently）對未知類樣本輸出較高的概率值.因此，開放集領(lǐng)域自適應(yīng)[13,21-22]的模型范式通常是為分類器設(shè)置|CS|+1個(gè)分類頭，以避免模型過度自信地將未知類樣本分類為已知類.基于上述思想，我們在雙重多分類器模塊中設(shè)計(jì)了分類器GC.具體來說，給定樣本x，分類器GC輸出一個(gè)|CS|+1維的概率向量GC（x），形式化的定義為：

第|CS|+1個(gè)元素代表由分類器GC輸出的該樣本x屬于未知類的概率，其余的|CS|個(gè)元素代表由分類器GC輸出的樣本x屬于各已知類別[1, 2, …, |CS|]的概率.屬于已知類的目標(biāo)域樣本和所有源域樣本會有較大的和較小的.我們使用softmax公式計(jì)算GC(x)：

其中l(wèi)GC是GC產(chǎn)生的logit向量.我們定義分類器GC在源域上的分類損失為：

其中LCE是標(biāo)準(zhǔn)的交叉熵?fù)p失函數(shù).

給定樣本x，輔助分類器Gaux輸出一個(gè)|CS|維的概率向量Gaux(x)，形式化的定義為：

式（4）中各元素代表由分類器Gaux輸出的樣本x屬于各已知類別的概率.我們使用文獻(xiàn)[34]中提出的leaky-softmax函數(shù)來計(jì)算Gaux(x)，形式化的定義為：

其中l(wèi)Gaux是Gaux產(chǎn)生的logit向量.我們定義Gaux在源域上的分類損失

其中y′s是one-hot形式的樣本xs的類別真實(shí)標(biāo)簽，維度為1×|CS|；LBCE是標(biāo)準(zhǔn)的二元交叉熵?fù)p失函數(shù).二元交叉熵?fù)p失函數(shù)不僅適用于二分類任務(wù)，其同時(shí)也適用于單標(biāo)簽的多分類任務(wù).例如，給定樣本xs及類別標(biāo)簽ys= 0，若|CS| = 3，則有one-hot形式的類別標(biāo)簽y′s= (1,0,0).若概率向量Gaux(xs)=(0.5,0.4,0.05)（由于Gaux(xs)是使用leaky-softmax函數(shù)來計(jì)算概率向量的，因此概率向量中各元素值之和小于1），則二元交叉熵?fù)p失函數(shù)值

分類器GC和Gaux使用不同的分類損失函數(shù)是為了避免兩者陷入同一鞍點(diǎn).

我們結(jié)合GC和Gaux來計(jì)算給定樣本x屬于已知類的概率Pknown(x)，其計(jì)算公式為：

我們利用Pknown(x)和GC將目標(biāo)域中的已知類與源域進(jìn)行對齊，損失函數(shù)為：

傳統(tǒng)的無監(jiān)督領(lǐng)域自適應(yīng)是通過引入二元判別器實(shí)現(xiàn)領(lǐng)域間的對齊.但在開放集領(lǐng)域自適應(yīng)問題中，使用二元判別器會對齊整個(gè)目標(biāo)域和源域，從而使得模型無法在測試階段區(qū)分出目標(biāo)域中的已知類和未知類樣本.開放集領(lǐng)域自適應(yīng)模型[13,22]通常使用分類器輸出的概率值、帶權(quán)重的log函數(shù)與梯度反轉(zhuǎn)層相結(jié)合作為對齊目標(biāo)域已知類和源域的范式.因此，為了精確地將目標(biāo)域中的已知類樣本和源域進(jìn)行對齊并避免由于對齊目標(biāo)域未知類樣本和源域帶來的負(fù)遷移，我們設(shè)計(jì)了損失函數(shù)項(xiàng).具體來看，對于目標(biāo)域樣本xt來說，當(dāng)且僅當(dāng)S1(xt)和S2(xt)都接近1，即GC和Gaux都認(rèn)為xt是來自于已知類時(shí)，模型才會為xt賦以較大的權(quán)重Pknown(xt)，從而使得模型找到目標(biāo)域已知類樣本并將其與源域?qū)R.反之，較小的Pknown(xt)對損失函數(shù)項(xiàng)的貢獻(xiàn)較小，從而避免模型將目標(biāo)域未知類樣本與源域?qū)R.具體來說，當(dāng)Pknown(xt)較大時(shí)，GC會利用梯度下降來降低的值；另一方面，由于梯度反轉(zhuǎn)層的影響，特征提取器F會增大的值，從而使得F對抗性地學(xué)習(xí)目標(biāo)域中的已知類和源域的域不變特征.對于源域樣本xs來說，S1(xs)和S2(xs)會接近1但不等于1，從而使得1-Pknown(xs)接近0但不等于0.我們的研究發(fā)現(xiàn)：1）引入分類器Gaux可以使得模型更加精準(zhǔn)地將目標(biāo)域的已知類和源域?qū)R.2）式（8）等號右邊的第2項(xiàng)（即基于源域樣本的期望損失）可以避免模型過度自信地將目標(biāo)域中的未知類樣本分類為已知類.我們認(rèn)為這是由于第2項(xiàng)會給源域樣本特征帶來微小的擾動，從而避免了將具有相似特征的未知類目標(biāo)域樣本與源域?qū)R.使用Nuclear-norm Wasserstein discrepancy[35]來訓(xùn)練Gaux以使其能區(qū)分源域和目標(biāo)域樣本.形式化的定義為：

雙重多分類器模塊的優(yōu)化目標(biāo)形式化地表示為：

2.4 閾值自調(diào)整

在介紹如何計(jì)算閾值之前，考慮目標(biāo)域中可能存在的3種情況：1）未知類樣本的數(shù)量比已知類多得多.此時(shí)應(yīng)當(dāng)設(shè)置較高的閾值，以防止將大量未知類樣本錯(cuò)誤地被分類到已知類中.2）目標(biāo)域包含許多已知類樣本，而未知類樣本很少.在這種情況下，應(yīng)當(dāng)設(shè)置較低的閾值，否則會將大量的已知類樣本誤分為未知類.3）已知類和未知類樣本的數(shù)量接近.我們應(yīng)當(dāng)將閾值設(shè)置為情形1）和2）之間的中間值.

同時(shí)在閾值自調(diào)整時(shí)，還應(yīng)考慮到自步學(xué)習(xí)訓(xùn)練過程的學(xué)習(xí)范式.自步學(xué)習(xí)的目標(biāo)是使模型從簡單到復(fù)雜的樣本中逐漸學(xué)習(xí)目標(biāo)域中已知類的特征.通過采用閾值自調(diào)整的方法，應(yīng)當(dāng)使閾值逐漸降低到合適的值，從而可以以閾值作為參考，逐步將帶有偽標(biāo)簽的目標(biāo)域已知類樣本輸入到模型中.由于在訓(xùn)練的初始階段源域和目標(biāo)域間存在較大的域偏移，因此閾值應(yīng)當(dāng)接近1.因此，只有一些與源域非常相似的、容易被模型區(qū)分出的目標(biāo)域樣本被用于自步學(xué)習(xí).隨著訓(xùn)練的進(jìn)行，源域和目標(biāo)域已知類將逐漸對齊，閾值將逐漸降低至一個(gè)合適的數(shù)值，從而更多的目標(biāo)域樣本被用于自步學(xué)習(xí).

基于上述想法，提出了每次迭代中模型閾值自調(diào)整的計(jì)算公式：

其中i,j是隨機(jī)抽取的目標(biāo)域樣本的序號.λ1∈[0.5,1.0]是人為設(shè)定的超參數(shù)，用于控制閾值的下降速度.當(dāng)λ1接近0.5時(shí)，閾值下降更快；當(dāng)λ1接近1.0時(shí)，閾值下降更慢.實(shí)驗(yàn)證明，本文的模型對超參數(shù)λ1不敏感，具有良好的魯棒性.⊙代表點(diǎn)乘，用于防止閾值下降過快、過低而導(dǎo)致模型性能不穩(wěn)定代表舍棄概率向量GC(xt)的第|CS|+1項(xiàng)元素，僅使用GC(xt)的前|CS|項(xiàng)元素進(jìn)行向量間的加法和點(diǎn)乘.假設(shè)|CS|=2，有分別屬于已知類別1和已知類別2的目標(biāo)域樣本和，其中與源域更為相似，較易被模型區(qū)分.在訓(xùn)練階段前期和后期分別有和此時(shí)舍棄概率向量GC(xt)的第3項(xiàng)元素并使用式（13）的計(jì)算閾值，那么在訓(xùn)練階段前期得到的閾值相較于后期得到的閾值更高.從而使得模型在訓(xùn)練前期會使用生成類別1的跨域混合樣本，在訓(xùn)練后期會使用和生成類別1和2的跨域混合樣本.

圖3展示了在不同開放度的數(shù)據(jù)集上閾值h隨訓(xùn)練階段的變化情況.當(dāng)開放度較高時(shí)，從目標(biāo)域中隨機(jī)抽取的2個(gè)樣本屬于未知類樣本的概率較高，因此模型自調(diào)整的閾值較高；反之，當(dāng)開放度較低時(shí)，模型自調(diào)整至較低的閾值.此外，在訓(xùn)練的初始階段的閾值較高，從而避免了將目標(biāo)域的未知類樣本與源域樣本跨域混合，有效地降低由偽標(biāo)簽帶來的噪聲.

Fig.3 Changes in threshold values across multiple datasets圖3 閾值在多個(gè)數(shù)據(jù)集中的變化

2.5 多準(zhǔn)則跨域混合

為了降低帶偽標(biāo)簽的目標(biāo)域樣本在自步學(xué)習(xí)中帶來的噪音，設(shè)計(jì)了跨域混合樣本xmix，并將其作為多準(zhǔn)則跨域混合模塊的輸入.圖1（b）展示了不同訓(xùn)練階段的xmix的變化.一方面，將具有真實(shí)標(biāo)簽的源域樣本和帶有偽標(biāo)簽的目標(biāo)域樣本混合在一起而非使用整個(gè)目標(biāo)域樣本作為輸入，可以最小化由偽標(biāo)簽引起的噪聲.另一方面，在早期的訓(xùn)練階段，當(dāng)閾值較高時(shí)，由于僅有少量的目標(biāo)域已知類樣本可以使用，具有真實(shí)標(biāo)簽的源域樣本提供了多樣的樣本特征.這種方法有效利用了源域和目標(biāo)域樣本的優(yōu)勢，保證了自步學(xué)習(xí)過程的平穩(wěn).

在多準(zhǔn)則跨域混合模塊中，我們設(shè)置了m個(gè)分類器，對于每個(gè)分類器GMk，其輸出GMk(x)是|CS|維的概率向量，其形式化的定義為：

我們使用標(biāo)準(zhǔn)的softmax函數(shù)計(jì)算GMk(x)，形式化的定義為：

如圖2所示，若目標(biāo)域樣本xt的多準(zhǔn)則系數(shù)ωt大于閾值h，則使用將這個(gè)帶有偽標(biāo)簽的目標(biāo)域樣本與帶有真實(shí)標(biāo)簽的源域樣本跨域混合，從而獲得xmix作為GMk以優(yōu)化GMk.具體來說，GMk的損失函數(shù)定義為：

其中λ2是控制跨域樣本混合比例的超參數(shù)，是由GC預(yù)測的關(guān)于樣本xt的偽標(biāo)簽.

現(xiàn)有的開放集領(lǐng)域自適應(yīng)大多數(shù)僅依賴于置信度以區(qū)分目標(biāo)域的已知類和未知類，置信度即經(jīng)過softmax函數(shù)歸一化后的概率值.但僅考慮置信度并不是一個(gè)明智的選擇，因?yàn)橹眯哦热狈δＰ筒淮_定程度的區(qū)分能力.圖6的結(jié)果顯示，僅依賴置信度的模型無法良好地識別目標(biāo)域中的未知類樣本，因此，為了滿足開放場景可信人工智能的要求，有必要基于不同的準(zhǔn)則來區(qū)分目標(biāo)域中的已知類和未知類.受到文獻(xiàn)[11]的啟發(fā)，我們結(jié)合熵、一致性和置信度計(jì)算多準(zhǔn)則系數(shù)ωt來區(qū)分目標(biāo)域中的已知類和未知類.

使用多準(zhǔn)則跨域混合中m個(gè)分類器GMk對每個(gè)目標(biāo)域樣本xt所輸出的概率向量GMk(xt)計(jì)算熵ωent、一致性ωcons和置信度ωconf.形式化的定義為：

對于一個(gè)目標(biāo)域樣本xt來說，若其屬于未知類，則ωent較大.反之，若xt屬于已知類，則ωent較小.ωcons則表示m個(gè)分類器的一致性，其對于預(yù)測錯(cuò)誤更加魯棒，因?yàn)樗蟹诸惼鞫挤竿瑯拥腻e(cuò)誤的概率很低.這意味著即使一些分類器錯(cuò)誤地預(yù)測了一個(gè)樣本并將其預(yù)測到了同一個(gè)類中，其他分類器仍然可能提供正確的預(yù)測.因此，一致性可以彌補(bǔ)僅依賴置信度值可能導(dǎo)致的預(yù)測錯(cuò)誤.結(jié)合ωent,ωcons和ωconf，我們可以計(jì)算出xt的多準(zhǔn)則系數(shù)ωt，其形式化的定義為：

較小的ωt意味著xt有著更小的可能性來自于已知類.多準(zhǔn)則跨域混合模塊的優(yōu)化目標(biāo)是：

算法1.基于自步學(xué)習(xí)的開放集領(lǐng)域自適應(yīng)算法.

輸入：有標(biāo)簽源域DS，無標(biāo)簽?zāi)繕?biāo)域DT，特征提取器F，對抗學(xué)習(xí)分類器GC，輔助分類器Gaux和多準(zhǔn)則跨域混合模塊的m個(gè)分類器GM1～GMm；

輸出：已學(xué)習(xí)的F,GC,Gaux和GM1～GMm.

預(yù)訓(xùn)練階段

① fori =1 toMaxPreIterdo

② fork =1 tomdo

③ 采樣一組源域樣本{xs,ys}∈DS；

⑤ end for

⑥ 優(yōu)化F和分類器GM1～GMm；

⑦ end for

訓(xùn)練階段

⑧ fori =1 toMaxEpochesdo

⑨ forj =1 toIterPerEpochdo

⑩ 采樣一組源域樣本 (xs,ys)∈DS和一組目標(biāo)域樣本 (xt)∈DT；

? 由式（10）（11）（12）優(yōu)化F,GCandGaux；

? end for

? 由式（13）計(jì)算閾值h；

? forj =1 toIterPerEpochdo

? fork =1 tomdo

? 采樣一組源域樣本 (xs,ys)∈DS和一組目標(biāo)域樣本(xt)∈DT；

? 由式（16）進(jìn)行跨域樣本混合并計(jì)算EGMk；

? end for

? 由式（21）優(yōu)化分類器GM1～GMm；

? end for

? end for

? returnF,GC,GauxandGM1～GMm.

算法1概述了SPL-OSDA的訓(xùn)練過程，首先，需要使用源域樣本對多準(zhǔn)則跨域混合模塊和特征提取器F進(jìn)行預(yù)訓(xùn)練.預(yù)訓(xùn)練的目的是預(yù)熱F和多準(zhǔn)則跨域混合模塊，以使得模型在訓(xùn)練階段能更快速地收斂以及減少偽標(biāo)簽噪聲的影響.在訓(xùn)練階段，交替訓(xùn)練雙重多分類器模塊和多準(zhǔn)則跨域混合模塊.值得注意的是，我們在訓(xùn)練階段訓(xùn)練多準(zhǔn)則跨域混合模塊時(shí)不會更新F的參數(shù)，因?yàn)槲覀兿Ｍ跍y試階段中保持多準(zhǔn)則跨域混合模塊中分類器的輸出多樣性.

圖4展示了SPL-OSDA在測試階段的架構(gòu).在測試階段，從SPL-OSDA中去除輔助分類器Gaux.同時(shí)使用無標(biāo)簽?zāi)繕?biāo)域樣本以及式（13）來計(jì)算閾值h，而非手動設(shè)置.若ωt＜h，則SPL-OSDA把目標(biāo)域樣本xt分類為未知類；反之，則將xt傳遞給GC,GC將進(jìn)一步地將xt分類為某個(gè)特定的已知類.

Fig.4 Architecture of SPL-OSDA in the testing phase圖4 測試階段的SPL-OSDA架構(gòu)

3 實(shí)驗(yàn)設(shè)計(jì)及分析

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 基準(zhǔn)模型

將SPL-OSDA與其他方法進(jìn)行比較：

1）開放集領(lǐng)域自適應(yīng)方法：OSBP[13]，DAMC[22]，STA[21]，PGL[23]和UADAL[36].

2）通用集領(lǐng)域自適應(yīng)（universal domain adaptation,UniDA）方法：CMU[11]，DCC[37]和OVANet[38].通用集領(lǐng)域自適應(yīng)假設(shè)源域和目標(biāo)域都有私有類，因此通用集領(lǐng)域自適應(yīng)方法原生支持開放集領(lǐng)域自適應(yīng)任務(wù).

3）修改后的封閉集領(lǐng)域自適應(yīng)方法DANN[8]被文獻(xiàn)[39-40]修改后使其適用于開放集領(lǐng)域自適應(yīng)場景；參考文獻(xiàn)[39-40]中的修改方法使得MCD[20]和DALN[35]這2個(gè)模型能應(yīng)用于開放集領(lǐng)域自適應(yīng)場景中.

3.1.2 數(shù)據(jù)集

本文選擇了3個(gè)基準(zhǔn)數(shù)據(jù)集來評估本文模型，并將本文的方法與開放領(lǐng)域適應(yīng)的最先進(jìn)方法進(jìn)行比較，并使用文獻(xiàn)[39]和文獻(xiàn)[40]提供的標(biāo)簽文件作為標(biāo)簽列表.

Office-31[41]是一個(gè)用于域適應(yīng)的基準(zhǔn)數(shù)據(jù)集，包含Amazon（A），DSLR（D）和Webcam（W）這3個(gè)領(lǐng)域中的31個(gè)物體類別.我們選擇文件中按標(biāo)簽順序排列的前10個(gè)類別作為已知類，剩余的21個(gè)類別作為目標(biāo)域的未知類.文件中的標(biāo)簽順序與字母順序相同.

Office-Home[42]是一個(gè)用于計(jì)算機(jī)視覺域自適應(yīng)的具有挑戰(zhàn)性的數(shù)據(jù)集，其中包含藝術(shù)（art, Ar）、剪貼畫（clipart, Cl）、產(chǎn)品（product, Pr）和真實(shí)世界（real world, Rw）這4個(gè)領(lǐng)域中的65個(gè)類別.本文遵循文獻(xiàn)[22]的方法，將前10個(gè)類別構(gòu)造為源域和目標(biāo)域共享的已知類，將其余55個(gè)類別作為未知類.我們還使用標(biāo)簽順序來排序類別.標(biāo)簽文件中的標(biāo)簽順序與字母順序不同.具體來說，前10個(gè)類別分別是鉆頭（drill）、出口標(biāo)志（exit sign）、瓶子（bottle）、眼鏡（glasses）、電腦（computer）、文件柜（file cabinet）、架子（shelf）、玩具（toys）、水槽（sink）和筆記本電腦（laptop）.按照標(biāo)簽排序的優(yōu)點(diǎn)是，即使已知類處于Office-Home數(shù)據(jù)集的按字母順序排序的末尾，我們?nèi)阅苁褂闷湓u估類別的模型性能.

VisDA-2017[43]專注于將合成圖像適應(yīng)到真實(shí)圖像上，它涵蓋了12個(gè)類別，分為2個(gè)域：合成（synthetic）和真實(shí)（real）.按照標(biāo)簽順序?qū)?個(gè)類別劃分為源域和目標(biāo)域的已知類，將另外6個(gè)類別作為目標(biāo)域的未知類.文件中的標(biāo)簽順序與字母順序相同.使用該數(shù)據(jù)集可以驗(yàn)證模型在大規(guī)模領(lǐng)域適應(yīng)任務(wù)中的有效性.

3.1.3 評估指標(biāo)

本文使用2個(gè)評價(jià)標(biāo)準(zhǔn)來評估不同模型的性能：OS和HOS[11,44].OS用于評估模型在|CS|+1個(gè)類別的準(zhǔn)確率，包含模型在|CS|個(gè)已知類的準(zhǔn)確率和1個(gè)總的未知類準(zhǔn)確率.HOS是在|CS|個(gè)已知類上的平均準(zhǔn)確率OS*與在1個(gè)總的未知類上的準(zhǔn)確率Unk的調(diào)和平均數(shù).形式化的定義為：

需要注意的是，與無監(jiān)督領(lǐng)域自適應(yīng)問題關(guān)注模型對于已知類分類的平均準(zhǔn)確率OS*不同，開放集領(lǐng)域自適應(yīng)更關(guān)注HOS得分.“高OS*、低Unk”導(dǎo)致較低的HOS是開放集領(lǐng)域自適應(yīng)問題所期望避免的.

3.1.4 實(shí)現(xiàn)細(xì)節(jié)

為了公平對比，本文使用在ImageNet[45]預(yù)訓(xùn)練的ResNet-50作為所有模型的特征提取器.使用Nesterov momentum SGD作為SPL-OSDA的優(yōu)化器，其中動量設(shè)置為0.9，衰減權(quán)重設(shè)置為5e - 4.遵循文獻(xiàn)[11]的學(xué)習(xí)率衰減方式，使用（1+γ×i）-β的衰減因子，其中i表示當(dāng)前的迭代次數(shù)，設(shè)置學(xué)習(xí)率衰減參數(shù)γ= 1e - 3和β= 0.75.此外，式（13）中的λ1= 0.5，式（16）中的λ2= 0.5.本文在多準(zhǔn)則跨域混合模塊中設(shè)置了5個(gè)分類器.對于Office-31和VisDA-2017數(shù)據(jù)集，批量大小設(shè)置為48；對于Office-Home數(shù)據(jù)集，批量大小設(shè)置為72.

3.2 模型比較

表1展示了不同模型在Office-31和VisDA-2017數(shù)據(jù)集上的OS和HOS，表2展示了Office-Home數(shù)據(jù)集上的OS和HOS.

Table 1 OS and HOS on Office-31and VisDA-2017 Datasets表1 Office-31和VisDA-2017數(shù)據(jù)集上的OS和HOS%

表2（續(xù)）

Table 2 OS and HOS on Office-Home Dataset表2 Office-Home數(shù)據(jù)集上的OS 和HOS%

本文提出的方法SPL-OSDA在Office-31數(shù)據(jù)集上的OS和HOS均優(yōu)于現(xiàn)有方法.這表明SPL-OSDA在面對較小的源域和目標(biāo)域之間的域偏移時(shí)表現(xiàn)出色.此外，SPL-OSDA在Office-Home數(shù)據(jù)集上的HOS指標(biāo)也超過了已有方法.這表明當(dāng)我們處理更具有挑戰(zhàn)性的開放集領(lǐng)域自適應(yīng)任務(wù)時(shí)，即源域和目標(biāo)域之間存在較大的域偏移時(shí)，SPL-OSDA能將源域和目標(biāo)域的已知類特征精確對齊，從而使得模型在區(qū)分已知類和未知類的衡量指標(biāo)HOS上與已有方法相對比取得較大的領(lǐng)先.我們注意到，SPL-OSDA在OS指標(biāo)上的表現(xiàn)仍有提升空間，這將是我們未來工作的研究方向.

除了與PGL以外的現(xiàn)有方法相比較，本文模型在VisDA-2017數(shù)據(jù)集上的表現(xiàn)最好，顯著提高了OS和HOS.PGL在VisDA-2017數(shù)據(jù)集上取得了較高的OS，但其HOS得分較低，這意味著PGL傾向于將大量的未知類樣本分類為已知類.事實(shí)上，這與開放集領(lǐng)域自適應(yīng)的目標(biāo)相沖突.在VisDA-2017數(shù)據(jù)集上的結(jié)果表明，SPL-OSDA可以從合成圖像中學(xué)習(xí)到語義信息，并將該信息遷移到在不同場景拍攝的真實(shí)圖像.與Office-31和Office-Home數(shù)據(jù)集相比較，VisDA-2017數(shù)據(jù)集的圖片更多、場景更復(fù)雜，因而其結(jié)果更具有說服力.此外，VisDA-2017數(shù)據(jù)集可以評估模型對于具有復(fù)雜場景圖像的分類性能的魯棒性.

3.3 結(jié)果分析

1）已知類和未知類的區(qū)分.為了減少源域和目標(biāo)域之間的邊緣分布差異，Ganin等人[8]構(gòu)建了一個(gè)對抗網(wǎng)絡(luò)，使用領(lǐng)域硬標(biāo)簽來欺騙域鑒別器，然后將整個(gè)目標(biāo)域與源域?qū)R.然而，這些針對封閉集領(lǐng)域自適應(yīng)設(shè)計(jì)的學(xué)習(xí)范式在開放集領(lǐng)域自適應(yīng)場景中會導(dǎo)致模型將目標(biāo)域中的未知類樣本特征與源域樣本特征對齊，從而使得大量的未知類樣本被模型分類為已知類.文獻(xiàn)[11]提出為每個(gè)源域樣本和目標(biāo)域樣本計(jì)算權(quán)重ωs和ωt以緩解領(lǐng)域硬標(biāo)簽的負(fù)面影響.圖5展示了SPL-OSDA，CMU[11]和DAMC[22]這3個(gè)不同的模型針對Office-31數(shù)據(jù)集的D→W任務(wù)的t-SNE[46]特征可視化的示例.圖6是SPL-OSDA，CMU和DAMC在Office-31數(shù)據(jù)集上D→W任務(wù)中的關(guān)于未知類樣本的分類準(zhǔn)確率.CMU-w/o-weight指移除CMU的域鑒別器模塊的權(quán)重ωs和ωt.如圖5（a）和圖6所示，由于使用了領(lǐng)域硬標(biāo)簽將整個(gè)目標(biāo)域和源域?qū)R，CMU在區(qū)分已知類和未知類方面的性能不佳，無法滿足開放集領(lǐng)域自適應(yīng)可信人工智能的需求.此外，如圖6所展示的相較于無樣本權(quán)重的版本，CMU的樣本權(quán)重使得其模型性能不夠穩(wěn)定.正如圖5（a）（c）和圖6所示，SPL-OSDA在區(qū)分已知類和未知類方面的性能比使用領(lǐng)域硬標(biāo)簽的模型（即CMU）更好.與僅依賴置信度來區(qū)分已知/未知類的DAMC模型相比，SPL-OSDA在多準(zhǔn)則跨域混合模塊中結(jié)合了熵、一致性和置信度3個(gè)準(zhǔn)則來區(qū)分已知類和未知類樣本.通過比較圖5（b）（c）和圖6，可以得出結(jié)論：SPL-OSDA在區(qū)分已知/未知類方面的性能比DAMC更好，分類結(jié)果在不同迭代次數(shù)中表現(xiàn)更加穩(wěn)定，因此SPL-OSDA相較于DAMC等僅依賴置信度進(jìn)行分類的模型來說更加地可信.以上的結(jié)果表明，SPL-OSDA可以精確地識別目標(biāo)域和源域的已知類樣本特征，并將它們對齊，因此SPL-OSDA可以避免將目標(biāo)域的未知類樣本分類為已知類，從而滿足開放場景可信人工智能的要求.

Fig.5 An example of feature visualization with t-SNE for the D→W task on Office-31 dataset圖5 Office-31數(shù)據(jù)集中D→W 任務(wù)上使用t-SNE[46]進(jìn)行的特征可視化示例

Fig.6 The unknown class accuracy of models for the D→W task圖6 模型對于D→W任務(wù)的未知類分類準(zhǔn)確率

2）模型在不同已知類數(shù)量|CS|下的性能.模型在不同數(shù)量的已知類|CS|對Office-31和Office-Home數(shù)據(jù)集上HOS的變化如圖7所示.SPL-OSDA克服了OSBP和DAMC模型的缺點(diǎn)，在開放度較大時(shí)取得了良好的表現(xiàn).此外，我們注意到一些模型，例如UADAL、OSBP、DAMC和STA等在|CS| = 5的D→W任務(wù)中表現(xiàn)不佳.這意味著當(dāng)源域和目標(biāo)域間的域偏移較小且開放度較大時(shí)，僅依靠置信度來區(qū)分已知類和未知類樣本不是一個(gè)可靠的方法，無法滿足可信人工智能的要求.具體來說，這些模型會錯(cuò)誤地將未知類樣本識別為已知類.當(dāng)增大|CS|時(shí)，SPL-OSDA的表現(xiàn)也更好于大多數(shù)方法，這展現(xiàn)了SPL-OSDA在開放場景可信人工智能需求下的魯棒性.此外，我們注意到，若開放度較小，則依賴置信度的模型可以在開放集領(lǐng)域自適應(yīng)任務(wù)上獲得良好的性能.但SPL-OSDA在較小的開放度的場景中也能取得良好的表現(xiàn)，這意味著SPL-OSDA在不同場景中的開放集領(lǐng)域自適應(yīng)任務(wù)中更具有泛化性.對于大多數(shù)任務(wù)，CMU和DANN在不同的開放度上表現(xiàn)都不佳.這表明使用領(lǐng)域硬標(biāo)簽不利于開放集領(lǐng)域自適應(yīng).

Fig.7 HOS varies with |CS|圖7 HOS在不同|CS|下的變化

3）消融實(shí)驗(yàn).我們在Office-31, Office-Home和VisDA-2017這3個(gè)數(shù)據(jù)集上分別評估了SPL-OSDA不同組件的有效性.①GC-w/o-2nd-term表示移除式（8）等號右側(cè)的第2項(xiàng).② SPL-OSDA-w/o-Gaux表示去除掉雙重多分類器中的輔助分類器Gaux，僅使用GC來計(jì)算式（8）中的樣本權(quán)重來將目標(biāo)域的已知類與源域進(jìn)行對齊.此時(shí)，式（8）中的Pknown(x) =S1(x)而非Pknown(x) =S1(x)×S2(x).③ SPL-OSDA-w/o-CMMC表示去除掉SPL-OSDA中的多準(zhǔn)則跨域混合模塊.在這個(gè)設(shè)定下，使用GC的輸出以預(yù)測目標(biāo)域樣本的類別，若則將這個(gè)樣本分類為特定的已知類，否則將其分類為未知類.④ SPL-OSDA-w/o-CMMC-h與③相似，但是使用來預(yù)測樣本屬于特定已知類或是未知類，而非通過將置信度與閾值進(jìn)行比較.⑤ SPL-OSDA-w/o-mixup表示在多準(zhǔn)則跨域混合模塊中不使用跨域樣本混合方法進(jìn)行自步學(xué)習(xí)，而僅僅采用源域樣本作為多準(zhǔn)則跨域混合模塊的輸入.這個(gè)設(shè)定可以評估通過跨域樣本混合方法進(jìn)行自步學(xué)習(xí)的有效性.表3和表4中呈現(xiàn)的結(jié)果展示了SPL-OSDA模型中各個(gè)模塊的作用.其中，式（8）中等號右側(cè)的第2項(xiàng)有助于模型區(qū)分目標(biāo)域的已知類和未知類，即此項(xiàng)可以阻止模型過度自信地將未知類樣本誤分類為已知類.輔助分類器Gaux可以輔助模型計(jì)算更合適的Pknown(x)，從而實(shí)現(xiàn)更精確的2個(gè)域之間的對齊.觀察表3和表4中的SPL-OSDA-w/o-CMMC和SPL-OSDA-w/o-CMMC-h的結(jié)果可以發(fā)現(xiàn)：將熵、一致性和置信度相結(jié)合相較于僅依賴置信度來說更可靠，使得模型更能符合基于開放集領(lǐng)域自適應(yīng)場景下可信人工智能的要求.SPL-OSDA-w/o-mixup的結(jié)果說明，通過引入跨域樣本混合方法有助于模型在更連續(xù)的特征空間內(nèi)學(xué)習(xí)域不變特征，特別是源域和目標(biāo)域間存在顯著域偏移時(shí).

Table 3 OS and HOS on Office-31 and VisDA-2017 Datasets表3 Office-31和VisDA-2017數(shù)據(jù)集上的OS 和HOS %

4）超參數(shù)的魯棒性.通過在Office-31數(shù)據(jù)集的A→D和D→W任務(wù)以及Office-Home數(shù)據(jù)集的Cl→Pr任務(wù)上調(diào)節(jié)超參數(shù)λ1和λ2以評估模型對于不同超參數(shù)的魯棒性.如圖8所示，與調(diào)整超參數(shù)相比較，手動調(diào)整閾值會顯著地影響模型的性能，無法滿足開放場景中可信人工智能的要求.與之相反地，本文模型對于不同的超參數(shù)λ1和λ2具有更為穩(wěn)定的性能表現(xiàn)，使得其能滿足開放場景中可信人工智能的要求.因此，SPL-OSDA無需仔細(xì)地、經(jīng)驗(yàn)性地調(diào)整超參數(shù)或者是手動設(shè)置一個(gè)閾值.同時(shí)，還探索了多準(zhǔn)則跨域混合模塊中不同分類器數(shù)量m對于模型性能的影響.如表5所示，SPL-OSDA在不同的分類器數(shù)量m下仍能保持穩(wěn)定的性能.以上結(jié)果說明了SPL-OSDA為開放集領(lǐng)域自適應(yīng)的可信人工智能提供了保證.

Table 5 OS and HOS with Various m on Office-31 , Office-Home and VisDA-2017 Datasets表5 在Office-31, Office-Home和VisDA-2017 數(shù)據(jù)集上不同m 設(shè)定下的OS和HOS%

Fig.8 Sensitivity of hyperparameters λ1 and λ2圖8 模型對于超參數(shù)λ1和λ2的敏感性

4 結(jié) 論

本文提出了一種新的面向開放集領(lǐng)域自適應(yīng)的自適應(yīng)學(xué)習(xí)框架SPL-OSDA.該框架包括2個(gè)關(guān)鍵模塊：雙重多分類器模塊和多準(zhǔn)則跨域混合模塊.雙重多分類器模塊將目標(biāo)域中的已知類與源域?qū)R，而非對齊整個(gè)目標(biāo)域，同時(shí)其利用未標(biāo)記的目標(biāo)域樣本為多準(zhǔn)則跨域混合模塊的自步學(xué)習(xí)計(jì)算合適的閾值.多準(zhǔn)則跨域混合模塊通過跨域樣本混合最小化目標(biāo)域偽標(biāo)簽的噪音，同時(shí)也幫助模型能進(jìn)一步地學(xué)習(xí)到目標(biāo)域中的已知類特征.本文模型結(jié)合了多個(gè)準(zhǔn)則：熵、一致性和置信度以區(qū)分已知類和未知類，相較于僅依賴置信度的模型更魯棒，使得SPLOSDA滿足了開放場景中對于可信人工智能的需求.在3個(gè)開放集領(lǐng)域自適應(yīng)數(shù)據(jù)集的基準(zhǔn)測試中，SPLOSDA總體上取得了最優(yōu)的表現(xiàn)，尤其是當(dāng)開放度較大時(shí).此外，SPL-OSDA對于超參數(shù)的變化不敏感，能提供穩(wěn)定的性能.

在未來的工作中，我們將繼續(xù)改進(jìn)SPL-OSDA在Office-Home數(shù)據(jù)集上的OS得分，同時(shí)計(jì)劃將其擴(kuò)展到解決通用領(lǐng)域自適應(yīng)場景中的任務(wù).

作者貢獻(xiàn)聲明：劉星宏提出了方法思路和實(shí)驗(yàn)方案,并完成實(shí)驗(yàn)和撰寫論文；周毅指導(dǎo)研究方案設(shè)計(jì)并修改論文；周濤和秦杰提出指導(dǎo)性意見并修改論文.