結合自注意力的對抗性領域適應圖像分類方法*

陳 誠，郭衛斌，李慶瑜

(1.華東理工大學信息科學與工程學院，上海 200237;2.上海網達軟件股份有限公司，上海 201206)

1 引言

深度神經網絡擅長從大量已標注樣本中學習，近年來在計算機視覺、自然語言處理和語音識別等領域取得了令人矚目的成就。但是，在將已訓練模型推廣到新的數據集或應用領域時，卻會因為數據集之間存在的方差偏移(Covariate Shift)[1]使結果不夠理想。同時，獲取足夠數量的已標注樣本通常需要耗費大量的時間和人力成本，有時甚至是無法實現的。如何有效地解決標注樣本獲取的困難以及使模型能夠更好地適應數據集之間的偏移已成為一項富有挑戰性的工作。

領域適應[2，3]使用來自目標域的未標注數據提供的輔助訓練信息來處理數據集間的偏差。領域適應的目的是使用來自源數據集的知識來適應目標數據集的訓練，并將訓練得到的模型用于目標域的預測[4]。當源域和目標域的數據集存在偏差或需要將源域訓練得到的模型遷移至目標域時，通常的有監督領域適應方法是先對目標域的數據進行標注，然后通過標注后的目標域數據重新訓練模型，完成目標域圖像到類別標簽的映射，但通過領域適應則可以實現跨域映射圖像，而不需要目標域圖像的類別信息。所以，領域適應是解決數據集間偏差及標注數據獲取困難的有效途徑，并在近年來得到了迅速發展?；谔卣鞯臒o監督域自適應方法UDA(Unsupervised Domain Adaptation)[5]不依賴任何已標注的目標樣本，通過在源域和目標域之間對齊從網絡提取的特征來實現領域適應[6]，即在UDA中，只有源域中的數據有類別標簽，而目標域的數據是無標簽的，因此無法直接通過有監督學習訓練目標域的數據，而只能通過無監督領域適應來將源域中的知識遷移到目標域中。而隨著神經網絡層數的加深，并引入生成對抗網絡GAN(Generative Adversarial Nets)[7]中的對抗性思想后，領域適應算法在共享特征的提取和分類精度上更有優勢。

傳統的圖像分類算法通過訓練實現圖像特征與圖像類別標簽間的映射，但在UDA中，由于目標域的圖像是沒有類別標簽的，所以無法直接通過圖像特征與類別標簽的映射完成對圖像的分類。為實現UDA中的跨域圖像映射，需要分成2個步驟：(1)訓練源域圖像分類。因為源域圖像具有類別標注，所以源域圖像分類訓練過程和傳統圖像分類訓練相同；(2)完成源域和目標域間的圖像適應。第(2)步在不同算法中處理方法各不相同，本文將在第2節繼續展開對領域間圖像適應的具體理論分析[8]?？傮w來說，區別于傳統圖像分類，UDA圖像分類的目的在于尋找一種算法能夠在提高分類精度的同時又能很好地完成域間的適應，該問題等同于為領域間差異提供一種理論描述，從而能夠使用優化算法來實現分類精度和域間差異之間的平衡[9]。從圖像分類角度解釋，即通過訓練使得領域間的差異對于模型而言越來越小時，提高模型的源域圖像分類精度的同時也能使得模型更好地分類目標域圖像，這也符合直覺上的邏輯[10]。

然而，圖像分類中經常采用的卷積神經網絡雖然擅長學習具有很少結構特征的圖像類，但無法學習到在某些類別中一致出現的幾何或結構特征，即由于卷積運算的局部感受域的原因，卷積網絡偏向于提取圖像局部的紋理特征，但很難學習到圖像整體的結構特征。此類問題同樣存在于領域適應的特征提取階段中，使得適應效果局限于局部特征映射之間的轉換而不夠理想。

本文以UDA的圖像分類為例，比較分析GAN中對抗性思想和領域適應的關系，并在算法理論層面類比GAN的改進算法，嘗試通過引入自注意力模塊對領域適應算法中存在的無法建模長距離依賴的缺陷做出改進，從而進一步優化遷移和圖像分類性能。此外，考慮到兩者在任務上的差異，嘗試通過在自注意力模塊中引入新的學習參數來進行完善。實驗基于常用的UDA數據集，在無監督適應的圖像分類任務上的效果較優，證實了本文方法的可行性和有效性。

2 相關工作

2.1 生成對抗網絡

Goodfellow等[7]受博弈論中的二人零和博弈的啟發，提出了GAN。GAN中，通過輸入的隨機噪聲z(其中z～pz(z),pz(z)為噪聲所屬的概率分布)，生成器G不斷逼近真實數據x的概率分布pdata，判別器D對來自G生成的虛擬數據和來自pdata的真實數據不斷辨別數據是否真實，生成器和判別器通過最小最大化游戲達到最終的納什均衡：

Ez～pz(z)[log(1-D(G(z)))]

(1)

通過第1節中對于UDA圖像分類的闡述可以得知，UDA圖像分類的本質是如何實現分類精度和域間差異的平衡。而UDA圖像分類中的目標域圖像映射不斷逼近類別標簽的目的正好和GAN中的對抗性思想吻合。2.2節正是通過引入對抗性思想來解決UDA的圖像分類問題的，這也證實了前文的理論分析。

2.2 對抗性領域適應算法

在領域適應任務中，源域中訓練得到的分類器適應目標域數據的分類任務和GAN中生成虛擬數據逼近真實數據分布的概念相吻合。對應地，領域適應中帶有參數θf的共享特征提取器為生成器G，判別器D則通過不斷更新參數θd來判別數據的來源，結合帶有參數θy的分類器C，融合對抗性思想的領域適應算法DANN(Domain-Adversarial Training of Neural Networks)[11]如下所示：

(2)

其中，

其中，xi表示輸入樣本，yi表示類別標簽；di表示領域標簽，如果屬于源域則為0，如果屬于目標域則為1;n和n′分別代表源域和目標域中的樣本數；n+n′=N，N為總樣本數；λ為權重參數。文獻[11]證明，當源域數據與目標域數據之間的分類誤差和經驗散度達到平衡時，DANN最優。因此，DANN通過迭代不斷交替更新：

(3)

(4)

Figure 1 Structure of self-attention module圖1 自注意力模塊結構圖

2.3 自注意力模塊

文獻[12]指出，由于卷積運算具有局部感受域，淺層卷積模型無法提取長距離的依賴特征，而多個卷積層雖然能夠建立圖像區域間的長距離依賴特征，但其計算效率很低，并且參數的增加也會降低模型的健壯性。所以，GAN在建立不同圖像區域間的長距離依賴時不夠理想。另一方面，自注意力[13]在建立遠程依賴關系和計算效率之間表現出良好的平衡能力。同時，自注意力模塊計算得到所有特征的加權組合，其中的權重參數或稱自注意力向量僅增加了較小的計算成本。因此，文獻[12]提出了結合自注意力的生成對抗網絡SAGAN(Self-Attention Generative Adversarial Networks)來更好地提取包括局部和整體特征映射的混合特征映射。從圖像角度解釋，即SAGAN通過引入自注意力模塊來提取能夠反映圖像整體空間關系的幾何及空間特征映射，同時結合原始的局部特征映射來生成更為真實的圖像。經驗證，相較于增加卷積核的大小，自注意力模塊能夠以更低的計算量提取圖像的幾何特征關系。

文獻[12]結合自注意力的思想，構建了自注意力模塊，其結構如圖1所示。其中，x′表示經過卷積層提取得到的圖像特征，f(x′i),g(x′j),h(x′i),v(x′i)表示圖像特征經過1×1卷積形成的映射函數，?表示矩陣乘法，Softmax運算在每1行上進行，o為自注意力模塊最終的輸出,N為總樣本數。

自注意力模塊的表達式如下所示：

(5)

(6)

sij=f(x′i)Tg(x′j)

(7)

其中，sij表示f(x′i)與g(x′j)相乘得到的中間結果，f(x′i),g(x′j),h(x′i),v(x′i)表達式如下所示：

f(x′i)=Wfx′i

g(x′j)=Wgx′j

h(x′i)=Whx′i

v(x′i)=Wvx′i

Wf,Wg,Wh,Wv∈RM×M

其中，M為特征的通道數。γ為可學習參數，初始值為0，意為自注意力模塊初始只輸出原始的上采樣虛擬圖像特征xi，之后在學習過程中逐漸加入自注意力圖像特征的部分，組成局部和自注意力的混合圖像特征，來生成更加逼真的虛擬圖像。

然而文獻[14]表明，GAN屬于生成器一類，即GAN模型的目的是為了使生成器能夠生成更加逼真的圖像。而在領域適應中，模型的目的則是為了使分類器能夠更好地對目標域的數據進行分類，這也是文獻[14]將DANN歸為判別器一類的原因，即通過判別器判斷目標域的數據和源域數據越來越相似時，通過源域數據訓練的分類器對目標域數據的分類也將越準確。因此，領域適應的任務和GAN的任務在本質上有所不同。

3 結合自注意力的對抗性領域適應算法

本文在總結概括先前方法的基礎上，類比SAGAN對于GAN的改進，嘗試通過在DANN中引入自注意力模塊來改進DANN建模長距離依賴的能力，并通過改進自注意力模塊來使其能夠更加適用于領域適應的任務。引入改進的自注意力模塊后得到的混合特征映射表達式如式(8)所示:

GF(x;θf;θs;δ;γ)=δGf(x;θf)+

γGs(Gf(x;θf);θs)=δGf(x;θf)+

(8)

為了便于說明，以下出現的(·)表示省略參數。式(8)中，δ為本文引入的新學習參數，初始值為1，其具體作用將在后文分析；θs表示自注意力層參數，即f(·)，g(·)，h(·)，v(·)4個函數中的所有的參數；θf表示特征映射層Gf的參數；GF(·)為局部特征映射和自注意力特征映射組成的混合特征映射，因在原來的特征映射函數Gf(·)的基礎上進行了擴展，所以使用GF(·)表示；Gf(·)原為上采樣形成的虛擬圖像特征，在這里為特征提取器F提取的特征映射；Gs(·)為自注意力函數，因為自注意力被稱為Self-Attention，因此以首字母s命名為Gs(·)；f(·)，g(·)和h(·)的含義同原自注意力模塊中的含義。由于自注意力層的引入與SAGAN有所不同，為了便于說明，GF(·)中將γ作為單獨的參數。

雖然SAGAN中完全保留xi意在完全保留上采樣圖像特征，從而能夠生成更加逼真的虛擬圖像，但在領域適應的任務中局部特征映射Gf(x)不是一定有利于分類的,即對于分類任務而言不需要完全保留，而是可以以一定的權重從中挑選有利于分類的部分，而該權重可以由神經網絡自動擬合。本文從自注意力層的引入著手，在原始的自注意力模塊的輸出層引入1個新的學習參數δ，其初始值為1。類比于SAGAN中引入的γ參數，引入δ意在初始時使用提取的局部特征映射來進行分類和判別，后續逐步使用更加完整的自注意力特征映射來取代一部分局部特征映射。這樣設計的原因在于，在領域適應的分類任務中，局部特征映射雖然也有助于分類，但與自注意力特征映射混合并達成動態平衡后，可以進一步提高分類準確率。同時，參數δ的引入能夠使得加入自注意力層以后，模型提取的特征數在總體上仍然保持相對穩定，以此增加整體模型的健壯性。本文希望通過引入訓練參數δ，使自注意力模塊能夠針對分類任務，在整體特征映射和局部特征映射之間取得平衡，從而提高在領域適應任務中的準確率。而在計算成本方面，1個訓練參數的引入也不會影響自注意力模塊的性能。

結合了改進的自注意力模塊的DANN的結構如圖2所示。圖2中，X代表樣本集，Y代表類別標簽集，DA代表領域標簽集。?為矩陣乘法，x為輸入圖像，y為圖像標簽，d為域標簽。F層在原GAN中為生成器，在本文中為特征提取器，S為改進的自注意力模塊，C和D含義同DANN中一樣，分別為分類器和判別器。因為該模型需要作為推廣使用，所以對F,S,C,D4個部分進行了抽象，而不限制具體的實現。引入參數δ之后，S層和F層的輸出共同構成了提取的混合特征映射。

Figure 2 DANN structure combined with improved self-attention module圖2 結合改進的自注意力模塊的DANN結構圖

本文算法表達式如下所示：

(9)

(10)

4 數值實驗

為了驗證和比較算法的可行性和有效性，本文使用公開的數據集進行測試和分析。按照無監督領域適應的要求，所有目標域將均由未標注樣本組成，若無特別說明，均使用全部訓練集。出于橫向比較的考慮，本文采用了多種常用的UDA圖像分類數據集，包括數字數據集(MNIST、USPS、SVHN、Synthetic Numbers)、交通標志數據集(Synthetic Signs、GTSRB)以及常見物體數據集(CIFAR-10、STL-10)。其中，數字數據集都為0～9共10個數字。交通標志數據集中則是交通法規中規定的總共43種常用交通標志，如彎道、限速等。最后的常見物體數據集中則是例如飛機、鳥類等共9種常見的交通工具和動物。參照文獻[14]對數據集的處理，以顏色通道數為劃分依據，將適應任務分為2組，分別為單通道(Gray)和三通道(RGB)適應，共計6個任務：MNIST→USPS，USPS→MNIST，SVHN→MNIST，Synthetic Numbers→SVHN，CIFAR-10→STL-10以及Synthetic Signs→GTSRB，其中前3個為單通道適應任務，其余為三通道適應任務。以下為各數據集具體介紹：

(1)MNIST：領域適應測試中最常用的手寫數字數據集，訓練集共包含60 000幅圖像。在與USPS的適應任務中，按照文獻[11]中的訓練方法，從訓練集中隨機抽取20 000幅用作訓練，而MNIST與SVHN的領域適應學習任務中則使用全部的訓練集。

(2)USPS：與MNIST類似的數字數據集，訓練集共包含20 000幅圖像。

(3)SVHN：從真實場景中收集并經過簡單裁剪處理得到的32×32像素的數字數據集，分類難度較大。訓練集中共包含73 257幅圖像。

(4)Synthetic Numbers：數字數據集。由于一般訓練模型使用的是合成數據，推廣到真實場景時不夠理想，為了解決這一問題，仿照SVHN創建了該人工數據集。

(5)Synthetic Signs：共包含43個交通標志類別的數據集。與Synthetic Numbers類似，該數據集也是為了推廣模型而人工創建的，領域適應的難度較大。

(6)GTSRB：常用于分類的43種大型交通標志數據集，訓練集共包含35 000幅像素在15×15～250×250的圖像。

(7)CIFAR-10：9種常見交通工具和動物數據集。為進行領域適應任務，參照文獻[15]的數據集處理方法，將其中的‘frog’類的樣本去除，使其與STL-10[16]近似。

(8)STL-10[16]：與CIFAR-10數據集類似的9種常見交通工具和動物數據集，同CIFAR-10的處理方法，將其中‘monkey’類的樣本去除，并按照CIFAR-10中的類標簽對STL-10中的樣本進行重新標注。

4.1 參數設置

本文提出的結合自注意力模塊的領域適應算法基于已有的算法模型DANN，在其基礎上引入了自注意力模塊，以改進其提取空間幾何特征的能力。為了對比的有效性，在參數設置上盡量保持相同。λ仍然保持為λ=2/(1+exp(-10·p))-1，其中p的初始值為0，隨著訓練迭代逐步增加至1，其目的是在訓練的初始階段加快特征提取器的訓練速度，超參數λ僅與模型的收斂速度有關，不影響模型的效果，也可以直接令λ=1。而自注意力模塊的參數則和SAGAN的盡量保持相同，γ為學習參數，初始值為0。添加的學習參數δ，初始值為1。數據集方面，單通道的適應任務中，圖像尺寸統一調整為28×28像素，并轉換為單通道灰度圖像。三通道適應任務中，Synthetic Signs→GTSRB的圖像尺寸統一調整為40×40像素。Synthetic Numbers→SVHN的圖像尺寸統一調整為32×32像素。STL-10按照CIFAR-10中的圖像尺寸，調整為32×32像素。

4.2 實驗結果及分析

從表1和表2中可以看出，引入了自注意力模塊以后，本文方法相較于原始的DANN在分類精度上取得了較大的提升。同時，從三通道分類實驗結果中也發現，如果自注意力模塊不進行改進而直接引入到DANN中(簡稱為SA-DANN)，分類的精度不是很穩定，可能會出現分類精度下降的現象。對此可能的解釋為，自注意力模塊加入的同時也增加了模型的參數個數和深度，在完全保留特征映射Gf(x)的情況下，疊加的自注意力映射將會增加分類器的不穩定性。不過從總體上看，自注意力模型的引入對于分類精度的提升還是有效的。這同時也證明了自注意力模型中引入新的學習參數使得局部特征映射和自注意力特征映射之間取得平衡時，分類效果更優。因此，本文對于自注意力模型的改進是可行的。

Table 1 Single channel image classification accuracy表1 單通道圖像分類準確率

Table 2 Three-channel image classification accuracy表2 三通道圖像分類準確率

為了更為直觀地展現領域適應的效果，本文將提出的結合自注意力模塊的對抗性領域適應方法構建得到的神經網絡模型提取的域不變特征通過t-SNE[19]工具進行可視化處理。以USPS→MNIST 為例，從每個域隨機采樣少量樣本。圖3和圖4顯示了第1次領域適應迭代和完成領域適應后樣本的變化，其中“+”表示源域，“-”表示目標域。從圖4中可以發現，源域和目標域的樣本經過領域適應后基本消除了方差偏移，表明本文方法具有優秀的提取域不變特征的能力。

Figure 3 Sample distribution after the first iteration圖3 第1次迭代后的樣本分布

Figure 4 Sample distribution after domain adaptation has been completed圖4 已完成領域適應后的樣本分布

5 結束語

本文深入分析了生成對抗網絡和領域適應算法的相通性，領域適應中逼近真實數據分布的任務與生成對抗網絡生成逼近真實的圖像在邏輯處理上基本相同。針對原始GAN中無法建模長距離依賴的不足，本文類比GAN的改進算法，通過引入自注意力模塊來對DANN中同樣存在的問題進行優化。考慮到GAN算法的任務和領域適應任務雖然類似，但本質有所不同，本文對自注意力模塊進行了改進，使其不完全保留提取的局部特征映射，而是在局部特征映射和自注意力特征映射之間取得平衡。改進的自注意力模塊能夠提高分類任務的準確率，同時不增加自注意力模塊的計算成本，更加適用于領域適應任務。實驗選用公開的標準領域適應數據集對本文提出的結合注意力模塊的對抗性領域適應方法構建的神經網絡模型進行測試和評估，通過對比其他算法和可視化提取到的共享特征，展示了方法的可行性和有效性。