基于任務感知關系網絡的少樣本圖像分類

郭禮華 王廣飛

(華南理工大學電子與信息學院 廣州 510641)

1 引言

在圖像分類任務中，小樣本學習(Few-Shot Learning, FSL)旨在通過對新類別少量圖像樣本的學習，獲得對該類別圖像的識別能力。度量學習和元學習是兩大解決小樣本學習的方法。元學習方法通過跨任務之間的學習，在不同任務之間學習以適配新任務。度量學習是學習樣本對之間的相似度量，從而獲取可以推廣至其他類別樣本的度量能力。由于度量學習的泛化能力更強，其也是目前主流的小樣本圖像分類方法。

經典的關系網絡(Relation Networks, RN)在度量階段采用卷積神經網絡對圖像特征之間的相似性進行度量[1]。可是RN模型在類別原型生成階段和相似性度量階段都缺乏對分類任務整體信息的感知，其中類別原型的選擇不能反映分類任務中圖像的分布信息，并且度量模塊由于缺乏對任務全局信息的感知，此模型缺乏對特定任務的適應能力。為了提升模型的適應能力，本文早期工作位置感知的關系網絡(Position-Awareness Relation Network,PARN)模型[2]嘗試給每個位置增加注意力機制，但是其側重于關注空間信息關系，缺乏建模任務信息。Oreshkin等人[3]通過尺度縮放來設計一個和任務相關的度量空間，實驗結果也驗證了任務信息的加入可以提升少樣本圖像分類的性能。但是這種設計的任務相關的度量空間僅依賴尺度縮放，缺乏更深入的建模任務相關信息。根據心理學研究成果1https://plato.stanford.edu/entries/perceptual-learning/，人在學習過程中，都會提前感知學習任務，再根據學習任務進行相應的學習。如果機器模型也能提前對任務進行分類，然后再進行學習是符合人類學習的規律，這樣的學習范式可以提升學習效率。基于此，本文提出任務感知的關系網絡模型(Task-Aware Relation Network, TARN)。相比于RN, TARN模型引入模糊C均值(Fuzzy C-Means, FCM)聚類算法，生成基于任務全局分布的任務相關類別原型；同時設計任務相關注意力機制(Task Correlation Attention mechanism, TCA)。TCA使得輸出特征在每一個空間位置都聚合有任務全局信息，并自適應地學習局部特征。

本文的主要貢獻包括3個方面：

(1)提出一種新的原型生成方式，利用FCM聚類算法生成任務相關的類別原型。

(2)設計任務相關注意力機制，計算局部特征與任務全局之間的相關性，然后將其相關性作為注意力權重賦予每個局部特征。

(3)設計任務感知的關系網絡模型，融合任務相關的類別原型生成和任務相關注意力機制。

2 相關工作

基于度量學習的小樣本學習算法旨在通過“學習比較”的方法解決小樣本圖像分類問題，即通過比較兩個圖像之間的相似度去判定圖像所屬類別。Sung等人[1]設計提升度量模塊的度量能力的方法，提出關系網絡模型(RN)。位置感知的關系網絡(PARN)模型[2]嘗試在RN網絡模型的基礎上，給每個位置增加注意力機制來獲取特征空間信息的關系。Oreshkin等人[3]則是在原型網絡的基礎上引入任務嵌入網絡。Maniparambil等人[4]提出一種基變換器(base transformer)的方法，這種方法關注到在基礎數據集的特征空間里面存在大量的相關局部區域，利用這些局部區域的相關性可以很好地對示例表征進行建模。Liu等人[5]認為傳統方法使用一組局部特征作為圖像表示而不是采取混合的局部特征，為此提出互中心化學習的思想來關聯圖像局部特征的稠密表示。

基于元學習的小樣本學習算法一般是設計一些迭代優化的策略，指導模型通過大量分類任務學習到有助于模型快速優化的通用知識，例如模型初始化參數，模型參數優化策略等。Finn等人[6]提出了一種模型無關的元學習方法(Model Agnostic Meta Learning, MAML)。MAML旨在通過對大量分類子任務的學習，學習得到模型的初始化參數。Nichol等人[7]提出1階梯度近似和低維隱空間用于解決MAML算法中計算量過大的問題。Oh等人[8]通過修改Meta學習次序，在模型更新過程中，固定分類器參數，只更新特征學習部分參數，提高特征表達學習能力。Chen等人[9]則提出了一個新的元學習的新基準，通過先在基礎類上預訓練一個分類模型，然后保留分類模型地編碼器作為特征提取的骨干網絡。最后微調骨干網絡進行元訓練。Shen等人[10]也認為在元學習過程中需要在基礎模型里面固定或者微調某些特定層參數來實現部分知識的遷移。Snell等人[11]則是利用貝葉斯學習框架將一些先驗假設建模到少樣本學習中，克服算法的過擬合問題。

目前小樣本圖像分類研究是一種百家爭鳴狀態，本文從度量學習角度出發，引入任務相關信息，設計任務相關的類別原型和注意力機制，這種思路不同于傳統方法。

3 任務感知的關系網絡模型

3.1 整體框架

TARN模型的整體框架如圖1所示，給定一個圖像分類任務，首先對支持集圖像和查詢集圖像利用特征提取網絡進行特征提取，得到對應的支持集圖像特征fs和查詢集圖像特征fq。為了獲得任務中的圖像分布全局信息，采用FCM算法對分類任務中的全部圖像特征進行聚類，以便生成任務相關類別原型ft(更多細節參考3.2節)。最后為了使得度量模塊獲得對任務全局信息的感知，本文提出TCA算法，將任務相關類別原型ft的全局信息聚合到支持集類別原型fs和查詢集圖像特征fq的每一個空間位置(更多細節參考3.3節)。

圖1 TARN模型整體框架

3.2 基于FCM聚類的類別原型生成方法

RN模型將支持集中同一類別圖像特征的均值作為類別原型，用于后續度量模塊的相似性計算。但是由于小樣本學習任務中只有少量標注圖像，所以生成的類別原型不準確。另外，由于類間相似性和類內差異性，支持集中某些遠離真正類別中心的圖像會在一定程度上破壞類別原型的類別表征能力。針對上述問題，本文提出采用FCM算法，依據任務全局分布信息進行聚類，生成任務相關的類別原型，并設定基于FCM聚類的類別原型數量等于數據集中類別的數量。

圖2給出FCM模塊計算任務相關類別原型的示意圖。對于特征提取模塊輸出的支持集類別原型特征∈R[c,h,w]和查詢集圖像特征∈R[c,h,w]，其中c,h,w分別表示圖像特征的通道維度大小、空間維度的高度和寬度，i ∈[1,s]和j ∈[1,b]分別表示分類任務中s個類別原型中的第i個，和b個查詢集樣本中的第j個。利用卷積神經網絡計算類別原型和查詢集樣本的隸屬度信息，得到隸屬度矩陣Ms∈R[s,s]和Mq∈R[s,b]用以分別表示類別原型的隸屬度和查詢樣本的隸屬度。隸屬度矩陣中元素Mi,j的計算為

圖2 FCM模塊計算任務相關類別原型的示意圖

其中，h?(·)表示用于計算隸屬度大小的卷積神經網絡。fi代表第i個類別的類別原型，fj則在Ms和Mq的計算中分別代表第j個類別的類別原型和第j個查詢集圖像特征，fi和fj在特征維度進行級聯后送入卷積神經網絡計算隸屬度大小，并且卷積神經網絡的輸出經過sigmoid函數映射到[0, 1]。對矩陣Ms和Mq在第1維度進行l1歸一化，使得每一個圖像特征對任務中s個類別的隸屬度大小之和為1，即每個圖像屬于s個類別得可能性之和為1。最后基于隸屬度矩陣計算任務相關類別原型ft，其中類別i的任務相關類別原型f計算為

在上述任務相關類別原型ft的計算過程中。一方面通過隸屬度矩陣Ms的計算，從類間相似度的角度調整類別原型fs對類別原型ft的貢獻度大小，減弱遠離類別中心的圖像對ft表征能力的破壞。另一方面通過特征隸屬度矩陣Mq的計算，使得查詢集中的無標簽樣本可以參與ft的計算，在一定程度上利用分類任務中無標注樣本實現了數據增強的目的。

3.3 任務相關注意力機制(TCA)

由于分類任務中類間相似度的存在，面對不同分類任務時應當關注的部分也是不同的。RN模型中1對1的度量方式缺乏對任務全局信息的感知，不能利用任務全局分布信息找到有助于正確分類的局部特征，從而在一定程度上限制了模型在特定任務上的性能表現。為此本文提出TCA算法，采用類似非局部神經網絡中非局部操作的思想，將任務相關類別原型的全局信息聚合到輸出特征空間維度的每一個位置上。

TCA算法流程如圖3所示，當給定分類任務中的一個查詢集樣本特征fq、類別原型特征fs和任務相關的類別原型特征ft時，TCA算法通過計算ft全局信息在fq和fs空間維度位置的響應得到fqt和fst。ft是基于任務全局分布信息聚類得到的，則fqt和fst空間維度的每個位置都包含有任務全局信息在該位置的響應。最后將fq,fs,則fqt,fst在特征維度通道進行級聯并送入卷積神經網絡進行相似度度量，則每次卷積操作都可以包含任務全局信息，并能根據任務全局信息在局部位置的響應，自適應地對局部特征的關注度進行學習。

圖3 TCA算法流程

TCA算法的具體計算過程如下：在給定特征fq∈R[c,h,w]和ft∈R[c,h,w]計算fqt的過程中。為了計算ft全局信息在fq空間維度上每個位置的響應，需要計算fq局部特征和ft局部特征之間的相關性，并以相關性大小作為權重計算ft所有特征的加權和，作為ft全局信息在fq對應位置的響應。首先使用卷積核尺寸1 ×1的卷積層對fq和ft進行線性映射，得到fq′∈R[c′,h,w]和ft′∈R[c′,h,w]，并將其進行維度轉換得到fq′∈R[hw,c′]和ft′∈R[hw,c′]，然后進行相關性計算得到任務注意力圖At∈R[hw,hw]。當 計 算fq′的 空間 位置i( 1≤i ≤hw)和ft′的空間位置j( 1≤j ≤hw)對應局部特征之間的相關性A時 ，從對應位置分別取得特征向量∈R[c′]和∈R[c′] ， 并記在對應位置的逐點運算操作，即由計算得到。在具體實踐中，選擇余弦相似度函數用于相關性計算，則的計算為

征向量。將fq′和ft′在特征通道維度進行l2歸一化，則Aqt的 計算過程可以表示為如式(4)的矩陣運算形式

利用At包含的相關性信息充當權重，計算ft所有位置的特征加權和，然后作為在fq特定位置的響應，其中ft全局信息在fq空間位置i( 1≤i ≤hw)的響應的計算為

則fqt可由如式(6)的矩陣運算得到

再將fqt進行維度轉化得到fqt∈R[c′,h,w]，并通過1×1卷積神經網絡將特征通道維度還原為c。

給定fs和ft，可以采用同樣的方式計算ft全局信息在fs局部位置的響應，得到fst。經過TCA算法的計算后，將fq,fs,fqt,fst在特征維度進行級聯，送入TARN模型的度量模塊。則度量模塊中的卷積運算可以根據任務全局信息在局部位置的響應，自適應地對局部位置卷積所得特征進行比較。從而使得TARN模型學習到更加魯棒的度量。

4 實驗設置與環境

4.1 數據集和網絡結構介紹

實驗選用兩個經典小樣本圖像分類數據集，即Mini-ImageNet[12]和Tiered-ImageNet[13]。Mini-ImageNet包含有100類共60 000張RGB彩色圖像，其中每一類圖像有600個樣本，圖像統一大小為84 ×84，Mini-ImageNet劃分64個類作為訓練集，16個類作為驗證集，20個類作為測試集。Tiered-ImageNet包含了更多的圖像類別，并且采用了層級劃分的策略。Tiered-ImageNet將608個類別共計779 165張圖片劃分為34個大的類別。

本文TARN模型的特征提取網絡可以采用兩種通用特征提取網絡：4層卷積層網絡(Conv4)和12層殘差網絡(ResNet12)。Conv4擁有4層卷積層，每個卷積層輸出特征通道數為64，卷積核尺寸為3×3，其中每層卷積層后面連接有批量歸一化層和ReLU激活層，并且最后兩層卷積層后連接有2×2的最大池化層。ResNet12則是文獻[14]中的結構。模型利用Sigmoid運算將度量模塊的輸出結果映射到0～1之間，作為對應查詢集圖像與對應類別之間的相似度結果。

4.2 實驗環境與相關設置

實驗系統環境為Ubuntu 18.04系統，英偉達RTX 2080Ti(11GB), PyTorch(1.5.1)深度學習框架。實驗采用Adam優化算法對模型進行端到端的訓練，訓練開始學習率初始值設置為0.001，每經過100次迭代后，學習率降低1/2。對于5-way 1-shot任務和5-way 5-shot任務，在訓練過程中，查詢集中每個類別的樣本數量分別為15張和10張；而在驗證和測試過程中查詢集中每個類別的樣本數量統一為15張。通過在訓練集中隨機采樣的方式得到100 000個分類任務用于TARN模型的訓練。并且每經過2 000個分類任務訓練，就通過在驗證集中隨機采樣的600個分類任務對模型的性能進行驗證，并根據模型在這些分類任務中的平均分類準確率，選擇最優的模型權重參數進行保存。訓練過程結束后，從測試集中采樣600個分類任務對模型的性能進行測試，并將模型的平均分類準確率作為模型的性能指標。這些數據劃分類似經典RN算法的實驗設置。

4.3 實驗結果與分析

對比算法主要有以下幾類：(1)元學習(Reptile[7], SNAL[14], BOIL[8], Meta-Baseline[9],OVE[11], P-Transfer[10]和MELR[15])；(2)度量學習(RN[1], PARN[2], TADAM[3], FEAT[16], DSN[17],NCA[18]和UniSiam[19])；(3)注意力機制(PSST[20],BaseTransformer[4]和MCL[5])。 給出的對比算法涵蓋了基于元學習、度量學習和注意力機制的主流小樣本學習算法。

表1給出了本文與其他小樣本圖像分類算法在Mini-ImageNet數據集的分類準確率結果。通過實驗結果對比可以看到，在Mini-ImageNet數據集上，采用Conv4作為特征提取網絡的情況下，TARN模型通過FCM模塊和TCA模塊的加入，5-way 1-shot和5-way 5-shot設置下，TARN模型的分類準確率比RN模型分別提高了8.15%和7.0%；當改用更深層次的殘差網絡ResNet12進行特征提取，TARN模型的分類準確率比RN模型分別提高了7.81%和6.7%。與PARN相比，在數據集Mini-ImageNet上，5-way 1-shot設置中分類準確率也提高了1.24%。與其他的度量學習方法，如DSN 和NCA, 5-way 5-shot設置下，本文TARN比DSN識別精度高1.22%，比NCA識別精度高2.54%。在5-way 1-shot的設置下，本文TARN模型和基于注意力的PSST方法比，識別精度有0.77%的提升。相比元學習的P-Transfer，在P-Transfer引入外部數據輔助的情況下，無外部數據幫助的TARN模型的識別精度仍高0.61%。最后本文TARN與最近幾年的小樣本圖像分類算法性能比較，本文TARN模型在此數據集上都獲得了最佳的識別精度。

表1 Mini-ImageNet數據集上小樣本分類準確率(%)

表2給出了本文與對比小樣本學習算法在Tiered-ImageNet數據集上的分類準確率結果。通過實驗結果對比可以看到，在Tiered-ImageNet數據集上，當采用特征提取Conv4網絡時，本文TARN模型和RN相比，5-way 1-shot和5-way 5-shot設置中的分類準確率分別提高了4.77%和5.03%。當采用更深層次的特征提取網絡ResNet12時，本文TARN模型和RN相比，5-way 1-shot和5-way 5-shot設置中的分類準確率分別提高了7.81%和6.7%，TARN模型對比RN模型的性能提升更為顯著。主要原因在于淺層特征提取網絡并沒有很好地學習到圖像的特性信息，從而限制了模型的整體性能。當采用更深層次的特征提取網絡時，輸出特征包含了更豐富的圖像特征信息，因而提出的FCM模塊和TCA模塊可以獲得更加豐富的任務相關信息，從而本文TARN算法獲得更顯著的性能提升。與其他的度量學習方法，如DSN, NCA和UniSiam，5-way 1-shot設置下，本文TARN比DSN識別精度高7.77%，比NCA識別精度高5.64%，比UniSiam高6.98%，表明了本文TARN有強大的極少樣本學習能力。雖然在5-way 5-shot下，TARN比MELR低0.001 6(這么小的性能波動受測試分組和測試方差等多種因素影響，并不意味著本文方法比MELR方法性能低)，但在5-way 1-shot下TARN比MELR高出1.85%，表現出更好的少樣本學習能力。最后本文TARN與最近幾年的其他小樣本圖像分類算法性能比較，本文TARN模型在此數據集上都獲得了最佳的識別精度。

表2 Tiered-ImageNet數據集上小樣本分類準確率(%)

為了更直觀地觀察TARN算法的有效性，本文使用權重化類別響應梯度圖方法(Gradient-weighted Class Activation Mapping, Grad-CAM)[21]來獲取熱力圖，以可視化顯示圖像分類時深度網絡模型的誤差梯度響應情況。圖4是本文TARN方法和RN,PARN的對照Grad-CAM熱力圖，從圖4可見，本文的TARN方法的Grad-CAM熱力圖更聚焦于分類物體，表現出TARN對于分類任務的感知能力，這也更進一步說明本文的TARN方法的有效性。

圖4 TARN與RN, PARN的對照Grad-CAM熱力圖

下面比較算法的運算時間復雜度，實驗選用RN, PARN和本文的TARN作為測試對象，這3種算法分別采用兩種特征提取網絡(即Conv4和Res-Net12)，模型訓練50個Epoch后統計模型的訓練時間和測試時間。如表3所示，由于ResNet12特征提取網絡的深度和復雜度都高于Conv4，所以基于ResNet12特征提取網絡的訓練時間都比基于Conv4特征提取網絡的訓練時間長。相比PARN和TARN，不管是訓練時間還是測試時間，本文的TARN比PARN稍有所增加，但表1結果顯示，TARN的實驗精度要高于PARN。由此可見，本文TARN相比PARN犧牲了少量的運算復雜度，但提升了模型的分類性能。

表3 3種模型的訓練時間和測試時間對比

本文利用經典的非線性降維t分布統計鄰域嵌入 (t-distributed Stochastic Neighbor Embedding,t-SNE)算法將查詢樣本與原型進行降維后，降維后可視化圖如圖5所示。系統采用5-way 1-shot模式，共5個類別的數據，圖中圓點是查詢樣本的特征，方塊是關系網絡所提取的類別原型，五角星是本文經過模糊聚類后所提取的類別原型。降維后可視化圖結果可見，查詢樣本更接近本文模糊聚類后所提取的類別原型，當算法進行度量學習的時候，本文的算法進行查詢樣本類別的判斷時，更能找到正確的類別原型，并做正確的分類判斷。

4.4 消融實驗

為了驗證FCM模塊和TCA模塊的有效性，將RN模型、FCM算法模塊以及TCA模塊進行組合。此外還將FCM算法模塊替換為硬判C均值聚類算法(HCM)，即采用硬性劃分的方式對任務中的樣本特征進行聚類。FCM模型和HCM模型擁有相同的可訓練參數量，并且采用了相同的訓練策略，以此保證對比結果的有效性。在Mini-ImageNet數據集上，采用Conv4作為特征提取網絡，對上述各種算法模型的分類性能進行比較，實驗結果如表4。根據實驗結果對比可以看出，FCM比HCM在5-way 1-shot和5-way 5-shot分類任務中均獲得了更好的分類性能。并且可以看到在5-way 1-shot分類任務中，FCM模塊比HCM模塊獲得了更大的性能提升。原因在于5-way 1-shot任務中支持集中樣本數量更少，類別原型的類別表征能力更差，因此普通C均值聚類方法會將更多查詢集圖像錯誤分類，導致聚類得到的任務相關的類別原型的類別表征能力遭到破壞。而模糊C均值聚類算法則可以基于任務樣本特征分布信息調整原類別原型對于任務相關類別原型的貢獻度大小，從而在一定程度上減弱支持集中樣本數量不足帶來的影響。通過實驗結果的對比，FCM算法的有效性和優勢得到了證明。此外，增加TCA模塊后，在兩個實驗設置下，其性能還可以得到提升，實驗結果也同樣證明了TCA模塊的有效性和優勢。

表4 Mini-ImageNet數據集的消融實驗(%)

5 結論

從提升關系網絡對于任務感知的能力角度考慮，本文提出基于任務感知的關系網絡(TARN)用于提升小樣本圖像分類性能。其主要包括兩大模塊：(1)提出模糊C均值(FCM)聚類模塊，對全體樣本特征進行聚類，得到包含任務全局信息的任務相關類別原型。(2)提出任務相關注意力機制(TCA)，通過計算任務全局信息在輸出特征空間維度局部位置的響應，使得度量階段的卷積操作能夠包含任務全局信息，并且自適應的學習對特定位置特征的關注度。在Mini-ImageNet數據集和Tiered-ImageNet數據集上，本文TARN模型和其他主流小樣本學習模型進行實驗對比，實驗結果顯示本文TARN模型可以獲得比其他主流小樣本學習模型更佳的識別精度。