基于ADFRN與SAGCN的少樣本學習方法

強夢燁，陸琴心，晏明昊

(國網江蘇省電力有限公司無錫供電分公司，江蘇 無錫 214000)

0 引言

在現實應用場景中，計算機視覺任務的研究首先會遇到難以獲取理想的數據集的問題[1-6]。目前，圖卷積網絡(GCN)已經被成功應用在少樣本學習任務上，但這類方法存在著明顯的缺陷。隨著圖卷積網絡層數的加深，模型容易出現過擬合的現象[7-9]。基于圖卷積網絡的少樣本研究通常在模型學習過程中僅使用了圖像的全局特征，忽略了圖像中具有類別判別性的細節信息。為了解決上述問題，本文提出了基于自適應細節特征增強網絡(ADFRN)與語義對齊圖卷積網絡(SAGCN)的少樣本學習方法。

1 任務設定

少樣本學習通過構造一系列N-way, K-shot的學習任務來模擬缺少數據的場景。每個學習任務包含兩部分：支持集和查詢集。支持集包含N個不同類別的數據，每一類由K張帶標簽圖像組成。查詢集和支持集擁有相同的類別空間，但是每一類包含M個不帶標簽的圖像。支持集和查詢集不能有相同的數據。模型先在支持集上進行學習，然后給查詢集中的數據預測類別。在模型訓練和測試時，分別在訓練集和測試集上構造學習任務，模型會在這些學習任務上進行學習。

2 模型

2.1 ADFRN

少樣本學習方法大多僅對圖像進行簡單的卷積操作，利用全局特征預測圖像類別。這些方法忽略了圖像中具有類別特點的局部細節信息對于分類的幫助。為了有效地利用這些局部細節，本研究設計了ADFRN。網絡的結構如圖1所示。整個ADFRN網絡可以概括為：

圖1 自適應細節特征增強網絡(ADFRN)結構

r(x)=Rf(g(x),b(g(x),E))

其中，x是輸入圖像，g是全局特征圖，E是指導模型對于輸入圖像進行細節特征強化的經驗知識，b是根據g(x)和E學習到的強化基準，Rf表示特征強化函數，r為細節強化特征圖。

由于同類別的物體帶有類別鑒別性的局部特征是相似的，因此本研究利用模型已經學習到的關于此類別局部增強特征的知識去指導對新樣例進行特征增強。在ADFRN中，類別特征庫專門用來存儲模型已學習到的知識結構，里面的類別i的對應知識可以表示為：

Qi={Ei,Lci,Ni}

其中，Ei∈Rc×h×w是類別i的平均增強特征圖，Lci為類別i的標簽，Ni表示已學習到的類別i的樣例的數量。在對輸入圖像進行卷積后，從類別特征庫選擇和它距離最近的知識作為經驗知識。在每次分類后，模型都會計算新的類別平均增強特征。

得到全局特征圖g(x)∈Rc×w×h和經驗知識E后，利用卷積層對E進行卷積操作，得到一個張量sφ(E)∈Rcp2×h×w，φ是卷積層參數。卷積層的作用是用來學習捕獲局部細節信息的卷積核，每個卷積核的邊長都為p。對于g(x)中c個通道的同一位置g(x):,i,j，都可以根據sφ(E)去生成一組包含c個可學習的卷積核：

ki,j=Sigmoid(sφ*n3(E:,i,j))

其中，sφ表示卷積層，n3表示以E中位置(i,j)為中心，邊長為3的領域，*是卷積操作。

考慮到同類別的圖像受到客觀拍攝條件的影響，導致目標差異較大，為了能夠更靈活地捕捉細節的周邊信息，受到可變卷積的啟發設計了一種自動采樣策略。

利用一個卷積層sθ對g(x)和E進行卷積：

O=sθ(con(g(x),E))

其中，con是級聯操作，O∈R18×h×w是根據g(x)和E學習到的垂直和水平方向上的偏移量圖。對于位置(i,j)上根據O生成邊長為3的領域：

利用ki,j對以g(x):,i,j為中心的區域進行卷積可以得到對應位置的強化基準特征：

b(g(x),E):,i,j=ki,j*np(g(x):,i,j)

利用從E學習到的卷積核對g(x)從通道和空間維度對細節信息進行了捕獲和增強。特征圖的增強可以用殘差網絡進行增強：

g(x)t+1=g(x)t+b(g(x)t,E),t=0,...,T-1

r(x)=g(x)T

超參數t的選擇將影響到網絡的深度，而且學習中涉及了不同種類的數據，使用同一個t是不合適的。因此，本研究引入Neural ODE，將離散化的殘差操作轉變為ODE方程的求解問題：

最終的強化特征圖r(x)可以視作上述方程的解。

圖2 SAGCN語義對齊示意

2.2 SAGCN

得到輸入圖像的強化特征圖以后，利用這些增強特征構造圖結構數據，將圖結構數據作為語義對齊圖卷積網絡的輸入。圖結構數據的初始結點特征和初始邊特征表示為：

初始的結點特征與邊特征構成了輸入SAGCN的初始任務特征圖:

tg0={node0,edge0}

任務特征圖在SAGCN中每經過一個圖卷積層都會對結點特征和邊特征進行迭代更新：

其中，μ是激活函數，I是單位矩陣，Y是圖卷積層中的可學習的參數，D=diag(di,...dH)是對角矩陣，該矩陣中的每一項:

為了進行語義對齊操作，本研究還需要輸入語義指導圖到網絡中，生成用于語義對齊的語義指導結點特征。初始的語義指導圖中僅有sg0={node0}。這些語義參考結點特征在每一層的更新迭代可以表示為：

sgl+1=μ(I(sgl)Yl+1)

其中，I是單位矩陣。

2.3 損失函數

整個模型的損失函數可分為兩部分，一個是語義對齊損失Ls，另一個是分類損失Lc。整個模型的損失函數Lm可以表示為：

Lm=Lc+αLs

其中，l是SAGCN網絡層數，z表述種類數量，Cz(x)表示x中屬于類別z的結點特征中心，ω為歐式距離的平方，λ表示softmax函數，δz是類別z對應的標簽指示向量。在本文中，參數α取值均為1。

3 實驗

3.1 數據集與實驗設定

為了驗證本文提出的模型的有效性，本研究在常用的少樣本學習數據集miniImageNet上進行實驗，實驗過程中使用Adam SGD優化器對模型的參數進行優化，權重衰減設為5e-4，模型的初始學習率設為0.35。

3.2 實驗分析

在數據集miniImageNet上的實驗結果如圖3所示。本文方法在數據集miniImageNet上的表現要好于現有的方法。在處理5-way，5-shot學習任務時，本文方法的優勢更加明顯。當使用WRN-28作為Backbone時，在數據集miniImageNet上取得的準確率比現有方法中表現最好的文獻[1]還要高出1.03%。當使用Res-12作為Backbone時，在數據集miniImageNet上的準確率和文獻[6]以及文獻[7]相比高出了3.15%。

圖3 miniImageNet數據集實驗結果

經消融性實驗可得，GCN的深度為4層，SAGCN深度為8層。在對特征不進行強化時，在數據集miniImageNet上使用SAGCN的準確率比使用一般GCN的準確率分別高出了5.82%和6.93%，證明了語義對齊操作能夠防止過擬合現象。當僅使用GCN進行分類時，對局部細節加強后，在數據集miniImageNet上準確率提升了2.71%，表明對細節信息的增強對分類能起到一定的促進效果。當同時對圖像的局部細節特征進行加強并在GCN中引入語義對齊的操作，本研究提出的模型才能發揮最大的優勢。和GCN相比，引入語義對齊能夠在結點特征的迭代更新過程中始終讓同類別的結點具有相似的特征分布，較好地克服了過擬合問題。

4 結語

本文提出的基于ADFRN與SAGCN的少樣本學習方法，能夠根據已經學習到的經驗知識，自動預測能夠從空間和通道維度捕獲有價值的具有類別特點的局部細節信息的卷積核，強化其捕獲局部細節信息的能力。利用Neural ODE根據每一類數據的特點，來求解其強化特征圖。通過構建圖結構數據，在SAGCN中對結點與邊特征進行迭代優化，同時利用語義對齊過擬合。