多級度量網絡的小樣本學習

韋世紅，劉紅梅，唐 宏，朱龍嬌

1.重慶郵電大學 通信與信息工程學院，重慶400065

2.重慶郵電大學 移動通信技術重慶市重點實驗室，重慶400065

近年來，深度學習在計算機視覺、語音識別等領域得到廣泛應用。圖像分類作為計算機視覺領域一項基礎性工作取得了突破性進展。盡管神經網絡模型在圖像分類任務中取得了很好的效果，但對數據量的要求限制了其性能的發揮。當訓練樣本量不足時，深度學習模型不可避免地會出現過擬合問題，導致學習失敗。然而，人類擁有可以從少量的樣本中快速學習理解某一類事物，并將其識別泛化的能力。受此啟發，小樣本學習的概念應運而生。小樣本學習旨在讓深度學習模型在數據量受限的情況下以人類的學習方式完成訓練任務。由于在現實場景中很多數據都遵循長尾分布，獲取大量標簽樣本費時費力，故小樣本學習的應用范圍非常廣泛。例如，對農作物葉片中罕見病害的智能識別，或者是輔助診斷醫學領域的罕見病例等。小樣本學習利用訓練任務之間的共性，通過學習少量的標簽樣本后可得到一個有效的分類器，極大地降低了數據集的獲取成本和難度。故此，如何充分發揮小樣本學習在圖像分類任務上的潛力，正逐漸成為業內研究熱點。

小樣本學習領域有四種常用方法：數據增強、遷移學習、元學習以及度量學習。數據增強是解決小樣本圖像數據集不足最為直接的方法，通常包括旋轉、加噪、裁剪、壓縮等操作[1]。隨著技術的發展，更多的數據增強方法被提出以生成新的樣本。為了使生成樣本更加接近真實樣本圖像，文獻[2]提出了生成對抗模型（generative adversarial nets，GAN）。該模型由生成器和判別器兩部分組成。生成器用于盡可能生成判別器無法區分的新樣本，判別器用于判斷生成樣本與真實圖像的相似性，并將其進行區分。文獻[3]提出一種數據自適應增強分類網絡模型（data adaptive enhancement and classification network，DA-ECNet）。該模型消除了訓練時模型對真實噪聲和去噪聲圖像對的要求，采用域驅動的損耗函數進行圖像增強，得到數據自適應圖像增強。盡管通過以上方式能擴充樣本并在一定程度上緩解過擬合問題，但生成樣本與真實圖像間具有視覺相似性，很難從根本上解決訓練樣本匱乏帶來的模型訓練過擬合問題。在許多真實應用場景中，深度學習模型需要根據樣本分布的變化利用新數據從頭開始重建并訓練參數和特征，但重建模型是昂貴且不可行的。為了減小模型訓練的代價，遷移學習利用相似任務間有相同的學習規律可循的思想，將從源域中學習到的參數和特征進行調整并應用到目標域中，在經驗信息的基礎上快速習得對指定類別的判斷泛化能力。從圖像分類流程來看，遷移學習作用于特征提取階段，具體有基于特征遷移、基于共享參數遷移、基于關系遷移三種學習方式。文獻[4]提出一種知識遷移網絡（knowledge transfer network，KTN）。該模型將視覺特征學習、知識推斷和分類器學習聯合在一個統一的框架中，自適應地利用顯性視覺信息和隱性先驗知識。通過優化基類訓練數據的余弦相似度，訓練基于卷積神經網絡的視覺特征提取器，提取樣本的表示形式，生成基于視覺的新類別分類器。文獻[5]提出一種注意多對抗網絡的遷移學習方法（attentional multi-adversarial networks，AMAN）。該模型首先利用高級深度編碼器粗略地提取了跨域特征。之后在目標域中注釋少量圖像，從而創建“活動標簽”，為對抗學習提供指導。然后利用基于GAN的層次模型選擇跨領域類別，增強相關特征，以促進有效遷移。遷移學習的方法雖然提高了模型的泛化能力，但是模型極易遺忘經驗信息，在訓練過程中進行參數和特征遷移通常會造成嚴重的過擬合問題。同時遷移學習在不同復雜度的數據集上分類結果具有一定差異，普適性不強。元學習旨在讓機器學會學習，通過利用任務之間的共性使得模型從少量標簽樣本中進行算法學習，確保元學習器能快速習得解決新學習任務的能力。最為典型的元學習模型為文獻[6]提出的模型無關元學習（model-agnostic metalearning，MAML）。它利用基礎學習器學習模型在各個任務上的初始化參數，并將優化結果通過梯度信息傳遞給元學習器進行反向傳播，進而優化元學習器參數以獲得最小梯度，最后用更新后的元學習器參數初始化基礎學習器來進行下一輪的迭代。為了克服監督學習語義分割方法的局限性，文獻[7]提出了一種廣義的元學習框架（meta-seg）。它包括元學習器和基礎學習器。元學習器從分布的少量語義分割任務中學習到良好的初始化值和參數更新策略。基礎學習器理論上可以是任何語義模型，并可以在元學習器的指導下實現快速適應。元學習方法因其良好的分類效果而備受青睞，但復雜的網絡結構使得模型效率較低，訓練模型需要花費大量的時間。度量學習旨在將樣本映射到一個公共特征空間，在學習的過程中目標函數確保相似物體之間的距離減小，不同物體之間的距離增大，最后基于距離建立相似度并根據相似度將樣本劃分到正確類別中。基于度量的小樣本學習模型專注于研究在一個公共的特征空間下樣本間的分布規律。目前最為經典的模型有匹配網絡（matching networks，MN）[8]、原型網絡（prototypical networks，PN）[9]以及關系網絡（relation network，RN）[10]這三種。文獻[11]在匹配網絡的基礎上提出了一種記憶匹配網絡（memory matching networks，MMN）。該網絡結合內部存儲器和雙向長短期記憶網絡（long shortterm memory，LSTM）將記憶圖像特征壓縮進記憶間隙并進行編碼，不僅提高了圖像特征的表示能力，還降低了模型計算復雜度。文獻[12]提出一種可轉移原型網絡模型（transferrable prototypical networks，TPN）。該模型學習一個嵌入空間用于自適應，使源域和目標域中每個類的原型在嵌入空間中接近，并通過重構每個類的原型距離來進行分類。相比于原型網絡，該模型不僅提高了分類準確率還提高了模型的泛化能力。文獻[13]提出一種自注意關系網絡模型（self-attention relation network，SARN）。該網絡由嵌入模塊、注意模塊和關系模塊三個模塊組成。與現有關系網絡相比，SARN可以發現非局部信息，并允許遠程依賴，通過將支持集替換為語義向量，可以很容易地將SARN擴展到零樣本學習。度量學習不僅思想簡單直接，而且相較于其他小樣本學習方法能夠更加快速、有效地進行學習。

盡管度量學習效果十分顯著，但傳統的度量學習模型采用的都是圖像級全局特征。在數據樣本稀缺的情況下，這些全局特征并不能有效地表征類別分布，在一定程度上影響了最終的分類結果。另外，傳統的深度學習模型在利用神經網絡進行特征提取時，由于逐層的卷積使得圖片特征尺寸減小，不可避免地會丟失部分有價值的信息，限制了卷積神經網絡的性能。針對以上兩個問題，本文的工作如下：

（1）提出一種多級度量模塊，在傳統圖像級度量的基礎上融合圖像-類的度量。圖像-類的度量與樸素貝葉斯最近鄰方法（Naive-Bayes nearest-neighbor，NBNN）[14]相似，將查詢樣本特征與代表某一類別圖像的局部不變特征池進行相似性度量，能夠彌補圖像級度量不能有效表達一個類別分布的不足。同時，用一個inception模塊替換原有度量學習網絡中第一個卷積塊以增加網絡寬度，從而提高網絡效率。

（2）本文將第二層、第三層卷積所得特征描述子分別進行類別級度量，再將第四層卷積所得特征向量全連接后進行圖像級度量，最后再融合度量結果。該方法可有效解決圖像局部細節特征在量化過程中帶來的有效信息丟失的問題。

（3）不同于傳統訓練方法，本文在模型訓練過程中參考遷移學習的思想，以上層網絡訓練結果作為下層網絡訓練的初始值來訓練模型，從而提高圖像級與類別級網絡融合度。

（4）由于不同卷積層的度量結果對最終的圖像分類結果貢獻不同，本文通過交叉驗證給不同卷積層所得圖像關系得分或圖像從屬概率賦權值再融合，以得到最佳的分類結果。

1 相關工作

1.1 原型網絡

原型網絡是由Snell等人提出的一種較為簡單有效的小樣本學習算法，旨在通過學習一個新的度量空間來進行類別劃分。在新度量空間中以支持集中某類標簽樣本嵌入空間特征向量的均值為類原型，度量查詢集中樣本嵌入空間特征向量到各類原型的歐式距離，采用最近鄰的思想將查詢樣本劃分到正確的類別中去。

原型網絡會為支持集中每一類標簽樣本計算出一個類原型Ck，通過映射函數fφ:RD→RM將標簽樣本映射到M維嵌入空間中。如圖1所示，C1、C2、C3分別代表三個不同的類原型，X代表查詢集樣本嵌入空間特征向量。

圖1 原型網絡分類原理圖Fig.1 Prototype network classification schematic diagram

類原型Ck的計算如公式（1）：

其中，Sk代表支持集中第k個類別的數據集，xi表示支持集標簽樣本D維特征向量，yi表示xi的樣本標簽，

fφ()

xi表示支持集標簽樣本嵌入空間特征向量。

為了得到查詢集樣本x的從屬概率Pφ(y=k|x)，將Softmax函數作用到查詢集樣本嵌入空間特征向量到類原型的歐式距離-d(fφ(x),Ck)。其概率分布如公式（2）：

1.2 關系網絡

關系網絡是Sung等人在2018年提出的一種小樣本學習算法，與傳統的度量學習方法不同，其首次在度量樣本間相似度上引入了神經網絡來學習距離函數。如圖2所示，關系網絡由嵌入模塊和關系模塊兩部分組成。模型首先通過嵌入模塊來獲取支持集標簽樣本和查詢集樣本的嵌入空間特征向量，再將兩者的特征向量進行拼接，最后利用關系模塊中的度量學習網絡來比較樣本間的相似性，并給出關系得分。

圖2 關系網絡結構圖Fig.2 Relationship network structure diagram

關系得分ri,j的計算如公式（3）：

其中，fφ代表嵌入模塊，g?為度量學習網絡，fφ(xi)代表支持集標簽樣本嵌入空間特征向量，fφ(xj)代表查詢集樣本嵌入空間特征向量，C(fφ(xi),fφ(xj))代表拼接后特征向量。

1.3 圖像-類的度量

傳統的大規模圖像分類設計都利用的是圖像級全局特征進行分類。然而，將一張圖像的局部細節特征進行量化編碼從而得到圖像級全局特征的過程中往往會丟失相當一部分判別信息，這使得圖像級全局特征不能有效地表達一個類別的分布。樸素貝葉斯最近鄰方法（NBNN）以此為切入點，利用計算機視覺中同一類圖像的局部特征可打亂拼湊成一個全新的圖像的原理，提出了圖像-類的度量方式。該方法可以很好地表達一個類別的分布，且有效地避免了圖像局部特征利用不足的問題。圖像-類的度量旨在通過查詢樣本的局部特征描述子最近鄰搜索某一類別的圖像特征池來實現，即通過計算某一查詢樣本到某一類別的距離或相似度將圖像劃分到正確的類別中去。但是傳統的圖像分類任務包含大量的標簽數據，在大量的局部描述子集合中進行最近鄰搜索費時費力，從而限制了該方法的應用。因此，相較于傳統的大規模分類任務，圖像-類的度量方式更適合于解決小樣本分類問題。受此啟發，文獻[15]提出了一種由嵌入模塊和圖像-類的度量模塊組成的深度最近鄰神經網絡（deep nearest neighbor neural network，DN4）。該網絡首次將圖像-類的度量運用到小樣本學習。不同于傳統手工提取特征的方式，其利用神經網絡提取深度局部描述子，并與圖像-類的度量模塊進行結合，構成了一個端到端的訓練模型。該網絡模型分類效果顯著，為后續從類別級角度研究小樣本學習提供參考。

2 本文方法

2.1 問題定義

小樣本學習一般將數據集劃分為訓練集Train、驗證集Val以及測試集Test三個部分。在以N-wayKshot為訓練方式的小樣本學習中，每個任務由支持集S與查詢集Q組成。其中N代表支持集中所包含的類別數，并從每個類別中隨機抽取K個標簽樣本來構成支持集，再從每類剩余的樣本中抽取查詢集。在訓練過程中采用廣泛應用于小樣本學習的episodes訓練策略來訓練模型。最后通過大量的episodes學習來不斷優化模型，最小化查詢集樣本預測損失。

2.2 多級度量網絡

基于度量的小樣本學習方法的核心思想是學習一個深度嵌入神經網絡，并使得該網絡學到的特征能夠很好地泛化到新任務上。其中代表性的方法包括原型網絡和關系網絡。原型網絡為每個支持集都學習一個原型，即一組特征向量的均值。關系網絡也為每個支持集采用均值特征表示，但它更側重于如何度量查詢樣本和支持集樣本間的關系。具體地，關系網絡通過學習一個非線性的深度度量學習網絡來進行距離度量。但是，這些方法采用的都是圖像級全局特征，而在數據樣本稀缺的情況下，這些全局特征并不能非常有效地表征類別分布，使得最終的分類結果不準確。為了解決以上現有技術存在的問題，本文嘗試引入圖像-類的度量來彌補圖像類別特征表達能力不足的問題。

如圖3所示，本文所提模型由嵌入模塊和多級度量模塊兩部分組成。其中，嵌入模塊采用基于前饋卷積神經網絡的四個卷積塊標準架構。每個卷積塊由一個含有64個3×3卷積的卷積層、一個批量歸一化層和一個Relu激活函數層構成。前兩個卷積塊后各添加一個2×2最大池化層。多級度量模塊以原型網絡作為圖像-圖像的度量網絡，以融合DN4思想的關系網絡作為圖像-類的度量網絡。多級度量網絡首先通過嵌入模塊提取支持集和查詢集中樣本的特征向量；然后對經過第二層卷積和第三層卷積后得到的特征描述子分別進行圖像-類的度量，對經過第四層卷積后得到的特征向量進行全連接，并做圖像-圖像的度量；最后利用交叉驗證加權融合由多級度量模塊得出的圖像從屬概率以及關系得分，并給出最終預測結果。

圖3 多級度量網絡的小樣本學習方法整體框架圖Fig.3 Overall block diagram of multilevel metric networks for few-shot learning

具體地，圖像-類的度量由深度局部描述子連接空間L和度量學習網絡m?構成。

深度局部描述子空間：

支持集與查詢集樣本在經過嵌入模塊計算后分別得到特征圖S和Q。每個c×h×w大小的特征圖可看作包含h×w個c維深度局部描述子的深度局部描述子空間D,c為通道數，h為特征圖高度，w為特征圖寬度。公式（4）如下：

其中，m=h×w，代表的深度局部描述子的個數，di即為第i個深度局部描述子。

傳統的圖像-類的度量采用查詢集樣本的局部特征描述子最近鄰搜索某一類別的圖像特征池來實現，而文獻[16]將DN4思想與關系網絡結合，用度量學習網絡來判斷圖像和類別的關系。采用雙線性CNN（Bilinear CNN）[17]的思想，以支持集和查詢集特征圖之間兩兩點乘所得結果作為網絡特征連接，得到一個維度為m×m的深度局部描述子連接空間L。特征連接表達式（5）如下：

其中，DS為支持集深度局部描述子空間、DQ為查詢集深度局部描述子空間。

度量學習網絡：

該網絡將深度局部描述子連接空間L映射到一個新的度量空間，通過新的度量空間來度量類間相似性并給每個L生成一個關系得分。由于使用雙線性運算法對特征進行連接使得新合成的特征圖尺寸增大，需要通過增加網絡的深度或寬度來對特征進行映射，所以本文用一個inception塊來替換關系網絡中度量學習網絡的第一個卷積塊。改進后的度量學習網絡m?如圖4所示，該部分網絡由1個inception塊、1個卷積塊、1個2×2最大池化層和兩個全連接層組成，卷積塊的組成同嵌入模塊。其中inception模塊由三個分支組成，分別為一個3×3卷積模塊、一個3×3卷積加2×2最大池化模塊以及一個1×1卷積和兩個3×3卷積拼接模塊，最后將3個分支的輸出特征進行全連接。

圖4 度量學習網絡m?結構圖Fig.4 Metric learning network m? structure diagram

通過度量學習網絡可得類別級度量關系得分Pi,j如公式（6）：

其中，xi為支持集標簽樣本特征向量，xj為查詢集樣本特征向量，fφ為嵌入模塊，ψ(fφ(xi),fφ(xj))為深度局部描述子連接，m?為改進后的度量學習網絡。

圖像-類的度量模塊采用均方差損失函數來優化網絡參數，損失函數L1如公式（7）：

其中，Pi,j為關系得分，yk為樣本標簽，深度局部特征描述子匹配時為1，不匹配時為0。

在圖像-圖像的度量模塊，采用原型網絡來獲取圖像的從屬概率。

圖像-圖像的度量模塊采用交叉熵損失函數來優化網絡參數，損失函數L2如公式（8）：

其中，Pφ(y=k|x)代表圖像的從屬概率。

最后通過交叉驗證得出各模塊權重，并對圖像從屬概率和關系得分進行加權融合從而給出模型最終預測結果。假設一個圖像-圖像的度量模塊對類別k的分類從屬概率為，兩個圖像-類的度量模塊對類別k的關系得分分別為看作三個以類別數為長度的概率向量，計算三個向量的加權和，并取其累積最大值為最終預測結果，如公式（9）：

其中，α、β、γ是各模塊權重，α+β+γ=1。

3 實驗

本章內容為了驗證多級度量網絡對小樣本學習的有效性，在小樣本數據集上分別做了性能對比實驗、魯棒性分析以及時間復雜度分析。

3.1 數據集

Omniglot[18]作為小樣本學習的一個基準數據集，共包含來自50種不同語言的1 623類手寫字符，每一類字符又包含20個樣本。本文分別以90°、180°及270°旋轉圖像來擴張數據集，每張圖片通過裁剪將尺寸統一為28×28像素。

miniImageNet是ImageNet[19]數據集的一個子集，包含100個類別，每類600張圖像，共計60 000張圖像。本文以其中64個類別作為訓練集，16個類別作為驗證集，20個類別作為測試集，所有輸入圖像的尺寸統一裁剪為84×84像素。

CUB[20]是由加利福尼亞理工學院提供的鳥類數據集，包含200個類別，共計11 788張常見鳥類圖像。本文中的訓練集、驗證集及測試集分別為100、50及50個類別，圖像尺寸統一裁剪為84×84像素。

3.2 模型參數設置

通過閱讀文獻[21-22]可知，相較于其他梯度下降算法，Adam算法能夠使深度學習模型快速收斂并取得更小的分類損失。所以本文采用Adam算法來優化整個模型的參數，算法超參數設置具體如表1所示。

表1 模型算法超參數設置Table 1 Model hyperparameter

訓練過程中，模型采用了5-way 1-shot和5-way 5-shot兩種實驗方式，每100個episodes計為一個epoch，每隔10個epoch學習率減半。在5-way 1-shot實驗中，模型中每一分支網絡共經過600個epoch來訓練參數。在5-way 5-shot實驗中，模型中每一分支網絡共經過400個epoch來完成參數訓練。

3.3 訓練過程

與傳統的結果融合網絡分別單獨訓練模型參數再融合圖像分類概率不同，本文引入遷移學習的思想進行模型訓練。模型首先對第二層卷積部分采用類別級度量得出相似度得分，再用Adam算法對損失函數進行優化，得到訓練特征和參數；然后將第二層及其之前的卷積部分進行凍結，以當前所得特征和參數作為第三層卷積的初始化參數和特征，再重復與第二層同樣的訓練；最后凍結第三層及其之前部分，以其訓練所得參數和特征作為第四層圖像級度量的初始化特征和參數，然后用Softmax函數對度量距離進行運算得到從屬概率，再用Adam算法對模型進行訓練。不斷調整模型的參數，當模型的損失函數值達到最小時，完成模型的訓練。

3.4 實驗結果與分析

為了驗證本模型訓練過程的有效性，將經過傳統訓練過程與本文訓練過程所得圖像分類準確率進行對比。如表2所示，在5-way 1-shot和5-way 5-shot實驗中，本文訓練過程在Omniglot、CUB、miniImageNet三個數據集上準確率都有一定的提高。實驗結果表明，結合遷移學習的思想進行模型融合相較于傳統方法更適合本模型的訓練。

表2 訓練過程對比實驗Table 2 Contrastive experiment of training process

為了驗證本模型在小樣本圖像分類上的有效性，將本模型與其他模型在Omniglot、CUB、miniImageNet三個數據集上的分類準確率進行對比。如表3所示，本模型在Omniglot數據集上相較于傳統的方法準確率有一定的提高。在5-way 5-shot實驗中，與MMN相比存在0.09個百分點的差距。相較于FPN、STANet-S、Spot and Learn及TPN這四個模型，本模型在5-way 1-shot實驗中準確率分別提高了1.23、0.84、1.97、0.27個百分點，在5-way 5-shot實驗中準確率分別提高了0.08、0.09、0.03、0.24個百分點。如表4所示，在CUB數據集上，本模型相較于MN、PN、RN這三個經典模型的準確率有顯著提高。與CovaMNet相比，本模型在5-way 1-shot實驗中，準確率提高了2.92個百分點，在5-way 5-shot實驗中，準確率提高了12.56個百分點。與DN4相比，本模型在5-way 1-shot實驗中，準確率提高了8.50個百分點，在5-way 5-shot實驗中，準確率提高了1.40個百分點。與FAN相比，本模型在5-way 1-shot實驗中，準確率提高了1.04個百分點，在5-way 5-shot實驗中，準確率提高了5.62個百分點。如表5所示，在miniImageNet數據集上，本模型分類準確率相較于MN、PN、MN、MAML這四個模型有顯著提高。本模型與元學習LSTM、MMN、TPN、DN4、FAN、CovaMNet及FEAT相比，在5-way 1-shot實驗中，準確率分別提高了13.33、3.40、2.33、5.53、5.27、5.58及1.62個百分點，在5-way 5-shot實驗中，準確率分別上升了15.23、8.86、8.87、4.81、5.43、8.18、4.22個百分點。與MNE相比，本模型在5-way 1-shot實驗中存在3.43個百分點的差距，在5-way 5-shot實驗中，本模型準確率提高了3.67個百分點。通過準確率對比實驗可得，本文方法可以有效提高小樣本圖像分類準確率。

表3 不同模型在Omniglot數據集上準確率對比Table 3 Accuracy comparison of different models on Omniglot dataset 單位：%

表4 不同模型在CUB數據集上準確率對比Table 4 Accuracy comparison of different models on CUB dataset 單位：%

表5 不同模型在miniImageNet數據集上準確率對比Table 5 Accuracy comparison of different models on miniImageNet dataset 單位：%

3.5 魯棒性分析

為了進一步驗證本模型的魯棒性，本文在CUB和miniImageNet兩個數據集上保證驗證集和測試集不變的情況下，對比驗證了5-way 5-shot和5-way 1-shot實驗中模型的分類準確率隨訓練集類別數的變化情況。在miniImageNet數據集上，以8類為間隔，依次改變訓練集的類別數為64類、56類、48類、40類、32類、24類以及16類。在CUB數據集上，以10類為間隔，依次改變訓練集的類別數為100類、90類、80類、70類、60類以及50類。

由圖5～8可知，在CUB和miniImageNet兩個數據集上，本模型的分類準確率隨訓練集類別數的減少逐漸降低。但在5-way 5-shot實驗中最終仍能保持50%以上的分類準確率，在5-way 1-shot實驗中最終能保持30%以上的分類準確率。本模型的魯棒性明顯優于PN和RN，和DN4相比也存在一定優勢。

圖5 miniImageNet數據集上5-shot魯棒性測試圖Fig.5 5-shot robustness test graph on miniImageNet dataset

圖8 CUB數據集上1-shot魯棒性測試圖Fig.8 1-shot robustness test graph on CUB dataset

3.6 時間復雜度分析

傳統的小樣本學習模型時間復雜度分析都是基于模型迭代一次所花費的時間來進行比較。由于本文在模型訓練過程中引入遷移學習的思想，以前一個網絡訓練所得參數作為下一個網絡的初始值，所以在模型時間復雜度的計算上以三個網絡分別迭代一次花費時間的累加作為整個模型迭代一次的訓練時間。本文在miniImageNet數據集上采用5-way 1-shot實驗對模型效率進行了對比分析。

如表6所示，本文方法與PN、DN4、MN相比耗時較高，但是分類準確率分別提高了7.35、5.53、13.21個百分點。本文方法耗時為RN的0.7倍，但分類準確率也有明顯提高。元學習LSTM方法耗時為本文的1.3倍，同時分類準確率與本文相差13.33個百分點。通過以上分析可知本文方法在達到較高分類性能的同時，分類效率也能保持在一定的水平。

表6 不同模型在miniImageNet數據集上效率對比Table 6 Efficiency comparison of different models on miniImageNet dataset

4 結束語

本文提出了一種多級度量網絡的小樣本學習方法，這是首次將圖像-圖像的度量與圖像-類的度量進行結合，從多個角度考慮圖像的表達分布以有效挖掘圖像語義信息的研究。不同數據集上的仿真實驗結果表明，本模型在小樣本分類任務上相較于傳統方法有較好的分類性能，從而也進一步證明了模型能有效表達圖像特征分布并有效挖掘圖像的語義信息。本文研究思路雖然為小樣本學習提供了另一種可能，但仍然有改進的空間。下一步工作重點是改進圖像-圖像的度量模塊以減小圖像級度量誤差，優化嵌入模塊和度量學習網絡以提高模型效率。