基于多粒度特征蒸餾的遙感圖像場景分類研究

劉 瑄，池明旻

（復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室，上海 201203）

0 概述

遙感場景圖像的地物分類與識別表示對遙感圖像中提取的子區(qū)域進(jìn)行語義類別預(yù)測，其為遙感應(yīng)用中的一個(gè)關(guān)鍵環(huán)節(jié)，對城市規(guī)劃、環(huán)境監(jiān)測和資源管理等任務(wù)具有重要意義。

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）［1］因其在圖像處理中的高效性而被廣泛應(yīng)用于計(jì)算機(jī)視覺等領(lǐng)域，并在圖像分類、目標(biāo)檢測以及語義分割［2-4］等任務(wù)中取得了較高的精度。因此，越來越多的研究人員將CNN 引入遙感圖像處理領(lǐng)域，并證實(shí)了基于深度學(xué)習(xí)的方法比傳統(tǒng)方法更具優(yōu)越性與魯棒性。

隨著遙感對地觀測技術(shù)的日益發(fā)展，更多分辨率高、覆蓋面廣的遙感影像數(shù)據(jù)被研究人員所獲取，遙感影像數(shù)據(jù)量越來越龐大，如何高效且精確地對海量遙感數(shù)據(jù)進(jìn)行處理和分析，為在實(shí)時(shí)或嵌入式設(shè)備上進(jìn)行遙感圖像識別提供解決方案，如將遙感影像識別模型內(nèi)置于嵌入式實(shí)時(shí)處理相機(jī)中，成為遙感數(shù)據(jù)分析應(yīng)用及發(fā)展的一個(gè)重要方向。在計(jì)算資源充足的前提下，隱層多的網(wǎng)絡(luò)模型往往比淺層模型的分類精度高［2，5-6］，然而，這些大規(guī)模的深層網(wǎng)絡(luò)模型也帶來了更龐大的計(jì)算量、更高的參數(shù)存儲需求以及更冗長的推斷時(shí)間，阻礙了遙感圖像識別技術(shù)在嵌入式設(shè)備上的推廣與應(yīng)用。

為了高效靈活地實(shí)現(xiàn)遙感圖像分類，并將其應(yīng)用于計(jì)算量和存儲量有限的實(shí)時(shí)設(shè)備上，同時(shí)保證分類的效率與精度，一種有效的解決方案是壓縮網(wǎng)絡(luò)以獲得更精簡有效的模型。本文提出一種多粒度特征蒸餾方法，對遙感圖像場景分類模型進(jìn)行壓縮，將高精度的深層網(wǎng)絡(luò)、計(jì)算量較少的淺層網(wǎng)絡(luò)分別作為教師網(wǎng)絡(luò)、學(xué)生網(wǎng)絡(luò)，從教師網(wǎng)絡(luò)中提取知識用于指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練，以提高學(xué)生網(wǎng)絡(luò)的預(yù)測精度。針對遙感圖像覆蓋語義廣、細(xì)節(jié)信息豐富的特點(diǎn)，本文同時(shí)訓(xùn)練教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)并將教師網(wǎng)絡(luò)各階段的輸出作為學(xué)生網(wǎng)絡(luò)相應(yīng)階段訓(xùn)練的中繼監(jiān)督信號，在網(wǎng)絡(luò)的每個(gè)階段累計(jì)中間損失并加入損失函數(shù)，以融合多層特征進(jìn)行輔助分類。鼓勵學(xué)生網(wǎng)絡(luò)模仿教師網(wǎng)絡(luò)各階段的輸出分布，使得學(xué)生網(wǎng)絡(luò)能學(xué)習(xí)到泛化性更強(qiáng)的網(wǎng)絡(luò)表達(dá)，從而接近教師網(wǎng)絡(luò)的性能。在UC Merced Land-Use［7］和SIRIWHU［8］2 個(gè)公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，以驗(yàn)證本文多粒度特征蒸餾方法的分類性能。

1 相關(guān)工作

1.1 基于深度卷積網(wǎng)絡(luò)的遙感圖像場景分類

近年來，深度學(xué)習(xí)技術(shù)已廣泛應(yīng)用于高分辨率遙感圖像場景分類任務(wù)。文獻(xiàn)［9］采用多層感知機(jī)對遙感場景進(jìn)行分類，但其淺層網(wǎng)絡(luò)的精度遠(yuǎn)低于深層網(wǎng)絡(luò)。文獻(xiàn)［10］使用預(yù)訓(xùn)練的Inception-v3 進(jìn)行特征提取與分類。文獻(xiàn)［11］構(gòu)建帶有5 層卷積、3層全連接結(jié)構(gòu)的模型以進(jìn)行場景分類。文獻(xiàn)［12-13］在模型訓(xùn)練過程中集合中間層特征，并在多個(gè)場景分類數(shù)據(jù)集上驗(yàn)證了多尺度特征能提高遙感場景分類模型的分類性能。

基于深層模型的方法能夠大幅提高遙感圖像分類的準(zhǔn)確率，但是大規(guī)模的網(wǎng)絡(luò)對參數(shù)量與計(jì)算量均有較高要求。隨著遙感技術(shù)的快速發(fā)展，越來越多的影像數(shù)據(jù)被獲取，因此，提高遙感數(shù)據(jù)的處理效率，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)性處理，并使得模型方法廣泛應(yīng)用于更通用的嵌入式設(shè)備上，成為遙感領(lǐng)域新的任務(wù)與挑戰(zhàn)。

1.2 模型壓縮方法

目前，較為通用的模型壓縮方法可以歸納為網(wǎng)絡(luò)剪枝、具有特殊結(jié)構(gòu)的高效卷積網(wǎng)絡(luò)和知識蒸餾三類。

知識蒸餾［14-16］是將已完成預(yù)訓(xùn)練的深層網(wǎng)絡(luò)輸出作為軟目標(biāo)（soft target）以幫助淺層網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而提高該簡單網(wǎng)絡(luò)的學(xué)習(xí)與泛化能力，最終在保持模型性能的同時(shí)實(shí)現(xiàn)模型壓縮的效果。針對分類任務(wù)的深度網(wǎng)絡(luò)知識蒸餾相關(guān)研究，大多以類分布概率或靠近類分布輸出的網(wǎng)絡(luò)層輸出作為淺層網(wǎng)絡(luò)的軟目標(biāo)。文獻(xiàn)［14］通過懲罰淺層網(wǎng)絡(luò)與深層網(wǎng)絡(luò)的邏輯輸出差異以提高淺層網(wǎng)絡(luò)的精度。文獻(xiàn)［15］使用復(fù)雜教師網(wǎng)絡(luò)的softmax 輸出作為簡單學(xué)生網(wǎng)絡(luò)的軟標(biāo)記，并引入蒸餾溫度對學(xué)生的軟目標(biāo)進(jìn)行調(diào)節(jié)。文獻(xiàn)［16］通過匹配教師與學(xué)生的隱藏層信息以訓(xùn)練得到更窄更深的學(xué)生網(wǎng)絡(luò)。上述方法在簡單分類任務(wù)且沒有多層中間特征輔助的情況下具有較好的性能表現(xiàn)。

隨后一些研究人員對蒸餾框架進(jìn)行調(diào)整。文獻(xiàn)［17］引入對抗網(wǎng)絡(luò)結(jié)構(gòu)，通過加入判別器的損失以鼓勵學(xué)生網(wǎng)絡(luò)產(chǎn)生與教師網(wǎng)絡(luò)相似的邏輯輸出。文獻(xiàn)［18］提出再生神經(jīng)網(wǎng)絡(luò)（Born Again Neural Network，BAN），其通過多代訓(xùn)練逐次地將前一代訓(xùn)練收斂的網(wǎng)絡(luò)作為后一代的教師網(wǎng)絡(luò)，以提高學(xué)生網(wǎng)絡(luò)的表征能力，最后采用多代子網(wǎng)絡(luò)的集成進(jìn)行預(yù)測。上述改進(jìn)的蒸餾框架往往訓(xùn)練過程復(fù)雜且需要一定的人工干涉，因此，在改變應(yīng)用場景時(shí)它們的泛化性不強(qiáng)。

本文以文獻(xiàn)［15］提出的蒸餾模型為基礎(chǔ)，針對遙感圖像數(shù)據(jù)的特點(diǎn)，提出一種應(yīng)用于遙感圖像場景分類的多粒度特征蒸餾方法。該方法同時(shí)訓(xùn)練教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)，將教師網(wǎng)絡(luò)各個(gè)階段的多粒度特征和高階的輸出概率特征作為學(xué)生網(wǎng)絡(luò)的監(jiān)督信號，使得學(xué)生網(wǎng)絡(luò)不僅能學(xué)習(xí)到高階知識（類別概率），還能學(xué)習(xí)到教師網(wǎng)絡(luò)中低階的語義特征，從而提高學(xué)生網(wǎng)絡(luò)的泛化能力，在降低模型計(jì)算量與參數(shù)量的前提下簡化訓(xùn)練過程，提高學(xué)生網(wǎng)絡(luò)的分類精度并使模型適配于嵌入式設(shè)備。

2 基于多粒度特征蒸餾的深度模型壓縮

為使遙感圖像分類模型能夠應(yīng)用于實(shí)時(shí)設(shè)備，需要減輕模型的計(jì)算負(fù)擔(dān)，降低參數(shù)存儲成本，并結(jié)合遙感數(shù)據(jù)特點(diǎn)盡量避免模型精度損失。為此，本文構(gòu)建一種基于多粒度特征蒸餾的遙感場景圖像分類模型。通過訓(xùn)練簡單淺層模型（學(xué)生網(wǎng)絡(luò)）以模仿復(fù)雜深層模型（教師網(wǎng)絡(luò)），從而提高學(xué)生模型的分類能力。

知識蒸餾模型由訓(xùn)練充分的復(fù)雜教師網(wǎng)絡(luò)與淺層的簡單學(xué)生網(wǎng)絡(luò)2 個(gè)部分組成。文獻(xiàn)［15］將學(xué)生模型和預(yù)訓(xùn)練的教師網(wǎng)絡(luò)的softmax 層輸出概率相匹配，從而使得復(fù)雜教師網(wǎng)絡(luò)中的暗知識被遷移到學(xué)生網(wǎng)絡(luò)，提高了學(xué)生網(wǎng)絡(luò)的精度與泛化能力。文獻(xiàn)［15］引入蒸餾溫度T，將教師網(wǎng)絡(luò)的邏輯輸出值除以T后經(jīng)過softmax 層的結(jié)果作為學(xué)生網(wǎng)絡(luò)的軟目標(biāo)概率。定義分類數(shù)為C，i為類別索引，softmax 輸入層的第i個(gè)單元輸出為oi，S為softmax 層的輸出，softmax 層的計(jì)算如式（1）所示：

模型的知識蒸餾基于如下假設(shè)：教師網(wǎng)絡(luò)訓(xùn)練充分后產(chǎn)生的分類概率中的隱藏信息（如非目標(biāo)的輸出概率值），可以幫助并指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練過程。模型知識蒸餾訓(xùn)練流程描述如下：

算法1傳統(tǒng)模型知識蒸餾訓(xùn)練過程

輸入訓(xùn)練集D=（x，y），蒸餾溫度T，教師網(wǎng)絡(luò)，學(xué)生網(wǎng)絡(luò)

輸出收斂后的教師網(wǎng)絡(luò)參數(shù)與學(xué)生網(wǎng)絡(luò)參數(shù)

步驟1初始化教師網(wǎng)絡(luò)與學(xué)生網(wǎng)絡(luò)的參數(shù)

步驟2對訓(xùn)練集D=（x，y）的每一批數(shù)據(jù)：

3）基于梯度下降算法，根據(jù)交叉熵?fù)p失Lt更新教師網(wǎng)絡(luò)的參數(shù)集θt；

4）若教師網(wǎng)絡(luò)收斂，則結(jié)束步驟2，返回教師網(wǎng)絡(luò)此時(shí)的參數(shù)；否則，繼續(xù)步驟2。

步驟3對訓(xùn)練集D=（x，y）的每一批數(shù)據(jù)：

1）計(jì)算由步驟2 訓(xùn)練得到的教師網(wǎng)絡(luò)的邏輯輸出l（參數(shù)固定為）；

2）令St=softmax（l/T）作為學(xué)生網(wǎng)絡(luò)訓(xùn)練的軟目標(biāo)，真實(shí)標(biāo)簽y為硬目標(biāo)；

3）分別計(jì)算學(xué)生網(wǎng)絡(luò)的softmax 輸出與軟目標(biāo)St以及硬目標(biāo)y的交叉熵?fù)p失，加和得到整體的蒸餾損失值Ls；

4）基于梯度下降算法，根據(jù)蒸餾損失Ls更新學(xué)生網(wǎng)絡(luò)的參數(shù)集θs；

5）若學(xué)生網(wǎng)絡(luò)收斂，則結(jié)束步驟3；否則，繼續(xù)步驟3。

步驟4輸出網(wǎng)絡(luò)收斂后的參數(shù)，結(jié)束。

傳統(tǒng)的知識蒸餾網(wǎng)絡(luò)僅能模擬已訓(xùn)練收斂的教師網(wǎng)絡(luò)的預(yù)測概率分布，而本文基于多粒度特征蒸餾的遙感場景分類網(wǎng)絡(luò)，針對遙感圖像分辨率高、覆蓋語義廣、結(jié)構(gòu)信息豐富的特性，通過將教師網(wǎng)絡(luò)各個(gè)階段的輸出作為學(xué)生網(wǎng)絡(luò)相應(yīng)階段訓(xùn)練的監(jiān)督信號的方式以融合多層特征，鼓勵學(xué)生網(wǎng)絡(luò)模仿教師網(wǎng)絡(luò)從特征提取到分類預(yù)測的分步過程。

圖1 所示為本文基于多粒度特征蒸餾的遙感場景分類模型的訓(xùn)練框架。從圖1 可以看出，該網(wǎng)絡(luò)由較復(fù)雜、隱藏層較多的教師網(wǎng)絡(luò)和網(wǎng)絡(luò)構(gòu)成較簡單的淺層學(xué)生網(wǎng)絡(luò)組成，教師與學(xué)生網(wǎng)絡(luò)均由多個(gè)卷積層、殘差模塊構(gòu)成，且在網(wǎng)絡(luò)各個(gè)階段可提取2 個(gè)子網(wǎng)絡(luò)的中間層特征作為監(jiān)督信息。當(dāng)訓(xùn)練樣本圖像輸入網(wǎng)絡(luò)時(shí)，教師與學(xué)生子網(wǎng)絡(luò)的參數(shù)集均根據(jù)網(wǎng)絡(luò)總損失進(jìn)行迭代更新。本文方法通過提高教師網(wǎng)絡(luò)與學(xué)生網(wǎng)絡(luò)softmax 層的概率輸出相似性來提升淺層學(xué)生網(wǎng)絡(luò)的分類能力。

圖1 基于多粒度特征蒸餾的遙感場景分類模型Fig.1 Remote sensing scene classification model based on multi-granularity feature distillation

給定訓(xùn)練數(shù)據(jù)D=｛（x1，y1），（x2，y2），…，（xn，yn）｝，在D上訓(xùn)練教師網(wǎng)絡(luò)與學(xué)生網(wǎng)絡(luò)。傳統(tǒng)模型蒸餾方法將2 個(gè)網(wǎng)絡(luò)分成不同階段進(jìn)行訓(xùn)練，而本文方法一次性地完成訓(xùn)練過程。將參數(shù)為θt的教師網(wǎng)絡(luò)記作T（x；θt），參數(shù)為θs的學(xué)生網(wǎng)絡(luò)記作S（x；θs）。相應(yīng)地，將學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)在各個(gè)階段輸出再經(jīng)過softmax 操作后產(chǎn)生的概率值分別記作Ps、Pt，N為計(jì)入損失項(xiàng)的輸出階段總數(shù)。因此，在訓(xùn)練期間所采用的損失函數(shù)可表示為：

其中，C_loss(T(x；θt)，y)和C_loss(S(x；θs)，y)分別為教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)的分類損失，損失項(xiàng)D_loss(Ps_i，Pt_i)表示2 個(gè)網(wǎng)絡(luò)第i個(gè)階段概率輸出之間的距離，即第i個(gè)階段的卷積輸出在全局平均池化（Global Average Pooling，GAP）后的結(jié)果，該新增的損失項(xiàng)即為學(xué)生網(wǎng)絡(luò)訓(xùn)練時(shí)加入的中繼監(jiān)督，目的在于鼓勵學(xué)生網(wǎng)絡(luò)與教師網(wǎng)絡(luò)做出相近的預(yù)測，此處使用交叉熵進(jìn)行距離計(jì)算。此外，損失函數(shù)中還引入了超參數(shù)α、β和γ，以平衡3 個(gè)損失項(xiàng)的權(quán)重，便于控制不同項(xiàng)對訓(xùn)練過程的影響程度。最終損失函數(shù)計(jì)算公式如下：

3 實(shí)驗(yàn)結(jié)果與分析

在UC Merced Land-Use 和SIRI-WHU 2 個(gè)公開數(shù)據(jù)集上對本文所提基于多粒度特征蒸餾的遙感圖像分類模型進(jìn)行實(shí)驗(yàn)與評估。實(shí)驗(yàn)中采用ResNet-50和ResNet-18［5］分別作為教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)。ResNet 在網(wǎng)絡(luò)中堆疊殘差結(jié)構(gòu)，并已在ImageNet 數(shù)據(jù)集上驗(yàn)證了ResNet 的有效性。為保證輸出特征的維度相同，實(shí)驗(yàn)中使用ResNet-50 的第1 個(gè)、第2 個(gè)殘差塊輸出作為ResNet-18 的第2 個(gè)、第4 個(gè)殘差塊輸出，以計(jì)算中繼監(jiān)督損失。

所有實(shí)驗(yàn)均在一塊NVIDIA GTX 1080Ti GPU上進(jìn)行，實(shí)驗(yàn)中的參數(shù)更新機(jī)制均采用隨機(jī)梯度下降（SGD）算法，批量大小（Batch Size）設(shè)置為32，采用交叉熵?fù)p失、Adam 優(yōu)化器對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，初始學(xué)習(xí)速率為1e-3。除最后一層外，其他網(wǎng)絡(luò)層采用ReLU 作為激活函數(shù)。

將本文遙感圖像分類模型與文獻(xiàn)［15］提出的基礎(chǔ)蒸餾模型、文獻(xiàn)［18］提出的BAN 進(jìn)行比較。文獻(xiàn)［15］模型是一個(gè)經(jīng)典并被廣泛應(yīng)用的蒸餾模型，已經(jīng)在數(shù)字分類和語音識別等任務(wù)中驗(yàn)證了其有效性。文獻(xiàn)［18］中的BAN 是通過迭代進(jìn)行串行訓(xùn)練的蒸餾方法，在CIFAR-10 和CIFAR-100［19］等通用數(shù)據(jù)集上可以降低驗(yàn)證誤差。此外，本文實(shí)驗(yàn)也將未經(jīng)知識蒸餾的學(xué)生網(wǎng)絡(luò)、教師網(wǎng)絡(luò)作為基礎(chǔ)模型進(jìn)行比較。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

UC Merced Land-Use［7］是一個(gè)土地利用數(shù)據(jù)集，該數(shù)據(jù)集是從美國地質(zhì)勘探局國家地圖城市區(qū)域的大型圖像中提取得到，共有21 類，每類包含100 個(gè)256×256 的RGB 圖像樣本，分辨率為0.304 8 m。SIRI-WHU 數(shù)據(jù)集［8］包含12 個(gè)場景類別，圖片均來源于Google Earth，主要覆蓋中國城市地區(qū)，每類包含200 個(gè)樣本，每個(gè)樣本包含200 像素×200 像素，空間分辨率為2 m。2 個(gè)數(shù)據(jù)集具體類別示例如圖2 所示，其中，前3 行為UC Merced Land-Use 數(shù)據(jù)集，后2行為SIRI-WHU 數(shù)據(jù)集。

圖2 2 個(gè)數(shù)據(jù)集圖片示例Fig.2 Image examples of two datasets

實(shí)驗(yàn)中隨機(jī)選取每類圖片的20%作為測試集，剩余作為訓(xùn)練集。在數(shù)據(jù)預(yù)處理時(shí)，將像素值歸一化到［0，1］范圍內(nèi)，實(shí)驗(yàn)前對圖片進(jìn)行平移和隨機(jī)水平翻轉(zhuǎn)等預(yù)處理。

3.2 結(jié)果分析

從表1 可以看出，本文所提知識蒸餾方法可將ResNet-18 在UC Merced Land-Use 數(shù)據(jù)集上的測試精度提升4.04 個(gè)百分點(diǎn)，而所需參數(shù)量僅為ResNet-50 的47.46%。在數(shù)據(jù)集SIRI-WHU 中，本文知識蒸餾方法將ResNet-18 的準(zhǔn)確率提高了3.96 個(gè)百分點(diǎn)。實(shí)驗(yàn)結(jié)果表明，本文基于多粒度特征蒸餾的遙感圖像分類方法在參數(shù)量與計(jì)算量不變的前提下可以大幅提升學(xué)生網(wǎng)絡(luò)的分類能力。在參數(shù)量相同的條件下，本文方法在2 個(gè)實(shí)驗(yàn)數(shù)據(jù)集上均取得了最高的精度，該方法相比傳統(tǒng)知識蒸餾方法在UC Merced Land-Use 和SIRI-WHU 上的測試精度分別提高2.38 個(gè)百分點(diǎn)和1.88 個(gè)百分點(diǎn)，相比BAN 中經(jīng)第3 次蒸餾的學(xué)生網(wǎng)絡(luò)（ResNet-18-S3）在2 種數(shù)據(jù)集上的測試精度分別提高1.9 個(gè)百分點(diǎn)與1.46 個(gè)百分點(diǎn)，相比BAN 的3 次蒸餾集成結(jié)果（ResNet-18 Ensemble）的測試精度也有所提高，但所需參數(shù)量僅為BAN 集成模型的1/3。

表1 不同網(wǎng)絡(luò)模型在2種數(shù)據(jù)集上的測試精度及參數(shù)量對比Table 1 Comparison of test accuracy and parameters of different network models on two datasets

3.3 模型有效性分析及可視化效果

為驗(yàn)證多粒度特征蒸餾方法的有效性，將取消了除最后預(yù)測概率輸出外的中、低階特征損失后的網(wǎng)絡(luò)與原網(wǎng)絡(luò)以及文獻(xiàn)［15］中的基礎(chǔ)蒸餾方法在同等設(shè)置下進(jìn)行實(shí)驗(yàn)對比，結(jié)果如表2 所示。從表2 可以看出，在2 個(gè)數(shù)據(jù)集上采用本文融合多粒度特征的蒸餾方法時(shí)，學(xué)生網(wǎng)絡(luò)的分類精度分別有4.04 個(gè)百分點(diǎn)和3.96 個(gè)百分點(diǎn)的增長。在取消中間特征層的監(jiān)督損失后，本文方法在UC Merced Land-Use 和SIRI-WHU 上分別有2.14 個(gè)百分點(diǎn)和1.25 個(gè)百分點(diǎn)的精度損失，與傳統(tǒng)蒸餾方法相比，性能相差不多，但相較于原學(xué)生網(wǎng)絡(luò)的精度仍有所提升。表2 中的實(shí)驗(yàn)結(jié)果再次驗(yàn)證了所提基于多粒度特征蒸餾的遙感圖像分類模型的有效性，表明同時(shí)訓(xùn)練教師網(wǎng)絡(luò)與學(xué)生網(wǎng)絡(luò)并加入教師網(wǎng)絡(luò)各階段輸出作為學(xué)生網(wǎng)絡(luò)的監(jiān)督信號，以及融合網(wǎng)絡(luò)多階段特征的方式，可以有效提高學(xué)生網(wǎng)絡(luò)的學(xué)習(xí)能力。

表2 多粒度特征融合對模型精度的影響效果Table 2 Effect of multi-granularity feature fusion on models accuracy %

本文用UC Merced Land-Use 數(shù)據(jù)作為輸入，將經(jīng)教師網(wǎng)絡(luò)（ResNet-50）、學(xué)生網(wǎng)絡(luò)（ResNet-18）以及有/無多粒度特征融合的方法提取的圖像特征分別用二維TSNE 嵌入表征進(jìn)行可視化，結(jié)果如圖3 所示。從圖3 可以看出，本文方法能有效提高學(xué)生網(wǎng)絡(luò)對多類樣本的區(qū)分能力。在融合多粒度的特征后，二維特征映射下的類間距離更為清晰，模型生成的嵌入表示能更好地分離出目標(biāo)類，說明基于多粒度特征的蒸餾方法在遙感場景分類中具有有效性，本文方法能利用多層特征使得學(xué)生網(wǎng)絡(luò)更充分地模仿教師網(wǎng)絡(luò)。

圖3 不同模型特征的二維TSNE 嵌入表征可視化效果對比Fig.3 Comparison of visualization effect of two-dimensional TSNE embedded representation of different model features

3.4 參數(shù)分析

為驗(yàn)證本文方法中損失函數(shù)超參數(shù)α、β和γ對分類精度的影響，在不同參數(shù)設(shè)置的情況下進(jìn)行實(shí)驗(yàn)，分別對參數(shù)α、β和γ從0～1 進(jìn)行枚舉，當(dāng)改變目標(biāo)參數(shù)時(shí)固定其余參數(shù)為1。實(shí)驗(yàn)結(jié)果如圖4 所示，從圖4 可以看出，在UC Merced Land-Use 數(shù)據(jù)集上取α=1.0、β=1.0、γ=0.5 時(shí)，模型達(dá)到最好的效果，而在SIRI-WHU 數(shù)據(jù)集上，當(dāng)α=1.00、β=1.00、γ=0.75 或γ=1.00 時(shí)模型能取得最高的分類精度。本文模型在不同參數(shù)設(shè)置下測試精度未產(chǎn)生大幅波動，驗(yàn)證了所提方法具有一定的魯棒性。當(dāng)目標(biāo)參數(shù)值低于0.5 時(shí)，模型精度會有一定損失，而當(dāng)目標(biāo)參數(shù)值在0.5 以上時(shí)，分類精度基本不變，說明了教師網(wǎng)絡(luò)、學(xué)生網(wǎng)絡(luò)損失項(xiàng)以及多粒度特征輸出距離損失項(xiàng)均對模型有重要影響。綜合圖4 的實(shí)驗(yàn)結(jié)果，本文在表1、表2 的實(shí)驗(yàn)中設(shè)置α=1.0、β=1.0、γ=1.0，可以在2 個(gè)實(shí)驗(yàn)數(shù)據(jù)集上都取得較好的效果。

圖4 不同參數(shù)設(shè)置下的分類精度對比Fig.4 Comparison of classification accuracy under different parameter settings

4 結(jié)束語

本文提出一種基于多粒度特征蒸餾的遙感圖像場景分類模型壓縮方法，以減少測試時(shí)的計(jì)算負(fù)擔(dān)及參數(shù)需求量，簡化傳統(tǒng)知識蒸餾模型的訓(xùn)練過程。該方法針對遙感圖像覆蓋語義廣、細(xì)節(jié)豐富的特點(diǎn)，通過鼓勵教師網(wǎng)絡(luò)與學(xué)生網(wǎng)絡(luò)相應(yīng)階段產(chǎn)生相似輸出的方式，同時(shí)訓(xùn)練深層的教師網(wǎng)絡(luò)和淺層的學(xué)生網(wǎng)絡(luò)，從而提高學(xué)生網(wǎng)絡(luò)的分類能力。在UC Merced Land-Use 和SIRI-WHU 2 個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法良好的分類性能。為了進(jìn)一步提高學(xué)生網(wǎng)絡(luò)的分類性能，今后將為其設(shè)計(jì)新的卷積結(jié)構(gòu)，或在可接受范圍內(nèi)加深學(xué)生網(wǎng)絡(luò)。此外，在學(xué)生網(wǎng)絡(luò)中采用深度可分離卷積結(jié)構(gòu)［20］來降低其網(wǎng)絡(luò)計(jì)算量也是下一步的研究方向。