基于知識蒸餾與注意力圖的雷達信號識別方法

曲志昱 李 根 鄧志安

(哈爾濱工程大學信息與通信工程學院 哈爾濱 150001)

(先進船舶通信與信息技術工業和信息化部重點實驗室 哈爾濱 150001)

1 引言

雷達信號識別是電子對抗的重要環節[1]。通過對截獲的雷達信號進行識別，可以判斷敵方雷達的類型、威脅等級，對于奪得戰場的信息優勢有重要意義[2]。隨著新體制雷達大規模投入使用[3]，實際戰時偵察到的雷達信號可能為新調制類型信號，因此雷達信號識別算法需要進行識別類型擴展。

近年來，學者將機器學習與深度學習的算法應用在雷達信號識別領域。文獻[4]將奇異值熵與分形維數作為特征向量，利用支持向量機(Support Vector Machine, SVM)實現了對8種雷達信號的識別。文獻[5,6]都是利用卷積神經網絡去噪，然后利用Inception網絡進行分類識別，在低信噪比下(-10 dB)仍有90%以上的識別正確率。文獻[7]設計了棧式稀疏自動編碼器，將預處理過的8種雷達信號時頻圖像送入進行離線訓練后，整體識別正確率達到96.4%。以上的識別算法雖然有較好識別正確率但是都是經過離線學習后識別固定類別的信號。當有識別類型擴展的需求時，需要已有類別與擴展類別的所有數據集混合后重新開始訓練網絡，這對于設備的存儲資源和訓練時間均有較高要求。文獻[8]基于殘差網絡與3元損失函數學習得到特征映射，利用設計的基于樣本庫的識別方法實現識別類型擴展，但是隨著類型的增加訓練后的識別正確率有待提高。

本文采用增量學習的訓練方法實現雷達信號識別類型擴展。針對增量學習過程中網絡會出現災難性遺忘[9]問題，本文利用基于特征平均值距離的方法選擇極少典型樣本構成新訓練集，設計了基于殘差的增量學習網絡結構，并利用知識蒸餾與注意力圖[10]緩解災難性遺忘，實現了識別類型的有效擴展。仿真實驗表明，在存儲資源有限的條件下，本方法對原有分類與擴展分類的雷達信號均有良好的識別準確率。

2 知識蒸餾與注意力圖

2.1 知識蒸餾

知識蒸餾[11]是一種有效的模型壓縮方法，它將復雜模型所學到的“知識”遷移到參數量少的簡單模型中。在知識蒸餾過程中，訓練簡單模型時加入復雜模型的softmax層輸出作為軟標簽輔助訓練，用來提高簡單模型的識別效果。在復雜模型產生軟標簽的過程中，加入溫度變量T使各個類別產生較平滑的概率分布，如式(1)所示，這使得負標簽所攜帶的信息相對放大，模型訓練更加關注負標簽

2.2 注意力圖

隨著深度卷積神經網絡在解決復雜視覺問題方面取得了長足進步，學者對于網絡做出決策時的“依據”也進行了研究。注意力圖 (attention map)是一種反映網絡可解釋性的重要方法，其能夠表示網絡做出輸出決策時對輸入圖像最關注的區域。本文使用梯度加權類激活映射(Gradient-weighted Class activation mapping, Grad-Cam)[12]表示注意力圖。Grad-Cam將網絡的特征圖賦予不同的權重，然后通過生成熱力圖標記出輸入圖像中對預測影響較大的像素區域。卷積神經網絡最后一層卷積含有最豐富的語義信息與空間信息[13]，所以Grad-Cam將最后一層卷積作為特征圖。當圖像進入網絡后，得到其全連接層輸出，計算全連接層輸出最大值對特征圖的梯度，經過平均計算后得到特征圖權重，如式(3)所示

本文利用Grad-Cam對線性調頻信號(Linear Frequency Modulation, LFM)、Frank編碼信號、二相編碼信號(Binary Phase-coded Signal,BPSK)、V型調頻信號(DLFM)、偶2次調頻信號(Even Quadratic Frequency Modulation, EQFM)與正弦調頻信號(Sinusoidal Frequency Modulation signal, SFM)產生的熱力圖與疊加到原時頻圖像的效果圖如圖1所示。在熱力圖中，紅色區域表示對網絡輸出影響較大的區域，由圖1可以看出紅色區域主要覆蓋信號的時頻結構，也就是說網絡對信號調制類型識別時其決策依據主要為信號的時頻結構。同時網絡對于不同雷達信號的注意力圖不同，將其作為額外的監督信息，在進行擴展類型識別時可以幫助緩解災難性遺忘。

圖1 雷達脈內調制信號時頻圖像Grad-Cam可視化效果

3 基于知識蒸餾與注意力圖的雷達信號識別方法

本方法首先將雷達信號的平滑偽Wigner-Ville分布(Smooth Pseudo Wigner-Ville Distribution,SPWVD)作為網絡的輸入，將積累的擴展類型信號與存儲的典型原有分類信號混合組成新的數據集。然后進行類別增量訓練，訓練過程中加入知識蒸餾損失與注意力圖損失緩解訓練過程中的災難性遺忘。最后進行數據集管理，采用基于均值距離的樣本選擇方法，選擇典型新類樣本進行存儲，同時刪除部分原有分類樣本維持存儲樣本總數不變。具體流程圖如圖2所示。

圖2 基于知識蒸餾與注意力圖的雷達信號識別方法流程

3.1 網絡結構

本文采用基于增量學習的網絡結構，信號經過SPWVD后送入網絡進行訓練，過程可以分為特征提取與分類識別，如圖3所示。其中θs為用于特征提取的參數，一般為卷積神經網絡中的卷積層。θo為識別已有類別所用到的參數，當需要進行類型擴展時增加全連接層的輸出，所增加的參數用θn表示[14]。

圖3 增量識別卷積神經網絡參數示意圖

本文基于殘差網絡[15]設計的網絡結構如圖4所示，共有4組殘差單元，每組殘差單元兩層卷積，將雷達信號做SPWVD后，經過線性插值調整為128×128的圖像作為輸入。最初的卷積層加上4組殘差單元組成特征提取參數θs，全連接層的參數作為θo，輸出擴展后增加的參數為θn。最后一組卷積單元的輸出含有對時頻圖像最豐富的語義信息且未丟失空間信息，所以將其作為特征圖用于計算Grad-Cam, softmax層的輸出含有對時頻圖像預測概率的信息，所以將其作為軟標簽。利用網絡擴展前后對于擴展類型數據Grad-Cam與輸出預測的不同作為額外的監督信息加入訓練。

圖4 網絡結構

3.2 基于知識蒸餾與注意力圖的增量訓練

3.3 數據集管理

增量學習過程通常在存儲資源有限的條件下進行[16]。采用基于特征均值距離的方法選擇每一類的典型樣本進行存儲可滿足存儲資源有限的條件。基于特征均值距離的選擇方法如式(8)所示

圖5 基于知識蒸餾與注意力圖的增量訓練過程

圖6 模型關注區域差異示意圖

4 實驗結果與分析

4.1 實驗設置

為評估本方法的有效性，使用MATLAB生成數據，每種雷達脈內調制信號的頻率參數根據采樣頻率做歸一化處理，每種信號的長度N=512～1024且每種信號的參數都有一個動態變化的范圍。首先將參數如表1所示的6種雷達脈內調制信號作為已識別的信號類型，數據集樣本信噪比范圍在-10～8 dB，每隔2 dB每種信號產生500個樣本，所以每種信號有5000個樣本，其中4500個樣本作為訓練集，500個樣本作為驗證集。測試集數據信噪比在-12～0 dB，每隔1 dB產生500個樣本數據。

表1 已識別信號參數設置

基于以上訓練集，訓練得到模型Mt-1作為原有信號的識別模型。同時選取文獻[18,19]所提出的模型與本文模型進行對比。文獻[18]采用了基于AlexNet的模型進行識別，文獻[19]采用了擴張殘差網絡進行識別。訓練完成后用測試集測試，在不同信噪比環境下識別準確率如圖7所示。由圖7明顯看出本文所用網絡結構準確率較高，所用網絡結構對信號有良好的特征提取能力與分類識別能力。

圖7 準確率對比

設存儲容量為600個樣本，訓練完成的模型Mt-1利用基于樣本特征均值的方法，每一類信號選取100個作為典型樣本進行存儲。仿真參數如表2所示的雷達脈內調制信號依次作為擴展類型。信噪比設置與已識別的6類信號相同，每類新增信號同樣也為4500個樣本。所有訓練過程batchsize設為64，采用Adam優化器，初始學習率設為1×10-3，隨訓練過程遞減，知識蒸餾時設T=2，知識蒸餾損失、注意力圖損失與交叉熵損失的加權系數分別取0.8, 0.1, 0.1。

表2 擴展類型信號參數設置

4.2 與聯合訓練效果對比

聯合訓練是將原有分類與擴展分類的所有數據混合重新開始訓練，不存在災難性遺忘問題，可以看作增量學習識別效果的上限，但是對于存儲及訓練時間有較高要求。本次實驗與聯合訓練方法進行對比，在識別6類調制信號的基礎上依次增加新調制類型。

圖8為當擴展類型數量為4類，采用基于聯合訓練的方法、未添加注意力圖損失的方法與本文方法訓練時，每隔10個batchsize所記錄的損失值，由圖8可以看出每種方法訓練完成后模型都收斂。圖9為擴展類型為4類時，以上3種方法所訓練的模型在-5 dB下識別效果的混淆矩陣。由圖9可以看出，在-5 dB時本文方法的識別效果好于未添加注意力圖損失的方法，且只有幾種信號的正確率略低于聯合訓練方法。圖10為擴展類型數量為4時，聯合訓練與本方法訓練時與訓練后所存儲的樣本數量。因為本方法采用的損失函數緩解了災難性遺忘，所以訓練時只需600個典型原有類別的樣本與4500個擴展類型樣本。當新增識別4類訓練完成后，網絡總共可以識別10類雷達脈內調制信號，根據樣本選擇方法每一類保存60個典型樣本。同時，由于本方法訓練集樣本數量低于聯合訓練樣本數量數倍，所以訓練時間也會縮短。綜上，本文方法進行雷達信號增量識別的效果與聯合訓練大致相當，但訓練時間和存儲要求遠低于聯合訓練。

圖8 不同模型損失

圖9 信噪比-5 dB識別效果對比

圖10 聯合訓練與本文方法存儲數量對比

4.3 緩解災難性遺忘有效性驗證

為驗證所采用的損失函數的有效性，在相同數據集情況下，與文獻[20]基于連續微調的增量識別方法進行對比；為驗證存儲典型樣本的有效性，與只采用擴展類型數據訓練的方法進行對比。當依次擴展1～4類調制信號時，得到每種模型在-12～0 dB下對于所有調制信號的平均識別正確率如圖11所示。

由圖11對比可知，由于添加了知識蒸餾損失與注意力圖損失，從而緩解了網絡對已有信號類型的遺忘，本文方法識別正確率要明顯高于文獻[20]中只采用交叉熵損失的連續微調方法。同時，當只用擴展類型數據進行訓練時，與本文采用典型原有樣本存儲的方法在低信噪下的識別正確率有很大差距。這是因為低信噪比情況下時頻結構受損嚴重，識別正確率相對較低，當僅使用擴展類型數據訓練沒有原有數據參與時，模型對已識別信號更容易遺忘。綜上，本文方法所采用的知識蒸餾、注意力圖與典型樣本存儲能夠緩解增量識別過程中的災難性遺忘，提高模型的識別正確率。

圖11 識別正確率與信噪比關系曲線

4.4 增量識別擴展性驗證

為測試本方法識別效果隨擴展類型數量增加的變化，設計依次增加8種調制信號。每一類進行增量訓練后，用信噪比為-7 dB的測試集進行測試。增量到8種信號時，模型總共可以識別14種信號，每一類信號存儲43個典型樣本。模型對調制信號的識別正確率與擴展數量的關系如圖12所示。由圖12可知，隨著識別種類的增加模型識別效果逐漸下降。這主要是因為隨著調制類型的增多，模型所學到的“知識”越多，再次新增類別時，“遺忘掉的知識”也會增多。同時由于存儲限制，每一類的典型樣本也會越來越少，也會造成識別效果下降。

圖12 類別擴展數量與識別正確率關系曲線

5 結論

本文基于知識蒸餾、注意力圖與典型樣本選擇等方法，提出了一種基于殘差網絡的雷達信號增量識別方法，有效地解決了雷達調制信號識別類型擴展問題。仿真結果表明，本方法對原有分類和擴展分類的調制信號識別正確率逼近于聯合訓練模型得到的結果，但訓練時間和存儲要求遠低于后者，同時本文所采用的損失函數能夠有效緩解類別增量過程中的災難性遺忘，使得模型對原有分類和擴展分類信號均有較好的識別正確率。