嵌入注意力機制的通信輻射源個體識別方法

曲凌志, 楊俊安, 劉 輝, 黃科舉

(國防科技大學電子對抗學院, 安徽 合肥 230037)

0 引 言

輻射源個體識別(specific emitter identification, SEI)是指提取同型號、同批次通信輻射源信號中的個體特征來識別不同輻射源個體的過程。由生產(chǎn)和制造工藝決定的電子電路和射頻組件特性,使得通信設備的SEI是可以實現(xiàn)的。并且由于這種特性獨特且不易造假,在軍事通信、電子偵察、戰(zhàn)場網(wǎng)絡態(tài)勢感知等領域具有至關重要的作用。

根據(jù)通信電臺的工作狀態(tài),可以將用于電臺識別的指紋特征分為暫態(tài)特征和穩(wěn)態(tài)特征。基于暫態(tài)特征的個體識別方法提出較早,識別效果較好,但是暫態(tài)信號的持續(xù)時間短,捕獲難度大,難以得到有效利用?；诜€(wěn)態(tài)特征的個體識別方法近年來研究較為廣泛,有時頻分析、雙譜、調(diào)制分析等多種方法。文獻[9]結合希爾伯特-黃變換提取熵、峰度、偏度、均值作為特征。文獻[10]應用固有時間尺度分解(intrinsic time-scale decomposition, ITD)方法得到信號的時頻分布。Satija等人提出的利用變分模態(tài)分解和譜特征(variational mode decomposition and spectral features, VMD-SF)的輻射源識別方法,在單跳和中繼情況下識別效果優(yōu)于基于變分模態(tài)分解提取熵、一階和二階矩方法和基于經(jīng)驗模態(tài)分解提取熵、一階和二階矩方法。文獻[13]從輻射源信號中提取雙譜特征,再利用支持向量機進行識別。文獻[15]提取信號的I/Q兩路的不平衡性作為特征進行識別,在仿真信號上取得了較好的效果。文獻[17]利用聯(lián)合協(xié)作表示模型能夠識別無意幅度和相位調(diào)制特征。

通過特征提取進行分類的方法取決于信號特征的先驗知識和現(xiàn)有的信號處理工具,并且其先驗知識與接收信號的特定屬性有關,提取的特征相對單一,對特征有效性要求較高,因而輻射源狀態(tài)變化導致其魯棒性不足。伴隨著深度學習的發(fā)展,近年來國內(nèi)外學者嘗試著將深度學習的思想應用到SEI的研究。文獻[20]在無線電認知任務中運用了卷積神經(jīng)網(wǎng)絡(convolutional neural network, CNN)。文獻[21]分析了深度神經(jīng)網(wǎng)絡在無線電調(diào)制識別任務的研究進展情況。文獻[22]使用基于長短時記憶的遞歸神經(jīng)網(wǎng)絡(recurrent neural network, RNN)進行射頻指紋識別,即使在強噪聲存在的情況下也取得了較高的檢測精度。文獻[23]在雙譜上訓練的CNN,比傳統(tǒng)方法具有更高的精度。周東青等提出的基于深度限制波爾茲曼機的識別方法,對8類不同的雷達信號的識別效果較好。劉高輝等分析了通信輻射源互調(diào)干擾產(chǎn)生機理,結合矩形積分雙譜和深度置信網(wǎng)絡對輻射源進行識別。吳子龍等引入堆棧式長短時記憶網(wǎng)絡來解決SEI的問題,便于工程化和實用化。文獻[18]直接用小波變換處理信號,結合深度殘差網(wǎng)絡(residual network,ResNet)取得了較好的效果。文獻[27]結合深度ResNet和深度適配網(wǎng)絡,在半監(jiān)督的遷移學習場景下對頻率變化的電臺識別準確率較高。文獻[28]比較了將信號轉換為圖像作為CNN輸入的各種方法,包括遞歸圖、連續(xù)小波變換和短時傅里葉變換,實驗表明基于小波的方法優(yōu)于其他方法。

為解決低信噪比環(huán)境下上述神經(jīng)網(wǎng)絡分類準確率下降的不足,本文提出結合雙層注意力機制和ResNet(double-deck attention mechanism ResNet,DDAM-ResNet)的識別算法,將雙層注意力機制嵌入到殘差堆棧骨干網(wǎng)絡的前后,既保留殘差網(wǎng)絡的性能,又能檢測與識別任務關聯(lián)性更強的特征。實驗證明,在低信噪比條件下,DDAM-ResNet識別算法表現(xiàn)出更好的性能,對比殘差神經(jīng)網(wǎng)絡,將注意力單元作為獨立的網(wǎng)絡層增強了網(wǎng)絡的魯棒性,適用于復雜環(huán)境下的SEI。

1 注意力機制

卷積塊注意模塊(convolutional block attention module,CBAM) 模擬視覺感知,關注卷積運算中重要的特征,抑制不必要的特征,提高信息在神經(jīng)網(wǎng)絡中的傳遞。其主要是由通道注意模塊和空間注意模塊組成,用通道注意模塊和空間注意模塊分別獲得特征的關鍵通道位置信息和關鍵空間位置信息,對每一個電臺樣本的數(shù)據(jù)特征進行更好的自適應細化處理。

1.1 通道注意力機制

通道注意模塊關注通道維度上的特征,利用特征間的通道關系生成通道注意圖。通道注意模塊的注意力聚焦在通道注意圖的“什么”是有意義的,將通道注意圖中的每個通道作為一個特征檢測器,根據(jù)每個通道的重要程度賦予不同的權重。對于電臺的信號,I、Q兩路信號之間存在內(nèi)在聯(lián)系,不同通道的特征圖都能反應電臺數(shù)據(jù)的一部分細微特征,利用通道注意力能夠抑制無用特征,提高分類識別效果。

在通道注意模塊中,對于一維的電臺數(shù)據(jù),設輸入特征∈×,經(jīng)過平均池化層和最大池化層得到∈1×和∈1×:

(1)

=MaxPool()=max((1≤≤,))

(2)

再將通過平均池化層和最大池化層聚合的特征輸入到由多層感知器(multi-layer perceptron,MLP)構成的共享網(wǎng)絡中,共享網(wǎng)絡包含一個隱層,隱層的神經(jīng)元個數(shù)為。將經(jīng)過共享網(wǎng)絡后的兩個特征圖的對應元素進行求和來合并輸出特征向量,再利用Sigmoid函數(shù)對合并后的輸出特征進行激活得到通道注意力權重系數(shù)()∈1×,將權重系數(shù)與相乘得到經(jīng)過通道注意力細化的輸出特征′:

()=(MLP(Avgpool())+MLP(Maxpool()))=
((())+(()))

(3)

′=()?=((())+(()))?

(4)

式中：表示Sigmoid函數(shù)；∈×和∈×分別表示多層感知機隱層和輸出層權重。

對于不同通道的特征向量,通道注意力權重系數(shù)可以看作是一個特征檢測器。利用通道注意力權重系數(shù)給特征圖中的每個通道都分配一個權值,哪個通道帶來的有用信息越多,相應獲得的權重就越大。通道注意模塊和空間注意模塊示意圖分別如圖1和圖2所示。

圖1 通道注意模塊Fig.1 Channel attention module

圖2 空間注意模塊Fig.2 Spatial attention module

1.2 空間注意力機制

空間注意模塊關注空間維度上的特征,利用特征間的空間關系生成空間注意圖。與通道注意模塊不同,空間注意模塊將注意力聚焦在空間注意圖的“哪里”是有價值的信息部分,這與通道注意模塊互補。卷積運算通過混合跨通道和空間信息來提取信息特征,特征圖的不同空間位置映射的特征信息不同,找到關鍵特征的空間位置信息對特征分類有重要作用。

(5)

(6)

再將兩個一維通道特征圖拼接起來,利用7×7大小的卷積核對拼接起來的特征圖進行通道維度壓縮,得到×1的特征圖。利用Sigmoid函數(shù)對特征圖進行激活,得到通道注意力權重系數(shù)(′)∈×1:

(7)

式中：表示Sigmoid函數(shù)；表示大小為7的卷積核。

空間注意力權重系數(shù)反映了不同區(qū)域特征的重要性。特征圖中所有區(qū)域?qū)ψR別任務并不都是同等重要的,與識別任務相關的區(qū)域更值得關注,這部分區(qū)域應該獲得更大的權值。

1.3 注意力機制模塊

文獻[29]把通道注意模塊和空間注意模塊的串行順序和并行進行了實驗對比,發(fā)現(xiàn)先通道注意模塊再空間注意模塊的串行效果最佳。本文使用的注意力單元的整體流程可以概括如下。

首先,將特征∈×輸入到通道注意力機制中得到通道權重系數(shù),將其與輸入特征相乘得到更能體現(xiàn)特征關鍵通道信息的特征圖′。其次,將′作為空間注意模塊的輸入,得到空間權重系數(shù)。最后,將其與′相乘得到包含通道位置信息、空間位置信息的特征圖″。

注意力機制模塊的整體流程如圖3所示,可以表示為

圖3 注意力機制Fig.3 Attention mechanism

″=(′)?′=(()?)?(()?)

(8)

1.4 殘差神經(jīng)網(wǎng)絡

深度神經(jīng)網(wǎng)絡因為強大的信息表征能力使其成功的應用到各個領域中,在數(shù)據(jù)充足的情況下,更深的網(wǎng)絡結構可以獲得更好的結果,多層特征能夠通過網(wǎng)絡的深度來豐富其表達。但是網(wǎng)絡深度的增加會導致梯度消失和網(wǎng)絡誤差增大。

深度ResNet是深度卷積網(wǎng)絡的經(jīng)典模型之一,較好地解決了模型的退化問題。ResNet模型的主要創(chuàng)新在于引入殘差結構,通過殘差塊將淺層結構與映射増加層連接在一起,使得模型的訓練誤差不會進一步升高,兼顧了模型層數(shù)與精準度的關系。ResNet的基本模塊是殘差單元,如圖4所示。

圖4 殘差單元 Fig.4 Residual unit

殘差單元由卷積層、批歸一化層和激活函數(shù)組成:

()=+()

(9)

式中:為殘差單元的輸入;()為殘差函數(shù)的輸出;()為殘差單元的輸出。

2 基于DDAM-ResNet的SEI

2.1 數(shù)據(jù)預處理

數(shù)據(jù)預處理由數(shù)據(jù)分段、信號篩選和標準化3部分組成。

(1) 由于采集到的信號存在傳輸靜默時間,而這部分樣本數(shù)據(jù)無法體現(xiàn)輻射源個體特征,因此設置一個合理的閾值,當一段時間內(nèi)樣本信號值的方差小于規(guī)定的閾值時,認為這段時間信號樣本處于靜默狀態(tài)并予以舍棄。

(2) 對處理過后的數(shù)據(jù)集按照固定長度做切片化處理,將數(shù)據(jù)集Ⅰ和數(shù)據(jù)集Ⅱ分割為長度為8 192個采樣點的若干樣本。

(3) 用接收設備采集到的不同電臺的發(fā)射信號功率存在一定的差異,為了避免信號功率差異對識別效果造成的影響,需要對數(shù)據(jù)集進行標準化處理。計算每個樣本中8 192個采樣點的平均值,將樣本數(shù)據(jù)減去均值后再除以標準差,使得所有樣本數(shù)據(jù)的均值為0,方差為1,圖5是處理后的信號數(shù)據(jù)。

圖5 分段標準化信號 Fig.5 Segmented normalized signal

2.2 網(wǎng)絡模型設計

以18層的ResNet網(wǎng)絡為骨干網(wǎng)絡,在保留整體殘差結構的基礎上嵌入雙層注意力機制,網(wǎng)絡模型如圖6所示。

圖6 網(wǎng)絡模型Fig.6 Network model

(1) 相比于其他連接方式,采用先通道模塊后空間模塊的串行注意力機制結構,對輻射源個體細微特征的識別效果更好。

(2) 用一維ResNet提取一維信號序列的特征,縮小了運算時間和存儲空間,降低了卷積計算的冗余,便于工程化實現(xiàn)。

(3) 保留了殘差堆棧骨干網(wǎng)絡的完整性,使得算法更容易收斂,穩(wěn)定性更強。

(4) 用兩層注意力單元檢測堆棧網(wǎng)絡的輸入輸出特征,根據(jù)其重要性進行加權,將與識別相關性更大的特征分配更大的權重,提高分類識別的效果。

2.3 模型概述

本文的對比算法都是基于一維卷積的ResNet,殘差結構均采用一維卷積結構,卷積層均采用一維卷積核，網(wǎng)絡結構參數(shù)如表1所示。以數(shù)據(jù)集Ⅱ為例,DDAM-ResNet的布局如圖4所示,其中一維殘差堆棧包含兩個相同殘差單元。

表1 網(wǎng)絡布局

2.4 網(wǎng)絡參數(shù)與對比實驗設置

(1) 設置參數(shù)和初始化

模型的權重和偏置按照He initialization方式初始化,網(wǎng)絡模型的參數(shù)設置如表2所示。

表2 模型主要參數(shù)設置

(2) 對比實驗設置

采用基于本征模態(tài)分解(empirical mode decomposition,EMD)和固有時間尺度分解(intrinsic time-scale decomposition,ITD)的人工特征提取方法,以及ResNet算法、CBAMResBlock算法作為對比實驗算法。其中,CBAMResBlock算法是指用ResBlock+CBAM模塊替換ResNet算法中的ResBlock模塊,其他網(wǎng)絡層不變的一種網(wǎng)絡模型,如圖7所示。由EMD和ITD算法提取出的特征都采用支持向量機作為特征分類器,而ResNet算法和CBAMResBlock算法的網(wǎng)絡參數(shù)設置和初始化與DDAM-ResNet算法設置相同。

圖7 ResBlock+CBAM基礎模塊Fig.7 ResBlock+CBAM base module

3 實驗結果與分析

3.1 實驗數(shù)據(jù)

本文中同一樣本集的實驗數(shù)據(jù)由相同型號的輻射源電臺產(chǎn)生,經(jīng)過信道模擬器,最后由同一臺接收設備采集得到。信號分為Ⅰ路和Q路,數(shù)據(jù)集Ⅰ是采集得到的跳頻數(shù)據(jù)集,數(shù)據(jù)集Ⅱ是采集得到的定頻數(shù)據(jù)集。兩個數(shù)據(jù)集的采集時間、電臺型號均不相同,并且在樣本數(shù)據(jù)集中,所有電臺所發(fā)射的信號是隨機的,因此同一型號不同輻射源電臺的所發(fā)射的基帶信號也不相同。

數(shù)據(jù)集Ⅰ:實驗數(shù)據(jù)來自8個相同型號的輻射源電臺,跳頻頻率為450～460 MHz,每隔1 MHz為一個頻點,具體參數(shù)如表3所示。

表3 數(shù)據(jù)集Ⅰ信號參數(shù)

數(shù)據(jù)集Ⅱ:實驗數(shù)據(jù)來自9個相同型號的輻射源電臺,具體參數(shù)如表4所示。

表4 數(shù)據(jù)集Ⅱ信號參數(shù)

3.2 跳頻數(shù)據(jù)集識別結果

數(shù)據(jù)集Ⅰ:從每個電臺經(jīng)過預處理的若干分段跳頻數(shù)據(jù)樣本集中隨機選擇500個樣本作為訓練樣本集,1 500個樣本作為測試樣本集,按照訓練樣本和測試樣本為1∶3的比例,構建4 000個樣本的訓練樣本集和12 000個樣本的測試樣本集。隨機選取樣本,每次選取的樣本不同,獨立重復實驗5次取識別結果的平均準確率,識別效果對比如表5所示。

表5 數(shù)據(jù)集Ⅰ的識別準確率

其中,ResNet算法和DDAM-ResNet算法的混淆矩陣結果如圖8所示。從混淆矩陣可以看出,對于數(shù)據(jù)集Ⅰ中的8個電臺,電臺1和電臺2的識別效果最好,電臺5和電臺8的錯分概率較高。相比于ResNet算法,DDAM-ResNet識別算法的識別準確率更高,對8個電臺的識別效果更好一些。

圖8 數(shù)據(jù)集Ⅰ的混淆矩陣結果Fig.8 Confusion matrix results for dataset Ⅰ

為了能夠獲得訓練樣本數(shù)對于SEI的影響,在保持訓練樣本和測試樣本為1∶3的比列不變的條件下,改變跳頻數(shù)據(jù)集每個電臺的訓練樣本數(shù)目,得到的識別準確率如表6所示。

表6 不同訓練樣本數(shù)目的識別準確率

隨著訓練樣本數(shù)的增加,能夠從訓練數(shù)據(jù)中得到的特征更多,識別準確率也隨之上升。在訓練樣本數(shù)為500時,相比于CBAMResBlock算法,ResNet算法和DDAM-ResNet算法的識別效果更好。為了進一步比較幾種識別算法的效果,在數(shù)據(jù)集Ⅱ中加入高斯白噪聲,改變樣本集的信噪比條件,模擬設置通信信道質(zhì)量不同的定頻數(shù)據(jù)集。

3.3 不同信噪比條件的識別結果

數(shù)據(jù)集Ⅱ:從每個電臺經(jīng)過預處理的若干分段數(shù)據(jù)樣本集中,隨機選擇500個樣本作為訓練樣本集,1 500個樣本作為測試樣本集,通過添加高斯白噪聲改變信噪比條件(-10 dB,-9 dB,-8 dB,-1 dB),隨機選取樣本重復實驗5次取識別結果的平均準確率,識別效果對比如圖9所示。對于EMD和ITD進行特征提取并用支持向量機進行分類的識別方法,當輸入經(jīng)過高斯噪聲處理的低信噪比電臺數(shù)據(jù)時,EMD和ITD算法的識別準確率不高,而基于深度學習神經(jīng)網(wǎng)絡識別算法的識別效果明顯優(yōu)于支持向量機分類器的傳統(tǒng)識別方法。根據(jù)獲得射頻指紋的不同,SEI方法可以分為兩大類:基于人為提取特征的和基于深度學習的。人為提取特征的識別算法需要專家知識支撐,對特征的有效性要求較高,而深度學習分類方法能夠避免人為提取特征的主觀性,直接輸入I、Q兩路數(shù)據(jù)又簡化了數(shù)據(jù)預處理的流程,利于工程上的實踐應用,在非協(xié)作通信領域具有較明顯的優(yōu)勢。

圖9 數(shù)據(jù)集Ⅱ的識別準確率Fig.9 Recognition accuracy of dataset Ⅱ

相比于ResNet算法,將兩層注意力機制模塊嵌入殘差堆棧骨干網(wǎng)絡的前后,既保留了ResNet的收斂性,又在少量增加網(wǎng)絡參數(shù)的條件下,使得識別準確率提升較多。在低信噪比的條件下,DDAM-ResNet算法的魯棒性更強的原因在于通過注意力機制能夠抑制噪聲帶來的無效特征,將網(wǎng)絡參數(shù)的權重聚焦在體現(xiàn)電臺指紋特征的部分,提高了分類識別的效果。

3.4 消融性實驗

為了進一步探求空間注意力機制模塊與通道注意力機制模塊對分類效果的影響,做了消融性實驗,結果如表7和表8所示。其中，ResNet+CA算法是在ResNet殘差堆棧模塊之后加上通道注意模塊,ResNet+SA算法是在ResNet網(wǎng)絡殘差堆棧模塊之后加上空間注意模塊,ResNet+AM算法是在ResNet網(wǎng)絡殘差堆棧模塊之后加上一層注意力單元。AM+ResNet算法是在ResNet骨干網(wǎng)絡殘差堆棧模塊之前加上一層注意力單元。

表7 數(shù)據(jù)集Ⅱ 450 MHz消融性實驗的識別準確率

表8 數(shù)據(jù)集Ⅱ 512 MHz消融性實驗的識別準確率

4 結 論

針對復雜信道環(huán)境下的SEI問題,本文提出了一種結合雙層注意力機制和ResNet的DDAM-ResNet識別算法,將注意力機制構建成獨立的網(wǎng)絡層,獲取殘差單元的輸入、輸出特征,并能根據(jù)其重要性對特征進行加權處理。實驗證明,低信噪比環(huán)境對SEI結果的影響較大,但相比于其他對照算法,本文方法數(shù)據(jù)利用率高、抗噪性能好,有效提升了低信噪比場景下對通信輻射源個體的識別能力。