基于注意力機制增強殘差網(wǎng)絡(luò)的雷達信號調(diào)制類型識別

吳禮洋, 咼鵬程, 劉超, 李文強

(1.空軍通信士官學(xué)校, 遼寧 大連 116600; 2.95183部隊, 湖南 邵東 422000;3.95291部隊, 湖南 衡陽 421000)

0 引言

雷達輻射源識別作為電子情報分析(ELINT)的重要一環(huán),也是開展分析雷達平臺類型、工作狀態(tài)、工作模式以及威脅程度等信息的基礎(chǔ)[1-2]。雷達識別主要依靠提取到的脈間參數(shù),如脈沖頻率、脈沖寬度、到達方向、脈沖重復(fù)間隔等,與數(shù)據(jù)庫進行比對,從而得到相關(guān)雷達信息。而隨著雷達技術(shù)的發(fā)展,信號復(fù)雜程度以及電磁環(huán)境復(fù)雜程度日益增加,尤其出現(xiàn)的低截獲概率(LPI)[3-5]雷達信號更是使得脈間參數(shù)難以滿足識別準(zhǔn)確率的要求。因此脈內(nèi)調(diào)制信息也逐漸成為一項重要的匹配參數(shù)用于雷達輻射源識別,而國內(nèi)外學(xué)者對調(diào)制樣式識別算法開展的探索也是一項研究熱點。

對調(diào)制樣式的特征提取,已有了大量人工特征選擇的算法[6-7],但是這些特征在低信噪比下識別率往往捉襟見肘。近年來,人們利用深度學(xué)習(xí)算法的比例越來越重,主要是因為使用神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)的強大功能,往往能夠獲得深層、抽象的特征,相比于人工選擇的淺層特征,一方面可以減少特征選擇工作量,另一方面提取到的特征能夠更有效提高識別率[8-10],在一定程度上可減少低信噪比帶來的影響。卷積神經(jīng)網(wǎng)絡(luò)對圖像有著獨特的特征提取優(yōu)勢,許多文獻都是將信號進行相關(guān)時頻變換得到二維時頻圖像,進而轉(zhuǎn)化為卷積網(wǎng)絡(luò)對圖像的識別問題。文獻[11]利用LeNet-5卷積網(wǎng)絡(luò)學(xué)習(xí)信號時頻特征,并將特征輸入到字典學(xué)習(xí)的分類器中進行識別,在0 dB、小樣本條件下實現(xiàn)了98%的識別率;文獻[12]首先使用模糊函數(shù)主脊坐標(biāo)變換進行信號調(diào)制樣式特征的一次提取,隨后輸入到卷積網(wǎng)絡(luò)中進行分類識別,在-6 dB條件下實現(xiàn)94.71%識別率;文獻[13]進行DS-STFT時頻變換進行淺層特征提取,再將該特征輸入到卷積網(wǎng)絡(luò)中實現(xiàn)了在 -10 dB 條件下90.81%的識別率。然而上述文獻使用的卷積網(wǎng)絡(luò)層數(shù)都比較淺,未能進一步實現(xiàn)深度特征提取,導(dǎo)致識別率的提高受到一定限制。

隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展,研究人員發(fā)現(xiàn)隨著網(wǎng)絡(luò)層數(shù)進一步增加到一定層數(shù),模型的分類效果不會更好,反而會變差。He等[14]在研究中稱該問題為網(wǎng)絡(luò)退化,因此提出深度殘差網(wǎng)絡(luò)(ResNets),有效解決該問題并將網(wǎng)絡(luò)深度增至一百多層,極大提高了圖像識別的能力水平,是目前深度學(xué)習(xí)中最為有效的模型之一。雷達輻射源識別領(lǐng)域也是借鑒該模型為解決低信噪比條件下識別率的問題提出了許多識別算法。文獻[15]將時域雷達信號輸入到ResNet32框架中進行訓(xùn)練,實驗表明在低信噪比下具有出色的識別率;文獻[16]將雷達信號進行Choi-Williams 分布時頻變換,并構(gòu)建擴張殘差網(wǎng)絡(luò)用以自動提取時頻圖像特征實現(xiàn)分類識別,在-6 dB 信噪比下,對16類雷達輻射源信號整體識別率達到98.2%; 同時注意力機制是圖像識別領(lǐng)域的重要方法,在雷達信號識別也得到應(yīng)用,其具有模仿人類專注于自己感興趣的事物而忽視無關(guān)事物的特性,在低信噪比下更為有效地關(guān)注到信號特征,從而提高識別準(zhǔn)確率。文獻[17] 提出注意力機制特征融合一維卷積長短時深度神經(jīng)網(wǎng)絡(luò),在信噪比-12 dB 以上準(zhǔn)確率保持100%。

受此啟發(fā),本文提出一種基于注意力機制增強的殘差網(wǎng)絡(luò)雷達信號調(diào)制識別算法。首先對雷達信號采用平滑偽Wigner-Ville分布(SPWVD)[18]得到信號的二維時頻圖像,利用該時頻變化能量聚集度強的優(yōu)勢來反映調(diào)制方式的變化情況,具有一定抗干擾性;隨后搭建識別模型殘差網(wǎng)絡(luò),為強化調(diào)制樣式在時頻圖像中的表達,利用注意力機制模型(CBAM),提高網(wǎng)絡(luò)對調(diào)制樣式相關(guān)特征的權(quán)重,剔除噪聲等冗余,提升網(wǎng)絡(luò)對噪聲的抗干擾性以及特征提取的有效性,同時該模型能夠通過恒等映射緩解深層網(wǎng)絡(luò)梯度彌散和梯度爆炸的問題,提高訓(xùn)練的收斂速度,因此增強殘差網(wǎng)絡(luò)整體性能。實驗表明在沒有進行去噪的預(yù)處理前提下,利用SPWVD時頻變換和CBAM自身的抗噪聲能力,本文識別算法能夠?qū)崿F(xiàn)在低信噪比下較高的識別率。

1 SPWVD時頻變換

假設(shè)截獲到的雷達信號為x(t)=s(t)+n(t),s(t)為原始雷達信號,n(t)為高斯白噪聲,且s(t)與n(t)相互獨立。信號x(t)的Wigner分布定義為

(1)

式中:τ為積分變量;t為時移;f為頻率。對x(t+τ/2)和x*(t-τ/2)乘積部分作傅里葉變換,即是t時刻的Wigner-Ville分布(WVD),x*(·)為共軛函數(shù)。根據(jù)Hilbert變換將信號x(t)構(gòu)造成解析形式z(t)后,對z(t+τ/2)和z*(t-τ/2)乘積部分作傅里葉變換,z*(·)為共軛函數(shù),Wigner分布變?yōu)閃igner-Ville分布:

(2)

式中:

z(t)=x(t)+jH[x(t)]

(3)

(4)

δ、u為積分變量。

由于Wigner-Ville分布的時寬帶寬積達到不確定性原理給出的下界,因此相比于其他聯(lián)合時頻分布,Wigner-Ville分布擁有較好的時頻分辨率。

SPWVD時頻分布是由WVD分布中加入兩個實的偶函數(shù)g(u)和h(τ)得來的,其中g(shù)(u)為時域平滑窗和h(τ)為頻域平滑窗,

(5)

相對于WVD,SPWVD可以更好地削弱相干項的影響,能量和時頻聚集性更強,更容易看出信號的時頻關(guān)系。圖1展示了在信噪比為0 dB下非線性調(diào)頻信號的SPWVD和WVD時頻分布圖。由圖1可以看出:信號WVD時頻分布在噪聲干擾下表達不明顯,且能量聚集程度低;而SPWVD在較低信噪比條件下依然能夠顯著地展示信號的時頻變化,并且能量更為聚集凸顯,具有一定的抗干擾性。

圖1 SPWVD和WVD時頻分布圖對比

2 CBAM結(jié)構(gòu)

注意力機制經(jīng)常利用心理學(xué)的內(nèi)容進行解釋,即人類在復(fù)雜環(huán)境下能夠有效關(guān)注自己感興趣、值得注意的點,而該特性也是注意力機制能夠模仿的。CBAM由通道注意力模塊(CAM)和空間注意力模塊(SAM)串聯(lián)而成,如圖2所示,證明CAM在SAM前效果更好。

圖2 CBAM結(jié)構(gòu)

在CAM中,如圖3所示。假設(shè)輸入的特征圖大小為(H×W×C,分別代表高度、寬度、通道),經(jīng)過全局平均池化和全局最大池化,使得高度和寬度壓縮為1,得到兩個1×1×C的特征圖,再同時送入多層感知器(MLP)網(wǎng)絡(luò)中,層數(shù)為3層,中間層神經(jīng)元個數(shù)為C/r(r為減少率),在本文中r=4,ReLU函數(shù)作為激活函數(shù)。經(jīng)過MLP輸出后進行特征相加,采用sigmoid激活函數(shù)完成映射,得到通道模塊權(quán)重Wc,與輸入的特征圖相乘完成CAM的計算。

圖3 CAM結(jié)構(gòu)

在SAM(見圖4),輸入的特征圖經(jīng)過最大池化和平均池化后在通道上進行拼接,得到H×W×2的特征圖,而后經(jīng)過卷積核為7×7的卷積運算,采用sigmoid激活函數(shù)完成映射,得到空間模塊權(quán)重Ws,與輸入的特征圖相乘完成SAM的計算。

圖4 SAM結(jié)構(gòu)

3 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)核心在于引入了殘差塊結(jié)構(gòu),如圖5所示。該結(jié)構(gòu)左邊使用了特殊的連接方式,可以稱為跳躍連接或短路連接,右邊使用兩層卷積神經(jīng)網(wǎng)絡(luò)。將輸入x經(jīng)過3×3卷積核的卷積運算以及批歸一化、ReLU激活映射得到F(x),同時與x進行跳躍連接得到H(x)=F(x)+x,此時F(x)=H(x)-x,即為網(wǎng)絡(luò)殘差。若輸入x與輸出F(x)的特征維度相同,則直接加和。若維度不同,則與輸出F(x)維度一致。

圖5 殘差塊結(jié)構(gòu)

4 基于注意力增強的殘差網(wǎng)絡(luò)識別框架

本文提出注意力增強的殘差網(wǎng)絡(luò)識別算法,將多個CBAM穿插在多個殘差塊之間,增強殘差網(wǎng)絡(luò)對特征的關(guān)注度,提高特征提取能力,整體網(wǎng)絡(luò)連接如圖6所示,由2個卷積層、6個殘差層、4個CBAM模塊、1個全局平均池化層、1個全連接層組成。其中2個卷積層和1個CBAM模塊組成第1個基礎(chǔ)網(wǎng)絡(luò)塊,后續(xù)連續(xù)3個基礎(chǔ)網(wǎng)絡(luò)塊都是由2個殘差層和1個CBAM模塊組成,全局平均池化層對每個特征圖求和取平均,將輸入維度壓縮為1×1,能夠生成與類別相對應(yīng)的特征圖,增強特征圖與類別的一致性,最后利用全連接層,使用softmax分類器進行分類。

圖6 基于注意力機制增強的殘差網(wǎng)絡(luò)識別框架

本文網(wǎng)絡(luò)損失函數(shù)使用負對數(shù)似然(NLL)損失函數(shù);優(yōu)化方法使用自適應(yīng)矩估計(Adam)梯度下降方法,其本質(zhì)上是帶有動量項的均方根傳遞(RMSprop)算法,它利用梯度的一階矩估計和二階矩估計動態(tài)調(diào)整每個參數(shù)的學(xué)習(xí)率。Adam的優(yōu)點主要在于經(jīng)過偏置校正后,每一次迭代學(xué)習(xí)率都有個確定范圍,使得參數(shù)比較平穩(wěn)。

將時頻圖像預(yù)處理為56像素×56像素,經(jīng)過卷積網(wǎng)絡(luò)、殘差網(wǎng)絡(luò)和CBAM模塊,在全局平均池化前得到7×7×512的特征圖,最后送入softmax分類層得到調(diào)制類別。表1為各網(wǎng)絡(luò)層特征參數(shù)。

表1 各網(wǎng)絡(luò)層特征參數(shù)

在第2～第4每個基礎(chǔ)網(wǎng)絡(luò)塊中第2個殘差塊Residual_2目的是實現(xiàn)通道增加一倍、特征圖尺寸減小一半,給出殘差塊的卷積參數(shù)如圖7所示。由圖7可以看到,殘差塊Residual_2相比于殘差塊Residual_1,在跳躍連接線路上增加了卷積核,為了使特征圖尺寸減小一半,本文設(shè)置卷積核大小為2×2,步長為2,填充為0,保證了通過跳躍連接線路的輸入x在維度上與殘差一致,滿足相加運算。

圖7 殘差塊特征參數(shù)

5 實驗及結(jié)果分析

5.1 實驗信號設(shè)置

本文雷達輻射源信號均通過 Low Probability of Intercept Toolbox產(chǎn)生,產(chǎn)出6種信號調(diào)制類型,參數(shù)設(shè)置如表2所示。

表2 信號參數(shù)設(shè)置

所有信號參數(shù)在取值范圍內(nèi)隨機選取,信噪比取值為-20 dB、-15 dB、-10 dB、-5 dB、0 dB、5 dB,并且每個信噪比下、每種信號隨機產(chǎn)生1 500個訓(xùn)練樣本、500個測試樣本。

信號產(chǎn)生及時頻圖像數(shù)據(jù)產(chǎn)生使用數(shù)字仿真軟件平臺;網(wǎng)絡(luò)搭建及訓(xùn)練使用Pytorch學(xué)習(xí)框架;計算機配置:CPU為Inter(R) Core(TM) i7-8750H,8 GB內(nèi)存,GPU為NVIDIA GeForce GTX 1050Ti。

圖8展示了6類調(diào)制信號SPWVD時頻分布圖。由圖8可以看出,除了NLFM和FSK信號外,其他4種信號在變化趨勢上有類似的地方,這給網(wǎng)絡(luò)訓(xùn)練識別增加了一定難度。

圖8 6類調(diào)制信號的SPWVD時頻分布

5.2 識別網(wǎng)絡(luò)整體性能分析

圖9展示了在信噪比為-10 dB下,網(wǎng)絡(luò)迭代100次的訓(xùn)練誤差、測試誤差和識別率曲線圖。由圖9可以看出,網(wǎng)絡(luò)訓(xùn)練中,訓(xùn)練集和測試集很快得到收斂,識別率也是在前9次迭代后迅速從57%上升至90%,在經(jīng)過94次迭代后,誤差及識別率趨于穩(wěn)定。

圖9 訓(xùn)練誤差、測試誤差及識別率

為對比使用SPWVD時頻變換的優(yōu)勢,使用WVD時頻變換重新作為輸入到本文網(wǎng)絡(luò)中(稱為WVD+本文網(wǎng)絡(luò)),并且將本文網(wǎng)絡(luò)與LeNet-5及Ori-ResNet兩種卷積網(wǎng)絡(luò)進行對比,其中LeNet-5為經(jīng)典的手寫識別卷積網(wǎng)絡(luò);Ori-ResNet為本文網(wǎng)絡(luò)去掉注意力機制后剩下的網(wǎng)絡(luò)。圖10為4種網(wǎng)絡(luò)的識別率對比圖。由圖10可以看出:WVD時頻變換由于能量聚集性較差,使得在低信噪比下網(wǎng)絡(luò)很難從中提取到有效特征,使得識別率快速下降;同時在信噪比較好的情況下(0 dB及以上),各網(wǎng)絡(luò)都能進行很好地識別,而當(dāng)信噪比降到0 dB以下,網(wǎng)絡(luò)性能出現(xiàn)很大差距,本文算法在-10 dB保持有94.2%的準(zhǔn)確率,在-20 dB依然有63.1%的準(zhǔn)確率;相比于Ori-ResNet網(wǎng)絡(luò),說明本文使用的注意力增強的殘差網(wǎng)絡(luò)對噪聲有著較好的抗干擾性,對特征提取有有效的促進作用;相比于LeNet-5網(wǎng)絡(luò),說明網(wǎng)絡(luò)層數(shù)增加能夠進一步提高識別率,而殘差網(wǎng)絡(luò)的優(yōu)勢能夠確保網(wǎng)絡(luò)加深的同時保持性能良好。

圖10 識別率對比

5.3 網(wǎng)絡(luò)特征可視化及注意力機制分析

為展示每層網(wǎng)絡(luò)提取到了什么樣的特征,在此進行特征可視化操作,以信噪比0 dB的一個NLFM信號為例,將該信號時頻圖轉(zhuǎn)成56×56像素圖片,如圖11所示,分別提取到第1、第2個卷積層和第1、第2、第3、第4個CBAM的特征,每層網(wǎng)絡(luò)取出前12個通道作為示例,如圖12所示(圖中坐標(biāo)軸均表示像素)。由圖12可以看出:卷積層的操作是對時頻信號圖像的紋理方面進行提取;CBAM操作是增強了對圖像中時頻信號能量較高的部分的關(guān)注度,每個通道對圖像特征都有所響應(yīng),說明每個卷積核都參與了學(xué)習(xí),并且隨著網(wǎng)絡(luò)加深,提取到的特征越抽象。

圖11 輸入網(wǎng)絡(luò)的NLFM信號示例

圖12 提取到網(wǎng)絡(luò)層特征可視化圖例

為進一步分析加入注意力機制模塊CBAM對網(wǎng)絡(luò)識別率的影響,將去掉所有注意力機制的網(wǎng)絡(luò)Ori-ResNet為基礎(chǔ),沿著本文網(wǎng)絡(luò)框架從上往下依次增加注意力機制模塊,每增加一個CBAM進行一次實驗,得到的識別率對比如圖13所示。可以看出每增加一個CBAM,識別率都有所增加。增加第3個CBAM時,識別率有一個較大的提升,說明第3個注意力機制關(guān)注的特征更具區(qū)分性。

圖13 不同CBAM數(shù)量的識別率對比

5.4 不同算法對比

為進一步驗證本文算法的優(yōu)勢,與文獻[11](LeNet-FisherDDL)、文獻[19](MRSAF-DBN)、文獻[20](Chrip-Zernike-ResNet)分別在信噪比-20 dB、-10 dB、0 dB下進行對比,如表3所示。由表3可以看出:本文算法在低信噪比條件下具有較強的優(yōu)勢,尤其在信噪比-10 dB下,相比于其他3種算法,識別率分別高出26.5%、20.7%、24.1%,其中本文算法相比于LetNet-5網(wǎng)絡(luò)更深,提取時頻信號特征更為有效;與文獻[19]采用的模糊函數(shù)主脊切片特征相比,SPWVD時頻圖像保留更豐富的特征信息;使用注意力機制模塊,提高了殘差網(wǎng)絡(luò)對噪聲的抗干擾性,因此效果比文獻[20]算法識別效果較好。

表3 不同算法識別率

6 結(jié)論

針對情報分析中在低信噪比下雷達信號調(diào)制樣式識別率的問題,本文提出利用注意力機制強化殘差網(wǎng)絡(luò)特征提取及識別的算法,并進行了仿真驗證。得出以下主要結(jié)論:

1)時頻變化作為輸入網(wǎng)絡(luò)前的第1次特征提取,需要得到清晰、明顯的二維時頻圖像;SPWVD可很好地反映信號調(diào)制樣式的時頻關(guān)系,并且具有較強的抗干擾性。

2)網(wǎng)絡(luò)深度越深,特征提取的效果越好,但會出現(xiàn)網(wǎng)絡(luò)退化問題,殘差網(wǎng)絡(luò)能夠有效解決該問題,使得網(wǎng)絡(luò)層數(shù)可進一步加深。

3)注意力機制可以提高網(wǎng)絡(luò)對某一特征的關(guān)注度,使得提取到的特征更具有區(qū)分性;實驗表明,CBAM在信號調(diào)制樣式識別中,能夠有效地關(guān)注到噪聲干擾下的時頻特征,提高了對噪聲的抗干擾性,從而提高了識別率。