基于深度學習注意力機制的調制識別方法*

杜志毅，張澄安，徐 強，李保國

（國防科技大學電子信息系統復雜電磁環境效應國家重點實驗室，湖南長沙410073）

0 引言

信號的自動調制識別[1-2]是指已知信號所在調制集合，利用相關技術正確識別目標信號調制類型。隨著通信技術的發展，各種新型調制方式不斷出現，調制識別技術需要不斷發展以適應不同情況下的識別要求。

現有的有關調制識別的大多數技術一般都是基于特征提取和機器學習分類算法[3-4]。但是這些方法多數為模型驅動，需要對信號進行預處理。另外其適應信道環境單一，在復雜信道環境時識別性能較差。傳統的特征提取方法是基于統計資料的[5]，因此分類結果易受環境變化影響。基于機器學習的調制識別方法也是需要人為提取信號的特征，不能像深度學習一樣自主提取出信號的特征。因此這些方法在復雜的信道環境下識別準確率不會很高，在實際的通信系統中難以使用。

深度學習的方法[6-7]被認為是突破性能瓶頸的有效方法[8]。Xie等人提出了一種改進的深度神經網絡識別方法網絡(DNN)[9]。Aslam等將基因編程(GP)和KNN結合起來準確識別4種調制模式[10]。與上述方法不同，本文提出了一種基于注意力機制的雙向LSTM卷積神經網絡（BLACN)。其通過對同向正交IQ樣本進行訓練,利用卷積神經網絡優秀的特征提取能力，實現對復雜調制方式識別特征的提取。并通過注意力機制和雙向LSTM關注信號的關鍵特征與時序信息來提高信號的識別準確率。

1 系統與信號模型

1.1 系統模型

圖1展示了信號調制識別的系統架構。信號源的信息通過信號調制轉換為不同調制樣式的信號，通過信道進行傳輸。本文考慮的信道環境為高斯信道。接收端首先將接收到的信號進行調制樣式的識別，之后對識別出調制樣式的信號進行解調得到所要傳輸的信息。

圖1 信號調制識別系統結構框圖

樣本為2×K大小的實值矩陣。

1.2 信號模型

通信信號的調制方式按照其調制原理的不同，主要分為模擬調制和數字調制2大類。模擬調制分為幅度調制和角度調制2種。數字調制分為幅度鍵控、頻移鍵控、相移鍵控、正交振幅調制4大類，分別通過對載波的幅度、頻率、相位、幅度和相位進行調制，以傳輸基帶信號。本文給出正交振幅調制的信號模型如下：

信號的基帶波形可以表示為：

式中,ν(t)表示加性高斯白噪聲；g(t)表示等效濾波器，包括成型濾波、信道濾波和匹配濾波；a n表示發送端所發送的符號序列。不同的調制方式，符號序列呈現的樣式也不盡相同。

對于正交振幅調制，有：

此信號為M(M=2k,k=1,2…)進制，A i、B j分別是2支路信號的幅度，其定義為：

式中，i,j=1,2,…,L，對于取值范圍L，其與信號的階數M相關。例如，L=1,則為4QAM；若L=2時，則為16QAM。本文主要考慮11種信號，分別為BPSK、QPSK、8PSK、16QAM、2FSK、MSK、FM、AM、2ASK、4FSK和OQPSK。這11種信號能覆蓋大部分常見的信號調制方式，使本文的仿真實驗更具有說服力。

2 識別算法

2.1 注意力機制

Mnih V、Heess N[11]首先在圖像識別領域提出注意力機制。從視覺注意力機制來說明注意力機制：人類視覺通過快速掃描全局圖像，獲得需要重點關注的目標區域，也就是一般所說的注意力焦點，而后對這一區域投入更多注意力資源，以獲取更多所需要關注目標的細節信息，而抑制其他無用信息。這就是我們在學習中所理解的注意力。

目前注意力機制主要有自注意力機制和注意力池化2種。由于自注意力機制能夠關注到序列中每個位置之間的關系，因此通信信號識別過程可以在LSTM輸出層加入自注意力機制，從而讓深度學習算法能夠關注由LSTM提取的信號特征表現出的序列性，增強通信信號的時序特征。

注意力機制包括3個結構：查詢項(Query)、鍵項(Key)，值項(Value)。根據這3個結構可以計算出深度學習學習出的通信信號的特征對于對應類別的信號的影響程度。計算過程圖2所示。

圖2 注意力計算流程

即將Source中的構成元素想象成是由一系列的＜Key,Value＞數據對構成，此時給定Target中的某個元素Query，通過計算Query和各個Key的相似性或者相關性，得到每個Key對應Value的權重系數，然后對Value進行加權求和，即得到了最終的Attention數值。所以本質上Attention機制是對Source中元素的Value值進行加權求和，而Query和Key用來計算對應Value的權重系數。

上述過程可表示為：

注意力機制可以幫助深度學習模型關注到信號數據集的關鍵特征。本文提出的BLACN網絡注意力層采用的是乘性注意力。

2.2 雙向長短期記憶網絡Bi LSTM

Bi LSTM網絡是LSTM網絡的改進網絡。LSTM網絡憑借其記憶時序的特性，首先運用于NLP自然語言處理領域，隨后在各個領域都取得了較好的效果。通信領域中，多篇深度學習相關的論文都應用了LSTM，提高了模型的魯棒性。

LSTM又稱為長短期記憶網絡，為RNN循環神經網絡的變種。RNN循環神經神經網絡能夠對記憶數據的特征，但是由于網絡層數過多，在參數的方向傳播中產生了梯度爆炸的問題，因此LSTM應運而生。

LSTM的每一個隱含層都包括遺忘門、輸入門、輸出門3個“門”結構。LSTM長短期記憶網絡憑借3種門結構，能夠學習數據的時序特征，并且很大程度上解決了梯度爆炸的問題。

LSTM網絡能夠提取信號的時序特征信息，而雙向長短期記憶網絡BiLSTM網絡在提取信號時序特征情況的前提下，還可以關注信號的歷史信息，BiLSTM網絡結構如圖3所示。本文采用雙向LSTM網絡來進行模型的搭建。

圖3 BiLSTM網絡結構圖

2.3 BLACN網絡結構

本文提出的網絡結構是結合了上文介紹的注意力機制與雙向長短期記憶網絡BiLSTM的深度學習神經網絡BLACN，其網絡結構圖如圖4所示。網絡首先是4層Conv卷積網絡，其中第1層卷積至第4層卷積皆在卷積后使用了1×2最大池化。4層卷積網絡后是兩層雙向長短期記憶網絡層(BiLSTM Layer)，來關注信號的時序信息，之后是一層注意力層(Attention Layer),來找到信號的關鍵特征用于調制方式的識別。最后就是經過全連接層(Dense Layer)輸出11種信號調制類別的識別結果。網絡除輸出層采用Softmax激活函數外，其余各層皆采用ReLu激活函數。

圖4 BLACN網絡結構圖

網絡優化過程中，采用Adam算法進行網絡參數的最優解求解。

2.4 數據集制作

為了使樣本更具多樣性，考慮到實際接收信號存在多方面因素的影響，本文設置了高斯白噪聲信道環境進行數據集的制作。圖5為數據集制作流程。在研究初期，為了更好地控制信號的質量，信號集利用Matlab平臺產生。

圖5 數據集制作流程圖

1）特定調制模式與隨機比特數據

仿真數據集為2×1024大小的IQ數據，本文所需識別的調制類型包含前文所說的11種常見信號。信號碼元由MATLAB生成隨機比特數據進行調制。

2）標準信號的生成

數字信號中心頻率在902 GHz，模擬信號中心頻率在100 GHz，脈沖成型濾波器采用根升余弦成型濾波器，其滾降系數為0.35，初始相位在0～2π范圍內隨機選擇，采樣頻率是200 MHz，每個符號采樣點數為8，單個樣本長度為1 024，每一幀長度為128。

3）信道環境

本文信道環境采用高斯白噪聲信道。信噪比范圍為0～10 d B，步進為1，單載波信號每種調制方式在每種信噪比下樣本數目為500個，樣本數55 000個。

2.5 算法識別流程

根據前面的分析，本文算法識別流程如下：

1）構建網絡模型，利用預先制作好的訓練樣本對網絡進行訓練，當網絡達到穩態時，保存網絡。

2）對于目標測試信號，通過傅里葉變換進行載頻粗估，并利用包絡譜線估計出符號速率，用估計出的載頻對信號進行下變頻，根據符號速率計算方根升余弦函數進行匹配濾波得到基帶復信號。

3）對信號進行采樣得到2×1 024的IQ信號樣本。再對處理好的數據進行歸一化處理得到待識別的信號樣本。

4）利用所保存的網絡對已進行預處理的信號進行調制識別，最終得到信號調制類別。

3 仿真驗證及分析

深度學習的環境語言配置為Python 3.7，Tensor-Flow 1.14.0，Keras 2.3.1，計算機設備為CPU:E5-2630,GPU:2080T。對整個數據隨機(固定隨機種子)將其劃分為訓練集和測試集，比例為8∶2；批尺寸batch size為64。

3.1 網絡識別性能對比

本文中定義的調制識別性能指標為：

本文采用O’Shea 2016年提出的傳統卷積網絡CNN[12]作為基線模型，對本文提出的BLACN網絡進行性能測試。下面給出仿真測試的結果圖，首先是3種網絡在不同信噪比下的信號識別率（如圖6所示）。從圖中可以看出本文提出的算法性能在一定程度上優于其他算法。這是由于本文算法利用了雙向長短期記憶網絡和注意力機制關注信號的關鍵特征與時序信息，提高了信號的識別準確率。傳統卷積網絡CNN在信噪比為10 d B的情況下識別率為93%左右，而對于加入雙向長短期記憶網絡層的CNNBi LSTM網絡，在10 d B的情況下識別率能夠提升到97%左右。本文提出的BLACN網絡的識別效果最佳，在10 d B的情況下能夠達到99%。

圖6 不同信噪比下信號識別率

從BLACN網絡0 dB、5 d B、10 d B3種信噪比下的信號識別混淆的情況看，本文算法在低信噪比下仍能取得較好的性能，相移鍵控信號中QPSK，8PSK與正交振幅調制信號16QAM識別效果在低信噪比下較差。而對于幅度鍵控調制、頻移鍵控調制和模擬調制信號在0 dB條件下，識別效果仍能接近100%。

3.2 算法時間復雜度對比

表1給出了不同算法對目標信號進行識別的時間復雜度，實驗結果是對10 000個實驗樣本的結果進行統計平均得出的。從表中可以看出，BLACN網絡識別過程的時間復雜度高于CNNBi LSTM網絡，CNNBiLSTM網絡高于CNN網絡。這是由于網絡中增加的雙向長短期記憶網絡層和注意力層提高了網絡的復雜度，使算法的時間復雜度提高。但另一方面，深度學習方法得益于現在GPU并行運算能力的提高，神經網絡大部分運算都可以并行完成。所以深度學習方法可以利用計算開銷換取計算速度，最終能夠實現快速運算。總體可以看出，本文提出算法的信號識別時間在毫秒級別。雖然高于傳統CNN網絡，但增加的時間在可接受的范圍內，可以達到實時性處理的要求。

表1 時間復雜度ms

4 結束語

本文提出的BLACN，是通過對信號同向正交IQ樣本進行訓練,利用卷積神經網絡優秀的特征取能力，來實現對復雜調制方式識別特征的提取。并通過注意力機制和雙向LSTM關注信號的關鍵特征與時序信息來提高信號的識別準確率。仿真實驗表明，相比于傳統的卷積神經網絡，識別性能有明顯的提升并且有著較好的泛化性能，證明注意力機制與雙向長短期記憶網絡在信號調制識別方面有著較好的效果，具有較好的應用前景和研究價值。