基于CNN-SVM的調制方式識別優化算法

念茂， 郭里婷, 陳平平

(福州大學物理與信息工程學院， 福建 福州 350108)

0 引言

調制識別是指在不了解接收信號的情況下, 確定其調制類型的一種技術手段[1]， 被廣泛運用在軍事和民用領域. 傳統的調制識別算法可以分為兩大類[2]： 基于決策理論的方法和基于統計模式識別的方法. 決策論方法是基于概率論和假設檢驗原理[3], 計算量大且復雜; 而基于統計模式的方法主要在于對特征的選擇和提取， 根據所提取到的特征選用特定的分類器對其進行分類識別. 相比之下， 基于統計模式的方法更加簡單易實現， 因此其得到更廣泛的應用.

近年來， 深度學習在圖像識別領域得到了廣泛的應用[4]. 能夠通過對圖像的學習來自動地提取其特征， 漸漸取代了人工提取特征， 因此在分類識別算法方面受到了眾多科研工作者的青睞. 文獻[5]提出一種利用深度稀疏卷積神經網絡來提取信號循環譜特征的方法. 該方法所需要的訓練樣本過大， 進而導致訓練時間長， 并且在0 dB信噪比時識別率僅為90%， 因此該方法實用性較差. 文獻[6]提出基于高階累積量的識別方法， 并根據高階累積量設計特征參量， 以此作為判斷閾值來對不同的已調信號進行分類識別， 該算法由于人為設計特征值， 加大算法的計算復雜度， 并且在信噪比為10 dB時才能達到96%的正確識別率， 低信噪比下的分類結果不盡如人意. 文獻[7]提出提取信號循環譜的等高圖獲得二維特征信息， 并采用卷積神經網絡對二維特征信息進行訓練分類的算法， 但該算法在信噪比為0 dB時僅有90.17%的準確識別率， 識別效果較為一般.

本研究對不同已調信號采用譜平滑周期圖法做循環譜估計， 生成循環譜圖， 截取循環譜等高圖作為特征圖， 然后利用卷積神經網絡(convolution neural network, CNN)和t分布鄰域嵌入算法(t-distributed stochastic neighbor embedding,t-SNE)結合形成的特征提取器來提取特征， 由于支持向量機(support vector machine, SVM)在小樣本的情況下具有極佳的分類性能， 并且其擅長處理非線性的分類問題以及具有較好的結構穩定性， 因此將提取到的特征值輸入到SVM來進行分類， 實現已調信號的有效分類識別. 實驗仿真結果表明， 該算法不僅表現出了較好的識別效果， 在SNR較低的環境依然保持較高的識別準確率， 并且具有較強的魯棒性.

1 循環譜估計與圖像預處理

1.1 循環理論分析

平穩噪聲信號的統計均值為常量， 其循環均值和循環自相關函數在非零循環頻率上恒為0， 即平穩噪聲不具有循環平穩性[8]， 因此信號的循環譜具有很好的抗噪性能， 對后續提升模型的準確分類提供了有力的支撐.

通信系統傳輸模型表達式如下:

r(t)=x(t)+n(t)

(1)

其中:r(t)表示接收到的信號；x(t)代表經過調制后的信號；n(t)為信道產生的隨機噪聲.Rx(t;τ)為信號r(t)的廣義循環平穩過程自相關函數， 表示如下：

Rx(t;τ)=E{r(t)r*(t-τ)}

(2)

這里,τ表示時間間隔.將Rx(t;τ)用傅里葉展開：

(3)

(4)

(5)

1.2 循環譜圖處理

常用的循環譜估計算法有基于時域的快速傅里葉累加算法(FAM)、 SSCA算法、 時域平滑周期圖法， 以及基于頻域的數字頻域平滑算法(DFSM)和譜平滑周期圖法. 本研究采用計算速度較快的譜平滑周期圖算法來對調制信號做循環譜估計. 計算過程如下：

對信號x(t)做傅里葉變換：

(6)

并且循環譜周期圖為：

(7)

(8)

這里，

(9)

式(9)為周期相關圖. 則譜平滑周期圖的循環譜估計函數為：

(10)

對六種已調信號利用上述譜平滑周期圖法計算生成循環譜圖， 如圖1所示：

(a) 2FSK

(b) 4FSK

(c) BPSK

(d) QPSK

(e) 16QAM

(f) 64QAM

最后對生成的循環譜特征圖裁剪去除邊緣冗余信息， 然后將其做二值化處理， 生成CNN的輸入圖像， 關于CNN的搭建將在下節給出.

2 基于CNN-SVM的調制方式識別

2.1 CNN網絡的搭建

圖2 CNN網絡結構Fig.2 Structure of CNN network

卷積神經網絡由于其在特征提取方面有著卓越的表現， 被越來越多地應用在圖像分類識別領域. 本研究搭建23層CNN網絡用來提取循環譜特征值. 具體的網絡結構圖如圖2所示. 圖中: conv代表卷積層， 其步長皆為1. maxpool代表最大池化層， 步長為2， bn為標準化層； relu為激活函數層; gap(global average pool)為全局平均池化層， fc為全連接層; softmax為分類層; output為輸出層. 本研究使用SVM作為分類器， 因此訓練數據無需經過fc及以下幾層， 直接從gap提取所需要的循環譜特征值.

2.2 t-SNE降維

因為在CNN中， 從gap層提取出的特征值是高維的， 故采用t分布鄰域嵌入算法(t-SNE)降維技術降低特征值的維度， 通過降低高維特征值的維度來減少后續的計算， 并且還能進一步地提取特征值.t-SNE是一種高效的降維算法， 是由SNE發展而來， 其主要思想是構建相似目標之間的概率分布. 具體算法實施如下：

對于高緯輸入數據x1,x2, …,xN， 輸入之間相似的條件概率：

(11)

(12)

設定Qj|i=0， 代價函數為：

(13)

根據t分布的對稱性， 則代價函數可以改寫為：

(14)

并且有Pij=Pji,Qij=Qji， 因此式(11)～(12)可以改寫為：

(15)

圖3 特征值聚類圖Fig.3 Clustering graph of eigenvalue

由CNN中gap層提取出的特征值， 經t-SNE降維， 聚類情況如圖3. 可以很直觀地看出， 六種已調信號根據其特征值被劃分到6個不同的區域. 以下將給出SVM的設計.

2.3 SVM分類器的設計

SVM很擅長處理非線性的分類問題， 并且有著不俗的分類表現， 因此本研究算法采用SVM作為最終的分類器. SVM算法的主要思想是找到一個最大間隔超平面使得需要分類的對象離這個平面的距離最大， 分離超平面為

wx+b=0

(16)

具體步驟如下：

1) SVM的輸入可以用如下的集合表示.

T={(x1,y1), (x2,y2), …, (xN,yN)}

(17)

其中:xi∈Rn，yi∈{+1, -1},i=1, 2, …,N，xi為第i個輸入，yi表示每個輸入對應的類別.

2) 選擇高斯核函數.

(18)

3) 構造求解凸二次規劃問題.

(19)

4) 計算b*.

(20)

5) 計算w*.

(21)

6) 輸出分類決策函數.

(22)

圖4 算法流程圖Fig.4 Flow chart of the algorithm

則整個分類模型的設計流程為： 輸入圖像數據經CNN網絡訓練， 提取gap層輸出的特征值， 將提取到的高維特征值采用t-SNE降維處理， 經CNN+t-SNE處理后得到的特征值作為SVM的輸入數據進行訓練， 最終得到CNN-SVM分類器， 整個調制方式識別流程框圖如圖4所示.

3 仿真實驗

3.1仿真實驗及結果分析

圖5 整體識別率隨信噪比的變化Fig.5 Change of overall recognition rate with SNR

圖6 不同已調信號識別率隨信噪比的變化Fig.6 The change of recognition rate of different modulated signals with SNR

針對BPSK， QPSK， 2FSK， 4FSK、 16QAM、 64QAM六種已調信號， 令載波頻率fc=1 kHz， 抽樣頻率fs=10 kHz， 采樣數N為2 048， 平滑窗M取64， 信噪比取值范圍為從-10 dB到10 dB， 每2 dB取一組做實驗， 共11組， 對上述六種已調信號添加隨機噪聲， 然后再進行循環譜計算. 每種已調信號每信噪比生成300張循環譜特征圖， 一種信噪比下共有1 800張圖， 輸入到CNN+t-SNE特征提取器中提取特征， 取其中70%的特征提取器的輸出結果作為SVM分類器所需要的訓練數據， 剩下的30%用來測試結果. 并與CNN+SVM(未加t-SNE)作比較， 經實驗仿真， 本研究所提算法整體識別率變化如圖5所示.

分析實驗結果， 由圖5可以看出， 當信噪比低于0 dB時， 本研究所提算法在識別率方面高于未添加t-SNE時CNN+SVM的算法， 當信噪比在0 dB以上， 兩種算法的識別率基本相同. 并且可以看出， 在信噪比高于-2 dB時候算法識別準確率穩定在96%以上， 表明了該算法在低信噪比的條件下依然具有很好的識別效果.

不同已調信號的識別率隨著信噪比的增加而增大(圖6)， 在信噪比高于-2 dB時， 六種已調信號的識別率都保持高于90%. 因此驗證了該算法提出對于提高低信噪比環境下分類識別的有效性.

3.2 算法比較

文獻[9]提出利用欠完備自編碼器對已調信號提取特征并利用三層全連接層神經網絡來作為分類器進行識別的算法. 文獻[10]提出利用高階統計量的特性， 構造特征參數， 并采用SAE-softmax網絡進行調制分類的方法. 取信噪比從0到10 dB， 間隔2 dB， 共6組信噪比， 分別將每組信噪比下本研究所提算法與文獻[9-10]所提算法的分類識別率進行對比， 結果如表1所示:

表1 各算法識別率對比

由表1各算法的比對結果可以看出， 本研究所提算法在識別率上高于文獻[9-10]所提算法， 并且由于文獻[9]使用的欠完備自編碼器是全連接的網絡結構， 參數較多， 學習復雜度較大. 并且其局部參數的調整很容易影響到整體結構的參數調整， 造成模型不穩定， 因此魯棒性較差. 而卷積神經網絡采用的是局部連接結構， 達到參數共享， 因此所需參數較少， 并且相比全連接結構參數更易于調整. 相比較下， 卷積神經網絡比欠完備自編碼器更容易處理圖像且識別率也更好. 故本研究所提算法相比文獻[9]計算效率更快， 模型更具魯棒性. 文獻[10]采用高階累積量對信號做預處理， 并且其使用的堆疊自編碼器同樣存在參數較多及模型魯棒性較差的問題， 由于本研究采用的是二階循環譜計算， 因此， 相比之下計算量就更少.

4 結論

將CNN和t-SNE結合起來作為特征提取器， 結合SVM優越的分類性能， 設計出分類模型， 將整個分類模型各個模塊細化， 方便不同模塊的修改變更以及整個模型的優化調整， 可拓展性和發揮空間更大. 本研究提出的算法是基于循環譜和卷積神經網絡的調制識別算法， 首先對BPSK、 QPSK、 2FSK、 4FSK、 16QAM、 64QAM這六種已調信號進行譜平滑周期圖法計算循環譜， 截取循環譜等高圖做裁剪、 二值化操作， 然后輸入到CNN進行特征提取， 對于CNN中gap層提取到的特征值采用t-SNE降維， 最終輸入到SVM進行訓練、 分類識別. 實驗結果驗證了該算法相比于其他算法， 在低信噪比的環境下有更好的識別準確率.