無監(jiān)督領(lǐng)域自適應(yīng)調(diào)制識(shí)別方法

毛紅霞

(成都錦城學(xué)院計(jì)算機(jī)與軟件學(xué)院， 四川 成都 611731)

0 引言

自動(dòng)調(diào)制識(shí)別技術(shù)能夠識(shí)別出特定通信信號(hào)的調(diào)制方式，在民用與軍用領(lǐng)域有著較大的應(yīng)用前景。目前主流的調(diào)制識(shí)別方法有兩種：基于傳統(tǒng)特征量的方法和基于深度學(xué)習(xí)的方法[1]。其中，基于傳統(tǒng)特征量的方法通常首先提取接收信號(hào)的特征量，再通過一定的分類器進(jìn)行分類。這些特征量主要包含瞬時(shí)特征統(tǒng)計(jì)量[2]、高階統(tǒng)計(jì)量[3]、循環(huán)累積量、相關(guān)譜特征[4]等。該類方法中，所采用的分類器包含基礎(chǔ)的門限分類器、決策樹(decision tree)、支撐向量機(jī)(support vector machine)等機(jī)器學(xué)習(xí)通用分類器[5-6]。這些方法中，人為定義的特征往往受到不同信噪比、不同信道模型、不同參數(shù)估計(jì)精度(如載頻、符號(hào)速率等)等因素的較大影響，因此其識(shí)別率在實(shí)際的應(yīng)用中受到較大的影響。基于深度學(xué)習(xí)的調(diào)制識(shí)別方法中，文獻(xiàn)[7]通過設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)(convolutional nerual network, CNN)對(duì)11種調(diào)制數(shù)據(jù)進(jìn)行分類，綜合識(shí)別率達(dá)到了84%；文獻(xiàn)[8]利用了開源的數(shù)據(jù)，利用循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)進(jìn)行了調(diào)制識(shí)別；文獻(xiàn)[9]綜合研究了不同的深度神經(jīng)網(wǎng)絡(luò)對(duì)調(diào)制識(shí)別正確率的影響，這些網(wǎng)絡(luò)結(jié)構(gòu)除了CNN、RNN，還包含殘差網(wǎng)絡(luò)(ResNet)[10]、inception網(wǎng)絡(luò)、卷積長短時(shí)網(wǎng)絡(luò)(convolutional long-short deep neural network, CLDNN)等，發(fā)現(xiàn)了采用CLDNN網(wǎng)絡(luò)在網(wǎng)絡(luò)復(fù)雜度和訓(xùn)練時(shí)間有所提升的情況下，其識(shí)別率最佳；文獻(xiàn)[11]研究了基于分離通道聯(lián)合卷積網(wǎng)絡(luò)的調(diào)制識(shí)別方法，并且證明了其相比于CNN網(wǎng)絡(luò)和傳統(tǒng)特征提取方法識(shí)別率有較明顯的提高；文獻(xiàn)[12]研究了基于VGG-19網(wǎng)絡(luò)的調(diào)制識(shí)別方法，其利用試解調(diào)后的星座圖作為輸入，實(shí)現(xiàn)了對(duì)不同階數(shù)的QAM信號(hào)的識(shí)別。

現(xiàn)有的方法在實(shí)際情況中，遇到變化的信道環(huán)境或變化的參數(shù)估計(jì)精度，可使調(diào)制識(shí)別的識(shí)別率下降。針對(duì)上述問題，本文提出無監(jiān)督領(lǐng)域自適應(yīng)(domain adaptation, DA)的調(diào)制識(shí)別方法。

1 信號(hào)模型與網(wǎng)絡(luò)模型基礎(chǔ)

1.1 調(diào)制識(shí)別信號(hào)模型

典型的已調(diào)信號(hào)(已經(jīng)變換到基帶)的離散信號(hào)模型可以表示為：

(1)

式(1)中，r(n)表示第三方接收的離散信號(hào)，fbias表示下變頻時(shí)由于載頻估計(jì)不準(zhǔn)帶來的頻率偏移，T表示信號(hào)的碼元周期，N表示符號(hào)序列的長度，h(n)表示信道的沖擊響應(yīng)函數(shù)，ε表示符號(hào)采樣時(shí)間的偏移，w(n)表示加性高斯白噪聲。接收信號(hào)的隨機(jī)性主要體現(xiàn)在如下幾個(gè)方面：

1) 由于載頻估計(jì)的不準(zhǔn)確帶來的頻偏；

2) 由于符號(hào)采樣點(diǎn)的不準(zhǔn)確帶來的偏差；

3) 由于信道的變化帶來的隨機(jī)性；

4) 由于加性白噪聲帶來的隨機(jī)性。

因此，本文在通過仿真產(chǎn)生數(shù)據(jù)集時(shí)，充分考慮了上面幾種因素帶來的不準(zhǔn)確性，產(chǎn)生了不同信噪比下的不同調(diào)制識(shí)別方式的數(shù)據(jù)，并且為了驗(yàn)證遷移學(xué)習(xí)的有效性，產(chǎn)生了不同頻偏和不同信道模型的數(shù)據(jù)，產(chǎn)生信號(hào)模型結(jié)構(gòu)如圖1所示。

圖1 調(diào)制識(shí)別信號(hào)樣本產(chǎn)生模型Fig.1 The model of the simulated signal for modulation recognition

1.2 調(diào)制識(shí)別經(jīng)典神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

由于篇幅有限，此處僅對(duì)調(diào)制識(shí)別中經(jīng)典的CNN網(wǎng)絡(luò)和ResNet網(wǎng)絡(luò)進(jìn)行介紹。CNN網(wǎng)絡(luò)中最重要的是卷積網(wǎng)絡(luò)層，具有權(quán)值共享的特性，大大降低了神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，并且使網(wǎng)絡(luò)可以并行運(yùn)算。文獻(xiàn)[13]中利用CNN網(wǎng)絡(luò)對(duì)基帶的調(diào)制信號(hào)進(jìn)行識(shí)別，其結(jié)構(gòu)如圖2所示，包含2層卷積層，2層全連接層。

圖2 調(diào)制識(shí)別經(jīng)典CNN網(wǎng)絡(luò)模型Fig.2 The classical CNN model for modulation recognition

ResNet網(wǎng)絡(luò)的提出可以緩解由于CNN網(wǎng)絡(luò)深度增加帶來梯度爆炸或消失等問題，通過引入額外的網(wǎng)絡(luò)通路，使得神經(jīng)網(wǎng)絡(luò)更容易被訓(xùn)練，同時(shí)也具有深層網(wǎng)絡(luò)的豐富的表示特性[14-15]。文獻(xiàn)[9]提出了利用ResNet網(wǎng)絡(luò)進(jìn)行調(diào)制識(shí)別的方法，其結(jié)構(gòu)可以表示為圖3。

圖3 調(diào)制識(shí)別經(jīng)典ResNet網(wǎng)絡(luò)模型Fig.3 The classical ResNet model for modulation recognition

2 無監(jiān)督領(lǐng)域自適應(yīng)調(diào)制識(shí)別方法

本文提出的無監(jiān)督領(lǐng)域自適應(yīng)方法中，對(duì)源域與目標(biāo)域分別進(jìn)行了定義，如圖4所示。源域表示已知調(diào)制方式(標(biāo)簽)的訓(xùn)練數(shù)據(jù)，它們?cè)谙嗤男诺滥Ｐ椭械玫剑荒繕?biāo)域表示在不同的未知信道下獲得的樣本數(shù)據(jù)，并且無法得知樣本數(shù)據(jù)的調(diào)制方式(即標(biāo)簽)。本文提出的方法能夠充分利用源域中帶標(biāo)簽的數(shù)據(jù)和目標(biāo)域中不帶標(biāo)簽的數(shù)據(jù)進(jìn)行訓(xùn)練，使得神經(jīng)網(wǎng)絡(luò)對(duì)樣本的來源(源域或目標(biāo)域)不敏感，從而達(dá)到領(lǐng)域自適應(yīng)的目的。

圖4 目標(biāo)域與源域在本文調(diào)制識(shí)別背景下的定義Fig.4 The definition of source and target domain for modulation recognition

領(lǐng)域自適應(yīng)的遷移學(xué)習(xí)調(diào)制識(shí)別方法的基本網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。為了能夠進(jìn)行遷移學(xué)習(xí)，對(duì)傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)，改進(jìn)后的網(wǎng)絡(luò)呈現(xiàn)三個(gè)子網(wǎng)絡(luò)：特征提取子網(wǎng)絡(luò)、調(diào)制種類預(yù)測(cè)網(wǎng)絡(luò)和域分類網(wǎng)絡(luò)。其中特征提取子網(wǎng)絡(luò)的主要功能是提取調(diào)制信號(hào)中的特征。這些特征既能夠?qū)Σ煌恼{(diào)制方式敏感，從而能夠有效地進(jìn)行調(diào)制方式的識(shí)別；同時(shí)也能夠?qū)Σ煌挠蜉斎氩幻舾校沟镁W(wǎng)絡(luò)無法區(qū)分調(diào)制信號(hào)是否自適應(yīng)于相同的信道或相同的頻偏，也就是說使得提取的特征在不同域上的分布盡量相同，從而達(dá)到領(lǐng)域自適應(yīng)的目的。調(diào)制種類預(yù)測(cè)網(wǎng)絡(luò)一般為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)最后的全連接層和Softmax層，可以利用前面層級(jí)提取出的特征進(jìn)行分類，生成樣本屬于不同種類的概率。在實(shí)際應(yīng)用中，特征提取子網(wǎng)絡(luò)與調(diào)制種類預(yù)測(cè)網(wǎng)絡(luò)可以組成傳統(tǒng)的調(diào)制識(shí)別神經(jīng)網(wǎng)絡(luò)，因此在后續(xù)的實(shí)際應(yīng)用中，可以直接利用已有的調(diào)制識(shí)別網(wǎng)絡(luò)構(gòu)成特征提取子網(wǎng)絡(luò)和調(diào)制種類預(yù)測(cè)網(wǎng)絡(luò)。對(duì)于域分類網(wǎng)絡(luò)，其主要目的是能夠?qū)颖緛碜杂谠从蚧蚰繕?biāo)域進(jìn)行判別，并且產(chǎn)生反向的梯度，使得特征識(shí)別網(wǎng)絡(luò)無法區(qū)分源域或目標(biāo)域。

圖5 本文領(lǐng)域自適應(yīng)的調(diào)制識(shí)別網(wǎng)絡(luò)節(jié)結(jié)構(gòu)Fig.5 The domain adaptation based network for modulation recognition

圖5中，特征提取子網(wǎng)絡(luò)用Hf(·)表示，其參數(shù)用θf表示；調(diào)制種類預(yù)測(cè)子網(wǎng)絡(luò)用Hy(·)表示，其參數(shù)用θy表示，其預(yù)測(cè)分類與真實(shí)類別帶來的代價(jià)函數(shù)用Ly()表示；域分類子網(wǎng)絡(luò)用Hd(·)表示，其參數(shù)用θd表示；域分類的代價(jià)函數(shù)用Ld()表示。該網(wǎng)絡(luò)整體的訓(xùn)練代價(jià)函數(shù)可以表示為：

(2)

式(2)中的求和符號(hào)表示對(duì)所有訓(xùn)練樣本求和,xi表示輸入的信號(hào)樣本。在訓(xùn)練的過程中，按照Lall最小化的目標(biāo)進(jìn)行優(yōu)化，也就是使得調(diào)制種類預(yù)測(cè)的損失函數(shù)最小(從而達(dá)到更好的識(shí)別效果)，并且使域分類損失函數(shù)最大(從而使網(wǎng)絡(luò)無法區(qū)分源域或目標(biāo)域)，達(dá)到領(lǐng)域自適應(yīng)的目的。參數(shù)η表示對(duì)兩種損失函數(shù)的加權(quán)系數(shù)，作為一個(gè)超參數(shù)將在后續(xù)的實(shí)驗(yàn)部分進(jìn)行研究。根據(jù)整體的損失函數(shù)，在訓(xùn)練時(shí)，可以對(duì)不同的子網(wǎng)絡(luò)參數(shù)進(jìn)行更新：

(3)

式(3)中，參數(shù)λ表示參數(shù)更新的速率。在應(yīng)用中，為了不改變常見的神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型中的梯度下降算法，根據(jù)損失函數(shù)，對(duì)域分類子網(wǎng)絡(luò)進(jìn)行改進(jìn)，重新設(shè)計(jì)了反向梯度層，該層嵌入到原始的域分類網(wǎng)絡(luò)與特征提取子網(wǎng)絡(luò)之間，反向梯度層Greverse(·)可以表示為：

其特點(diǎn)是，在正向傳播時(shí)，完全對(duì)輸入進(jìn)行復(fù)制，在反向進(jìn)行梯度計(jì)算時(shí)，將原始的梯度乘以負(fù)的參數(shù)-η，從而達(dá)到最大化域分類損失的目的。

3 仿真實(shí)驗(yàn)及分析

3.1 數(shù)據(jù)集產(chǎn)生

本文利用開源的軟件無線電軟件GUN Radio進(jìn)行數(shù)據(jù)集產(chǎn)生。由于該軟件完全開源，能夠以模塊的方式實(shí)現(xiàn)通信系統(tǒng)中的組件，這些組件的核心信號(hào)處理功能通過C語言實(shí)現(xiàn)，具有速度快的優(yōu)點(diǎn)，并且組件可以通過Python語言進(jìn)行調(diào)用，具有易用的優(yōu)點(diǎn)，因此本文選擇GUN Radio軟件產(chǎn)生仿真的數(shù)據(jù)集。在利用GUN Radio軟件產(chǎn)生數(shù)據(jù)的過程中，參考了文獻(xiàn)[16]所用的方法。如1.1節(jié)所示，考慮了由于載頻估計(jì)的不準(zhǔn)確帶來的頻偏，由于符號(hào)采樣點(diǎn)的不準(zhǔn)確帶來的偏差，由于信道的變化帶來的隨機(jī)性，由于加性白噪聲帶來的隨機(jī)性。產(chǎn)生的數(shù)據(jù)集包含了0～20 dB，以5 dB為間隔，5種不同的信噪比。調(diào)制方式包含模擬調(diào)制方式和數(shù)字調(diào)制方式，分別為AM、FM、GFSK、BPSK、QPSK、8PSK、OQPSK、8QAM、16QAM，9種常見的不同調(diào)制方式。圖6顯示了9種不同調(diào)制方式下20 dB的基帶IQ路時(shí)域采樣信號(hào)。如圖6所示，單個(gè)信號(hào)樣本中，包含IQ兩路分別128個(gè)時(shí)域采樣點(diǎn)。該數(shù)據(jù)集中，源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)的不同主要體現(xiàn)在兩個(gè)方面，如表1所示：第一方面，源域的數(shù)據(jù)無頻偏，目標(biāo)域的數(shù)據(jù)存在由下變頻帶來的剩余頻偏；另一方面，目標(biāo)域相比于源域，多加入了瑞利信道后產(chǎn)生的樣本。在本文的實(shí)驗(yàn)中，利用上述兩個(gè)方面的目標(biāo)域和源域進(jìn)行兩次獨(dú)立訓(xùn)練，從而探討本文遷移學(xué)習(xí)的優(yōu)點(diǎn)。

在實(shí)際訓(xùn)練過程中，選取256個(gè)樣本數(shù)據(jù)為一個(gè)批次(batch)，該批次中，包含源域的帶標(biāo)簽的樣本128個(gè)與目標(biāo)域的不帶標(biāo)簽的樣本128個(gè)，進(jìn)行訓(xùn)練。

圖6 20 dB下不同調(diào)制方式的IQ路時(shí)域信號(hào)Fig.6 The IQ signal samples under 20 dB

表1 源域與目標(biāo)域

3.2 超參數(shù)設(shè)置

在訓(xùn)練過程中，根據(jù)文獻(xiàn)[17—18]中的描述對(duì)超參數(shù)η進(jìn)行設(shè)置：

(4)

式(4)中，ηp的取值范圍在0到1之間，ε為待確定的超參數(shù)，p表示訓(xùn)練過程中的識(shí)別率。用該方式設(shè)置超參數(shù)η的優(yōu)點(diǎn)是；在前期識(shí)別率較低，η趨近于0，使得訓(xùn)練網(wǎng)絡(luò)趨向于單純的調(diào)制識(shí)別網(wǎng)絡(luò)，而不考慮遷移的問題；當(dāng)p增加時(shí)，η也隨之而增加，表示訓(xùn)練隨著特征提取與調(diào)制種類識(shí)別子網(wǎng)絡(luò)的收斂，應(yīng)當(dāng)更多地考慮遷移學(xué)習(xí)的代價(jià)。其中ε表征了網(wǎng)絡(luò)在訓(xùn)練過程中僅考慮識(shí)別率和域分類正確性(具有更強(qiáng)的域遷移能力)的轉(zhuǎn)換速度。按照不同的參數(shù)ε，對(duì)本文方法中的神經(jīng)網(wǎng)絡(luò)進(jìn)行了訓(xùn)練，其網(wǎng)絡(luò)收斂時(shí)間和網(wǎng)絡(luò)的識(shí)別率隨著參數(shù)ε的變化如圖7所示。圖7中，左邊的縱坐標(biāo)表示識(shí)別率，右邊的縱坐標(biāo)表示訓(xùn)練時(shí)間。可以看出，隨著參數(shù)ε的變化，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間在ε=15的時(shí)候達(dá)到最小值，識(shí)別率在ε=20時(shí)達(dá)到最大值。本文中，選取ε=20作為超參數(shù)ε的取值。

圖7 訓(xùn)練所需時(shí)間與識(shí)別率隨超參數(shù)ε變化曲線(CNN網(wǎng)絡(luò)得到)Fig.7 The curves of the training times and the recognition rate due to different ε(with CNN network)

3.3 方法對(duì)比

為了充分說明本文提出方法的有效性，在實(shí)驗(yàn)中按照傳統(tǒng)的CNN網(wǎng)絡(luò)和ResNet網(wǎng)絡(luò)進(jìn)行了改造，按照上文所述方法加入了域分類子網(wǎng)絡(luò)的內(nèi)容，并且利用帶標(biāo)簽的源域樣本和不帶標(biāo)簽的目標(biāo)域樣本進(jìn)行訓(xùn)練。在改造后的網(wǎng)絡(luò)基礎(chǔ)上，分別對(duì)無遷移學(xué)習(xí)方法、有監(jiān)督方法，以及文獻(xiàn)中提出的基于精調(diào)遷移學(xué)習(xí)的調(diào)制識(shí)別方法[19]進(jìn)行了對(duì)比。實(shí)驗(yàn)中用到的測(cè)試集都相同，包含了源域和目標(biāo)域的樣本。實(shí)驗(yàn)中對(duì)比的四種方法所用的訓(xùn)練集不同，其特點(diǎn)如表2所示。其中本文方法，利用帶調(diào)制種類標(biāo)簽的源域樣本和無調(diào)制種類標(biāo)簽的目標(biāo)域樣本進(jìn)行訓(xùn)練；無遷移學(xué)習(xí)方法表示了僅利用帶調(diào)制種類標(biāo)簽的源域樣本進(jìn)行訓(xùn)練；有監(jiān)督方法中訓(xùn)練樣本既包含了帶標(biāo)簽的源域數(shù)據(jù)也包含了帶標(biāo)簽的目標(biāo)域的數(shù)據(jù)；參數(shù)精調(diào)遷移學(xué)習(xí)方法[19]表示首先利用帶標(biāo)簽的源域數(shù)據(jù)進(jìn)行訓(xùn)練，再利用少部分帶標(biāo)簽的目標(biāo)域的數(shù)據(jù)進(jìn)行參數(shù)精調(diào)。表3為以CNN為基礎(chǔ)網(wǎng)絡(luò)的方法和以ResNet網(wǎng)絡(luò)為基礎(chǔ)的方法對(duì)比。

表2 不同方法訓(xùn)練集特點(diǎn)

表3 不同方法正確識(shí)別率

從表3可以看出， ResNet整體來說相比于CNN網(wǎng)絡(luò)存在更高的識(shí)別率，與前人的結(jié)論一致。在CNN為基礎(chǔ)的方法中，本文方法相比于無遷移學(xué)習(xí)方法和參數(shù)精調(diào)遷移學(xué)習(xí)方法，識(shí)別率分別提高了約41%和7%，說明本文提出的無監(jiān)督遷移學(xué)習(xí)(此處指源域數(shù)據(jù)無標(biāo)簽)方法能夠充分利用無標(biāo)簽?zāi)繕?biāo)域數(shù)據(jù)自身的分布特性，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行調(diào)整，從而使特征提取子網(wǎng)絡(luò)能夠適應(yīng)不同分布的源域和目標(biāo)域樣本的輸入。而基于參數(shù)精調(diào)的方法由于僅僅依賴少許帶標(biāo)簽的目標(biāo)域的數(shù)據(jù)，無法充分利用所有的目標(biāo)域數(shù)據(jù)，因此其識(shí)別率低于本文方法。本文方法相比于有監(jiān)督的方法識(shí)別率僅低3%，說明本文方法幾乎達(dá)到了識(shí)別率的上限(即同時(shí)利用帶標(biāo)簽的源域和目標(biāo)域進(jìn)行訓(xùn)練)。在實(shí)際應(yīng)用中，通常僅能夠大量獲取無標(biāo)簽的目標(biāo)域數(shù)據(jù)，因此本文方法相比于有監(jiān)督的方法，具有更強(qiáng)的實(shí)用性。在以ResNet為基礎(chǔ)的方法對(duì)比中，本文方法相比于無遷移學(xué)習(xí)的方法和參數(shù)精調(diào)遷移學(xué)習(xí)方法，識(shí)別率分別提高了約43%和9%，相比于有監(jiān)督的方法識(shí)別率僅低2%，能夠得到類似上述的結(jié)論。

4 結(jié)論

本文提出了無監(jiān)督領(lǐng)域自適應(yīng)的調(diào)制識(shí)別方法，該方法在傳統(tǒng)識(shí)別網(wǎng)絡(luò)中加入域分類子網(wǎng)絡(luò)，在訓(xùn)練的代價(jià)項(xiàng)中加入域分類代價(jià)，使得網(wǎng)絡(luò)能夠同時(shí)適應(yīng)目標(biāo)域和源域。通過開源的GUN Radio軟件產(chǎn)生的仿真數(shù)據(jù)集驗(yàn)證，證明了該方法相比于無遷移學(xué)習(xí)和基于參數(shù)精調(diào)的方法，在CNN為基礎(chǔ)網(wǎng)絡(luò)的條件下識(shí)別率分別提高了41%和7%，在ResNet為基礎(chǔ)網(wǎng)絡(luò)的條件下識(shí)別率分別提高了43%和9%；并且，該方法接近于同時(shí)利用目標(biāo)域和源域數(shù)據(jù)進(jìn)行訓(xùn)練后的調(diào)制識(shí)別率的上限，在CNN和ResNet為基礎(chǔ)網(wǎng)絡(luò)的條件下，僅分別下降了3%和2%。下一步將對(duì)更高階的MQAM信號(hào)進(jìn)行調(diào)制識(shí)別，研究頻偏等因素對(duì)高階信號(hào)識(shí)別率的影響。