多注意力機(jī)制網(wǎng)絡(luò)的調(diào)制識(shí)別算法

王安義，王煜儀

(西安科技大學(xué) 通信與信息工程學(xué)院，陜西 西安 710054)

0 引 言

傳統(tǒng)調(diào)制識(shí)別方法根據(jù)識(shí)別策略分為兩類[1]，即：基于最大似然理論的識(shí)別方法[2]和基于特征提取的識(shí)別方法[3]。前者由于計(jì)算復(fù)雜度高且需依賴大量先驗(yàn)知識(shí)而未廣泛應(yīng)用。后者通過(guò)人工提取專家特征進(jìn)行分類，瞬時(shí)特征[4]、高階累積量[5,6]、小波變換[7]等是常用特征，此類方法存在專家特征提取困難，且在小尺度衰落信道環(huán)境下識(shí)別率低等問(wèn)題。

近年來(lái)深度學(xué)習(xí)憑借自動(dòng)提取原始數(shù)據(jù)特征的能力，逐漸應(yīng)用于調(diào)制識(shí)別領(lǐng)域[8]。文獻(xiàn)[9]利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)對(duì)11種調(diào)制信號(hào)進(jìn)行識(shí)別，結(jié)果表明深度學(xué)習(xí)方法優(yōu)于傳統(tǒng)的特征提取方法。文獻(xiàn)[10,11]結(jié)合CNN和長(zhǎng)短期記憶(long short-term memory，LSTM)網(wǎng)絡(luò)搭建組合神經(jīng)網(wǎng)絡(luò)模型，同時(shí)獲取信號(hào)時(shí)頻特征提高識(shí)別率。文獻(xiàn)[12]提出時(shí)空多通道MCLDNN網(wǎng)絡(luò)，以同相/正交(in-phase/quadrature，I/Q)序列、同相分量序列和正交分量序列共同作為輸入實(shí)現(xiàn)特征互補(bǔ)，融合一維、二維卷積和LSTM提取信號(hào)時(shí)頻特征。

以上提到的基于深度學(xué)習(xí)的調(diào)制識(shí)算法均缺少對(duì)神經(jīng)網(wǎng)絡(luò)中關(guān)鍵特征的捕捉，導(dǎo)致識(shí)別性能難以提升。本文提出多注意力機(jī)制網(wǎng)絡(luò)的調(diào)制識(shí)別算法，以I/Q序列和信號(hào)瞬時(shí)幅度/相位(amplitude/phase, A/P)特征構(gòu)造雙通道輸入方式，增加特征多樣性。在特征提取方面，加強(qiáng)了網(wǎng)絡(luò)對(duì)特征向量通道、空間和時(shí)間維度上關(guān)鍵信息的獲取能力，提高調(diào)制信號(hào)識(shí)別率。與其它算法對(duì)比，結(jié)果表明本文算法在小尺度衰落信道下具有更好的識(shí)別性能。

1 信號(hào)模型及預(yù)處理

假設(shè)信號(hào)經(jīng)過(guò)帶有加性高斯白噪聲(AWGN)的多徑衰落信道，且受到頻率偏移、相位偏移等影響，接收信號(hào)經(jīng)數(shù)字下變頻后轉(zhuǎn)換為基帶信號(hào)X(n)表示為

(1)

基帶信號(hào)X(n)的向量形式為：X=[X(1),X(2),…,X(N)]， 復(fù)數(shù)形式為：X=I+Q=Re(X)+j·Im(X)，I和Q分別為信號(hào)的同相分量和正交分量，Re(X)和Im(X)分別為實(shí)部和虛部，X的矩陣形式XI/Q表示為

(2)

調(diào)制信號(hào)在小尺度衰落信道中受多徑衰落、頻率偏移和相位偏移等因素影響，信號(hào)內(nèi)部發(fā)生嚴(yán)重的包絡(luò)衰減，導(dǎo)致接收端I/Q序列正交性不足。若僅將I/Q序列作為神經(jīng)網(wǎng)絡(luò)輸入則很難提取出有效的特征。由于不同信號(hào)間瞬時(shí)幅度/相位特征差異較大，有助于區(qū)分信號(hào)，因此本文通過(guò)提取信號(hào)A/P特征并與I/Q序列共同作為網(wǎng)絡(luò)輸入，使網(wǎng)絡(luò)實(shí)現(xiàn)多尺度感受野，獲取更具區(qū)分度的特征。

幅度特征A(n)提取的具體過(guò)程為

(3)

其中，I(n) 和Q(n) 分別代表同相、正交分量的第n個(gè)數(shù)據(jù)。

相位特征P(n) 提取的具體過(guò)程為

P(n)=arctan[Q(n)/I(n)]

(4)

獲取的A/P特征矩陣形式XA/P表示為

(5)

2 網(wǎng)絡(luò)框架

多注意力機(jī)制網(wǎng)絡(luò)整體框架如圖1所示，主體上分為頻域特征提取模塊和時(shí)域特征提取模塊。首先將經(jīng)過(guò)預(yù)處理得到的雙通道數(shù)據(jù)并行輸入頻域特征提取模塊學(xué)習(xí)頻域信息，再使融合特征輸入時(shí)域特征提取模塊獲取時(shí)間特征，最后將特征向量輸入全連接層，使其映射到更易分類的空間進(jìn)行分類輸出。

圖1 多注意力機(jī)制網(wǎng)絡(luò)整體框架

2.1 頻域特征提取模塊

為解決深度神經(jīng)網(wǎng)絡(luò)因?qū)訑?shù)增加導(dǎo)致的網(wǎng)絡(luò)退化現(xiàn)象，殘差網(wǎng)絡(luò)(residual network，ResNet)[13]利用恒等映射a和殘差映射R(a)相加實(shí)現(xiàn)特征向量的空間傳遞，將淺層與深層特征結(jié)合，輸出向量表示為O(a)=R(a)+a。 殘差連接不會(huì)給網(wǎng)絡(luò)模型增加額外參數(shù)和計(jì)算復(fù)雜度，并且可防止網(wǎng)絡(luò)梯度消失或梯度爆炸，提高網(wǎng)絡(luò)訓(xùn)練性能。密集連接網(wǎng)絡(luò)(densely connected convolutional networks，DenseNet)[14]利用特征重用的方法將每一層的輸出特征都作為后續(xù)層的輸入，提高了網(wǎng)絡(luò)分類精度。

本文結(jié)合ResNet和DenseNet的優(yōu)點(diǎn)，將ResNet中特征傳遞的思想融入DenseNet構(gòu)建殘差密集塊(residual dense block，RDB)，并在其中引入改進(jìn)的卷積注意力機(jī)制模塊[15](improved convolutional block attention module，ICBAM)，提升網(wǎng)絡(luò)對(duì)通道和空間信息的表達(dá)能力。將RDB提取的兩路特征向量通過(guò)通道連接的方式實(shí)現(xiàn)特征融合，再將融合向量送入數(shù)量為80，尺寸為2×8的卷積核中學(xué)習(xí)空間相關(guān)性，最后通過(guò)Reshape層將特征向量調(diào)整二維形式輸入BiGRU層。RDB的網(wǎng)絡(luò)結(jié)構(gòu)及具體參數(shù)設(shè)置如圖2所示。

圖2 殘差密集塊網(wǎng)絡(luò)結(jié)構(gòu)

每個(gè)RDB包含4個(gè)二維卷積層，通過(guò)兩組密集連接和一組殘差連接組成。Conv代表卷積層， 128(1,8) 的含義是卷積核數(shù)量為128，尺寸為1×8。在密集連接過(guò)程中，通道維數(shù)量會(huì)成倍增加，導(dǎo)致訓(xùn)練難度加大，因此在RDB的最后一層卷積采用尺寸為1×1的卷積核進(jìn)行降維，此操作不會(huì)增加額外計(jì)算參數(shù)。每個(gè)卷積層的步長(zhǎng)均設(shè)為1，激活函數(shù)選用ReLu函數(shù)解決非線性分類問(wèn)題，采用批量歸一化層(batch normalization，BN)加快訓(xùn)練收斂速度，提高模型魯棒性。

在每個(gè)密集連接后引入改進(jìn)卷積注意力機(jī)制模塊，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。ICBAM通過(guò)對(duì)輸入特征向量的通道和空間區(qū)域分配注意力權(quán)重，捕捉信號(hào)的關(guān)鍵頻域特征。

圖3 ICBAM網(wǎng)絡(luò)結(jié)構(gòu)

圖3中通道注意力模塊將輸入特征向量F∈C×T×W(其中C，T，W分別為特征的通道量、高度和寬度)按通道維進(jìn)行全局最大池化和平均池化，再進(jìn)行特征映射。傳統(tǒng)CBAM常通過(guò)全連接層進(jìn)行特征映射，產(chǎn)生大量計(jì)算參數(shù)，增加計(jì)算時(shí)間。為減少冗余計(jì)算，本文選擇一維卷積操作代替全連接層進(jìn)行特征映射，由于卷積神經(jīng)網(wǎng)絡(luò)具有參數(shù)共享的特性，可以減少通道注意力模塊的計(jì)算參數(shù)，降低計(jì)算時(shí)間，提高運(yùn)算效率。特征向量經(jīng)過(guò)一維卷積運(yùn)算后進(jìn)行整形相加，再通過(guò)激活函數(shù)得到通道注意力矩陣MC(F)∈C×1×1。 將MC(F)與輸入特征向量F點(diǎn)乘得到空間注意力模塊的輸入F’。計(jì)算通道注意力矩陣的過(guò)程為

(6)

(7)

式中：f2D是卷積尺寸為3×3的二維卷積運(yùn)算。

最后將空間注意力矩陣MS(F) 與F’點(diǎn)乘得到通道-空間注意力輸出特征向量F’’。

2.2 時(shí)域特征提取模塊

通信信號(hào)不僅在空間上具有相關(guān)性，在時(shí)間上也具有關(guān)聯(lián)，循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)在處理時(shí)間序列上具有強(qiáng)大學(xué)習(xí)能力。門控循環(huán)單元(gated recurrent unit，GRU)作為一種典型的循環(huán)神經(jīng)網(wǎng)絡(luò)，在保證學(xué)習(xí)性能的同時(shí)可減少?gòu)埩窟\(yùn)算，從而降低網(wǎng)絡(luò)復(fù)雜度，提高網(wǎng)絡(luò)收斂速度。GRU主要包括重置門rt和更新門zt(t表示當(dāng)前時(shí)刻)。其中重置門決定前一時(shí)刻信息被遺忘的程度，更新門決定保留前一時(shí)刻信息的程度，GRU的前向傳播公式如下

rt=σ(Wr[ht-1,xt])

(8)

zt=σ(Wz[ht-1,xt])

(9)

h′t=tanh(Wh[rt⊙ht-1,xt])

(10)

ht=zt⊙h′t+(1-zt)⊙ht-1

(11)

式中：xt表示當(dāng)前輸入，ht-1和ht分別表示前一時(shí)刻和當(dāng)前時(shí)刻的隱藏單元狀態(tài)，h′t表示經(jīng)重置門處理后的候選狀態(tài)值，Wr，Wz，Wh表示權(quán)重參數(shù)，⊙表示Hadamard乘積。

BiGRU在處理長(zhǎng)序列數(shù)據(jù)時(shí)無(wú)法判斷哪些是對(duì)信號(hào)識(shí)別有用的關(guān)鍵特征，導(dǎo)致分類精度難以提高。本文將軟注意力機(jī)制(soft attention mechanism，SAM)[16]加入BiGRU層后，更加關(guān)注時(shí)域特征之間的聯(lián)系，對(duì)BiGRU每一時(shí)間步的輸出隱藏狀態(tài)向量分配注意力權(quán)重系數(shù)，為區(qū)分度更強(qiáng)的關(guān)鍵特征分配更高權(quán)重以提高信號(hào)識(shí)別率。其具體工作原理如下：假設(shè)經(jīng)BiGRU層的輸出序列為H={h1,h2,h3,…,hK-1,hK} (K為輸出的隱藏狀態(tài)向量長(zhǎng)度)，q為查詢向量，注意力分布αt的計(jì)算過(guò)程為

(12)

式中：s(ht,q) 為注意力打分函數(shù)，用來(lái)計(jì)算ht和q的相關(guān)性。

考慮到算法復(fù)雜度及計(jì)算效率，選擇點(diǎn)積模型作為打分函數(shù)，其公式如下

(13)

注意力分布αt反映了查詢向量q所對(duì)應(yīng)的第t個(gè)輸入向量的受關(guān)注程度。最后將αt和BiGRU的輸出ht通過(guò)加權(quán)平均得到輸出向量

(14)

將經(jīng)時(shí)域特征提取模塊的輸出向量送入全連接層實(shí)現(xiàn)特征映射，最后一層采用Softmax作為激活函數(shù)，使輸出向量轉(zhuǎn)換為信號(hào)對(duì)應(yīng)每種調(diào)制方式的概率，更易進(jìn)行分類。

3 實(shí)驗(yàn)仿真與分析

實(shí)驗(yàn)硬件平臺(tái)配置：i9-9900k中央處理器；RTX2080Ti顯卡；32 GB內(nèi)存。軟件平臺(tái)配置：Matlab2020；Python3.7；Tensorflow1.15.0框架；Keras2.3.1函數(shù)庫(kù)。

3.1 實(shí)驗(yàn)數(shù)據(jù)與仿真條件

網(wǎng)絡(luò)訓(xùn)練使用分類交叉熵?fù)p失函數(shù)計(jì)算損失值作為評(píng)估標(biāo)準(zhǔn)，其表達(dá)式如下

(15)

式中：l為調(diào)制方式種類數(shù)，y為實(shí)際值，y′為預(yù)測(cè)輸出值。

通過(guò)Adam優(yōu)化函數(shù)反向更新權(quán)值參數(shù)。訓(xùn)練時(shí)設(shè)置早停機(jī)制，以驗(yàn)證集損失函數(shù)為標(biāo)準(zhǔn)，10輪內(nèi)未下降時(shí)則中止訓(xùn)練。當(dāng)訓(xùn)練提前中止或達(dá)到最高迭代次數(shù)時(shí)，保存最優(yōu)網(wǎng)絡(luò)模型。

3.2 仿真實(shí)驗(yàn)一

為驗(yàn)證本文算法中信號(hào)預(yù)處理操作的有效性，對(duì)比本文雙通道I/Q+A/P路輸入與單通道I/Q路輸入方式對(duì)網(wǎng)絡(luò)識(shí)別性能的影響，結(jié)果如圖4所示。從圖中可以看出，當(dāng)信噪比大于-4 dB時(shí)，由I/Q+A/P路構(gòu)建的雙通道輸入方式對(duì)9種信號(hào)的平均識(shí)別率均高于單通道I/Q路輸入方式。原因是小尺度衰落信道下的信號(hào)受多徑效應(yīng)等復(fù)雜條件影響，導(dǎo)致I/Q數(shù)據(jù)的正交性不足，而A/P特征通過(guò)反映信號(hào)的幅度相位關(guān)系，可以輔助神經(jīng)網(wǎng)絡(luò)提取多尺度信號(hào)特征。由此驗(yàn)證本文算法在預(yù)處理階段提取A/P特征，構(gòu)建雙通道輸入的方法對(duì)提高小尺度衰落信道下的調(diào)制信號(hào)識(shí)別率是可行的。

圖4 不同通道輸入下的識(shí)別率對(duì)比

3.3 仿真實(shí)驗(yàn)二

對(duì)比引入傳統(tǒng)CBAM+SAM、只引入ICBAM、只引入SAM、不引入注意力機(jī)制4種算法，驗(yàn)證本文提出的多注意力機(jī)制網(wǎng)絡(luò)對(duì)識(shí)別性能的影響，圖5為各算法在不同信噪比下對(duì)9種信號(hào)的平均識(shí)別率。

圖5 注意力機(jī)制對(duì)識(shí)別性能的影響

由圖5得出，在低信噪比時(shí)各算法識(shí)別性能區(qū)分度較小，當(dāng)信噪比大于0 dB時(shí)，識(shí)別率差距逐漸增大。其中不引入注意力機(jī)制算法的識(shí)別率最低，單獨(dú)引入ICBAM或SAM后，識(shí)別率會(huì)有所提升，其原因?yàn)镮CBAM通過(guò)在特征向量的通道與空間區(qū)域之間捕捉重要信息，學(xué)習(xí)表現(xiàn)力強(qiáng)的頻域特征，同時(shí)給低頻噪聲分配小權(quán)重，降低其對(duì)信號(hào)識(shí)別的干擾；BiGRU在運(yùn)算時(shí)容易遺忘關(guān)鍵信息，而SAM可以對(duì)BiGRU不同時(shí)刻輸出狀態(tài)進(jìn)行打分，為關(guān)鍵的時(shí)間信息分配更高的注意力系數(shù)。引入傳統(tǒng)CBAM+SAM算法與本文算法均結(jié)合多種注意力機(jī)制，在各信噪比下的識(shí)別率均表現(xiàn)突出，驗(yàn)證了多注意力機(jī)制的引入有利于網(wǎng)絡(luò)識(shí)別性能提升。

表1介紹了以上5種算法對(duì)9種信號(hào)在各信噪比下的平均識(shí)別率、最高識(shí)別率、測(cè)試時(shí)間3種性能指標(biāo)。在平均識(shí)別率表現(xiàn)上，只引入ICBAM和只引入SAM算法相比不引入注意力機(jī)制算法分別提高了1.08%和1.74%，而傳統(tǒng)CBAM+SAM算法和本文算法分別提高了3.76%和4.22%，且本文算法在最高識(shí)別率上達(dá)到95.81%，均高于其它算法；測(cè)試時(shí)間上傳統(tǒng)CBAM+SAM時(shí)間最長(zhǎng)，原因是傳統(tǒng)CBAM通過(guò)全連接層進(jìn)行特征映射得到通道注意力矩陣，造成計(jì)算參數(shù)過(guò)多，導(dǎo)致算法復(fù)雜；而本文算法采用ICBAM，其利用一維卷積替代全連接層，在提高識(shí)別性能的同時(shí)優(yōu)化了網(wǎng)絡(luò)訓(xùn)練效率。

表1 注意力機(jī)制對(duì)識(shí)別性能指標(biāo)的影響

3.4 仿真實(shí)驗(yàn)三

為對(duì)比不同頻域特征提取模塊網(wǎng)絡(luò)架構(gòu)對(duì)識(shí)別性能的影響，將雙通道數(shù)據(jù)輸入至卷積核數(shù)量、尺寸、步長(zhǎng)相同的CNN、ResNet、DenseNet以及RDB中進(jìn)行性能測(cè)試。

表2和表3分別介紹了4種架構(gòu)在部分信噪比下的識(shí)別率以及總體性能指標(biāo)。可以得到本文設(shè)計(jì)的RDB網(wǎng)絡(luò)架構(gòu)單批次訓(xùn)練時(shí)間為0.107 s，與其它3種架構(gòu)相比，所需訓(xùn)練時(shí)間最長(zhǎng)，但在信號(hào)的平均識(shí)別率和最高識(shí)別率上均表現(xiàn)最佳，以識(shí)別性能的提升彌補(bǔ)了訓(xùn)練時(shí)間稍長(zhǎng)的缺點(diǎn)。

表2 部分信噪比下的識(shí)別率

表3 不同網(wǎng)絡(luò)架構(gòu)下識(shí)別性能指標(biāo)

3.5 仿真實(shí)驗(yàn)四

為驗(yàn)證本文算法對(duì)9種調(diào)制信號(hào)的識(shí)別能力，分析了不同信噪比下的調(diào)制方式識(shí)別率和混淆矩陣，結(jié)果如圖6和圖7所示。

圖6 9種信號(hào)在不同信噪比下的識(shí)別率

圖7 不同信噪比下的混淆矩陣

從圖6可得，9種小尺度衰落信道下的信號(hào)識(shí)別率均隨信噪比上升而提高，當(dāng)信噪比大于8 dB時(shí)，大多數(shù)信號(hào)識(shí)別率超過(guò)90%；8PSK和16PSK兩種信號(hào)在信噪比較低時(shí)難以準(zhǔn)確識(shí)別，但隨著信噪比增加，識(shí)別率也很快升高；值得注意的是，當(dāng)信噪比較高時(shí)，除16PSK、64QAM兩種信號(hào)外，其它信號(hào)基本可以準(zhǔn)確識(shí)別，原因是高階PSK和QAM信號(hào)易受噪聲攻擊，尤其在小尺度衰落信道下，信號(hào)極易受到干擾導(dǎo)致被淹沒(méi)在噪聲中。未來(lái)可進(jìn)一步對(duì)此類高階調(diào)制信號(hào)進(jìn)行研究，減少噪聲以及小尺度衰落對(duì)識(shí)別率的影響。

圖7給出了信噪比分別為0 dB、8 dB、18 dB時(shí)的混淆矩陣。當(dāng)處于低信噪比0 dB時(shí)，信號(hào)受強(qiáng)噪聲影響，如圖7(a)所示，大部分信號(hào)無(wú)法準(zhǔn)確識(shí)別，尤其是QPSK、8PSK、16PSK之間的混淆最為嚴(yán)重，原因是三者同屬PSK類內(nèi)調(diào)制方式，其本身信號(hào)結(jié)構(gòu)及特征較為相近，當(dāng)經(jīng)過(guò)小尺度衰落信道，信號(hào)的正交性以及幅相特征造破壞，導(dǎo)致難以區(qū)分。隨著信噪比上升，信號(hào)之間的混淆逐漸減輕，圖7(b)中當(dāng)信噪比在8 dB時(shí)混淆趨于穩(wěn)定，大部分信號(hào)識(shí)別率均高于90%；圖7(c)信噪比在18 dB時(shí)的混淆最小，其誤差主要來(lái)自16PSK與8PSK、64QAM與16QAM之間，16PSK約10%的數(shù)據(jù)被識(shí)別為8PSK，64QAM約12%的數(shù)據(jù)被識(shí)別為16QAM，這是由于信號(hào)結(jié)構(gòu)相似所導(dǎo)致的。其次可以發(fā)現(xiàn)，低階PSK、QAM以及PAM4、GMSK、CPFSK在小尺度衰落信道下抗干擾性能較好，當(dāng)信噪比較高時(shí)基本可以準(zhǔn)確識(shí)別。

3.6 仿真實(shí)驗(yàn)五

將本文算法與CNN[9]、CLDNN[10]、雙流CNN-LSTM[11]、MCLDNN[12]的識(shí)別性能進(jìn)行對(duì)比，結(jié)果如圖8所示。

圖8 本文算法與其它文獻(xiàn)算法識(shí)別性能對(duì)比

其中CNN和CLDNN算法均為單通道I/Q路輸入方式，二者最高識(shí)別率分別為71.42%和82.70%。相較于將單一I/Q序列輸入網(wǎng)絡(luò)，多通道輸入的方式取得了更好的識(shí)別結(jié)果，其中MCLDNN和雙流CNN-LSTM算法的最高識(shí)別率分別達(dá)到了93.87%和92.83%，且各信噪比下的識(shí)別率均高于單路輸入的算法，進(jìn)一步驗(yàn)證了多通道輸入的方式能有效提高識(shí)別率。本文算法以I/Q序列和信號(hào)A/P特征作為輸入，獲取信號(hào)的多樣性特征，利用多注意力機(jī)制提升網(wǎng)絡(luò)學(xué)習(xí)關(guān)鍵特征的能力，所提取的特征具有較強(qiáng)的抗干擾性，在小尺度衰落信道下的識(shí)別率取得了明顯優(yōu)勢(shì)。當(dāng)信噪比大于-4 dB時(shí)，識(shí)別率高于其它文獻(xiàn)算法。當(dāng)信噪比為0 dB和18 dB時(shí)，識(shí)別率較其它文獻(xiàn)算法分別提升了約1.8%和2%以上。

4 結(jié)束語(yǔ)

本文提出多注意力機(jī)制網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)小尺度衰落信道下9種調(diào)制信號(hào)的識(shí)別。通過(guò)引入改進(jìn)卷積注意力機(jī)制模塊和軟注意力機(jī)制提升網(wǎng)絡(luò)對(duì)信號(hào)關(guān)鍵特征的捕捉能力。仿真結(jié)果表明，在瑞利衰落為三徑信道的小尺度衰落條件下，信噪比為18 dB時(shí)，平均識(shí)別率達(dá)95.81%。驗(yàn)證算法所提取的特征能更好地應(yīng)對(duì)小尺度衰落信道干擾，識(shí)別性能相比其它深度學(xué)習(xí)算法更優(yōu)。未來(lái)實(shí)現(xiàn)調(diào)制識(shí)別的小樣本無(wú)監(jiān)督學(xué)習(xí)仍有待研究，使算法在少量標(biāo)簽數(shù)據(jù)下仍保持較高識(shí)別率。