基于深度學(xué)習(xí)的在線教師課程評(píng)論情感分析模型

肖海艷

（咸陽(yáng)師范學(xué)院外國(guó)語(yǔ)學(xué)院，陜西咸陽(yáng) 712000）

隨著互聯(lián)網(wǎng)平臺(tái)的快速發(fā)展，在線課程憑借其方便、優(yōu)質(zhì)等特點(diǎn)逐漸被大眾認(rèn)可，在線學(xué)習(xí)人數(shù)迅速增加[1-2]。教師與學(xué)習(xí)者的交互過(guò)程會(huì)產(chǎn)生大量的評(píng)論文本數(shù)據(jù)，對(duì)文本情感傾向進(jìn)行分析，有利于教師了解學(xué)習(xí)者的需求，提高在線課程質(zhì)量。

傳統(tǒng)靜態(tài)詞向量模型如Glove 和Word2vec[3]，將詞轉(zhuǎn)換成高維度向量嵌入，但訓(xùn)練過(guò)程未加入詞的位置信息，存在無(wú)法表示多義詞的問(wèn)題。動(dòng)態(tài)詞向量模型ELMO（Embedding from Language Model）[4]和BERT（Bidirectional Encoder Representation from Transformers）[5]，在大規(guī)模語(yǔ)料進(jìn)行預(yù)訓(xùn)練時(shí)，通過(guò)充分考慮詞的上下文語(yǔ)義關(guān)聯(lián)，提取當(dāng)前詞符合語(yǔ)義環(huán)境的動(dòng)態(tài)向量表征。MacBERT（MLM as correction BERT）[6]預(yù)訓(xùn)練模型提出了全詞掩碼和N-Gram 掩碼策略，利用近義詞替換以降低訓(xùn)練和微調(diào)的差異，在多項(xiàng)自然語(yǔ)言處理任務(wù)上取得最優(yōu)結(jié)果。

評(píng)論文本情感分析任務(wù)主要有基于機(jī)器學(xué)習(xí)方法和基于深度學(xué)習(xí)方法[7]。傳統(tǒng)機(jī)器學(xué)習(xí)方法依賴人工構(gòu)建特征工程，操作效率較低，且無(wú)法保證提取特征的有效性。隨著深度學(xué)習(xí)模型被廣泛應(yīng)用于情感分析領(lǐng)域，文獻(xiàn)[8]提出了TF-Word-CNN 模型，在英語(yǔ)文本數(shù)據(jù)集上取得了較高的分類性能，但TFWord 模型無(wú)法表示多義詞，詞向量表征能力較弱。針對(duì)在線課程評(píng)論情感分類，文獻(xiàn)[9]提出了BERTCNN 模型，但CNN 模型無(wú)法捕獲評(píng)論文本的序列特征。文獻(xiàn)[10]提出了BERT-BiLSTM 模型，BiLSTM 受限于循環(huán)依賴機(jī)制，訓(xùn)練速度慢。以上模型對(duì)每個(gè)特征賦予了相同的權(quán)重，無(wú)法識(shí)別出對(duì)分類結(jié)果影響較大的重點(diǎn)情感特征。

為解決現(xiàn)階段研究存在的不足和提升情感分類準(zhǔn)確率，提出了基于MacBERT-BiSRU-AT（MLM as correction BERT-Bidirectional Simple Recurrent Unit-Attention）的在線教師課程評(píng)論情感分析模型，其主要貢獻(xiàn)和創(chuàng)新點(diǎn)如下：

1）為解決靜態(tài)詞向量模型無(wú)法表示多義詞的問(wèn)題，通過(guò)性能優(yōu)化的MacBERT 模型，結(jié)合當(dāng)前詞的上下文實(shí)際語(yǔ)境動(dòng)態(tài)學(xué)習(xí)編碼表示，解決固定詞向量模型存在的一詞多義問(wèn)題。

2）針對(duì)BiLSTM 訓(xùn)練效率低問(wèn)題，采用簡(jiǎn)單循環(huán)單元SRU[11]捕捉評(píng)論文本高維情感特征，并進(jìn)一步加速模型訓(xùn)練，降低訓(xùn)練成本。

3）軟注意力模塊通過(guò)計(jì)算評(píng)論文本中每個(gè)詞對(duì)情感分類結(jié)果的影響程度大小，賦予模型識(shí)別關(guān)鍵詞的能力。

1 MacBERT-BiSRU-AT模型

1.1 整體結(jié)構(gòu)

MacBERT-BiSRU-AT 模型整體結(jié)構(gòu)如圖1 所示，主要由預(yù)訓(xùn)練模型MacBERT、BiSRU 語(yǔ)義提取層、軟注意力機(jī)制和分類層構(gòu)成。

圖1 模型整體結(jié)構(gòu)

1.2 MacBERT模型

MacBERT 模型的主要特征抽取模塊為Transformer 編碼器，內(nèi)置注意力機(jī)制[12]能夠捕獲語(yǔ)句內(nèi)部詞之間的情感依賴特征，有效地提取文本內(nèi)部蘊(yùn)含的結(jié)構(gòu)信息。其模型結(jié)構(gòu)如圖2 所示。

圖2 MacBERT模型結(jié)構(gòu)

向量E={E1,E2,…,Em}為MacBERT 模型的輸入，Ei表示每個(gè)詞的向量表征，由字符嵌入、位置嵌入和分句嵌入相加得到，具體實(shí)現(xiàn)過(guò)程如圖3 所示。經(jīng)多層編碼器學(xué)習(xí)到評(píng)論文本的詞向量表征T={T1,T2,…,Tm}，Ti代表語(yǔ)句中第i個(gè)詞的語(yǔ)義向量表示，作為二次語(yǔ)義捕捉層BiSRU 的輸入。

圖3 輸入向量組成

1.3 簡(jiǎn)單循環(huán)單元

簡(jiǎn)單循環(huán)單元SRU 在具體運(yùn)算過(guò)程中不再依賴上一個(gè)時(shí)間步的輸出，并行計(jì)算能力強(qiáng)，訓(xùn)練效率優(yōu)于傳統(tǒng)的GRU[13]和LSTM[14]模型。單層前向SRU 模型結(jié)構(gòu)如圖4 所示，具體實(shí)現(xiàn)原理如式（1）-（4）所示：

圖4 SRU模型結(jié)構(gòu)

其中，ft和rt分別表示遺忘門和重置門，負(fù)責(zé)控制當(dāng)前信息流入下一個(gè)階段的程度。⊙符號(hào)代表矩陣元 素乘法；Wt、Wr、W、bf、br、vf和vr為學(xué)習(xí)參數(shù)矩陣。由式（4）可得，ht的計(jì)算不再依賴上一個(gè)時(shí)間步的輸出ht-1，可在任何維度和步驟中進(jìn)行并行化計(jì)算，充分利用GPU 資源加速，提高模型訓(xùn)練效率。評(píng)論文本情感結(jié)果不僅與上文有關(guān)，還與下文關(guān)系密切，為此搭建前向SRU 和后向SRU，同時(shí)捕獲語(yǔ)句上下文語(yǔ)義特征，確保提取特征的完整性。將前向、后向SRU 輸出■?和合并得到Ht，作為雙向SRU 在t時(shí)刻的輸出。

1.4 軟注意力模塊

軟注意力層通過(guò)計(jì)算評(píng)論文本中每個(gè)詞對(duì)情感分類結(jié)果預(yù)測(cè)的重要程度，篩選出對(duì)當(dāng)前任務(wù)目標(biāo)更加關(guān)鍵的重點(diǎn)特征，對(duì)模型起到優(yōu)化作用。注意力層首先計(jì)算BiSRU 層在t時(shí)刻的狀態(tài)輸出Ht對(duì)情感分類結(jié)果的權(quán)重得分at，加權(quán)求和后得到注意力特征表示A，相關(guān)計(jì)算過(guò)程如式（5）-（7）所示：

其中，tanh(·)為非線性函數(shù)，exp(·)代表指數(shù)運(yùn)算，W和b均為可學(xué)習(xí)參數(shù)。

1.5 分類層

通過(guò)線性層轉(zhuǎn)換將注意力特征A映射到分類空間后得到情感特征向量，經(jīng)Softmax 模塊輸出概率分布Ps，由top 函數(shù)計(jì)算每行概率最大值對(duì)應(yīng)的情感預(yù)測(cè)標(biāo)簽結(jié)果R。具體計(jì)算原理如式（8）和（9）所示。

2 結(jié)果分析

2.1 數(shù)據(jù)集和性能指標(biāo)

為進(jìn)一步驗(yàn)證模型對(duì)在線課程評(píng)論文本進(jìn)行情感傾向分類的有效性，通過(guò)爬蟲(chóng)框架獲取MOOC 中國(guó)大學(xué)慕課網(wǎng)站在線教師課程評(píng)論文本共25 684條，經(jīng)數(shù)據(jù)清洗和文本處理后，得到合格的評(píng)論樣本20 642 條，部分評(píng)論數(shù)據(jù)內(nèi)容如表1 所示。將數(shù)據(jù)按照80%、10%、10%劃分訓(xùn)練集、測(cè)試集和驗(yàn)證集。標(biāo)簽0、1 分別表示評(píng)論文本情感極性為負(fù)、正。

表1 部分評(píng)論數(shù)據(jù)內(nèi)容

文中采用準(zhǔn)確率(Accuary)、精確率(Precision)、召回率(Recall)和F1 值評(píng)估模型的性能表現(xiàn)，計(jì)算過(guò)程如式（10）-（13）所示：

2.2 硬件環(huán)境與參數(shù)設(shè)定

實(shí)驗(yàn)環(huán)境設(shè)置如下：操作系統(tǒng)為L(zhǎng)inux，內(nèi)存120 GB；顯卡為3090(2張)，顯存大小為24 GB；利用深度學(xué)習(xí)框架Pytorch1.7.0 和科學(xué)計(jì)數(shù)庫(kù)等第三方庫(kù)進(jìn)行模型編寫(xiě)和訓(xùn)練框架的搭建，Python版本為3.6.0。

文中實(shí)驗(yàn)設(shè)定參數(shù)如下：二次語(yǔ)義提取層BiSRU 隱藏層單元數(shù)量為256，模塊層數(shù)為1；軟注意力機(jī)制維度大小為512；評(píng)論文本最大截?cái)嚅L(zhǎng)度為100；模型訓(xùn)練輪次為5 次；批處理大小為32；學(xué)習(xí)率大小為0.000 01；損失函數(shù)為交叉熵函數(shù)。引入性能優(yōu)秀的優(yōu)化器RAdam[15]自動(dòng)調(diào)整訓(xùn)練過(guò)程中學(xué)習(xí)率，達(dá)到優(yōu)化模型訓(xùn)練結(jié)果和加速收斂的目的。

2.3 實(shí)驗(yàn)結(jié)果分析

將文中模型MacBERT-BiSRU-AT 與性能優(yōu)秀的深度學(xué)習(xí)模型BERT-CNN 和BERT-BiLSTM 進(jìn)行實(shí)驗(yàn)對(duì)比。為驗(yàn)證利用MacBERT 提取動(dòng)態(tài)詞向量的有效性，將提出模型與維度為300 的Word2vec 模型[16]、ELMO 和BERT 模型作比較。通過(guò)消融實(shí)驗(yàn)，驗(yàn)證各個(gè)模塊對(duì)模型分類性能的貢獻(xiàn)大小。為確保實(shí)驗(yàn)公平一致，設(shè)定隨機(jī)數(shù)種子，取10 次模塊冷啟動(dòng)實(shí)驗(yàn)指標(biāo)的平均值作為最終結(jié)果。各模型性能指標(biāo)如表2 所示。

表2 性能指標(biāo)對(duì)比

由表2 可知，模型MacBERT-BiSRU-AT 的F1 值高于表現(xiàn)優(yōu)秀的BERT-CNN 和BERT-BiLSTM，分別提高了5.23%和3.95%，證明了MacBERT 與BiSRUAT 模塊融合的有效性。

采用模型MacBERT 提取詞的動(dòng)態(tài)向量表征，其應(yīng)用效果優(yōu)于Word2vec、ELMO 和BERT 模型，F(xiàn)1 值分別提高了13.27%、8.11%和2.41%。Word2vec 作為靜態(tài)詞向量模型，每個(gè)詞僅由一個(gè)向量表示，無(wú)法結(jié)合具體語(yǔ)境動(dòng)態(tài)調(diào)整詞的語(yǔ)義表示，F(xiàn)1 值低于動(dòng)態(tài)詞向量模型；BERT 由多層Transformer 編碼器構(gòu)成，特征學(xué)習(xí)能力優(yōu)于ELMO 模型使用的BiLSTM 模塊；MacBERT 在預(yù)訓(xùn)練過(guò)程中引入了全詞和N-Gram 掩碼，增強(qiáng)模型對(duì)語(yǔ)義和句法的建模能力，得到更為優(yōu)秀的詞向量表示。與MacBERT-BiSRU 模型進(jìn)行對(duì)比，加入注意力模塊后，MacBERT-BiSRU-AT 模型F1 值提高了1.58%，說(shuō)明了軟注意力機(jī)制能夠識(shí)別出關(guān)鍵特征，對(duì)模型有著優(yōu)化作用。

圖5 為部分模型每輪的訓(xùn)練時(shí)間。可以看出，MacBERT-BiSRU平均訓(xùn)練時(shí)間較MacBERT-BiLSTM更短，而模型性能相差不大，說(shuō)明了BiSRU 模塊充分利用GPU 資源進(jìn)行并行加速計(jì)算，效率更高，且具有較強(qiáng)的特征提取能力。

圖5 模型訓(xùn)練時(shí)間

綜上，MacBERT-BiSRU-AT 模型能夠有效提升在線課程評(píng)論文本情感分析準(zhǔn)確率。

3 結(jié)論

針對(duì)在線教師課程評(píng)論文本情感分析任務(wù)，提出了基于MacBERT-BiSRU-AT 的情感分析模型。預(yù)訓(xùn)練模型MacBERT 通過(guò)參考當(dāng)前詞的具體語(yǔ)境學(xué)習(xí)到其動(dòng)態(tài)向量表征，通過(guò)實(shí)驗(yàn)驗(yàn)證MacBERT 應(yīng)用效果優(yōu)于實(shí)驗(yàn)對(duì)比的詞向量模型；BiSRU 模塊在保持較高序列建模能力的前提下，訓(xùn)練效率優(yōu)于BiLSTM。軟注意力機(jī)制能夠關(guān)注到對(duì)情感傾向影響更大的關(guān)鍵詞，有效地提升模型分類性能。在真實(shí)課程評(píng)論數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果證明了MacBERT 與BiSRU-AT 結(jié)合的有效性。后續(xù)將考慮使用其他詞向量模型如ERNIE2.0[17]提取語(yǔ)義表征更為準(zhǔn)確的詞向量，并進(jìn)一步提高模型的訓(xùn)練效率。