基于深度學習的藏文多極情感分類方法的研究

曲塔吉 安見才讓

摘要： 藏文多極情感分類方法是自然語言處理研究中識別用戶對某件事或話題的主觀情感傾向性識別的研究課題之一。文章分析了藏文多極情感分類方法的特點，對采集的藏文情感語料進行整理校對;提取相關(guān)特征，建立情感語料庫和情感分類識別模型;再通過大量的實驗找出存在的不足，并進行完善，以此提高藏文多極情感數(shù)據(jù)的準確率。實驗表明，優(yōu)化后的藏文多極情感分類的識別準確率達到84.5%。

關(guān)鍵詞： 情感分類; LSTM神經(jīng)網(wǎng)絡(luò)模型; 注意力機制; 藏文程度詞; 藏文轉(zhuǎn)折詞與否定詞

中圖分類號：TP391.1? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2021）10-41-03

Research on Tibetan multi-polar sentiment classification method based on deep learning

Qu Taji， Anjian Cairang

（School of Computer， Qinghai University for Nationalities， Xining， Qinghai 810007， China）

Abstract： The Tibetan multi-polar emotion classification method is one of the research topics in the natural language processing research to identify the user's subjective sentiment orientation for a certain event or topic. This article analyzes the characteristics of the Tibetan multi-polar sentiment classification method， organize and proofread the collected Tibetan sentiment corpus， and extract features to build sentiment corpus and sentiment classification and recognition model. Identify existing problems through a lot of experiments and further refine and improve the accuracy of Tibetan multipolar sentiment data. In the experiment， the optimized and expanded Tibetan multi-polar emotion classification and recognition accuracy rate reached 84.5%.

Key words： sentiment classification; LSTM neural network model; attention mechanism; Tibetan degree words; Tibetan transition words and negative words

0 引言

情感分析[1]作為用戶行為分析的重要組成部分，是對帶有主觀性情感傾向或情緒態(tài)度的文本進行分析處理和歸納推理的過程。其一方面可以通過對用戶評論的篩選與歸類，從中挖掘用戶對產(chǎn)品或服務(wù)的意見，并基于這些意見對用戶的行為進行預測從而制定科學合理的運營策略;另一方面，通過對大量文本的情感分析，可以有效監(jiān)控網(wǎng)絡(luò)輿情和預測網(wǎng)絡(luò)輿論走向，并及時監(jiān)測輿情危機做出預警，維護網(wǎng)絡(luò)安全，構(gòu)建和諧網(wǎng)絡(luò)環(huán)境。在自然語言處理技術(shù)的應用當中，情感分析更是必不可少的。例如在自動機器翻譯中，對輸入文本進行情感傾向判斷時，有助于精準的選擇帶有正面或負面的同義詞進行翻譯，以此提高翻譯的準確率。

因此，本課題提出將藏文情感分類方法通過深度學習的相關(guān)技術(shù)進行深入研究，首先對藏文多極情感分類方法的特點進行分析，并對采集的藏文情感語料進行篩選，擴充，人工標注和分詞，去除或加工情感詞當中的縮寫詞、重疊詞、特殊字符等，對情感數(shù)據(jù)進行整理、校對及數(shù)據(jù)預處理，以此構(gòu)建藏文多極情感語料庫;其次對相關(guān)理論知識進行深入學習，結(jié)合相關(guān)特征進行詞向量分析，采用基于多層正向LSTM和注意力機制的神經(jīng)網(wǎng)絡(luò)模型建立藏文多極情感傾向型分析模型。

1 相關(guān)工作

1.1 藏文多極情感分類

藏文多極情感分類屬于情感分析方法當中文本情感分類的范疇，初期的情感分類能有效分析情感句子當中所表達出來的正面、中立、負面情感等情感傾向，讓情感分類技術(shù)能直接從檢測后的最終情感傾向結(jié)果中傳遞出文本的主觀態(tài)度傾向。但在本文的研究中增加了情感極性的部分，對情感句子當中表達出來的情感程度進行分類和歸納，按照一定的分類規(guī)則進行人工標注和分詞并分類為六種情感極性，即滿意、一般滿意、非常滿意及不滿意、一般不滿意、非常不滿意，總共收錄相關(guān)情感數(shù)據(jù)29121條句子。

1.2 藏文程度詞與情感句子搭配

本文采集的情感數(shù)據(jù)當中，藏文程度詞主要用于對采集的四種情感態(tài)度數(shù)據(jù)當中兩種不同情感極性的數(shù)據(jù)進行限定和修飾，以此達到各類情感句子的情感極性。程度詞的不同是能將同一種表達的內(nèi)容變得完全不同，又會以一致的情感傾向表達出來，即有不同之處，又有相同之處。正因如此，程度詞的修飾作用在文本數(shù)據(jù)的人工標注上起到了加速效果，它能將每一條文本數(shù)據(jù)的分類以最準確、最快的方式表達出來。如表1所示。

1.3 藏文轉(zhuǎn)折詞和否定詞應用

情感數(shù)據(jù)當中出現(xiàn)的轉(zhuǎn)折詞，能表示某個情感傾向的轉(zhuǎn)變或變化，主要是強調(diào)變化后的情感表達狀態(tài)，是以轉(zhuǎn)折后的情感傾向為主要判斷依據(jù)產(chǎn)生的情感傾向轉(zhuǎn)換作用。轉(zhuǎn)折詞有時在識別的過程中將消極情感詞識別成積極情感詞，或?qū)⒎e極情感詞識別成消極情感詞，在一定程度上會導致識別率下降。主要是因為轉(zhuǎn)折前后的情感句子當中既包含積極情感詞，又包含消極情感詞。如表2所示。

當一個句子當中出現(xiàn)“不”“沒有”之類的詞，我們經(jīng)常判定這類詞很有可能是句子字面意義和文章所表達的意義不一致，而在情感句子當中否定程度的強弱及說話者的態(tài)度都直接決定著其情感傾向的轉(zhuǎn)變。在藏文句式的常規(guī)文法應用中，使用的否定詞主要有“?????????????”四種，在本文中對這四種否定詞加以使用，在標注時與之相關(guān)的否定情感詞有“???????? ???????????? ???????? ???????????”等等。但是，不能直接判定其否定詞就是消極情感詞，因為在情感句子當中還存在情感句子轉(zhuǎn)折前后的一個情感傾向。如表3所示。

值得注意的是，否定詞在表達時，光從字面意義上判斷其情感傾向很容易，但放到特定的環(huán)境下和特定的語境中情感傾向改變的可能性特別大，這就需要在后期的標注上格外注意。

2 基于深度學習的藏文多極情感分類方法的模型

本文提出一種用于藏文多極情感分類方法的多層正向LSTM[2]和注意力機制[3]模型。此模型主要是通過不同層的正向LSTM在同一個深度學習模型中進行訓練。其模型將不同鄰域的情感分類數(shù)據(jù)文本通過詞向量輸入到正向LSTM模型中，再通過注意力機制從softmax模型中輸出分類的結(jié)果。如圖1所示。

此模型的整體訓練思路是：首先將藏文情感文本進行向量化處理組成數(shù)組，用矩陣化的方式來表示情感數(shù)據(jù)的語義信息;其次載入到生成的詞向量[4]模型，創(chuàng)建用于訓練集的藏文情感數(shù)據(jù)矩陣和LSTM的計算單元，在構(gòu)造訓練集索引之前，視情況確定并設(shè)置好訓練長度;最后使用由標簽的數(shù)據(jù)訓練輸出層的分類器，用該分類器對藏文情感分類進行分析識別。

3 實驗結(jié)果

本次實驗的實驗數(shù)據(jù)共有29121條情感數(shù)據(jù)文本，在整個實驗過程中，通過在訓練中多次反復提取特征從而加強特征的記憶力，訓練集和損失值在不斷下降的同時，其準確率一直在上升并趨于平穩(wěn)，最終的準確率為：84.5%。后續(xù)實驗表明此模型具有良好的穩(wěn)定性，不斷增加語料后準確率隨之上升。如圖2所示。

如圖2所示，基于多層正向LSTM和注意力機制的模型算法的結(jié)果在準確率和損失值方面都表現(xiàn)的優(yōu)異穩(wěn)定。其最大的原因在于輸入時做了大量的加工處理，讓卷積層[5]在詞向量的部分得到了更多的序列信息，讓卷積層更容易獲得特定的特征為識別基礎(chǔ)，其中也運用到的各種算法的優(yōu)勢，讓藏文多極情感分類的識別有了更高的準確率，損失值也變得越來越低。其實驗結(jié)果示例表如4所示。

4 結(jié)束語

本文對基于深度學習的藏文多極情感分類識別做了較為全面的探討和研究。通過嚴格的數(shù)據(jù)預處理構(gòu)建藏文多極情感文本數(shù)據(jù)庫，在數(shù)據(jù)上通過訓練模型實現(xiàn)藏文多極情感分類方法的識別，由于藏文的情感分類方法數(shù)據(jù)庫存在著明顯的不足，公開的數(shù)據(jù)寥寥無幾。因此，我們采用人工的方式，對數(shù)據(jù)進行標注、篩選、擴充，并逐一校對，為后續(xù)的實驗提供了更好的更準確的數(shù)據(jù)。

后期需對藏文多極情感分類語料庫做擴充和進一步完善。在基于各種不同情感極性和復雜的數(shù)據(jù)時，本文使用的模型分類效果也會隨之改變，對此需要進一步思考在面對海量的復雜數(shù)據(jù)時，如何改進和維持模型的分類效果，提高其準確率以及在其他領(lǐng)域的泛化能力。

參考文獻（References）：

[1] 段懿軒.基于神經(jīng)網(wǎng)絡(luò)的中文文本情感分類及其在輿情分析中的應用.西安電子科技大學碩士論文，2019.

[2] 王瑞龍.基于注意力深度學習的情感分類研究[D].西北大學，2019.

[3] 王明陽.句子級和段落級的語義相似度算法的設(shè)計與實現(xiàn)[D].北京郵電大學碩士論文，2019.

[4] 張鵬.基于深度學習混合模型的商品垃圾評論識別研究 [D].江蘇科技大學大學，2019.

[5] 周泳東.基于卷積神經(jīng)網(wǎng)絡(luò)的商品評論情感分析的研究[D].南京郵電大學，2019.

[6] 何晗.自然語言處理入門[M].人民郵電出版社，2019.