










收稿日期:2022-05-23;修回日期:2022-07-07" 基金項(xiàng)目:國(guó)家自然科學(xué)基金資助項(xiàng)目(62072008);中央高校基本科研業(yè)務(wù)費(fèi)資助項(xiàng)目(2022YJSJD26)
作者簡(jiǎn)介:周法國(guó)(1976-),男,山東聊城人,副教授,碩導(dǎo),博士,主要研究方向?yàn)樽匀徽Z(yǔ)言處理;孫冬雪(1998-),女(通信作者),天津人,碩士研究生,主要研究方向?yàn)樽匀徽Z(yǔ)言處理(sundongxuesdx@163.com).
摘 要:
近年來(lái)的方面級(jí)情感分析模型應(yīng)用圖卷積神經(jīng)網(wǎng)絡(luò)(GCN)學(xué)習(xí)語(yǔ)句的語(yǔ)法結(jié)構(gòu)信息,但是在建模時(shí)忽略了已知情感詞信息和評(píng)論所屬的已知話(huà)題環(huán)境,漸漸不能滿(mǎn)足中文社交網(wǎng)絡(luò)情感分析需求。針對(duì)以上問(wèn)題,提出一種基于詞典和深度學(xué)習(xí)軟融合的字詞雙通道模型(2D-SGCN)。該模型首先基于基礎(chǔ)情感詞典擴(kuò)展得到微博領(lǐng)域詞典,獲得領(lǐng)域適用性的情感詞;其次使用預(yù)訓(xùn)練模型獲得字、詞初始特征向量,并在字維度融入方面詞和話(huà)題信息,分別使用Bi-LSTM和融入情感信息的GCN(SGCN)學(xué)習(xí)全局與局部信息;應(yīng)用注意力機(jī)制得到方面詞最終特征并進(jìn)行多維度融合;最后將話(huà)題和方面詞結(jié)合進(jìn)行分類(lèi)糾正。在SemEval-2014的Restaurant數(shù)據(jù)集上F1為73.67%,在NLPCC2012數(shù)據(jù)集上F1為91.5%,證明了該模型的有效性。
關(guān)鍵詞:方面級(jí)情感分析;圖卷積神經(jīng)網(wǎng)絡(luò);社交網(wǎng)絡(luò);情感詞典;字詞雙通道;多維度融合;話(huà)題
中圖分類(lèi)號(hào):TP181"" 文獻(xiàn)標(biāo)志碼:A""" 文章編號(hào):1001-3695(2022)12-013-3614-06
doi:" 10.19734/j.issn.1001-3695.2022.05.0236
Chinese aspect-based sentiment analysis integrating sentiment and topic information
Zhou Faguo, Sun Dongxue
(School of Mechanical Electronic amp; Information Engineering, China University of Mining amp; Technology-Beijing, Beijing 100083, China)
Abstract:
In recent years, the aspect-based sentiment analysis model uses graph convolutional network (GCN) to learn the grammatical structure information of sentences, but ignores the known sentiment word information and the known topic environment belonged to the comments. These gradually can’t meet the needs of sentiment analysis of Chinese social networks. To solve the above problems, this paper proposed a double-channel of char and word (2D-SGCN) model based on soft fusion of dictionary and deep learning. Firstly, it constructed a microblog domain sentiment dictionary based on the expansion of the basic sentiment dictionary, then obtained sentiment words. Secondly, it used the pre-training model to obtain the initial feature vector of the chars and word, and integrated the aspect word and topic information in the char dimension. Then it used the Bi-LSTM and GCN with emotional information (SGCN) models to learn global and local information respectively. And it obtained the final features of aspect words through the attention mechanism and obtained better expression of text through multi-dimensional fusion. Finally, it combined the topic and aspect information for correction and classification. On the Restaurant dataset of SemEval-2014, F1 is 73.67%, on the NLPCC2012 dataset, F1is 91.5%, which proves the effectiveness of the 2D-SGCN model.
Key words:aspect-based sentiment classification; graph convolutional network; social network; sentiment dictionary; double channels of char and word; multi-dimensional fusion; topic
0 引言
近年來(lái),情感分析逐漸成為一個(gè)研究熱點(diǎn),在輿情分析、事件監(jiān)測(cè)、商品推薦和學(xué)術(shù)研究方面都具有重要意義。現(xiàn)在大多數(shù)的情感分析任務(wù)都是基于方面詞的情感分析(aspect based sentiment analysis,ABSA)任務(wù),如圖1所示。
句中描述了兩個(gè)方面詞“教師”“收入”以及它們所對(duì)應(yīng)的不同情感。情感分類(lèi)方法可以分為基于情感詞典的方法、基于機(jī)器學(xué)習(xí)或深度學(xué)習(xí)的方法、詞典和機(jī)器或深度學(xué)習(xí)結(jié)合的方法。
早期,研究人員基于情感詞典和規(guī)則的方法來(lái)解決情感分類(lèi)問(wèn)題,文獻(xiàn)[1~3]在現(xiàn)有情感詞典基礎(chǔ)上構(gòu)建領(lǐng)域情感詞典,通過(guò)特定規(guī)則判斷微博的情感值。吳依萍[4]分別基于情感詞典和SVM算法對(duì)方面詞進(jìn)行情感分類(lèi);張佳明等人[5]提出了一種基于Biterm的主題模型BTM,利用情感詞典分析隱含主題情感分布進(jìn)而得到微博的情感分類(lèi)。考慮到微博中存在的大量流行語(yǔ)會(huì)對(duì)微博的情感造成影響,陳佳慧[6]選擇百度、搜狗輸入法的網(wǎng)絡(luò)新詞作為候選庫(kù),使用情感傾向點(diǎn)互信息算法(semantic orientation pointwise mutual information,SO-PMI)構(gòu)建微博實(shí)時(shí)網(wǎng)絡(luò)流行語(yǔ)詞典,并提出了一種構(gòu)建細(xì)粒度情感詞典的方法和完整的微博情感分類(lèi)流程,使得微博情感的類(lèi)別得以更精細(xì)判斷。考慮到中文文本語(yǔ)義規(guī)則,吳杰勝等人[7]在合并現(xiàn)有的情感詞典基礎(chǔ)上,提出一種基于多部情感詞典和規(guī)則集的中文微博情感分析方法,使微博的情感分類(lèi)準(zhǔn)確率得到提高。但情感詞典構(gòu)建和最終判定方法都是人工設(shè)置,時(shí)間成本高、靈活性差,對(duì)ABSA任務(wù)適用性不強(qiáng)。
現(xiàn)有大多數(shù)方面級(jí)情感分析是基于神經(jīng)網(wǎng)絡(luò)展開(kāi)的,Chen等人[8]使用循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network)捕捉文本的上下文特征。文獻(xiàn)[9,10]使用長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory,LSTM)來(lái)學(xué)習(xí)方面詞和上下文的關(guān)系。Wang等人[11]提出一種基于注意力機(jī)制的LSTM模型(ATAE-LSTM),利用LSTM學(xué)習(xí)到的文本表示與方面詞拼接后使用注意力機(jī)制最終得到方面級(jí)情感類(lèi)別。然而LSTM網(wǎng)絡(luò)可能過(guò)度關(guān)注表達(dá)情緒極性的高頻詞語(yǔ),對(duì)于與方面詞相關(guān)的低頻詞卻鮮少關(guān)注。研究表明,句法依賴(lài)樹(shù)可以縮短詞與詞之間的距離,捕捉到詞與詞之間的句法信息,因此后來(lái)的研究主要集中在此方面。學(xué)者們通過(guò)構(gòu)建句子的句法分析樹(shù),利用圖神經(jīng)網(wǎng)絡(luò)(graph convolution networks,GCN)[12]學(xué)習(xí)與方面詞有關(guān)的詞語(yǔ)信息,該方法有效地解決了僅使用LSTM出現(xiàn)的問(wèn)題,同時(shí)可以克服距離的因素,使方面詞學(xué)習(xí)到與其句法相關(guān)的詞的信息。Sun等人[13]提出基于依賴(lài)樹(shù)卷積的模型CDT,應(yīng)用GCN將語(yǔ)義解析樹(shù)作為圖的鄰接矩陣來(lái)學(xué)習(xí)詞之間的關(guān)系,取學(xué)習(xí)到的方面詞的向量并將其平均池化后作為方面詞的最終向量表示;Zhang等人[14]提出ASGCN(aspect-specific graph convolutional network)模型,采用圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)后的方面詞向量對(duì)全局文本應(yīng)用注意力機(jī)制,之后加權(quán)得到最終方面詞向量表示;Bian等人[15]用雙向GCN學(xué)習(xí)句法解析和詞匯圖去捕捉全局詞信息。施榮華等人[16]使用結(jié)構(gòu)為BERT-Bi-GRU-GAT的模型實(shí)現(xiàn)情感識(shí)別,使用圖注意力網(wǎng)絡(luò)(graph attention network,GAT)加強(qiáng)不同方面節(jié)點(diǎn)交互;姜宇桐等人[17]提出一種簡(jiǎn)單圖神經(jīng)網(wǎng)絡(luò)MASGC,減少GCN的參數(shù)并應(yīng)用雙向門(mén)控循環(huán)單元(Bi-GRU)對(duì)文本編碼,基于檢索的上下文注意力機(jī)制得到最終分類(lèi)結(jié)果;楊春霞等人[18]基于雙向圖卷積網(wǎng)絡(luò)和交互注意力機(jī)制IAM學(xué)習(xí)對(duì)分類(lèi)有貢獻(xiàn)的特征;宋紅陽(yáng)等人 [19]提出基于強(qiáng)化依賴(lài)圖的方面情感分類(lèi)模型,在強(qiáng)化依賴(lài)圖上使用圖注意力網(wǎng)絡(luò)學(xué)習(xí)方面詞表示;夏鴻斌等人[20]提出結(jié)合注意—過(guò)度注意(AOA)和GCN的情感分類(lèi)模型,捕捉方面詞和上下文的交互與表示。以上這些模型都是針對(duì)英文評(píng)論數(shù)據(jù)進(jìn)行的情感分析,缺少對(duì)詞和其他信息的學(xué)習(xí),進(jìn)而對(duì)中文數(shù)據(jù)分類(lèi)效果不佳。
針對(duì)中文ABSA任務(wù),何志強(qiáng)[21]提出AE-DAM模型及其改進(jìn)模型AE-DAM改進(jìn)2,應(yīng)用Bi-LSTM和注意力機(jī)制并在模型設(shè)計(jì)時(shí)對(duì)文本和情感符號(hào)向量追加微博話(huà)題詞信息,融合話(huà)題信息實(shí)現(xiàn)細(xì)粒度情感分類(lèi)。雖然該模型引入了情感信息和話(huà)題信息,但模型設(shè)計(jì)部分方面詞無(wú)差別學(xué)習(xí)情感詞和非情感詞信息,引入不必要噪聲,進(jìn)而出現(xiàn)聚合學(xué)習(xí)效果不好的情況。
本文提出一種適合中文社交網(wǎng)絡(luò)數(shù)據(jù)的細(xì)粒度情感分析模型,以實(shí)現(xiàn)中文細(xì)粒度情感分類(lèi)。模型創(chuàng)新體現(xiàn)在:
a)在模型設(shè)計(jì)上受文獻(xiàn)[14]的啟發(fā)并作出改進(jìn)得到SGCN(sentiment-based GCN),適應(yīng)數(shù)據(jù)的特點(diǎn),重視與方面詞有句法依賴(lài)的情感詞信息。句法依賴(lài)樹(shù)如圖2所示。在該例句的句法依賴(lài)樹(shù)中,詞與詞間的句法關(guān)系被直接表示出來(lái)。方面詞“收入”與其情感觀點(diǎn)詞“不敢恭維”和其他成分詞“實(shí)際”直接相連,SGCN模型在學(xué)習(xí)方面詞“收入”的特征信息時(shí)對(duì)兩者差別對(duì)待。
b)對(duì)于中文社交網(wǎng)絡(luò)數(shù)據(jù)來(lái)說(shuō),同一個(gè)方面詞在不同話(huà)題下所表達(dá)的情感不盡相同,比如在話(huà)題“范冰冰偷稅漏稅”中,方面詞“范冰冰”的情感大多是負(fù)向的,話(huà)題“范冰冰生圖好美”中,方面詞“范冰冰”的情感大多是正向。受CRF思想的啟發(fā),使用話(huà)題信息實(shí)現(xiàn)誤分類(lèi)糾正,實(shí)現(xiàn)異話(huà)題間方面詞學(xué)習(xí)不互擾。
1 2D-SGCN模型
方面級(jí)情感分類(lèi)任務(wù)描述為:給定一條長(zhǎng)度為q的文本W(wǎng)={w1,w2,…,wq}、文本描述的方面詞F={wτ,wτ+1,…,wρ},預(yù)測(cè)方面詞F所對(duì)應(yīng)的情感。方面詞可以應(yīng)用命名實(shí)體識(shí)別任務(wù)抽取,話(huà)題信息是微博數(shù)據(jù)本身帶有的屬性。對(duì)于社交網(wǎng)絡(luò)數(shù)據(jù),方面詞是與話(huà)題息息相關(guān)的,本文將任務(wù)詳細(xì)描述為:假設(shè)該文本所屬話(huà)題T={w1,w2,…,wm},其中m代表當(dāng)前文本所屬話(huà)題的字?jǐn)?shù),則基于中文社交網(wǎng)絡(luò)數(shù)據(jù)的情感分析任務(wù)為預(yù)測(cè)方面詞F在話(huà)題T下所對(duì)應(yīng)的情感。
本文針對(duì)此類(lèi)任務(wù)構(gòu)建模型──2D-SGCN,模型從縱向結(jié)構(gòu)上劃分為文本表示層、特征學(xué)習(xí)層、糾正層以及輸出層,在橫向結(jié)構(gòu)上包含字和詞兩個(gè)處理通道。其結(jié)構(gòu)除預(yù)處理層如圖3所示。
1.1 預(yù)處理層
在將數(shù)據(jù)輸入到網(wǎng)絡(luò)前需要進(jìn)行預(yù)處理工作。在預(yù)處理階段,將工作分為以下幾個(gè)步驟:
a)數(shù)據(jù)去噪、分詞與去停用詞。去除對(duì)目標(biāo)任務(wù)無(wú)意義的符號(hào),如“@”“#”“http:”網(wǎng)址類(lèi)鏈接等,考慮到中文表達(dá)中標(biāo)點(diǎn)符號(hào)對(duì)情感的識(shí)別具有幫助作用,所以本文并沒(méi)有去除標(biāo)點(diǎn)符號(hào)。采用Jieba分詞工具對(duì)去噪后文本進(jìn)行分詞。在分詞前預(yù)先把方面詞加入分詞詞典中,防止出現(xiàn)語(yǔ)句中的方面詞無(wú)法識(shí)別問(wèn)題;同時(shí)社交網(wǎng)絡(luò)數(shù)據(jù)存在許多如“歇菜”“坑爹”等網(wǎng)絡(luò)詞,故在分詞時(shí)把網(wǎng)絡(luò)詞加入到分詞詞典中。考慮到網(wǎng)絡(luò)詞的更新問(wèn)題,本文將搜狗輸入法的“網(wǎng)絡(luò)流行新詞”詞庫(kù)和百度輸入法的“網(wǎng)絡(luò)用語(yǔ)”“日常用語(yǔ)大詞庫(kù)”“常用聊天短語(yǔ)”詞庫(kù)匯合得到微博網(wǎng)絡(luò)詞典。
b)語(yǔ)義解析。在模型訓(xùn)練時(shí)將語(yǔ)句的語(yǔ)義信息也考慮在內(nèi),因此在預(yù)處理階段對(duì)語(yǔ)句進(jìn)行語(yǔ)義解析。采用Python第三方庫(kù)PyLTP,該庫(kù)可以對(duì)Jieba分詞后的詞先詞性標(biāo)注再進(jìn)行句法解析,最終得到語(yǔ)句的句法依賴(lài)信息。
c)情感詞典的擴(kuò)展。除以上步驟外,本文在預(yù)處理階段得到微博情感詞典,為之后與模型融合做準(zhǔn)備。選擇知網(wǎng)HowNet情感詞典和大連理工情感詞匯本體為基礎(chǔ)情感詞典,將基礎(chǔ)情感詞典與Jieba分詞后得到的詞取交集得到語(yǔ)料種子情感詞,采用SO-PMI法計(jì)算詞的情感值實(shí)現(xiàn)情感詞典的擴(kuò)展。SO-PMI算法流程可表示為:將Jieba分詞后與種子情感詞在特定窗口大小內(nèi)共現(xiàn)的詞作為情感候選詞,遍歷所有情感候選詞,查看它與所有共現(xiàn)的 pos種子詞的PMI值、與所有共現(xiàn)的 neg種子詞的PMI值,兩者相減即得到SO-MPI值,大于0為擴(kuò)展的pos、小于0為neg。
1.2 文本表示層
計(jì)算機(jī)并不能夠?qū)ξ谋局苯幼R(shí)別和處理,需要將語(yǔ)料轉(zhuǎn)換成數(shù)字向量的形式,本文在文本表示層進(jìn)行該項(xiàng)工作。為了更充分地學(xué)習(xí)到文本的信息,在文本表示層分別從字和詞兩個(gè)維度表示并融入方面詞信息和話(huà)題信息。
1.2.1 字向量表示
使用預(yù)訓(xùn)練模型BERT引用獲取字向量表示,通過(guò){[CLS]文本[SEP]方面詞、話(huà)題信息}的方式融入方面詞和話(huà)題信息,讓文本與其所含方面詞和所屬話(huà)題間充分交互語(yǔ)義信息。其中話(huà)題信息是社交網(wǎng)絡(luò)文本所處的話(huà)題環(huán)境,輸入由微博文本、待識(shí)別情感的方面詞和微博文本所屬話(huà)題三部分構(gòu)成。
對(duì)于樣本中第k條數(shù)據(jù),本文將文本W(wǎng)k、方面詞Fk、話(huà)題Tk結(jié)合在一起得到輸入數(shù)據(jù)Xk={[CLS]w1,…,wq,[SEP]wτ,…,wρ,w1,…,wm},假設(shè)第k條數(shù)據(jù)的文本、方面詞和話(huà)題的字個(gè)數(shù)一共為s,通過(guò)BERT模型后得二維詞嵌入向量EBERTCk=[eBERT0,…,eBERTs+2]∈Euclid ExtraaBp(s+2)×768,其中eBERTi∈Euclid ExtraaBp1×768代表該條數(shù)據(jù)中第i個(gè)token的向量表示,768為BERT嵌入向量的維度。
所有文本的字嵌入向量為EBERTC∈Euclid ExtraaBpbatch×(s+2)×768,batch為批處理樣本數(shù)量。
1.2.2 詞向量表示
以Jieba分詞后的單詞為基礎(chǔ),使用由北京師范大學(xué)和人民大學(xué)研究者基于微博語(yǔ)料的預(yù)訓(xùn)練模型SGNSweibo[20]獲得每一個(gè)詞的向量表示。輸入為分詞后的微博文本。
對(duì)于樣本中第k條數(shù)據(jù),將文本W(wǎng)k通過(guò)預(yù)訓(xùn)練模型得到二維詞嵌入向量ESGNSk=[eSGNS1,…,eSGNSn]∈Euclid ExtraaBpn×d,eSGNSi∈Euclid ExtraaBp1×d表示第i個(gè)詞的向量,n為該文本詞的個(gè)數(shù),d為該預(yù)訓(xùn)練模型的詞嵌入向量的維度。最終所有文本的詞嵌入向量為ESGNSW∈Euclid ExtraaBpbatch×n×(d+1)。
1.3 特征學(xué)習(xí)層
特征學(xué)習(xí)層是深度學(xué)習(xí)模型的主要部分,對(duì)上一層的嵌入向量矩陣進(jìn)行隱藏特征學(xué)習(xí),同時(shí)實(shí)現(xiàn)字和詞兩維度特征的融合。在該層包括Bi-LSTM層、SGCN層、注意力層三小層。
Bi-LSTM可以使方面詞適應(yīng)句子的表述學(xué)習(xí)到全局特征信息。但是對(duì)于ABSA任務(wù)來(lái)說(shuō),若方面詞與其情感詞之間的距離較遠(yuǎn),且兩者之間存在其他情感詞,則僅僅依靠Bi-LSTM網(wǎng)絡(luò)學(xué)習(xí)前后向全局信息是無(wú)法準(zhǔn)確捕捉到正確的關(guān)系的。而語(yǔ)句的句法分析可以直觀地展示詞語(yǔ)之間的依存關(guān)聯(lián),跨越句子順序結(jié)構(gòu)束縛直接獲取的詞語(yǔ)依賴(lài)信息。同時(shí)句法的依賴(lài)關(guān)系是不規(guī)則樹(shù)狀結(jié)構(gòu),故不采用CNN而應(yīng)用GCN來(lái)學(xué)習(xí)詞語(yǔ)間的直接與間接依賴(lài)關(guān)系。
文獻(xiàn)[13]在傳統(tǒng)GCN基礎(chǔ)上對(duì)特征向量H進(jìn)行了位置加權(quán),使方面詞附近的觀點(diǎn)詞對(duì)其權(quán)重更高而距離遠(yuǎn)的觀點(diǎn)詞權(quán)重低,但由于中文文本與英文文本不同,與方面詞近的情感詞并不一定是對(duì)其的真實(shí)描述。與文獻(xiàn)[13]不同的是,本文以句法依賴(lài)樹(shù)為基礎(chǔ),考慮詞語(yǔ)的情感信息,對(duì)所有情感詞賦予相同的權(quán)重,讓網(wǎng)絡(luò)學(xué)習(xí)具體信息,突出與方面詞有直接聯(lián)系的情感詞的重要性,在傳統(tǒng)GCN基礎(chǔ)上加入情感信息得到SGCN。
1.3.1 情感矩陣的獲得
情感矩陣S是通過(guò)遍歷每一條文本的詞,判斷該詞是否在情感詞典中出現(xiàn)得到的,如果在詞典中出現(xiàn)則判定該詞為情感觀點(diǎn)詞。
Sij=weight" i或j是情感詞所在行列1 i或j是非情感詞所在行列(1)
其中:Sij表示第i個(gè)詞或第j個(gè)詞是否為情感詞。這里不去區(qū)分情感詞的情感極性,只需設(shè)置weight來(lái)強(qiáng)調(diào)情感詞與其他詞間的區(qū)別,通過(guò)網(wǎng)絡(luò)學(xué)習(xí)具體的不同。關(guān)于情感詞典的獲得,本文已經(jīng)在1.1節(jié)闡述。
1.3.2 Bi-LSTM層
應(yīng)用兩個(gè)兩層Bi-LSTM網(wǎng)絡(luò)分別對(duì)文本的字、詞嵌入向量進(jìn)行全局編碼,將字、詞嵌入向量矩陣EBERTC、ESGNSW分別輸入到Bi-LSTM網(wǎng)絡(luò)的前后向結(jié)構(gòu)進(jìn)行編碼。每層LSTM的計(jì)算為
hi=LSTM(ei),i∈[1,T](2)
hi=LSTM(ei),i∈[1,T](3)
hi=[hi;hi](4)
其中:T為時(shí)間步,對(duì)應(yīng)文本的字或者詞的個(gè)數(shù),取值為s或者n。
所有文本經(jīng)過(guò)該層編碼得到輸出:
HbilstmC=BiLSTM(EBERTC)(5)
HbilstmW=BiLSTM(ESGNSW)(6)
其中:HbilstmC∈Euclid ExtraaBpbatch×s×F,HbilstmW∈Euclid ExtraaBpbatch×n×F,F(xiàn)為Bi-LSTM層輸出向量特征數(shù)量,s為文本字的個(gè)數(shù),n為文本詞的個(gè)數(shù)。
1.3.3 SGCN層
傳統(tǒng)GCN原圖表示為G=(V,E),V代表圖中頂點(diǎn)集合,E代表邊集合,以詞為頂點(diǎn),詞間是否存在句法依賴(lài)關(guān)系為邊。SGCN圖描述為G=(V,E,S), V是詞頂點(diǎn)集合,S為情感矩陣。網(wǎng)絡(luò)輸入有三部分:文本的句法依賴(lài)樹(shù)矩陣A∈Euclid ExtraaBpn×n;Bi-LSTM層輸出的詞維度的特征向量和字維度的特征向量H;情感矩陣S。SGCN層以(A+I)*S作為圖的鄰接矩陣進(jìn)行傳播,其網(wǎng)絡(luò)節(jié)點(diǎn)的特征更新是對(duì)其鄰居的信息聚合實(shí)現(xiàn)的,鄰居節(jié)點(diǎn)為情感詞則邊的權(quán)重更高,傳播過(guò)程中若兩個(gè)詞間有直接語(yǔ)義關(guān)聯(lián)則更新,否則不更新。
SGCN中第i個(gè)節(jié)點(diǎn)在k層的特征更新方式如下:
h(k+1)i=σ(∑nj=1ci[(A+I)*S]ij(Wkhkj+bk))(7)
Aij=1" i與j句法依賴(lài)0" i與j句法不依賴(lài)(8)
其中:hkj是GCN第k層的第j個(gè)節(jié)點(diǎn)的隱藏層特征表示;bk是偏差項(xiàng);Wk是參數(shù)矩陣;ci是歸一化常量;σ是非線性激活函數(shù);I是單位矩陣。
在該階段為每一個(gè)文本構(gòu)造一張圖實(shí)現(xiàn)該文本的局部特征學(xué)習(xí),分別對(duì)上一層輸出的字、詞雙通道特征信息進(jìn)行局部關(guān)系學(xué)習(xí),字通道在學(xué)過(guò)程中選擇詞的第一個(gè)字的特征代表該節(jié)點(diǎn)的特征。對(duì)兩通道分別學(xué)習(xí)得到輸出:
HsgcnC=SGCN(HbilstmC)(9)
HsgcnW=SGCN(HbilstmW)(10)
其中:HsgcnC∈Euclid ExtraaBpbatch×n×F2,HsgcnW∈Euclid ExtraaBpbatch×n×F2, F2為SGCN層輸出向量特征數(shù)量,n為文本詞的個(gè)數(shù)。
1.3.4 注意力層
如文獻(xiàn)[12]所說(shuō),經(jīng)過(guò)全局和局部編碼后,方面詞信息已經(jīng)充分學(xué)習(xí)到足夠的信息。為了得到方面詞的更精確表示,分別利用字、詞兩通道SGCN層輸出的方面詞特征對(duì)Bi-LSTM層輸出的文本全局信息進(jìn)行注意力加權(quán),步驟如下:
a)mask。對(duì)SGCN層輸出的向量進(jìn)行方面詞掩碼,屏蔽非方面詞的隱藏狀態(tài),得到HmaskX:
HmaskC=mask(HsgcnC)(11)
HmaskW=mask(HsgcnW)(12)
HsgcnX=[hk+10,…,hk+1n],X=C or W(13)
hk+1i=0" 1≤ilt;a,alt;i≤n(14)
其中:hk+1i∈Euclid ExtraaBp1×F2表示第i個(gè)詞在SGCN第k層的輸出;a是方面詞所在的序列下標(biāo)。SGCN層輸出的向量HsgcnX經(jīng)過(guò)式(14)掩碼后得到HmaskX=[0,…,hk+1a,…,0]∈Euclid ExtraaBpbatch×n×F2,X= C or W,C代表字維度,W代表詞維度,非方面詞部分全部置0。
b)Attention。使用HmaskX對(duì)Bi-LSTM層輸出加權(quán)得到HattX:
HattX=f(α,HbilstmX),X=C or W(15)
α=exp(βi)∑n1exp(βi)(16)
β=f(HmaskX,HbilstmX),X=C or W(17)
其中:f(·)是矩陣的乘法;α是經(jīng)過(guò)計(jì)算得到的注意力分?jǐn)?shù)。
最終字、詞兩通道的該層輸出HattC∈Euclid ExtraaBpbatch×n×F、HattW∈Euclid ExtraaBpbatch×n×F,F(xiàn)為Bi-LSTM層輸出向量特征數(shù)量,n為文本詞的個(gè)數(shù)。
1.4 糾正層
糾正層使用話(huà)題信息和方面詞信息實(shí)現(xiàn)異話(huà)題的方面詞情感不相干擾。其中話(huà)題信息是社交網(wǎng)絡(luò)數(shù)據(jù)所處的話(huà)題環(huán)境。可通過(guò)主題模型或者按照話(huà)題爬取得到,本文不作過(guò)多闡述。該層接收來(lái)自字、詞雙通道的SGCN層輸入和輸出,取方面詞對(duì)應(yīng)的向量進(jìn)行融合,對(duì)融合后的向量通過(guò)傳統(tǒng)GCN網(wǎng)絡(luò)進(jìn)行糾正學(xué)習(xí)。
輸入有四部分:微博—話(huà)題矩陣matrixT;方面詞—方面詞矩陣matrixF;Bi-LSTM層輸出的字、詞雙通道的方面詞向量HbilstmC、HbilstmW;注意力層輸出的字、詞雙通道的方面詞向量HattC、HattW。該層步驟如下:
a)得到微博—方面詞矩陣matrixFT。
matrixFT=(matrixFmatrixFT)matrixT(18)
其中:matrixT∈Euclid ExtraaBpn×x,x為話(huà)題數(shù)量,如果微博i的話(huà)題為j則matrixTij=1,否則為0;matrixF∈Euclid ExtraaBpn×n,如果微博i的方面詞和微博j的方面詞相同則matrixFij=1,否則為0。則matrixFT代表微博i和微博j是否描述的是同一話(huà)題下同一方面詞,取值為0或1。
b)融合字、詞兩通道方面詞向量得到糾正層節(jié)點(diǎn)最終輸入HF∈Euclid ExtraaBpbatch×(4F)。
HF=[HattW,HbilstmW,HattC,HbilstmC](19)
c)輸出方面詞最終表示HJ∈Euclid ExtraaBpbatch×F3。
HJ=GCN(matrixFT,HF)=matrixFT(WHF+B)(20)
其中:B是偏差矩陣;F3為糾正層輸出向量特征數(shù)量。以傳統(tǒng)GCN方式更新,頂點(diǎn)為每一個(gè)樣本,邊為matrixFT矩陣進(jìn)行鄰居間聚合傳播。
1.5 輸出層
將獲得的方面詞最終特征HJ表示輸入全連接層,利用softmax對(duì)其進(jìn)行類(lèi)別概率計(jì)算:
p=softmax(WHJ+B′)(21)
其中:p∈Euclid ExtraaBp1×dp代表方面詞所屬每一類(lèi)的概率;dp是情感類(lèi)別數(shù)目;W是參數(shù)矩陣;B′是偏差矩陣,為可訓(xùn)練參數(shù);=max(p)為最終分類(lèi)結(jié)果。
1.6 模型訓(xùn)練
使用多分類(lèi)常用的交叉熵?fù)p失函數(shù)和L2正則化進(jìn)行訓(xùn)練模型,訓(xùn)練過(guò)程中盡可能使loss函數(shù)最小化,其表達(dá)為
loss=-∑ni=1yiln pi+λ‖Θ‖2(22)
其中:yi表示第i個(gè)樣本的真實(shí)標(biāo)簽值;pi表示第i個(gè)樣本的預(yù)測(cè)值;λ是L2正則化參數(shù);Θ是所有可訓(xùn)練參數(shù)集合。
2 實(shí)驗(yàn)結(jié)果與分析
2.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境配置
實(shí)驗(yàn)數(shù)據(jù)有兩部分:a)中文微博數(shù)據(jù),選用NLPamp;CC2012會(huì)議的測(cè)試數(shù)據(jù)和樣例數(shù)據(jù)中的標(biāo)注數(shù)據(jù),數(shù)據(jù)包含方面詞和話(huà)題;b)英文數(shù)據(jù),SemEval2014 task4[21]中的Restaurant-2014數(shù)據(jù)集,數(shù)據(jù)只包含方面詞。由于本模型需結(jié)合話(huà)題信息進(jìn)行中文細(xì)粒度情感分析,所以在數(shù)據(jù)集a)上驗(yàn)證有效性;同時(shí)數(shù)據(jù)集b)本身無(wú)話(huà)題信息,故移除本模型除糾正層(含話(huà)題信息)以外部分,在英文數(shù)據(jù)集b)上進(jìn)行驗(yàn)證模型其他部分適用性。這些數(shù)據(jù)集的詳細(xì)統(tǒng)計(jì)信息如表1所示。
其中,數(shù)據(jù)a)包括“菲軍艦惡意撞擊”“瘋狂的大蔥”“官員調(diào)研”等20個(gè)話(huà)題,每個(gè)話(huà)題大約100條語(yǔ)料。
2.2 實(shí)驗(yàn)細(xì)節(jié)、評(píng)價(jià)指標(biāo)與參數(shù)設(shè)置
實(shí)驗(yàn)首先按照1.1節(jié)中的預(yù)處理流程進(jìn)行處理,同時(shí)采用將含有多個(gè)方面詞的文本復(fù)制,化多方面詞識(shí)別為單方面詞識(shí)別任務(wù),整理完成后共2 195條(去除other類(lèi))。整理后的文本格式為情感極性、話(huà)題詞、話(huà)題ID、方面詞、方面詞ID、分詞后的文本、語(yǔ)義解析后的列表。
按照1.2小節(jié)所述,將分詞后文本和未分詞的文本分別輸入到SGNCweibo詞預(yù)訓(xùn)練模型和BERT字預(yù)訓(xùn)練模型中獲得300維的詞向量和768維的字向量作為模型的初始向量;同時(shí)對(duì)每個(gè)batch的分詞后文本數(shù)據(jù)根據(jù)得到的情感詞典查找情感詞,得到規(guī)模為[batch_size,seq_len]的情感詞矩陣S,見(jiàn)算法1所示。將初始向量輸入到特征學(xué)習(xí)層,對(duì)字、詞雙通道做類(lèi)似操作,為方便表達(dá),假設(shè)E為初始向量,將其輸入Bi-LSTM層輸出H,經(jīng)過(guò)SGCN層和注意力層得到輸出G。在糾正層,對(duì)字詞雙通道的H和G融合后屏蔽異話(huà)間的方面詞學(xué)習(xí),得到最終向量表示并輸入到輸出層進(jìn)行分類(lèi)。糾正層的算法流程已在1.4節(jié)指出。
算法1 情感詞矩陣S獲得算法
輸入:情感詞典列表sent_list;分詞后文本W(wǎng);情感詞權(quán)重weight。
輸出:情感詞矩陣S。
for j=0 to len(W)-1 // 每個(gè)batch一次循環(huán)計(jì)算
for i=0 to len(W[j])-1" // 遍歷分詞后的樣本j中的每個(gè)詞
val=W[j][i];
if val in sent_ list"" /*如果該詞在情感詞典中出現(xiàn),賦值權(quán)重weight */
S [j][i][:]=weight;
S [j][:][i]=weight;
else //否則為1
S [j][i][:] =1;
return S.
算法2 SGCN層和注意力層算法
輸入:Bi-LSTM層輸出H;情感矩陣S;句法依賴(lài)矩陣A;方面詞起始下標(biāo)m,方面詞結(jié)束下標(biāo)n。
輸出:注意力層輸出 G。
//第一層SGCN層輸出
Hsgcn1=SGCN(H,A,S)=(A+I)*S*(W*H)+B;
//二層SGCN層輸出
Hsgcn2=SGCN(T1,A,S)=(A+I)*S *(W*T1)+B;
for j=0 to len(Hsgcn2)-1 /*屏蔽非方面詞,只留下SGCN的方面詞所在向量*/
for i=0 to len(Hsgcn2[j])-1
if (m≤i<n)
F[j][i]=Hsgcn2[j][i];
else
F[j][i]= 0;
G= attention(F); //該操作見(jiàn)1.3.4節(jié)
return G.
采用每三次取平均作為實(shí)驗(yàn)最后的得分。選擇準(zhǔn)確率和F1值作為評(píng)價(jià)指標(biāo),其中F1是準(zhǔn)確率和召回率的調(diào)和平均值。實(shí)驗(yàn)環(huán)境配置如表2所示,模型參數(shù)如表3所示。
2.3 對(duì)比實(shí)驗(yàn)
本文設(shè)計(jì)n組對(duì)比實(shí)驗(yàn)。第一組實(shí)驗(yàn)為中文細(xì)粒度情感分析對(duì)比實(shí)驗(yàn),在數(shù)據(jù)集a)上進(jìn)行,驗(yàn)證2D-SGCN模型在中文數(shù)據(jù)的方面級(jí)情感分析上的有效性;第二組實(shí)驗(yàn)為英文細(xì)粒度情感分析在數(shù)據(jù)集b)上進(jìn)行,驗(yàn)證2D-SGCN模型除糾正層外部分在英文情感分類(lèi)任務(wù)上的適用性。
2.3.1 中文細(xì)粒度情感分析對(duì)比實(shí)驗(yàn)
由于研究人員對(duì)中文細(xì)粒度情感分析研究較少,所以采用NLPamp;CC2012數(shù)據(jù)集進(jìn)行細(xì)粒度情感分析的模型不多,以下將對(duì)比應(yīng)用到此數(shù)據(jù)集的模型,涉及基于情感詞典、機(jī)器學(xué)習(xí)以及兩者結(jié)合的方法。實(shí)驗(yàn)對(duì)比模型介紹如下:
a)基于情感詞典[4],基于情感詞典的方法。該模型應(yīng)用情感詞典和規(guī)則的方法進(jìn)行情感分類(lèi)。
b)BTM[5],基于情感詞典的方法。該模型基于情感詞典獲得主題詞的概率分布,再進(jìn)行情感分類(lèi)。
c)基于微博語(yǔ)義的SVM[4],基于機(jī)器學(xué)習(xí)的方法。該模型應(yīng)用SVM進(jìn)行情感分類(lèi)。
d)ATAE-LSTM[11],基于深度學(xué)習(xí)的方法。將方面詞于LSTM模型輸出相拼接后,應(yīng)用注意力機(jī)制進(jìn)行情感分類(lèi)。
e)AE-DAM[21],情感詞典和深度學(xué)習(xí)的方法。將話(huà)題詞附加到每一個(gè)詞向量和情感向量后,利用Bi-LSTM網(wǎng)絡(luò)和注意力機(jī)制進(jìn)行細(xì)粒度情感分類(lèi)。
f)AE-DAM改進(jìn)2[21],情感詞典和深度學(xué)習(xí)的方法。在AE-DAM的基礎(chǔ)上將方面詞和當(dāng)前詞的距離以及方面詞和話(huà)題詞的相似度信息作為注意力權(quán)重實(shí)現(xiàn)細(xì)粒度情感分類(lèi)。
分別使用相應(yīng)原文獻(xiàn)的實(shí)驗(yàn)結(jié)果對(duì)上述六個(gè)方案和本文方法進(jìn)行實(shí)驗(yàn)對(duì)比,結(jié)果如表4所示。可以看出,本文模型在NLPamp;CC2012數(shù)據(jù)集上相較于對(duì)比模型,準(zhǔn)確率和F1均有提高。相較對(duì)比模型a)~c),F(xiàn)1分別提升了25.9%、15.6%、14.2%,證明了使用深度學(xué)習(xí)模型的有效性;相較于模型d),F(xiàn)1提升了6.9%,說(shuō)明僅使用LSTM學(xué)習(xí)全局信息對(duì)整體的句子語(yǔ)義學(xué)習(xí)比較好,更適合粗粒度的文本情感分類(lèi),但是對(duì)于細(xì)粒度的方面級(jí)情感分類(lèi)效果欠佳,方面詞的更深層語(yǔ)義信息無(wú)法提取到,進(jìn)一步說(shuō)明使用圖卷積和句法依賴(lài)樹(shù)的有效性;相較于模型e)和f),本文模型從另一種角度融入話(huà)題信息并重點(diǎn)強(qiáng)調(diào)情感詞的重要性,使模型更好地學(xué)習(xí),除此之外引入了糾正層,實(shí)現(xiàn)話(huà)題間不互擾,實(shí)驗(yàn)結(jié)果表明F1分別提升了3.9%、2.5%,證明了本模型在中文細(xì)粒度情感分類(lèi)任務(wù)上更有效。
2.3.2 英文細(xì)粒度情感分析對(duì)比實(shí)驗(yàn)
由于現(xiàn)有英文公開(kāi)數(shù)據(jù)缺乏話(huà)題信息,移除本模型在文本表示層的話(huà)題輸入部分和糾正層與深度學(xué)習(xí)模型進(jìn)行對(duì)比,對(duì)比模型如下:
a)ASGCN[14]。在CDT的基礎(chǔ)上加入注意力機(jī)制。
b)BERT-ASGCN[14]。在ASGCN基礎(chǔ)上使用BERT預(yù)訓(xùn)練向量獲得初始字嵌入向量。
c)BERT-Bi-GRU-GAT[16]。采用BERT預(yù)訓(xùn)練向量和Bi-GRU學(xué)習(xí)文本全局信息,采用GAT網(wǎng)絡(luò)自學(xué)習(xí)局部信息。
d)MASGC[17]。使用Bi-GRU和簡(jiǎn)單圖卷積進(jìn)行編碼,同時(shí)應(yīng)用注意力機(jī)制。
e)BiGCN-IAM[18]。使用雙向圖卷積網(wǎng)絡(luò)和交互注意力機(jī)制IAM。
f)ASGCN-AOA-DG[20]。使用GCN和注意—過(guò)度注意(AOA)注意力機(jī)。
分別使用相應(yīng)原論文的實(shí)驗(yàn)結(jié)果對(duì)上述五個(gè)方案和本文方法進(jìn)行實(shí)驗(yàn)對(duì)比,對(duì)比結(jié)果如表5所示。可以看出,本模型在Restaurant-2014數(shù)據(jù)集上相較于模型BERT-ASGCN效果稍低,這里猜測(cè)可能是因?yàn)閷?duì)于英文數(shù)據(jù)來(lái)說(shuō),無(wú)中文數(shù)據(jù)中詞的概念,所以加入額外詞向量相較于僅使用BERT預(yù)訓(xùn)練向量引入了一定的噪聲,降低了識(shí)別的準(zhǔn)確性,同時(shí)由于數(shù)據(jù)本身的原因并未帶有話(huà)題信息,異話(huà)題間的方面詞極性識(shí)別有干擾現(xiàn)象,進(jìn)而導(dǎo)致準(zhǔn)確率降低;但相較于對(duì)比模型ASGCN、MASGC和BiGCN-IAM,準(zhǔn)確率和F1均有提高,相較于今年最新模型ASGCN-AOA-DG的召回率亦有提高,說(shuō)明模型雖然會(huì)引入詞噪聲,但是通過(guò)突出情感詞使得模型可以進(jìn)一步關(guān)注重點(diǎn)詞匯,證明了SGCN的有效性。
2.4 消融實(shí)驗(yàn)
為了進(jìn)一步驗(yàn)證模型的性能,在NLPamp;CC2012數(shù)據(jù)集上進(jìn)行了四組消融實(shí)驗(yàn)。
實(shí)驗(yàn)1 驗(yàn)證字、詞雙通道方法的優(yōu)越性。實(shí)驗(yàn)分別對(duì)只采用字通道、只采用詞通道和字、詞雙通道結(jié)合作對(duì)比,模型其他部分不變。
實(shí)驗(yàn)2 驗(yàn)證糾正層的有效性。為了控制變量,在該實(shí)驗(yàn)中屏蔽BERT模塊在單通道上進(jìn)行驗(yàn)證,在文本表示層只采用SGNSweibo進(jìn)行初始特征抽取,對(duì)使用糾正層和不使用糾正層進(jìn)行對(duì)比。
實(shí)驗(yàn)3 驗(yàn)證情感信息的有效性。同實(shí)驗(yàn)2,只采用SGNSweibo進(jìn)行初始特征抽取。對(duì)GCN和SGCN進(jìn)行對(duì)比。
三組消融實(shí)驗(yàn)的對(duì)比結(jié)果如表6所示。實(shí)驗(yàn)1結(jié)果表明,只采用字通道的方法較只采用詞通道的方法表現(xiàn)好,但卻忽略了中文文本中詞所蘊(yùn)涵的信息,采用字、詞雙通道結(jié)合的方法實(shí)現(xiàn)了字、詞信息的互補(bǔ)充,學(xué)習(xí)到的信息更全面、表現(xiàn)更優(yōu)越。實(shí)驗(yàn)2結(jié)果表明,使用糾正層F1提高了約3.8%,證明了對(duì)于中文社交網(wǎng)絡(luò)數(shù)據(jù),話(huà)題信息和方面詞信息對(duì)由于不同話(huà)題下相同方面詞的情感誤分類(lèi)起到了糾正作用,減少了誤分類(lèi)的情況,模型學(xué)到了更好的語(yǔ)義信息,證明了引入糾正層有效性。實(shí)驗(yàn)3結(jié)果表明,SGCN替換GCN,F(xiàn)1提高約0.2%,GCN在學(xué)習(xí)方面詞的表征時(shí)無(wú)差別對(duì)待包括助動(dòng)詞、介詞等所有與之有直接句法依賴(lài)的詞,而SGCN對(duì)其作出了區(qū)分,證明了在網(wǎng)絡(luò)訓(xùn)練中融入情感詞的已知情感信息對(duì)細(xì)粒度情感分類(lèi)任務(wù)的有效性,同時(shí)進(jìn)一步說(shuō)明了本文采用詞典和深度學(xué)習(xí)相結(jié)合的方法的有效性。
實(shí)驗(yàn)4 驗(yàn)證注意力層的有效性。選取例句“每個(gè)人都讀過(guò)書(shū),教師功不可沒(méi),但實(shí)際的收入確實(shí)不敢恭維”。方面詞“收入”的情感為neg。分別選取初始輪、中間輪、最優(yōu)輪的注意力層分?jǐn)?shù)對(duì)其訓(xùn)練過(guò)程進(jìn)行可視化。如圖4所示,初始輪相較于最優(yōu)輪,可以近似看成模型不添加注意力機(jī)制時(shí)的學(xué)習(xí)效果,最優(yōu)輪看成添加注意力后的最優(yōu)結(jié)果。可以看到隨著模型的訓(xùn)練,模型可以正確地注意到觀點(diǎn)詞“不敢恭維”,方面詞基于學(xué)習(xí)到的注意力分?jǐn)?shù)得以聚合學(xué)習(xí)最終能夠正確分類(lèi),證明了注意力層的有效性。
2.5 樣例分析
本文提供了兩個(gè)樣例去分析本模型,樣例基本情況如表7所示。將本文模型和ASGCN[14]進(jìn)行對(duì)比學(xué)習(xí)展開(kāi),分別應(yīng)用模型中的注意力分?jǐn)?shù)給出對(duì)比的結(jié)果。對(duì)比結(jié)果如圖5、6所示。
圖5、6中,第一行是未加入情感信息的GCN學(xué)習(xí)的結(jié)果,第二行是加入情感信息的SGCN學(xué)習(xí)的結(jié)果。可以看出,例句1中2D-SGCN模型訓(xùn)練的結(jié)果注意力多放在情感觀點(diǎn)詞“不敢恭維”上,而ASGCN重點(diǎn)在“教師”與“功不可沒(méi)”上,相較于ASGCN,2D-SGCN能更好地學(xué)習(xí)到正確的情感觀點(diǎn)詞;例句2中,2D-SGCN較ASGCN對(duì)觀點(diǎn)詞“勤儉節(jié)約”給予更多的關(guān)注。兩個(gè)例句經(jīng)過(guò)注意力的加權(quán)可以更好地進(jìn)行分類(lèi)。
3 結(jié)束語(yǔ)
針對(duì)中文社交網(wǎng)絡(luò)數(shù)據(jù)的文本情感分類(lèi)任務(wù)未充分利用話(huà)題信息和情感詞的已知情感信息,本文提出一種細(xì)粒度情感分析模型2D-SGCN。該模型使用BERT和SGNSweibo兩個(gè)預(yù)訓(xùn)練模型分別從字、詞雙通道對(duì)文本進(jìn)行編碼表示,從字、詞兩個(gè)維度進(jìn)行學(xué)習(xí);利用Bi-LSTM和一種融入情感信息的GCN學(xué)習(xí)文本的全局和局部信息,確保方面詞充分學(xué)習(xí)到情感信息。最后使用方面詞和話(huà)題信息對(duì)的文本分類(lèi)進(jìn)行學(xué)習(xí)糾正,確保異話(huà)題異方面詞間不互擾。在NLPamp;CC2012數(shù)據(jù)集上的實(shí)驗(yàn)表明,相比其他模型,2D-SGCN提高了中文細(xì)粒度情感分類(lèi)的性能;在Restaurant-2014數(shù)據(jù)集上的實(shí)驗(yàn)表明,去除話(huà)題信息的2D-SGCN在英文數(shù)據(jù)的細(xì)粒度情感分類(lèi)上同樣有效。
通過(guò)研究發(fā)現(xiàn),社交網(wǎng)絡(luò)數(shù)據(jù)中人物關(guān)系信息對(duì)博文的發(fā)布存在相互影響進(jìn)而影響到方面詞的情感表達(dá),在后續(xù)工作中,將改進(jìn)模型、融入人物關(guān)系信息,從而提高中文社交網(wǎng)絡(luò)細(xì)粒度情感分析的性能。
參考文獻(xiàn):
[1]李婷婷,姬東鴻. 基于SVM和CRF多特征組合的微博情感分析 [J]. 計(jì)算機(jī)應(yīng)用研究,2015,32(4): 978-981. (Li Tingting,Ji Donghong. Sentiment analysis of micro-blog based on SVM and CRF using combinations of features [J]. Application Research of Computers,2015,32(4): 978-981.)
[2]肖江,丁星,何榮杰. 基于領(lǐng)域情感詞典的中文微博情感分析 [J]. 電子設(shè)計(jì)工程,2015,23(12): 18-21. (Xiao Jiang,Ding Xing,He Rongjie. Analysis of Chinese micro-blog emotion which based on field of emotion dictionary [J]. Electronic Design Engineering,2015,23(12): 18-21.)
[3]梁亞偉. 基于情感詞典的中文微博情感分析模型研究 [J]. 現(xiàn)代計(jì)算機(jī),2015(12): 11-15. (Liang Yawei. Research on Chinese microblog sentiment analysis model based on sentiment dictionary [J]. Modern Computer,2015(12): 11-15.)
[4]吳伊萍. 中文微博情感分類(lèi)研究 [D]. 廈門(mén): 華僑大學(xué),2013. (Wu Yiping. Study of sentiment classification on Chinese microblog [D]. Xiamen: Huaqiao University,2013.)
[5]張佳明,王波,唐浩浩,等. 基于Biterm主題模型的無(wú)監(jiān)督微博情感傾向性分析 [J]. 計(jì)算機(jī)工程,2015,41(7): 219-223. (Zhang Jiaming,Wang Bo,Tang Haohao,et al. Unsupervised sentiment orientation analysis of micro-blog based on Biterm topic model [J]. Computer Engineering,2015,41(7): 219-223.)
[6]陳佳慧. 基于情感詞典的中文微博情感分析與話(huà)題傾向性判定研究 [D]. 重慶: 西南大學(xué),2019. (Chen Jiahui. Sentiment analysis of Chinese microblogs based on the sentiment lexicon and the judgment of topic orientation [D]. Chongqing: Southwest University,2019.)
[7]吳杰勝,陸奎. 基于多部情感詞典和規(guī)則集的中文微博情感分析研究 [J]. 計(jì)算機(jī)應(yīng)用與軟件,2019,36(9): 93-99. (Wu Jie-sheng,Lu Kui. Chinese Weibo sentiment analysis based on multiple sentiment lexicons and rule sets [J]. Computer Applications and Software,2019,36(9): 93-99.)
[8]Chen Peng,Sun Zhongqian,Bing Lidong,et al. Recurrent attention network on memory for aspect sentiment analysis [C]// Proc of Conference on Empirical Methods on Natural Language Processing. Stroudsburg,PA: Association for Computational Linguistics,2017: 452-461.
[9]Ma Dehong,Li Sujian,Zhang Xiaodong,et al. Interactive attention networks for aspect-level sentiment classification [C]// Proc of the 26th International Joint Conference on Artificial Intelligence. Palo Alto,CA: AAAI Press,2017: 4068-4074.
[10]Tang Duyu,Qin Bing,F(xiàn)eng Xiaocheng,et al. Effective LSTMs for target dependent sentiment classification [C]// Proc of the 26th International Conference on Computational Linguistics. Stroudsburg,PA: Association for Computational Linguistics,2015: 3298-3307.
[11]Wang Yequan,Huang Minlie,Zhu Xiaoyan,et al. Attention-based LSTM for aspect-level sentiment classification [C]// Proc of Confe-rence on Empirical Methods in Natural Language Processing. Stroudsburg,PA: Association for Computational Linguistics,2016: 606-615.
[12]Kipf T N,Welling M. Semi-supervised classification with graph con-volutional networks [EB/OL]. (2017-02-22). https://arxiv.org/pdf/1609.02907.pdf.
[13]Sun Kai,Zhang Richong,Mensah S,et al. Aspect-level sentiment analysis via convolution over dependency tree [C]// Proc of Confe-rence on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg,PA: Association for Computational Linguistics,2019: 5679-5688.
[14]Zhang Chen,Li Qiuchi,Song Dawei. Aspect-based sentiment classification with aspect-specific graph convolutional networks [C]// Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg,PA: Association for Computational Linguistics,2019: 4568-4578.
[15]Bian Tian,Xiao Xi,Xu Tingyang,et al. Rumor detection on social media with bi-directional graph convolutional networks [C]// Proc of AAAI Conference on Artificial Intelligence. 2020: 549-556.
[16]施榮華,金鑫,胡超. 基于圖注意力網(wǎng)絡(luò)的方面級(jí)別文本情感分析 [J]. 計(jì)算機(jī)工程,2022,48(2): 34-39. (Shi Ronghua,Jin Xin,Hu Chao. Aspect-level text emotion analysis based on graph attention network [J]. Computer Engineering,2022,48(2): 34-39.)
[17]姜宇桐,錢(qián)雪忠,宋威. MASGC: 融合特定屏蔽機(jī)制的簡(jiǎn)單圖卷積情感分析模型 [J]. 計(jì)算機(jī)應(yīng)用研究,2022,39(4): 1049-1053. (Jiang Yutong,Qian Xuezhong,Song Wei. MASGC: simple graph convolution emotion analysis model with specific masking [J]. Application Research of Computers,2022,39(4): 1049-1053.)
[18]楊春霞,瞿濤,吳佳君. 基于BiGCN和IAM的方面級(jí)情感分類(lèi)模型 [J]. 計(jì)算機(jī)工程與應(yīng)用,2022,58(11): 178-186. (Yang Chunxia,Qu Tao,Wu Jiajun. Aspect level sentiment classification model based on BiGCN and IAM [J]. Computer Engineering and Applications,2022,58(11): 178-186.)
[19]宋紅陽(yáng),朱小飛,郭嘉豐. 基于強(qiáng)化依賴(lài)圖的方面情感分類(lèi) [J]. 太原理工大學(xué)學(xué)報(bào),2022,53(2): 248-256. (Song Hongyang,Zhu Xiaofei,Guo Jiafeng. Aspect-based sentiment classification with reinforced dependency graph [J]. Journal of Taiyuan University of Technology,2022,53(2): 248-256.)
[20]夏鴻斌,顧艷,劉淵. 面向特定方面情感分析的圖卷積過(guò)度注意 (ASGCN-AOA) 模型 [J]. 中文信息學(xué)報(bào),2022,36(3): 146-153. (Xia Hongbin,Gu Yan,Liu Yuan. Graph convolution over attention (ASGCN-AOA) model for specific aspects of sentiment analysis [J]. Journal of Chinese Information Processing,2022,36(3): 146-153.)
[21]何志強(qiáng). 基于微博話(huà)題的情感分析模型的研究 [D]. 北京: 北京郵電大學(xué),2019. (He Zhiqiang. Research on sentiment analysis model based on Weibo topic [D]. Beijing: Beijing University of Posts amp; Telecommunications,2019.)
[22]Li Shen,Zhao Zhe,Hu Renfen,et al. Analogical reasoning on Chinese morphological and semantic relations [C]// Proc of the 56th Annual Meeting of the Association for Computational Linguistics. Stroudsburg,PA: Association for Computational Linguistics,2018: 138-143.
[23]Pontiki M,Galanis D,Pavlopulos J,et al. SemEval-2014 task 4: aspect based sentiment analysis [C]// Proc of the 8th International Workshop on Semantic Evaluation. Stroudsburg,PA: Association for Computational Linguistics,2014: 27-35.