使用遞歸神經(jīng)網(wǎng)絡(luò)的目標(biāo)依賴產(chǎn)品評(píng)價(jià)分析

蔣一翔，徐元根，王永恒

(1.浙江中煙工業(yè)有限責(zé)任公司寧波卷煙廠，浙江 寧波 315000；2.湖南大學(xué) 信息科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙 410082)

0 引 言

收集和分析用戶對(duì)產(chǎn)品的評(píng)價(jià)對(duì)企業(yè)具有重要價(jià)值。微博，如Twitter和新浪微博是Web 2.0時(shí)代最流行的應(yīng)用程序之一，它允許用戶以發(fā)布短消息的形式與他人分享他們的觀點(diǎn)。自從微博出現(xiàn)以來(lái)，已經(jīng)吸引了很多人用它來(lái)記錄自己的生活，討論熱門話題，表達(dá)和分享意見(jiàn)。以微博為代表的公開(kāi)社交數(shù)據(jù)已成為挖掘人們的意見(jiàn)和情感的重要資源[1]。微博能提供有效的數(shù)據(jù)，以支持客戶滿意度調(diào)查，公眾情感檢測(cè)，社會(huì)學(xué)研究等。情感分析技術(shù)可用于根據(jù)作者表達(dá)的情感自動(dòng)分類文本。最近一個(gè)有用的應(yīng)用是通過(guò)微博流的情感分析來(lái)管理潛在客戶。通過(guò)監(jiān)控在線微博流和分析客戶對(duì)產(chǎn)品的看法，企業(yè)可以發(fā)現(xiàn)其產(chǎn)品的缺陷并找到潛在客戶。與傳統(tǒng)的文本數(shù)據(jù)相比，微博有一些新的特征，如限定的內(nèi)容大小，通常包含拼寫和語(yǔ)法錯(cuò)誤，使用各種表情和口語(yǔ)表達(dá)式[2]等。這些特征使得確定微博的情感極性更加困難。本文使用微博數(shù)據(jù)流來(lái)支持產(chǎn)品評(píng)價(jià)的分析。

微博帖子通常包含多種評(píng)論內(nèi)容，其中一些與給定的目標(biāo)無(wú)關(guān)。然而，主流的情感分析方法基本不考慮評(píng)論內(nèi)容與目標(biāo)的關(guān)聯(lián)，所有出現(xiàn)在帖子中的情感表達(dá)，無(wú)論是否正確，將被視為與目標(biāo)相關(guān)，這將導(dǎo)致情感分析錯(cuò)誤[3]。近期提出的使用遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的新情感分析方法[4,5]表現(xiàn)出良好的效果。使用深度學(xué)習(xí)的RNN被證明是一種有前景的情感分析方向。然而，這些方法具有一些局限性，即需要大量的標(biāo)記樣本來(lái)訓(xùn)練模型。輸入樹(shù)中的所有節(jié)點(diǎn)都需要用5個(gè)情感級(jí)別中的一個(gè)手動(dòng)標(biāo)記，這種代價(jià)是非常昂貴的。另一個(gè)局限性是RNN模型是目標(biāo)無(wú)關(guān)的，它不能直接用于目標(biāo)相關(guān)的情感分析。本文提出一種基于RNN的目標(biāo)依賴情感分析方法TD-RNN(target-dependent RNN)。

TD-RNN擴(kuò)展了原始RNN模型來(lái)更好地支持目標(biāo)依賴的情感分析。使用基于聚類的數(shù)據(jù)劃分方法在標(biāo)記樣本有限的情況下獲得更高的精度。另外提出了一種樹(shù)修剪方法，用于在構(gòu)造RNN之前從語(yǔ)法樹(shù)中去除不相關(guān)的部分。

1 相關(guān)研究

當(dāng)前情感分析方法主要包括基于情感詞典的方法和基于機(jī)器學(xué)習(xí)的方法。基于情感詞典的方法使用情感詞的支配極性來(lái)確定文本的極性。Fiaidhi等使用3個(gè)評(píng)分方案對(duì)Twitter數(shù)據(jù)進(jìn)行評(píng)分，包括從負(fù)面詞匯中減去正面詞匯，TF-IDF加權(quán)方案和LDA(latent Dirichlet allocation)[6]。Cruz等通過(guò)關(guān)聯(lián)分析的方法構(gòu)建面向特定領(lǐng)域的情感詞典來(lái)支持情感分析[7]。然而，微博的情感分析通常效果不佳，因?yàn)槲⒉┲邪S多種類特殊的情感詞語(yǔ)和在一般意見(jiàn)詞典中不存在的表情。基于機(jī)器學(xué)習(xí)的方法將情感分類視為文本分類的一種特殊情況。這些方法需要大量的標(biāo)記數(shù)據(jù)來(lái)訓(xùn)練情感分類器。Al-Qudah等采用模糊集理論提取文本特征進(jìn)行阿拉伯語(yǔ)的情感分析[8]。Lim等利用推特標(biāo)簽和表情作為情感標(biāo)簽，避免了手動(dòng)注釋[9]。他們的方法允許識(shí)別和分類多種情感類型的推文。近期Socher等提出基于RNN的情感分析方法[5]。他們的RNN模型需要使用包含大量細(xì)粒度情感標(biāo)簽的情感樹(shù)庫(kù)進(jìn)行訓(xùn)練。他們的模型在多個(gè)指標(biāo)上優(yōu)于所有以前的方法。

目標(biāo)依賴方法根據(jù)給定目標(biāo)表達(dá)的情感對(duì)帖子進(jìn)行分類。Joshi等采用模糊本體和模糊邏輯來(lái)支持情感詞和評(píng)價(jià)目標(biāo)之間的對(duì)應(yīng)[10]。Vo等在進(jìn)行面向目標(biāo)的情感分析時(shí)，沒(méi)有采用句法分析，而是基于統(tǒng)計(jì)的方法自動(dòng)獲取豐富的特征，通過(guò)分析情感的上下文來(lái)對(duì)應(yīng)情感的目標(biāo)[11]。Dong等提出了一種適應(yīng)性遞歸神經(jīng)網(wǎng)絡(luò)模型(AdaRNN)用于目標(biāo)相關(guān)的推特情感分類[12]。他們使用依賴樹(shù)來(lái)構(gòu)造RNN，并通過(guò)使用根據(jù)語(yǔ)言標(biāo)簽和組合向量的不同組合矩陣來(lái)擴(kuò)展RNN模型。與他們的工作相比，本文將RNN模型擴(kuò)展為目標(biāo)依賴性，而AdaRNN的組成矩陣不是目標(biāo)依賴性的。本文還使用基于聚類的數(shù)據(jù)分區(qū)，在標(biāo)記樣本有限的情況下獲得高精度的分析結(jié)果。

2 基于遞歸神經(jīng)網(wǎng)絡(luò)的情感分析

在RNN模型[4,5,13]中，短語(yǔ)和詞表示為D維向量。基于二叉樹(shù)表示向量組合，并且以遞歸方式使用不同類型的組合函數(shù)遞歸地計(jì)算父向量。

如圖1所示，當(dāng)短語(yǔ)“不是很好”被解析為二叉樹(shù)時(shí)，葉節(jié)點(diǎn)中的每個(gè)詞用向量表示。通過(guò)“很”和“好”的組合獲得“很好”的表示，并且通過(guò)“不是”和“很好”的組合遞歸地獲得三元組“不是很好”的表示。該模型使用以下公式來(lái)計(jì)算父向量

(1)

其中，vP是父向量，vl和vr是左和右子向量，g是組合函數(shù)，f=tanh是標(biāo)準(zhǔn)的元素性非線性方程，W∈D×2D是組合矩陣，b是偏差向量。每個(gè)父向量vp,i被給予等式(2)的相同softmax分類器以計(jì)算其標(biāo)簽概率

svP,i=softmax(Wsvp,i)

(2)

其中，Ws∈5×D是情感分類矩陣(情感被分為5個(gè)級(jí)別：非常消極、消極、中性、積極和非常積極)。有人把這個(gè)基本模型擴(kuò)展為每個(gè)詞和較長(zhǎng)的短語(yǔ)在語(yǔ)法樹(shù)中分別用向量和矩陣表示的矩陣向量RNN(MV-RNN)[13]，以及對(duì)所有節(jié)點(diǎn)使用相同的基于張量的合成函數(shù)的遞歸神經(jīng)網(wǎng)絡(luò)(RNTN)[5]。

圖1 RNN模型結(jié)構(gòu)

3 TD-RNN方法

3.1 方法概述

本文的TD-RNN的整體架構(gòu)如圖2所示。歷史微博數(shù)據(jù)根據(jù)語(yǔ)法樹(shù)結(jié)構(gòu)相似性離線聚類。從每個(gè)簇中隨機(jī)選擇一定數(shù)量的樣本并手動(dòng)標(biāo)記，然后將標(biāo)記的樣品用于訓(xùn)練目標(biāo)依賴性的RNN模型。在線微博流中的微博被解析生成語(yǔ)法樹(shù)，樹(shù)中的不相關(guān)部分在領(lǐng)域本體和語(yǔ)法庫(kù)的幫助下被分析和修剪，最終的二叉樹(shù)被輸入到目標(biāo)依賴的RNN中以預(yù)測(cè)語(yǔ)義標(biāo)簽。同時(shí)使用演進(jìn)的聚類算法對(duì)在線微博流進(jìn)行聚類。如果找到新的簇，并且簇的大小超過(guò)閾值，可以考慮標(biāo)記該簇的樣本并重新訓(xùn)練模型。

圖2 TD-RNN總體框架

3.2 基于聚類的數(shù)據(jù)分區(qū)

標(biāo)記樣本是一項(xiàng)相當(dāng)昂貴的任務(wù)，因?yàn)闃?shù)中的所有節(jié)點(diǎn)都必須手動(dòng)標(biāo)記。為了能在有限標(biāo)記樣本的情況下使RNN模型獲得更好的準(zhǔn)確度，訓(xùn)練樣本應(yīng)均勻分布在數(shù)據(jù)空間上。由于TD-RNN模型是基于語(yǔ)法樹(shù)構(gòu)造的并且是目標(biāo)依賴的，我們使用語(yǔ)法樹(shù)結(jié)構(gòu)和一些關(guān)鍵詞作為特征來(lái)聚類微博。手工設(shè)置可以影響各種目標(biāo)的情感分析的關(guān)鍵字，例如， “比”，“然而”，“但是”等。我們使用減法聚類[14]作為離線聚類算法來(lái)聚類歷史數(shù)據(jù)。數(shù)據(jù)點(diǎn)本身視為候選焦點(diǎn)(聚類中心)。每個(gè)數(shù)據(jù)的潛在價(jià)值可用以下公式計(jì)算

(3)

其中，pi(zi)是數(shù)據(jù)點(diǎn)zi的潛在值，N是數(shù)據(jù)點(diǎn)的數(shù)目，ra是正常數(shù)。由上可知數(shù)據(jù)點(diǎn)的潛在值是其到所有其它數(shù)據(jù)點(diǎn)的距離的函數(shù)。選擇具有最高潛在值的點(diǎn)作為第一個(gè)簇中心。所有數(shù)據(jù)點(diǎn)的潛在值逐漸減少，減少值取決于它們到聚類中心的距離。下一個(gè)簇中心是具有剩余最大潛在值的數(shù)據(jù)點(diǎn)，以此類推。為了聚類在線微博流，使用基于減法聚類的演進(jìn)聚類算法[15,16]。將演進(jìn)聚類中的潛在值定義為

(4)

其中:pk(zk)是在時(shí)間k計(jì)算的數(shù)據(jù)點(diǎn)zk的潛在價(jià)值。我們不從零開(kāi)始執(zhí)行eClustering，而是使用離線減法聚類的結(jié)果作為先驗(yàn)知識(shí)。

離線和在線算法的關(guān)鍵問(wèn)題是計(jì)算兩個(gè)數(shù)據(jù)點(diǎn)之間的距離。每個(gè)數(shù)據(jù)點(diǎn)表示為具有由諸如“NP”，“VP”等符號(hào)標(biāo)記的語(yǔ)法樹(shù)的節(jié)點(diǎn)，關(guān)鍵字也包括在樹(shù)節(jié)點(diǎn)中。我們使用以下等式計(jì)算兩個(gè)語(yǔ)法樹(shù)之間的相似性

(5)

其中，T[]是兩個(gè)語(yǔ)法樹(shù)T1和T2之間的公共子樹(shù)的集合，size(T[i])是子樹(shù)T[i]的節(jié)點(diǎn)數(shù)，函數(shù)ht(x)獲得原始語(yǔ)法樹(shù)中節(jié)點(diǎn)x的高度，α∈(0,1)是權(quán)重因子，函數(shù)sk(x)計(jì)算公共節(jié)點(diǎn)x上來(lái)自T1和T2的關(guān)鍵字之間的相似性。共式(5)使得相似性值與共同子樹(shù)的數(shù)量、共同子樹(shù)的大小、共同子樹(shù)的節(jié)點(diǎn)的高度以及共同子樹(shù)的關(guān)鍵詞相似度成比例。我們使用Droschinsky等提出的方法[17]得到所有共同的子樹(shù)。小尺寸(小于閾值)的子樹(shù)將被忽略。兩個(gè)語(yǔ)法樹(shù)T1和T2之間的距離被定義為1/sim(T1,T2)。

3.3 語(yǔ)法樹(shù)剪枝

語(yǔ)法樹(shù)通常包括給分類帶來(lái)較高成本的噪聲。面向目標(biāo)依賴的情感分析，我們提出了一種剪枝方法，從語(yǔ)法樹(shù)中剪除與目標(biāo)無(wú)關(guān)的評(píng)估表達(dá)式。為了修剪語(yǔ)法樹(shù)的無(wú)關(guān)部分，我們需要檢測(cè)由情感表達(dá)式及其目標(biāo)組成的有效評(píng)估表達(dá)式。情感表達(dá)式與其目標(biāo)之間的語(yǔ)法路徑指的是語(yǔ)法結(jié)構(gòu)中連接這兩個(gè)節(jié)點(diǎn)的語(yǔ)法結(jié)構(gòu)。在圖3中，情感表達(dá)“負(fù)評(píng)論”與其目標(biāo)“京東”之間的語(yǔ)法路徑為NN→NP→IP→VP→VP→NP→NN。通過(guò)對(duì)大規(guī)模語(yǔ)料庫(kù)的語(yǔ)法路徑進(jìn)行計(jì)數(shù)，我們可以發(fā)現(xiàn)，有效路徑比無(wú)效路徑更頻繁地出現(xiàn)。一般來(lái)說(shuō)，目標(biāo)是我們可以通過(guò)POS標(biāo)記檢測(cè)的名詞，情感表達(dá)式可以通過(guò)意見(jiàn)詞典找到。在從語(yǔ)法樹(shù)提取句法路徑之后，我們需要進(jìn)行泛化，使具有小差分的路徑聚合到一個(gè)路徑。該步驟聚集路徑中相同的相鄰元素，例如，上面所示的路徑可以被概括為NN→NP→IP→VP→NP→NN。我們選擇出現(xiàn)最頻繁的路徑來(lái)構(gòu)建語(yǔ)法路徑庫(kù)。

圖3 語(yǔ)法樹(shù)和句法路徑的一個(gè)例子

樹(shù)修剪算法在算法1中給出。在第(2)-(3)行為通過(guò)POS標(biāo)記和情感詞典獲得名詞和情感表達(dá)集。在第(4)-(5)行中，在集合N中但和目標(biāo)無(wú)關(guān)的對(duì)象(通過(guò)手工建立相關(guān)對(duì)象列表處理)被置于集合IN中，這些是要修剪的對(duì)象。與目標(biāo)具有競(jìng)爭(zhēng)關(guān)系的對(duì)象也被置入IN。在第(6)-(12)行中，得到所有的情感表達(dá)式—目標(biāo)對(duì)，并與句法路徑庫(kù)匹配。如果路徑不匹配或者匹配路徑的頻率小于閾值，則該路徑被視為無(wú)效路徑。我們找到情感表達(dá)式SE_p及其目標(biāo)t的共同父節(jié)點(diǎn)comm_parent，然后修剪包含SE_p或t的comm_parent的子樹(shù)。然后，如果沒(méi)有任何以comm_parent為根的子樹(shù)，則從語(yǔ)法樹(shù)中剪除comm_parent。

算法1： 從語(yǔ)法樹(shù)中剪除不相關(guān)的部分

輸入： t： 語(yǔ)法樹(shù)， Ta： 目標(biāo)， L： 路徑庫(kù)

輸出： 修剪后的樹(shù)

方法：

(1)IN ← φ

(2)N ← get_noun_set(t)

(3)SE ← get_sentiment_expression(t)

(4)IN +← filter_noun(N)

(5)IN +← filter_compititive(N,Ta)

(6)for each n in IN

(7)| SE_p←get_target_SE(t,n,SE,Ta,L)

(8)| if SE_p≠φ then

(9)|| comm_parent←find_comm_parent(t,n,SE_p)

(10)|| t←prune_subtree(t,comm_parent)

(11)|end if

(12)end for

(13)return t

樹(shù)剪枝的一個(gè)示例如圖3所示。我們假設(shè)“華為”是目標(biāo)。可以發(fā)現(xiàn)情感表達(dá)集是{不錯(cuò)，差評(píng)}，目標(biāo)集是{華為，京東}。“京東”是一個(gè)與目標(biāo)無(wú)關(guān)的對(duì)象，應(yīng)該修剪。通過(guò)匹配語(yǔ)法路徑庫(kù)，我們發(fā)現(xiàn)“京東”和“差評(píng)”之間的路徑有效，但“京東”和“不壞”之間的路徑無(wú)效。我們根據(jù)算法1，從語(yǔ)法樹(shù)中刪除相應(yīng)的結(jié)構(gòu)，并在圖3中用虛線標(biāo)記。

3.4 目標(biāo)依賴的遞歸神經(jīng)網(wǎng)絡(luò)

原始RNN模型使用一個(gè)全局矩陣W來(lái)組合向量。但在目標(biāo)依賴情感分析中，組合矩陣可能與目標(biāo)相關(guān)。對(duì)于圖4所示的示例，當(dāng)目標(biāo)不同時(shí)，我們得到不同的情感標(biāo)簽。基本思想是根據(jù)不同的目標(biāo)情境使用不同的合成矩陣。

圖4 不同目標(biāo)的情感標(biāo)簽

為了支持目標(biāo)依賴的組合矩陣，我們將式(1)擴(kuò)展為

(6)

Wt∈D×2D×4為組合矩陣，Ta是指示目標(biāo)位置的1×4向量。Ta中只有一個(gè)元素可以是1。將元素1-4設(shè)置為1分別表示沒(méi)有目標(biāo)、目標(biāo)在左子樹(shù)中、目標(biāo)在右子樹(shù)中、兩個(gè)子樹(shù)中都有。圖5對(duì)式(6)進(jìn)行了進(jìn)一步說(shuō)明。

圖5 目標(biāo)依賴的組合

為了訓(xùn)練模型，令θ={Wt，b}是模型參數(shù)集合(可以另外學(xué)習(xí)softmax參數(shù)Ws)。代價(jià)函數(shù)定義為

(7)

θt,i=θt-1,i-α[diag(Gt,i)]-1/2gt,i

(8)

其中，α是學(xué)習(xí)率。由于使用Gt,i的對(duì)角線，我們只需要存儲(chǔ)很少的值，并且更新速度變得更快。我們的方法也可以用于擴(kuò)展MV-RNN和RNTN模型。

4 實(shí)驗(yàn)研究

我們首先構(gòu)建語(yǔ)法路徑庫(kù)。利用中科院NLPIR中文分詞系統(tǒng)進(jìn)行分詞和POS標(biāo)記，并使用斯坦福語(yǔ)法分析器進(jìn)行語(yǔ)法樹(shù)構(gòu)建。我們使用的意見(jiàn)詞典是臺(tái)灣大學(xué)的NTUSD詞典，其中包含2810個(gè)正面意見(jiàn)詞和8276個(gè)負(fù)面意見(jiàn)詞。此外，我們將50個(gè)常用的正面互聯(lián)網(wǎng)詞和53個(gè)負(fù)面詞納入詞典。構(gòu)建語(yǔ)法路徑庫(kù)的語(yǔ)料庫(kù)是從騰訊微博獲取的36 042個(gè)微博帖子獲取的，其中涉及汽車，智能手機(jī)，購(gòu)物網(wǎng)站等眾多領(lǐng)域。5個(gè)最頻繁出現(xiàn)的路徑及其發(fā)生頻率見(jiàn)表1。

表1 語(yǔ)法路徑庫(kù)中5個(gè)最常出現(xiàn)的路徑

我們選擇了兩個(gè)關(guān)鍵字作為目標(biāo)，即“華為”和“唯品會(huì)”，并從騰訊微博中抓取包含目標(biāo)的帖子。每個(gè)目標(biāo)的帖子數(shù)為30 000個(gè)。我們?yōu)槊總€(gè)目標(biāo)隨機(jī)選擇3500個(gè)帖子，并手動(dòng)將每個(gè)帖子分類為目標(biāo)的正面或負(fù)面。“華為”的語(yǔ)料庫(kù)包含1643個(gè)正面帖和1379個(gè)負(fù)面帖，目標(biāo)為“唯品會(huì)”的語(yǔ)料庫(kù)包含1412個(gè)正面帖和1583個(gè)負(fù)面帖。我們選擇2000個(gè)樣本作為訓(xùn)練集，300個(gè)樣本作為開(kāi)發(fā)集，其余作為測(cè)試集。

采用7種評(píng)估方法如下：

(1)SVM卷積：具有卷積核和語(yǔ)法樹(shù)特征的SVM分

類器。

(2)SVM復(fù)合：SVM分類器使用一元文法和語(yǔ)法樹(shù)作為特征，復(fù)合內(nèi)核如下

K=(1-α)·Tree_kernel+α·Vector_kernel

(9)

其中，α∈(0,1)是權(quán)重因子。我們只給α的最好結(jié)果。

(3)RNN：原始RNN方法。

(4)AdaRNN：Dong等提出的自適應(yīng)遞歸神經(jīng)網(wǎng)絡(luò)分類器[12]。我們實(shí)現(xiàn)了在他們的論文中“AdaRNN-comb”方法。由于缺少關(guān)于實(shí)現(xiàn)AdaRNN的詳細(xì)信息，我們基于我們的理解實(shí)現(xiàn)該方法。

(5)TD-RNN-basic：無(wú)樹(shù)修剪和基于簇的樣本選擇的TD-RNN。

(6)TD-RNN-prune：具有樹(shù)修剪但沒(méi)有基于簇的樣本選擇的TD-RNN。

(7)TD-RNN：具有樹(shù)修剪和基于簇的樣本選擇的TD-RNN。

使用這種方法，我們對(duì)總樣本進(jìn)行聚類，分別得到“華為”的5個(gè)簇和“唯品會(huì)”的8個(gè)簇。然后對(duì)于每個(gè)目標(biāo)從簇中均勻地選擇2000個(gè)樣本。

評(píng)價(jià)結(jié)果如表2所示。根據(jù)結(jié)果可以得出以下結(jié)論。

表2 7種方法的評(píng)價(jià)結(jié)果 A：精確度，P：精度，R：召回率，F(xiàn)：F-score

(1)我們的方法在正面和負(fù)面微博集中都達(dá)到最佳效果。我們的方法的準(zhǔn)確度，精度，召回率和F-score都是所有方法中最高的。這個(gè)結(jié)果表明，TD-RNN模型，樹(shù)修剪方法和基于聚類的樣本選擇方法對(duì)于微博的目標(biāo)相關(guān)情感分析工作良好。

(2)傳統(tǒng)的基于SVM的分類器在用于目標(biāo)依賴情感分析時(shí)效果較差。基于復(fù)合內(nèi)核的方法表現(xiàn)出更好的效果，因?yàn)樗梢圆东@結(jié)構(gòu)和特征。

(3)雖然原始的RNN分類器在目標(biāo)無(wú)關(guān)的情感分析方面有更優(yōu)的效果，但無(wú)法得到可接受的目標(biāo)依賴情感分析的效果。原因是它使用全局合成矩陣時(shí)不考慮目標(biāo)。TD-RNN模型使用了可以提高準(zhǔn)確度的目標(biāo)依賴組合矩陣。

(4)AdaRNN是基于RNN的目標(biāo)依賴情感分類器。因?yàn)樗鶕?jù)語(yǔ)境和它們之間的語(yǔ)法關(guān)系自適應(yīng)地傳播詞的情感到目標(biāo)，所以其準(zhǔn)確性優(yōu)于SVM和原始RNN。

(5)本文將RNN模型擴(kuò)展為目標(biāo)依賴，而AdaRNN的組合矩陣不是目標(biāo)依賴的。所以TD-RNN的基本方法性能優(yōu)于AdaRNN。

(6)樹(shù)修剪方法提高了TD-RNN的效果，因?yàn)樗梢詣h除一些不相關(guān)的部分，這使得接下來(lái)的工作更容易執(zhí)行。

(7)基于聚類的樣本選擇方法可以提高TD-RNN的性能，因?yàn)樗褂?xùn)練樣本均勻分布在數(shù)據(jù)空間上。

5 結(jié)束語(yǔ)

微博是情感分析的重要資源，但是目標(biāo)依賴的情感分析有較大難度。RNN是一個(gè)發(fā)展前景良好的情感分析模型，它能獲得高精度的目標(biāo)無(wú)關(guān)的情感分析。本文對(duì)RNN方法進(jìn)行了擴(kuò)展，包括TD-RNN模型，基于聚類的訓(xùn)練樣本選擇和樹(shù)修剪。實(shí)驗(yàn)結(jié)果表明，該方法適用于微博流的目標(biāo)依賴情感分析。

目前，我們對(duì)RNN模型只是做了簡(jiǎn)單的擴(kuò)展。我們認(rèn)為目標(biāo)和情感表達(dá)之間的深層關(guān)系仍然沒(méi)有很好地揭示出來(lái)。今后我們將應(yīng)用新的方法來(lái)進(jìn)一步改進(jìn)TD-RNN模型。