基于神經(jīng)網(wǎng)絡模型的產(chǎn)品屬性情感分析

劉新星，姬東鴻，任亞峰

(武漢大學 計算機學院,武漢 430072)

基于神經(jīng)網(wǎng)絡模型的產(chǎn)品屬性情感分析

劉新星*，姬東鴻，任亞峰

(武漢大學 計算機學院,武漢 430072)

(*通信作者電子郵箱781725130@qq.com)

針對基于詞向量的神經(jīng)網(wǎng)絡模型在產(chǎn)品屬性情感分析中效果不佳的問題，提出一種集成離散特征和詞向量特征的開關遞歸神經(jīng)網(wǎng)絡模型。首先，通過直接循環(huán)圖為語句建模，采用開關遞歸神經(jīng)網(wǎng)絡模型完成產(chǎn)品屬性情感分析任務；然后，在開關遞歸神經(jīng)網(wǎng)絡模型中集成離散特征和詞向量特征；最后，分別在流水線、聯(lián)合、折疊三種任務模型中完成屬性提取和情感分析任務。以宏觀F1分數(shù)作為評估指標, 在SemEval- 2014的筆記本電腦和餐館評論數(shù)據(jù)集上做實驗。開關遞歸神經(jīng)網(wǎng)絡模型的F1分數(shù)為：48.21%和62.19%，超過普通遞歸神經(jīng)網(wǎng)絡模型近1.5個百分點，因而開關遞歸神經(jīng)網(wǎng)絡能夠有效捕獲復雜特征，提升產(chǎn)品屬性情感分析的效果。而集成離散特征和詞向量特征的神經(jīng)網(wǎng)絡模型的F1分數(shù)為：49.26%和63.31%，均超過基線結(jié)果0.5到1個百分點，表明離散特征和詞向量特征互相促進，另一方面，也表明僅僅基于詞向量的神經(jīng)網(wǎng)絡模型仍有提升空間。 三種任務模型中，流水線模型的F1分數(shù)最高，表明應將屬性提取和情感分析任務分開完成。

神經(jīng)網(wǎng)絡；情感分析；產(chǎn)品屬性；開關遞歸神經(jīng)網(wǎng)絡

0 引言

隨著情感分析研究的不斷深入，產(chǎn)品屬性情感分析在自然語言處理領域備受關注。傳統(tǒng)的情感分析任務判定給定文本或者句子的極性(負面、中性、正面)，而基于屬性的情感分析旨在識別給定目標實體的屬性以及各個屬性所表達出來的情感類別。比如：筆記本電腦評論不僅表達了對某個產(chǎn)品整體的情感，還有諸如硬件、軟件、價格等特定屬性的情感。甚至一個評論可能對同一個產(chǎn)品的不同屬性表達相反的情感。示例如下所示：

·The [software]+that comes with this machine is greatly welcomed compared to what [Windows]-comes with.

·Its [performance]+is ideal, I wish I could say the same about the [price]-.

·MacBook notebooks quickly die out because of their short [battery life]-.

基于屬性的情感分析包含兩個子任務：1)屬性檢測；2)各個屬性的情感分類。現(xiàn)有研究主要集中在屬性已經(jīng)給定[1]的前提下，設計分類算法來直接識別給定屬性的情感類別；也有少部分研究集中在屬性提取[2]上。然而很少有研究將兩個任務同步完成。

基于屬性的情感分析是典型的序列標注問題，可以通過當前最好的標注器比如條件隨機場(Conditional Random Field, CRF)模型來解決。然而，CRF的效果嚴重依賴人工設計的特征集。而神經(jīng)網(wǎng)絡模型能夠有效減少特征工程里面的人工干預工作量[3-4]，已經(jīng)廣泛應用于各種各樣的自然語言處理(Natural Language Processing, NLP)任務，并且獲得了優(yōu)異的性能，受上述研究的啟發(fā)，本文使用神經(jīng)網(wǎng)絡模型來研究基于屬性的情感分析問題。本文主要通過兩種方法來探索如何提升產(chǎn)品屬性情感分析的效果：1)同步完成屬性提取和情感分類；2)集成離散特征和詞向量特征。實驗中采用2014年國際語義評估研討會(Semantic Evaluation 2014, SemEval- 2014)的筆記本電腦評論和餐館評論作為評測數(shù)據(jù)集。

序列標注任務有兩種類型的表示方法。如圖1所示，圖1(a)有兩種標簽，第二行的B/I/O標簽表示屬性邊界，第三行的+、-表示情感極性。上述兩種類型的標簽可以看作流水線式任務或者聯(lián)合的多標簽任務。另外，如圖1(b)所示，兩種類型的標簽可以表示為折疊標簽：如B+和I+，即正極性屬性的開始和中間位置。通過聯(lián)合或者折疊設置，可以在一個序列標注模型中同步研究屬性檢測和情感分類。

本文中，首先比較流水線、聯(lián)合和折疊三種任務模型在離散和神經(jīng)網(wǎng)絡設置下的不同影響；然后，通過開關遞歸單元擴展了神經(jīng)網(wǎng)絡模型，用來捕獲更加復雜的特征；最后，通過融合詞向量特征和離散特征，進一步提升模型效果。

圖1 流水線、聯(lián)合和折疊模型

1 相關研究

基于屬性的情感分析在近十年來被廣泛研究。現(xiàn)有工作主要可分為兩類：一類是基于規(guī)則的方法，比如，Hu等[5]首次提出通過手工定義規(guī)則來提取產(chǎn)品屬性。Qiu等[6]基于句法信息手動定義了產(chǎn)品屬性和觀點詞之間的聯(lián)系；另一類就是機器學習方法。比如，Jin等[7]和 Li等[8]將產(chǎn)品屬性和觀點詞的提取作為一個序列標注問題進行建模，并且相應地通過隱馬爾可夫模型( Hidden Markov Model, HMM)和CRF模型解決。然而，這些方法都大量依賴手工制定的規(guī)則和特征，需要大量的人工干預。

由于能夠?qū)W習到更高級別的特征，深度學習方法已經(jīng)被成功應用于各種NLP任務當中。許多模型，例如遞歸神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡和自動編碼等，已經(jīng)被用于從數(shù)據(jù)集中學習固有的句法和語義信息，并且在情感分析上取得了很好的效果[3-4，9-10]。這些研究大量聚焦在文檔/句子級別以及短語/單詞級別的情感分析，而基于深度學習方法的產(chǎn)品屬性情感分析研究較少。

本文中，通過集成了離散特征和詞向量特征的開關遞歸神經(jīng)網(wǎng)絡模型來同步實現(xiàn)屬性提取和情感分析。此前，Liu等[2]通過遞歸神經(jīng)網(wǎng)絡和詞向量的組合來實現(xiàn)基于屬性的情感分析。然而，這個研究只關注如何通過集成標準的遞歸神經(jīng)網(wǎng)絡和不同的詞向量來實現(xiàn)屬性檢測，而本文在此基礎上進一步實現(xiàn)了屬性的情感分析。Zhang等[4]的研究通過CRF來擴展神經(jīng)網(wǎng)絡模型，以此來研究開放領域的目標情感分析。該研究采用最基本的詞向量方式來給語句建模,而本文通過循環(huán)圖來給語句建模，并引入開關遞歸單元，能夠?qū)W習到更復雜的特征。

2 情感分析模型

在實驗任務中，以詞序列作為輸入。給定輸入序列x，在流水線模型任務和折疊模型任務中輸出單一標簽序列y。在聯(lián)合模型的任務中，有兩個標簽序列y和z。首先介紹離散CRF模型和基于神經(jīng)網(wǎng)絡的CRF模型的數(shù)學描述。然后通過開關遞歸單元來擴展基于神經(jīng)網(wǎng)絡的CRF模型，從而捕獲復雜的特征。最后，給出整合離散特征和詞向量特征的集成模型。

2.1 離散CRF模型

對于離散CRF模型，標簽和輸入之間的勢函數(shù)為：

Φ(x,yi)=exp{θ·f(x,yi)}

(1)

其中：f(x,yi)是離散特征向量；θ是模型參數(shù)向量。標簽之間的邊緣勢函數(shù)為：

Ψ(x,yi,yi-1)=exp{τ(yi,yi-1)}

(2)

其中，τ(yi,yi-1)是狀態(tài)轉(zhuǎn)移權(quán)重，也是一個模型參數(shù)。

對于流水線模型和折疊模型中，給定輸入序列x,則標簽序列y的條件概率可以表示為：

(3)

其中Z(x)是分區(qū)函數(shù)。

對于聯(lián)合模型，用多標簽的CRF結(jié)構(gòu)來得到兩個不同的輸出勢集合Φ1(x,yi)和Φ2(x,zi)以及不同的邊緣勢集合Ψ1(x,yi,yi-1)和Ψ2(x,zi,zi-1)。

本文在離散CRF模型中使用Viterbi解碼算法，并且引入一種最大化目標邊界的訓練算法，用來優(yōu)化訓練，提高情感分析模型的識別效果，該算法細節(jié)在2.5節(jié)中具體闡述。使用的特征主要包括從Mitchell等[11]和Toh等[12]的研究中借鑒的特征以及語言和情感相關的特征。

2.2 基于神經(jīng)網(wǎng)絡的CRF模型

基于神經(jīng)網(wǎng)絡的CRF模型在序列標注任務中表現(xiàn)出極大的潛力，被廣泛用于NLP任務[4，13-15]。本節(jié)中，通過基于神經(jīng)網(wǎng)絡的CRF模型同步進行屬性檢測和情感分類。

與離散CRF模型相比，基于神經(jīng)網(wǎng)絡的CRF模型有兩點不同。首先，離散特征被詞向量特征所取代。其次，在輸入節(jié)點x和標簽節(jié)點yi之間加入了一個隱藏層h，并且使用卷積操作來構(gòu)建輸入節(jié)點x和隱藏層h之間的連接。然后，使用非線性函數(shù)tanh作為激活函數(shù)。

(4)

其中：e是詞向量查找表；⊕是向量級聯(lián)函數(shù)；矩陣W和偏移向量b都是模型參數(shù);xi表示當前詞的詞向量，xi-1表示前一個詞的詞向量，xi+1表示后一個詞的詞向量。

基于神經(jīng)網(wǎng)絡的CRF模型中，以yi表示的輸出勢函數(shù)計算方法為：

Φ(x,yi)=exp(σ·hi)

(5)

其中σ是一個模型參數(shù)。注意，邊緣勢函數(shù)仍然和離散CRF模型的邊緣勢函數(shù)相同。基于神經(jīng)網(wǎng)絡的CRF模型將詞向量作為輸入，通過隱藏層來獲取特征的表示，使用和離散CRF模型相同的算法來進行解碼和訓練。

2.3 開關神經(jīng)網(wǎng)絡模型

對于基于神經(jīng)網(wǎng)絡的CRF模型，簡單地將詞向量在每個詞的窗口內(nèi)部級聯(lián)。這種方法有一個弊端，就是不能夠捕獲到復雜的特征組合。針對這個問題，引入開關遞歸神經(jīng)網(wǎng)絡(GatedRecurrentNeuralNetwork,GRNN)模型。

2.3.1 網(wǎng)絡結(jié)構(gòu)

遞歸神經(jīng)網(wǎng)絡需要一個諸如語法樹的拓撲結(jié)構(gòu)來給語句建模。本文使用一個直接的循環(huán)圖來為輸入詞的組合進行建模，如圖2所示。其中，低層級的兩個連續(xù)節(jié)點組合成高層級的單一節(jié)點。但是，這種機制在實際中不能充分地利用復雜組合特征。受Chung等[16]和Chen等[17]的研究啟發(fā)，本文引入兩種開關，重置開關和更新開關，以此作為開關遞歸神經(jīng)單元來擴展遞歸神經(jīng)網(wǎng)絡。其中，重置開關rL和rR分別從左子節(jié)點和右子節(jié)點讀取信息，更新開關zN、zL和zR在組合子節(jié)點信息時進行取舍。顯而易見，這些開關決定著如何更新和利用組合信息。

圖2 GRNN結(jié)構(gòu)

2.3.2 開關遞歸單元

(6)

(7)

(8)

其中：U∈R3d×3d是更新開關的系數(shù)；Z∈Rd是歸一化系數(shù)向量。

圖3 開關遞歸單元

(9)

(10)

(11)

其中：G∈R2d×2d是兩個重置開關的系數(shù)，以截斷正態(tài)分布進行隨機初始化；σ是sigmoid函數(shù)。

在開關遞歸神經(jīng)網(wǎng)絡的基礎上，對于一個句子的每個詞xi，首先通過詞向量來表示它的上下文。然后，GRNN的第一層以所有詞向量作為輸入，它的輸出又遞歸地作為更高層單元的輸入，直到輸出一個固定長度的向量。最后，以非線性函數(shù)tanh作為激活函數(shù)，以激活函數(shù)在這個固定長度的向量上的計算結(jié)果作為CRF層的輸入。

2.4 集成模型

為了進一步提升效果，引入一種組合離散特征和詞向量特征的集成模型。已有研究表明集成模型在很多NLP任務中有更好的表現(xiàn)[3-4，11]。集成模型的結(jié)構(gòu)如圖4所示。與開關神經(jīng)網(wǎng)絡的CRF模型相比，集成模型不同的地方在于輸入層，它同時以詞向量和離散特征作為輸入，左側(cè)節(jié)點表示詞向量特征，右側(cè)節(jié)點表示離散特征。不同類型的輸入節(jié)點使用不同的隱藏層。如圖4所示，詞向量特征對應的隱藏層hi與開關神經(jīng)網(wǎng)絡的CRF模型中隱藏層相同。離散特征和節(jié)點yi之間的隱藏節(jié)點gi計算方法為：

gi=tanh(θ·f(x,yi))

(12)

于是通過yi表示的輸出勢函數(shù)為：

Φ(x,yi)=exp{σ·(hi⊕gi)}

(13)

邊緣勢函數(shù)仍然和離散模型相同，且仍使用同樣的訓練和解碼算法。

圖4 集成模型

2.5 訓練

在實驗中，通過最大化目標邊界的方法來訓練模型參數(shù)Θ。目標函數(shù)表示為：

(14)

(15)

其中：s(xn,y,Θ)=lb(P(y|x))是y的log概率；σ(y,yn)是y和yn之間的漢明距離。本文使用在線學習方法來訓練模型參數(shù)，通過Adagrad算法來更新參數(shù)。

另外，最大似然訓練方法常用于訓練神經(jīng)網(wǎng)絡[4]，但是實驗結(jié)果表明，最大似然訓練方法的效果要比最大化邊界訓練方法差，所以選擇了最大化邊界訓練方法。

3 實驗設置

3.1 數(shù)據(jù)集

實驗使用兩個產(chǎn)品評論數(shù)據(jù)集：筆記本和餐館數(shù)據(jù)集，來源于SemEval- 2014任務4[18]。表1是數(shù)據(jù)集的基本統(tǒng)計結(jié)果。大部分屬性只有一個詞，大約三分之一的屬性是由兩個或更多的詞組成。兩個數(shù)據(jù)集中，有些句子包含不止一個屬性。按照SemEval- 2014的規(guī)則，給每個屬性賦予四類情感標簽(正面、負面、中立、矛盾)中的一個。

表1 語料統(tǒng)計

每個數(shù)據(jù)集都包含訓練集和測試集。訓練集再以90/10的比例被隨機分為用于優(yōu)化每種神經(jīng)網(wǎng)絡結(jié)構(gòu)超參數(shù)的訓練/開發(fā)集。

3.2 參數(shù)

對于所有的神經(jīng)網(wǎng)絡模型，隱藏層的詞向量特征大小都設置為200，而隱藏層的離散特征大小設置為30。Adagrad優(yōu)化算法的初始學習速率為0.01，正則化參數(shù)設為10-8，迭代50epoch(epoch表示全量訓練樣本掃描一次)。基于亞馬遜網(wǎng)站的大規(guī)模評論語料，本文使用Mikolov等[19]的連續(xù)詞袋模型(ContinuousBag-Of-Wordsmodel,CBOW)模型學習得到100維的詞向量。

3.3 評估指標

本文使用宏觀F1分數(shù)來評估屬性檢測和情感分類，F(xiàn)1分數(shù)越高標明模型效果越好。對于屬性檢測任務，僅僅判斷屬性是否被成功識別。而對于情感分類任務，屬性和情感類別都成功識別才能算正確。

3.4 基線方法

為了驗證本文所提出模型的有效性，與以下基線模型進行了對比：

1)IHS_RD：在筆記本評論數(shù)據(jù)集中表現(xiàn)最好的模型[20]。該模型基于CRF算法，主要是通過命名實體識別、詞性(PartOfSpeech,POS)標簽、語法解析和語義分析來提取特征。

2)DLIREC：在餐館評論數(shù)據(jù)集中表現(xiàn)最好的模型[12]。同樣基于CRF算法，主要使用POS特征、句法依賴樹特征以及從YELP(美國著名商戶點評網(wǎng)站)和亞馬遜商城評論中獲取到的一些特征。

3)Li等[8]：集成不同的遞歸神經(jīng)網(wǎng)絡(RecurrentNeuralNetwork,RNN)以及詞向量的模型。該模型性能接近于SemEval- 2014中排名靠前的系統(tǒng)效果。

4)Zhang等[4]：用神經(jīng)網(wǎng)絡來擴展CRF算法的模型，以此來研究開放領域情感分析。

4 實驗結(jié)果與分析

表2分別是聯(lián)合模型、流水線模型和折疊模型在測試集上的實驗結(jié)果，三種基線方法都是流水線模型。

表2 基線模型以及不同神經(jīng)網(wǎng)絡模型的實驗結(jié)果 %

4.1 離散、神經(jīng)網(wǎng)絡和集成模型比較

如表2所示，基于神經(jīng)網(wǎng)絡的CRF模型與離散CRF模型效果相近。離散CRF模型需要大量手工制定的特征，而基于神經(jīng)網(wǎng)絡的CRF模型僅僅以詞向量作為輸入。詞向量能夠通過大規(guī)模原始文本訓練獲得，這樣不僅能夠避免特征工程中的人力勞動，而且能在一定程度上緩解所表示數(shù)據(jù)的稀疏性。在實驗中，基于神經(jīng)網(wǎng)絡的CRF模型效果比離散CRF效果差，主要原因是它只將基本的詞向量作為輸入，而這樣并不能捕獲復雜特征，所以本文提出通過開關遞歸單元來擴展基于神經(jīng)網(wǎng)絡的CRF模型。

表2的結(jié)果顯示，即使不使用額外的語法樹特征，開關遞歸神經(jīng)網(wǎng)絡的宏觀F1分數(shù)在聯(lián)合、流水線以及折疊模型中都超過普通遞歸神經(jīng)網(wǎng)絡模型近1.5個百分點，表明本文所提模型能夠通過開關機制捕獲到復雜的特征組合。這個特性在產(chǎn)品屬性情感分析中很重要。以屬性檢測為例，對于某些屬性，最后一個詞往往比下一個詞更重要，如果所有的屬性在使用詞向量的時候都同等對待，那么噪聲或者無關的部分就會降低檢測效果；開關神經(jīng)網(wǎng)絡模型(流水線和聯(lián)合)在兩個任務的餐館評論數(shù)據(jù)集上宏觀F1分數(shù)分別為84.34%、62.19%，比基線模型IHS_RD(79.62%,59.12%)和DLIREC(84.01%,62.07%)的宏觀F1分數(shù)表現(xiàn)要好；同時，在兩個數(shù)據(jù)集的兩個任務中，開關神經(jīng)網(wǎng)絡模型(流水線)的宏觀F1分數(shù)都比Zhang等[4]的模型高。因此，開關神經(jīng)網(wǎng)絡模型在基于屬性的情感分析中是有效的。

與基線系統(tǒng)[12,20]相比，集成模型(流水線和聯(lián)合)在兩個任務的筆記本數(shù)據(jù)集和餐館數(shù)據(jù)集上的宏觀F1分數(shù)均超過基線結(jié)果0.5到1個百分點，排在第一位，主要原因是自動學習的詞向量特征和人工定義的離散特征互為補充。因此，在產(chǎn)品屬性情感分析的任務中，集成模型相比于離散模型或者神經(jīng)網(wǎng)絡模型有明顯的優(yōu)勢。

4.2 流水線、聯(lián)合和折疊模型比較

基于表2的數(shù)據(jù)，對于離散CRF模型，流水線任務和聯(lián)合任務效果相近，這表明屬性邊界信息和情感類別之間有一種相對較弱的關聯(lián)。另一方面，折疊模型的宏觀F1分數(shù)比流水線模型低，表明同步進行屬性檢測和情感分類并不能夠有效提升產(chǎn)品屬性情感分析的效果。上述實驗結(jié)果表明，對于產(chǎn)品屬性情感分析任務，聯(lián)合和流水線模型在宏觀F1分數(shù)上表現(xiàn)更好。這個結(jié)論和Mitchell等[11]以及Zhang等[4]的研究結(jié)論保持一致，它們的研究目標是開放領域的情感分析任務。

5 結(jié)語

本文主要通過不同的神經(jīng)網(wǎng)絡模型來研究產(chǎn)品屬性情感分析，采用直接循環(huán)圖為語句建模，在神經(jīng)網(wǎng)絡模型中引入開關遞歸單元，并且通過聯(lián)合模型和折疊模型來同步實現(xiàn)屬性提取和情感分析。實驗結(jié)果表明，同步完成屬性提取和情感分類并不能夠提升產(chǎn)品屬性情感分析的效果。未來將探索基于依存樹的遞歸神經(jīng)網(wǎng)絡結(jié)構(gòu)，以此來進一步研究產(chǎn)品屬性情感分析。

)

[1]CHENL,WANGWB,NAJARAJANM,etal.Extractingdiversesentimentexpressionswithtarget-dependentpolarityfromtwitter[C]//ProceedingsoftheSixthInternationalAAAIConferenceonWeblogsandSocialMedia.MenloPark:AAAI, 2012: 50-57.

[2]LIUPF,JOTYS,MENGHL.Fine-grainedopinionminingwithrecurrentneuralnetworksandwordembeddings[C]//Proceedingsofthe2015ConferenceonEmpiricalMethodsinNaturalLanguageProcessing.Stroudsburg,PA:ACL, 2015: 1433-1443.

[3]RENYF,ZHANGY,ZHANGMS,etal.Context-sensitivetwittersentimentclassificationusingneuralnetwork[C]//Proceedingsofthe30thAAAIConferenceonArtificialIntelligence.MenloPark:AAAI, 2016: 215-221.

[4]ZHANGMS,ZHANGY,VODT.Neuralnetworksforopendomaintargetedsentiment[C]//Proceedingsofthe2015ConferenceonEmpiricalMethodsinNaturalLanguageProcessing.Stroudsburg,PA:ACL, 2015: 612-621.

[5]HUMQ,LIUB.Miningandsummarizingcustomerreviews[C]//Proceedingsofthe10thACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining.NewYork:ACM, 2004:168-177.

[6]QIUG,LIUB,BUJJ,etal.Opinionwordexpansionandtargetextractionthroughdoublepropagation[J].ComputationalLinguistics, 2011, 37(1): 9-27.

[7]JINW,HOHH.AnovellexicalizedHMM-basedlearningframeworkforWebopinionmining[C]//Proceedingsofthe26thAnnualInternationalConferenceonMachineLearning.NewYork:ACM, 2009: 465-472.

[8]LIFF,HANC,HUANGML,etal.Structure-awarereviewminingandsummarization[C]//Proceedingsofthe23rdInternationalConferenceonComputationalLinguistics.Stroudsburg,PA:ACL, 2010: 653-661.

[9] 梁軍,柴玉梅,原慧斌,等.基于深度學習的微博情感分析[J].中文信息學報,2014,28(5):155-161.(LIANGJ,CHAIYM,YUANHB,etal.DeeplearningforChinesemicro-blogsentimentanalysis[J].JournalofChineseInformationProcessing, 2014, 28(5): 155-161.)

[10] 滕飛,鄭超美,李文.基于長短期記憶多維主題情感傾向性分析模型[J].計算機應用,2016,36(8):2252-2256.(TENGF,ZHENGCM,LIW.Multidimensionaltopicmodelfororientedsentimentanalysisbasedonlongshort-termmemory[J].JournalofComputerApplications, 2016, 36(8): 2252-2256.)

[11]MITCHELLM,AGUILARJ,WILSONT,etal.Opendomaintargetedsentiment[C]//Proceedingsofthe2013ConferenceonEmpiricalMethodsinNaturalLanguageProcessing.Stroudsburg,PA:ACL, 2013: 1643-1654.

[12]TOHZQ,WANGWT.DLIREC:aspecttermextractionandtermpolarityclassificationsystem[C]//Proceedingsofthe8thInternationalWorkshoponSemanticEvaluation.Stroudsburg,PA:ACL, 2014: 235-240.

[13] 遲呈英,于長遠,戰(zhàn)學剛.基于條件隨機場的中文分詞方法[J].情報雜志,2008,27(5):79-81.(CHICG,YUCY,ZHANXG.AChinesewordsegmentationapproachusingconditionalrandomfields[J].JournalofInformation, 2008, 27(5): 79-81.)

[14] 馮元勇,孫樂,李文波,等.基于單字提示特征的中文命名實體識別快速算法[J].中文信息學報,2008,22(1):104-110.(FENGYY,SUNL,LIWB,etal.ArapidalgorithmtoChinesenamedentityrecognitionbasedonsinglecharacterhints[J].JournalofChineseInformationProcessing, 2008, 22(1): 104-110.)

[15]PENGJ,BOLF,XUJB.Conditionalneuralfields[C]//NIPS’09:Proceedingsofthe22ndInternationalConferenceonNeuralInformationProcessingSystems.Cambridge,MA:MITPress, 2009: 1419-1427.

[16]CHUNGJY,GULCEHREC,CHOKH,etal.Empiricalevaluationofgatedrecurrentneuralnetworksonsequencemodeling[EB/OL]. [2016- 09- 20].https://arxiv.org/pdf/1412.3555.pdf.

[17]CHENXC,QIUXP,ZHUCX,etal.Sentencemodelingwithgatedrecursiveneuralnetwork[C]//Proceedingsofthe2015ConferenceonEmpiricalMethodsinNaturalLanguageProcessing.Stroudsburg,PA:ACL, 2015:793-798.

[18]PONTIKIM,GALANISD,PAVLOPOULOSJ,etal.SemEval- 2014Task4:aspectbasedsentimentanalysis[C]//Proceedingsofthe8thInternationalWorkshoponSemanticEvaluation.Stroudsburg,PA:ACL, 2014: 27-35.

[19]MIKOLOVT,SUTSKEVERI,CHENK,etal.Distributedrepresentationsofwordsandphrasesandtheircompositionality[C]//Proceedingsofthe2013InternationalConferenceonNeuralInformationProcessingSystems.Cambridge,MA:MITPress, 2013: 3111-3119.

[20]CHERNYSHEVICHM.IHSR&DBelarus:cross-domainextractionofproductfeaturesusingconditionalrandomfields[C]//Proceedingsofthe8thInternationalWorkshoponSemanticEvaluation.Stroudsburg,PA:ACL, 2014: 309-313.

ThisworkispartiallysupportedbytheNationalNaturalScienceFoundationofChina(61133012).

LIU Xinxing, born in 1989, M. S. candidate. His research interests include text mining, deep learning.

JI Donghong, born in 1967, Ph. D., professor. His research interests include text mining, big data, deep learning, public opinion analysis.

REN Yafeng, born in 1986, Ph. D. candidate. His research interests include text mining, deep learning.

Product property sentiment analysis based on neural network model

LIU Xinxing*, JI Donghong, REN Yafeng

(SchoolofComputer,WuhanUniversity,WuhanHubei430072,China)

Concerning the poor results of product property sentiment analysis by the simple neural network model based on word vector, a gated recursive neural network model of integrating discrete features and word vector embedding was proposed. Firstly, the sentences were modeled with direct recurrent graph and the gated recursive neural network model was adopted to complete product property sentiment analysis. Then, the discrete features and word vector embedding were integrated in the gated recursive neural network. Finally, the feature extraction and sentiment analysis were completed in three different task models: pipeline model, joint model and collapsed model. The experiments were done on laptop and restaurant review datasets of SemEval- 2014, the macroF1scorewasusedastheevaluationindicator.GatedrecursiveneuralnetworkmodelachievedtheF1scoresas48.21%and62.19%,whichweremorethanordinaryrecursiveneuralnetworkmodelbynearly1.5percentagepoints.Theresultsindicatethatthegatedrecursiveneuralnetworkcancapturecomplicatedfeaturesandenhancetheperformanceonproductpropertysentimentanalysis.TheproposedneuralnetworkmodelintegratedwithdiscretefeaturesandwordvectorembeddingachievedtheF1scoresas49.26%and63.31%,whichareallhigherthanbaselinemethodsby0.5to1.0percentagepoints.Theresultsshowthatdiscretefeaturesandwordvectorembeddingcanhelpeachother,ontheotherhand,it’salsoshownthattheneuralnetworkmodelbasedononlywordembeddinghastheroomforimprovement.Amongthethreetaskmodels,thepipelinemodelachievesthehighestF1scores.Thus,it’sbettertocompletefeatureextractionandsentimentanalysisseparately.

neural network; sentiment analysis; product property; Gated Recursive Neural Network (GRNN)

2016- 11- 04;

2017- 01- 18。 基金項目:國家自然科學基金資助項目(61133012)。

劉新星(1989—),男，湖北黃岡人，碩士研究生，主要研究方向：文本挖掘、深度學習; 姬東鴻(1967—),男，湖北武漢人，教授，博士，主要研究方向：文本挖掘、大數(shù)據(jù)、深度學習、輿情分析； 任亞峰(1986—),男，湖北武漢人，博士研究生，主要研究方向：文本挖掘、深度學習。

1001- 9081(2017)06- 1735- 06

10.11772/j.issn.1001- 9081.2017.06.1735

TP

A