基于LSTM網(wǎng)絡的評價對象和評價詞抽取

李盛秋+趙妍妍+秦兵+劉挺

摘要：隨著網(wǎng)絡電商的興起，越來越多的用戶在網(wǎng)上對商品進行評價。所謂評價對象與評價詞，指的是在產品評論中用戶所表達的態(tài)度的對象以及所使用的極性詞。本文將評價對象與評價詞的抽取看做為序列標注任務，并介紹了如何使用循環(huán)神經(jīng)網(wǎng)絡解決序列標注任務。同時，還說明了循環(huán)神經(jīng)網(wǎng)絡的局限性，并使用LSTM對評價對象與評價詞進行抽取。最后，本文還與基于規(guī)則的雙向傳播算法進行了對比。從實驗結果可以看出，LSTM在評價對象與評價抽取任務上的性能較雙向傳播算法來說有非常大的提高。

關鍵詞： 循環(huán)神經(jīng)網(wǎng)絡； LSTM模型； 評價對象； 雙向傳播算法

中圖分類號： TP391.4

文獻標志碼： A

文章編號： 2095-2163（2017）05-0095-03

Abstract： As more and more users do shopping online， product reviews become a big resource for NLP research. Aspects are the opinion targets in the reviews， and the polarities are the attitude of users towards aspects. The paper treats the aspect and polarity words extraction as a sequence labeling task， and introduces how to use Recurrent Neural Network to solve the sequence labeling task. Also， the paper points out the shortcoming of RNN and uses LSTM instead to extract the aspects and polarities. Finally， the results of experiments show that LSTM model can significantly improve the performance in contrast to the Double Propagation algorithm， a rulebased algorithm for aspects and polarities extraction.

0引言

如今隨著社交媒體、網(wǎng)上論壇的興起，以及淘寶、京東等互聯(lián)網(wǎng)交易方式的流行，越來越多的消費者通過網(wǎng)絡論壇、社交網(wǎng)站等途徑來表達自己對于所購買的產品的評價。這些大量的產品評論對于消費者和生產廠家來說都是珍貴的參考。對于消費者來說，充分地閱覽其他消費者的評價有助于提前了解這一款產品的情況，是對產品印象的重要參考；而對于生產廠家來說，大量準確客觀的用戶評價可以獲得用戶對產品意見，更有助于改進產品。

然而，一方面由于評論數(shù)量巨大，單靠人的瀏覽和閱讀速度很難系統(tǒng)地整理出所有用戶的評價，難以從中有效地提取出有價值的信息；同時另一方面，大量的評論使得人們難以客觀準確地對產品之間的評論進行比較。針對目前已經(jīng)進入的大數(shù)據(jù)時代，僅僅依靠人力來對大量的數(shù)據(jù)進行分析是不合適的。在這種情況下，就可以依靠計算機的力量，利用人工智能來解決這個問題。

不過，傳統(tǒng)的文本情感分析主要是對句子或篇章進行情感分類，用以自動獲得句子、篇章的整體情感極性。但是，文本情感分類無法提取出情感發(fā)生的對象，也不能獲得真正表達出了情感的詞語，在具體的應用上有所限制，而細粒度的情感分析則能夠很好地解決這個問題。

而在產品評論領域中，用戶的評論經(jīng)常帶有明確的指向，例如針對產品的某一部分或某一功能做出的評價。此時，找出用戶評價的明確對象與評價詞語就顯得尤為重要。

[BT4]1使用LSTM網(wǎng)絡抽取評價對象和評價詞

對于評價對象和評價詞的抽取，目前已經(jīng)有很多相關的研究工作，主要包括2個方面：基于規(guī)則的方法與基于機器學習的方法。

基于規(guī)則的方法利用了詞法分析及句法分析的結果，通過人為構造一些詞性規(guī)則與句法規(guī)則來實現(xiàn)對評價對象與評價詞語的抽取。例如，Qiu[1]提出了一種利用預先制定的規(guī)則，通過雙向傳播算法進行評價對象、評價詞語與評價關系的抽取。Liu[2]則在此基礎上進行了改進，使用2組不同的句法規(guī)則（一組高精確率、一組高召回率）分別對語料進行處理，再利用相似度、詞語共現(xiàn)等信息從高召回率的結果中過濾出正確的部分，同時這種方法還采用了Life-long Learning[3]的思想，在預測中提高了模型性能。

此外，還可以將評價對象與評價詞的抽取看做是文本序列標注的任務。序列標注將會對句子中的每一個詞語打上一個標簽，用來表示該詞語的性質。例如，如果要對評價對象進行序列標注，輸出樣例如表1所示。

目前有很多較為成熟的模型，例如隱馬爾科夫模型（Hidden Markov Model，HMM）[4]、條件隨機場（Conditional Random Field，CRF）[5]、深度神經(jīng)網(wǎng)絡等方法。其中，從Liu[6]進行的深度神經(jīng)網(wǎng)絡實驗中可以看出，深度神經(jīng)網(wǎng)絡模型對于序列標注任務有著比CRF更好的性能。同時，基于深度學習的方法對特征依賴較少，不需要太多的領域知識即可得到很好的效果。深度學習模型中的循環(huán)神經(jīng)網(wǎng)絡[7]比較適合用來解決序列標注問題。循環(huán)神經(jīng)網(wǎng)絡的示意如圖1a）所示，將循環(huán)神經(jīng)網(wǎng)絡按照時間展開之后的示意如圖1b）所示。

圖2來自于https：//en.wikipedia.org/wiki/Long_shortterm_memory#/media/File：Long_short_Term_Memory. png。使用LSTM網(wǎng)絡進行評價對象和評價詞抽取的核心思想是，在判斷某一個詞語是否為評價對象或評價詞時，[JP2]需要充分考慮其前后一定范圍（即“窗口”）內的詞語。在窗口范圍內，將所有詞語的詞向量（Embedding）[10]作為LSTM的輸入；同時最后一個詞語的輸出和一個采用Sigmoid激活函數(shù)的神經(jīng)元相連接，以達到二元分類的目的。如圖 3所示，當需要判斷“鏡頭”一詞是否為一個評價對象時，選取其前后的若干詞語（此處為前后各2個詞）組成的詞向量一同作為LSTM模型的輸入。[JP]endprint

實驗中，評價對象與評價詞的抽取使用的數(shù)據(jù)是校訂過的COAE評測語料，包含了手機、相機、汽車和筆記本四個領域。各個領域的語料規(guī)模如表2所示。

本文還將與基于規(guī)則的雙向傳播算法[7]進行實驗對比。其基本思想是，首先給定一組預定義好的評價詞語，以及一批人工定義的句法規(guī)則，通過規(guī)則擴展評價對象的集合；隨后利用新的評價對象詞語再次對評價詞語集合進行擴展。最終，當評價對象和評價詞語的集合均穩(wěn)定后，算法即停止。例如，給定初始評價詞語集合P={“好”，“不錯”}，初始評價對象集合T={}，句法規(guī)則集合R={“名詞主語”+“形容詞謂語”，“形容詞定語”+“名詞”}，句子集合Q={“XX的手機還真是不錯”，“YY是個優(yōu)秀的手機”}。則第一次傳播過后，Q中的第一句滿足R中的第一條規(guī)則，同時“不錯”還在評價詞語集合P中，因此“手機”將被加入評價對象集合T中，即T={“手機”}。第二次傳播過后，由于Q中的第二句滿足R中的第二條規(guī)則，并且“手機”在評價對象集合T中，因此“優(yōu)秀”將被添加至評價詞語集合P中，即P={“好”，“不錯”，“優(yōu)秀”}。第三次迭代過后，T和P兩個集合都沒有發(fā)生變化，算法結束。由此，研究通過雙向傳播算法提取出了“手機”這一評價對象，以及“優(yōu)秀”這一新的評價詞。

[BT4]3實驗結果

本文采用精確率、召回率和F值（Precision、Recall、F）對抽取出的評價對象和評價詞進行評價。其中，精確率代表正確詞語占抽取出的所有詞語的比例，召回率代表正確詞語占所有標準詞語（Ground Truth）的比例，F(xiàn)值為精確率和召回率的調和平均值。

實驗結果采用軟匹配的方式，即提取出的詞包含或被包含于標準詞語中即算作正確。評價對象抽取的實驗結果如表3所示，評價詞抽取的實驗結果如表4所示。

從實驗結果可以看出，LSTM模型的性能在多數(shù)情況下要明顯優(yōu)于雙向傳播算法。雙向傳播算法在具體句子的應用上有較大的誤差，例如：“好”字在某一句中可能用來修飾“屏幕”，在另一句中可能用來修飾“天氣”，第二句中的“好”和“天氣”就不是一個合理的產品評價搭配。因此其精確率普遍較低，導致模型整體性能表現(xiàn)欠佳。同時，雙向傳播算法非常依賴于句法分析的結果，如果句法分析有誤的話，將會對傳播結果產生較大影響。

4結束語

本文主要研究了循環(huán)神經(jīng)網(wǎng)絡以及LSTM網(wǎng)絡，并探討了如何利用循環(huán)神經(jīng)網(wǎng)絡解決序列標注任務。隨后論述了這種方法的不足與LSTM的改進之處，進而設計提出了利用LSTM對評價對象和評價詞進行抽取。最后還通過與雙向傳播算法進行對比試驗，證明了LSTM網(wǎng)絡模型在評價對象和評價詞的提取任務上有著較好的性能表現(xiàn)。

參考文獻

QIU Guang， LIU Bing， BU Jiajun， et al. Opinion word expansion and target extraction through double propagation[J]. Computational Linguistics， 2011，37（1）：9-27.

[2] LIU Qian， LIU Bing， ZHANG Yuanlin， et al. Improving opinion aspect extraction using semantic similarity and aspect associations[C]//Proceedings of Thirtieth AAAI Conference on Artificial Intelligence （AAAI-2016）. Phoenix， Arizona， USA：AAAI， 2016：2986-2992.

[3] SILVER D L， YANG Qiang， LI Lianghao. Lifelong machine learning systems： Beyond learning algorithms[C]//AAAI Spring Symposium： Lifelong Machine Learning. Stanford， CA： Stanford University， 2013：49-55.

[4] [JP3]JIN Wei， HO H H. A novel lexicalized HMM-based learning framework for Web Opinion Mining[C]// Proceedings of International[JP] Conference on Machine Learning （ICML）. Montreal， QC， Canada：ACM，2009： 465-472.

[5] JAKOB N， GUREVYCH I. Extracting opinion targets in a single-and cross-domain setting with conditional random fields[C]//EMNLP '10 Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing. Cambridge， Massachusetts：ACM，2010： 1035-1045.

[6] LIU Pengfei， JOTY S， MENG H. Fine-grained opinion mining with recurrent neural networks and word embeddings[C]// Conference on Empirical Methods in Natural Language Processing. Lisbon， Portugal：dblp， 2015： 1433-1443.

[7] ELMAN J L. Finding structure in time[J]. Cognitive Science，1990， 14 （2）： 179-211.

[8] HOCHREITER S， SCHMIDHUBER J. Long short-term memory[J]. Neural Computation， 1997，9（8）：1735-1780.

[9] GERS F A， SCHMIDHUBER J， CUMMINS F. Learning to forget： Continual prediction with LSTM[J]. Neural Computation， 2000，12 （10）： 2451-2471.

[10]BENGIO Y， DUCHARME R， VINCENT P， et al. A neural probabilistic language model[J]. Journal of Machine Learning Research ， 2003（3）：1137-1155.endprint