基于用戶和產品Attention機制的層次BGRU模型

鄭雄風，丁立新，萬潤澤

ZHENG Xiongfeng,DING Lixin,WAN Runze

武漢大學 計算機學院，武漢 430072

School of Computer Science,Wuhan University,Wuhan 430072,China

隨著互聯網技術的高速發展，網絡上產生大量用戶參與的，針對熱點事件、產品等有價值的評論文本信息，比如，微博、電商平臺、餐飲平臺等等。這些評論信息包含了人們豐富的情感色彩和情感傾向。情感分析的目的就是自動地從文本中提取和分類用戶針對產品或事件的主觀情感信息，幫助商家或者政府部門完成數據分析和輿情監控等任務。因此，情感分析也成為了自然語言處理領域的重要課題之一。情感分析分為情感信息的抽取、情感信息的分類以及情感信息的檢索與歸納[1]。本文解決的主要是文檔級別的情感信息分類問題。文檔級別的情感信息分類任務主要是為了自動分類出用戶產生的情感文本中針對某一產品或事件表達的情感傾向（積極或者消極）或者情感強度（如電影或者餐廳評論文本中的1～5星評價）。

目前的大多數方法將情感分類看作文本分類問題的一種。通過機器學習的方法，將情感傾向或者情感評分當作有監督的數據，訓練分類器對文本情感進行分類成為一種主流的方法。機器學習中的特征表示是影響分類器效果的重要因素，因此，文本情感語義的特征表示成為文本情感分類問題中的關鍵且耗時的一步。傳統的特征表示方法包括One-hot、N-Gram以及領域專家通過文本或者額外的情感詞典設計的一些有效特征[2-4]。在SemEval2013評測任務中取得第一名的系統就是設計了有效的特征達到的[5]。然而，特征工程是一個勞動密集型的任務，且需要較多的領域知識。因此，特征的自動學習漸漸成為人們研究的重點。基于神經網絡的深度學習方法就是自動學習特征的一種方法[6]。并且隨著深度學習在計算機視覺、語音識別和自然語言處理等領域的成功應用，越來越多的基于深度學習的文本情感分類模型產生，這些模型普遍地利用詞嵌入（Word Embedding）的方法進行特征表示[7]，這種低維度詞向量表示方法不僅能很好地解決傳統語言模型中詞表示中存在的維度過大的問題，而且，能很好地保留詞的語義信息，使得語義相似的詞距離更近。另外，在詞嵌入的基礎上，通過卷積神經網絡（CNN）[8-10]、遞歸神經網絡（Recursive Neural Network）[11-12]和循環神經網絡（Recurrent Neural Network）[13-14]等神經網絡模型，能很好地表示句子或者文檔級別的語義信息，由于深度學習具有良好的特征自動抽取能力，從而在文本情感分類問題中得到了廣泛的應用。

然而，目前大多數基于神經網絡的文本情感分類模型只考慮了文本內容相關的情感語義，忽略了與文本相關的用戶信息以及文本內容所描述的產品信息。同時，有研究表明，用戶的喜好與產品的特點對于用戶的評分有著重要的影響[15]。因此，唐都鈺等人首先提出了通過矩陣和向量的形式將用戶喜好和產品信息加入文本情感分類模型的方法[16-17]，陳慧敏等人在此基礎上，提出了一些改進方案[18]：以向量來表示用戶和產品信息，同時，通過Attention的方法將用戶和產品信息與文本語義信息結合，該方法在一定程度減少模型參數的同時，使得文本中語義信息更加豐富。但是，這兩種方法都是隨機初始化用戶和產品信息，然后在模型訓練過程中更新用戶和產品的參數信息。這樣的方法得到的用戶和產品信息并不一定準確，同時會使得模型參數過大，導致模型的訓練速度過慢，甚至導致模型過擬合。為了解決這個問題，文獻[19]提出了另外一種生成用戶喜好和產品信息的方法，首先將原始數據按照用戶和產品分組，然后按照相應的事件順序排序，然后應用循環神經網絡（RNN）模型分別得到用戶和產品信息的特征表示。最后將得到的用戶和產品信息特征表示和文本的特征表示結合到一起作為分類器的輸入特征。雖然解決了用戶和產品信息特征表示的問題，但其中的文本情感語義表示模型過于簡單，不能有效地將文本中的上下文語義信息與用戶和產品信息結合。受到文獻[18-19]的啟發，同時為了解決當前方法中的問題，本文提出了兩個改進方案：

（1）本文改進了文獻[18]中的文本語義表示模型，利用雙向的GRU模型代替原有的簡單模型，結合文檔-句子和句子-詞的層次模型，更加有效地結合了文本中的上下文語義信息，整體的模型架構如圖1所示。

（2）針對用戶和產品的評價數據，首先利用奇異值分解（SVD）的方法，得到用戶和產品的先驗信息，作為預訓練好的模型參數，避免了用戶和產品信息的參數增加。然后利用基于Attention的神經網絡模型將用戶和產品信息結合到文本上下文語義的表示中，使得文本的情感語義信息更加準確。

1 基于層次神經網絡模型的文本情感分類模型

這部分主要介紹基于層次神經網絡的文本情感分類模型中3個重要的步驟：文檔特征表示、基于Attention機制的用戶和產品信息及文本情感分類模型。首先介紹如何通過層次神經網絡模型由詞向量得到句子級別的特征表示，再由句子級別特征表示得到文檔級別的特征表示，然后介紹通過Attention機制將用戶和產品信息與文本情感語義結合的方法，最后將得到的文檔級別特征表示作為文本分類器的特征，完成文本情感分類的任務。

1.1 基于層次結構的文本特征表示

研究表明，句子或者文檔級別的語義由它們所包含的詞的語義和詞結合的方式決定的，而文檔主要由句子組成，句子主要由詞組成。因此，首先得到詞的特征表達，也就是詞嵌入（Word Embedding），然后在詞嵌入的基礎上，通過卷積神經網絡（CNN）、遞歸神經網絡（Recursive Neural Network）或者循環神經網絡（Recurrent Neural Network）的深度學習模型，得到句子級別的特征表示。同理，在句子級別的特征表示基礎上，得到文檔級別的特征表示。

圖1 基于用戶和產品Attention的神經網絡模型結構

假設用戶u∈U有一條關于產品 p∈p的評價文本d∈d，文本d由n條句子{s1,s2,s3,…,sn}組成，其中第i個句子由li長度的詞組成{,,…,}。

在詞級別的語義特征表示中，所有的詞是通過一個詞嵌入矩陣Lw∈Rd×|V|來表示，其中，d表示詞的維度，|V |是所有詞的數量。Lw中的詞向量∈Rd可以通過兩種方法生成：

（1）隨機初始化，并作為整個模型的參數的一部分，參與到模型的訓練過程中，是一種簡單可行的方法。

（2）結合語料，通過word2vector[7]，glove[20]等詞嵌入方法預訓練生成。

在句子級別的語義特征表示中，通過詞向量建模句子級別的語義特征時，有兩種結構：樹結構[21-22]、層次結構[23]。目前，由于句子或者文檔中存在的序列結構，因此序列模型（如RNN等）正廣泛地用于自然語言處理，特別是句子或者文檔的特征表示中[24]。LSTM模型是RNN模型的一種，是為了解決RNN模型中出現的長距離依賴和梯度消失問題提出的。文獻[18]就是采用層次結構，基于簡單的LSTM模型分別得到句子和文檔的語義特征。LSTM模型將句子中每個詞作為序列模型中的神經元，詞向量神經元的狀態和隱藏狀態是利用上一個詞向量的神經元狀態和隱藏狀態來更新的。最后，為了在詞向量的基礎上得到句子的特征表示，可以利用LSTM模型的最后一個詞向量的隱藏狀態作為句子的特征表示，或者是利用LSTM模型中所有隱藏層狀態取平均作為句子的特征表示。

同理，在文檔級別的特征表示中，將文檔的每個句子作為LSTM中的序列單元，利用同樣的方法，就能得到文檔級別的語義特征，作為最終文本分類器的特征輸入，就能得到文檔的情感分類。

1.2 基于用戶和產品Attention模型的文本語義特征

在文本情感分析任務中，與文本相關的用戶和產品信息是文本情感分類的重要影響因素[19]。用戶的偏好特性會影響用戶文本中情感的極性，同時，不同品質產品得到的文本情感極性也會大不相同。唐都鈺等人在文獻[16]中提出，利用矩陣建模用戶和產品的偏好對文本情感的影響。通過實驗驗證了用戶和產品信息對文本內容和文本情感分類的重要性。但是，由于用戶和產品矩陣信息會有很大的稀疏性，很難得到比較準確的用戶和產品信息。因此，本文提出利用用戶和產品向量建模用戶和產品偏好對文本情感的影響。另外，基于LSTM得到的文本語義特征有個重要的缺點，那就是序列后面的神經元比序列前的神經元在最后的特征表示中所占權重更大。特別是在文檔級別的語義中，往往，有些文檔前面的句子比后面的更重要。而采用取平均的方法得到的句子或文檔表示能一定程度上緩解這個問題，但會導致所有序列單元所代表的權重一樣。而實際情況是不同的詞在句子的語義特征表示中所占有的權重是不一樣的。

而注意力（Attention）機制是通過文獻[25]開始得到了廣泛關注，起初注意力機制是被用于圖像分類中。文獻[26]提出了將注意力機制用于機器翻譯的方法，自此，注意力機制開始應用在自然語言領域。由于注意力機制是對人腦注意力的一種模擬，通過自動加權的模型實現，因此，在神經網絡模型中越來越流行[27]。本文提出將注意力機制引入文本特征表達中，如圖2所示，X表示詞向量特征，S表示句子的語義特征，注意力機制在生成句子的語義特征時，是將X的GRU單元通過a加權得到，a的幾何意義就是不同詞在句子的語義特征表示的重要性，a越大表示這個詞在句子中的情感語義更重要。

圖2 基于Attention機制的句子級別語義特征結構

因此，本文提出將帶有用戶和產品信息的向量通過Attention的方法，結合層次BGRU模型，在得到文本的語義特征時，選擇與用戶和產品相關度較高的詞或者句子參與到下一步的計算中。這樣，就能得到更準確的文本語義特征。如圖1所示，word attention用于在句子級別的語義特征表示中，結合用戶和產品偏好信息賦予語義更相關的詞更大的權重，sentence attention用于在文檔級別的語義特征表示中，結合用戶和產品偏好信息賦予語義更相關的句子更大的權重。通過這種層次結構的語義關系生成，同時結合用戶和產品信息，就能得到更準確的文本語義特征作為文本分類器的特征輸入。具體計算過程如下：

假設用戶和產品信息分別通過向量u∈Rdu和p∈Rdp來表示，其中du和dp分別表示用戶和產品向量的維度。

在句子級別的文本語義特征表示中，假設si表示通過Attention方法得到的句子語義特征，那么

其中，e是計算詞的重要性程度的函數：

其中，WH、WU和WP是參數矩陣，v是參數向量，vT是v的轉置向量。

在文檔級別的文本語義特征表示中，假設d是通過Attention方法由文本中的句子級別的特征得到的文檔級別的特征表示，那么：

其中，βi是句子級別特征表示序列中第i個隱藏層狀態hi，計算方法與一致。最終得到的d就是新的文本語義特征表示。

1.3 基于Softmax的文本情感分類

在第1.2節中得到的文檔級別的特征表示d可以直接作為文本分類器的特征輸入。首先通過一個非線性層（sigmoid，relu，tanh）將d 映射到維度為C 的空間，C是文本分類器中類別的數目，計算公式：

然后，利用softmax分類器，得到文本情感分類分布，計算公式：

其中，pc是文本情感類別為c的預測概率。本文使用交叉熵損失函數作為模型訓練的優化目標，通過Back-Propagation方法計算損失函數梯度同時更新模型參數，Back-Propagation計算公式：

其中，D是訓練數據集；是文本情感分類為c的0-1分布，即，如果文本情感分類為c，那么的值為1，否則的值為0。

2 基于層次BGRU的語義組合模型

2.1 LSTM模型與GRU模型

Long Short Time Memory（LSTM）模型與Gated Recurrent Unit（GRU）模型都是循環神經網絡模型的一種，GRU模型是LSTM模型的一種改進。如圖3所示，i，f，o 表示LSTM中的input，forget，output三種門機制，r，z表示GRU模型中的reset和update兩種門機制[28]。通過門機制的優化，GRU模型參數量更少，在保證模型效果的同時，很好地簡化了模型，在很多場景下得到了廣泛的應用[18，29]。

圖3 LSTM與GRU的門機制結構

另外，GRU模型更新神經元狀態的方法也與LSTM略有不同，GRU模型神經元狀態計算框架如圖4所示。

圖4 GRU模型結構圖

在t時刻，GRU中的狀態通過下列公式計算：

其中，zt，rt分別是update，reset門機制函數，⊙表示矩陣對應元素相乘，σ表示sigmoid函數，W表示GRU模型共享的參數。

2.2 基于雙向GRU得到句子級別的特征

單向RNN模型在表示文本上下文語義中存在不足，在模型訓練過程中會導致權重的偏差。雙向循環神經網絡（BRNN）的基本思想是提出每一個訓練序列向前和向后分別是兩個循環神經網絡（RNN），而且這兩個都連接著一個輸出層。這個結構提供給輸出層輸入序列中每一個點的完整的過去和未來的上下文信息。所以，本文提出利用雙向的GRU來建模句子和文檔級別的語義特征。雙向GRU就是在隱層同時有一個正向GRU和反向GRU，正向GRU捕獲了上文的語義特征信息，而反向GRU捕獲了下文的語義特征信息，這樣相對單向GRU來說能夠捕獲更多的特征信息，所以通常情況下雙向GRU表現比單向GRU或者單向RNN要好，得到的上下文語義特征更加準確。

假設一個句子si中有T個詞，每個詞為,t∈[0,T]，將句子si看作一個序列，句子中的詞為句子序列的組成部分。那么，分別通過前向GRU和后向GRU模型就能得到句子的表達。

通過結合得到句子si的語義表示：

2.3 基于雙向GRU得到文檔級別的特征

同理，假設一個文檔d中有L個句子，每個句子為si,i∈[0,L]，將文檔d當作一個序列，文檔中的句子為文檔序列的組成部分。通過前向GRU和后向GRU模型分別得到文檔級別的特征表示：

通過結構就能得到最終的文檔級別的語義特征。

將前向GRU和后向GRU得到的結果合并到一起作為最終的句子或文檔的特征表達，這樣通過上下文共同產生的語義特征更加準確，并且可以直接作為最終文本情感分類器的特征。

3 基于SVD的用戶和產品向量

3.1 用戶和產品向量初始化

在文本情感分析任務中，與文本相關的用戶和產品信息是文本情感分類的重要影響因素。因此，用戶和產品向量的初始化對于模型的最終效果也同樣重要。其中一種方式是隨機初始化用戶和產品向量，并作為整個模型的參數的一部分，參與到模型的訓練過程中。但這樣會導致模型的參數量過大，訓練速度慢，甚至可能產生過擬合，從而影響了模型的效果。因此，為了得到準確的用戶和產品初始化向量，本文提出通過奇異值分解（SVD）的方法，利用用戶和產品的評論信息，得到用戶和產品的向量作為模型的先驗信息，一方面避免了增加大量的模型參數，另一方面，在有足夠數據集的情況下，通過SVD得到的用戶和產品信息更加準確，語義信息更加豐富，最終提高模型的收斂速度和準確率。

3.2 基于SVD的用戶和產品向量

假設用戶-產品矩陣為c，如表1所示，對應的值為用戶對產品的評分值，空白部分說明用戶對相應的產品沒有評分。一般的用戶-產品矩陣維度很大，相應的計算量和所需的存儲空間都很大。如表2所示，Yelp2014數據集中，用戶和產品維度分別為4 818和4 194。SVD就是一種不丟失原有矩陣信息的矩陣分解方法。同時，SVD能得到相應的用戶和產品在低維度的潛在語義的向量表示，作為用戶和產品向量的初始化值。

表1 用戶-產品矩陣c

利用SVD計算用戶-產品矩陣c的k-秩近似矩陣xk。其中，xk可以表示成三個矩陣的乘積：xk=UkΣk。通過這種方法，可以將用戶-產品矩陣中用戶和產品分別映射到低維度的uk和vk中，從而得到一個比原始空間小得多的更加有效的語義空間。uk和vk作為初始化的用戶和產品向量，語義相近的用戶向量距離越近，語義相似的產品向量距離更近。具體對比結果見實驗部分。另外，本文通過對不同k值下用戶-產品矩陣信息的保證驗證，取k值為100時，能保留原始矩陣99%的信息，同時也有效地降低了用戶和產品向量的維度。

4 實驗

實驗部分通過三個數據驗證了本文提出的方法在文本情感分類任務中的有效性。分別從兩方面對比本文提出的方法作出了驗證：一是通過文檔級別的文本分類任務的準確率對比，驗證了基于用戶和產品信息的模型有效性；二是通過對比不同的用戶和產品信息初始化方法，驗證了本文引入的SVD方法有效性。

4.1 實驗數據及模型實現

實驗數據來自于：IMDB、Yelp2013、Yelp2014[16]。IMDB是用戶對電影的評分數據，Yelp2013和Yelp2014是用戶對商家的評分數據。具體統計信息如表2所示。實驗的評價標準有分類準確率（Accuracy）和平方根誤差（RMSE），本文的所有實驗均在如表3所示的實驗環境中完成。

表2 IMDB，Yelp2013和Yelp2014數據集的統計信息

表3 實驗環境及配置

（1）數據預處理：原始文本數據使用斯坦福CoreNLP工具進行分詞處理得到訓練樣本，另外，數據按照8/1/1得到訓練數據集/驗證數據集/測試數據集。實驗中超參數通過驗證數據集調整，模型分類準確率和平方根誤差通過測試集得到。

（2）詞向量訓練：本文使用word2vector工具，結合相應的實驗數據作為語料，得到詞向量，詞向量的維度為200，不參與模型的訓練。根據文獻[30]的研究，語料的選擇，是生成好的詞向量的關鍵，因此本文利用相應的實驗數據（IMDB，Yelp）作為語料，能得到更準確的語義信息。

（3）層次BGRU模型的實現：利用tensorflow 0.11.0的RNN模塊實現了基本的GRU單元，輸出的語義特征維度為50，在此基礎上搭建了層次結構的雙向GRU神經網絡模型，輸出的語義特征維度為100。使用隨機梯度下降的方法更新神經網絡模型中的參數，相應的學習率設為0.01。

（4）層次BGRU模型的訓練：基本的GRU單元輸出的語義特征維度為50，雙向GRU神經網絡模型輸出的語義特征維度為100，使用隨機梯度下降的方法更新神經網絡模型中的參數，相應的學習率設為0.01。

（5）訓練過程數據序列化：訓練過程中的中間數據通過tensorflow 0.11.0的summary模塊序列化，最終通過Excel工具得到如圖5中所示的曲線對比圖。

4.2 實驗對比

本文選取了一些方法作為對比實驗：

（1）SVM：根據文本和情感詞典設計特征，然后訓練SVM分類器得到相應的準確率和平方根誤差值。

（2）Paragraph Vector：處理文檔級別的情感分類的利用神經網絡模型的經典方法。

（3）UPA+LSTM：陳慧敏等人[18]實現的層次LSTM結合User和product Attention的方法，也是本文的主要對比文獻。

（4）UPA+GRU：為了驗證標準GRU模型的有效性，用GRU模型代替實驗3中的LSTM模型。

（5）SVD+GRU：為了驗證雙向GRU模型的有效性。

（6）SVD+BGRU模型：本文提出的模型。

4.3 實驗結果與分析

所有實驗結果如表4所示，從實驗結果中可以看出：

（1）用戶和產品信息在情感分類中的有效性。

從實驗1、2中采用的是傳統的機器學習模型、SVM和Paragraph Vector，實驗3、4、5、6采用的是基于用戶和產品的神經網絡模型，從實驗結果對比中可以看出，因為引入了更多的語義信息，在分類準確率方面后者有了10%提升，驗證了用戶和產品信息在文本情感分類中的重要性。同時，本文提出的基于SVD的方法得到的用戶和產品信息更加準確，在所有實驗數據中達到最高分類準確率。

表4 實驗結果比較表

（2）基于SVD方法的有效性。

從三個不同實驗數據的結果可以看出，基于SVD的方法在IMDB數據中取得的準確率提升最大，接近4%，而Yelp2013和Yelp2014數據的準確率提升只有2%左右，原因是IMDB數據的用戶和產品的信息更加豐富。相應的實驗數據統計信息如表2所示，IMDB數據中，每個用戶平均的文檔數是64.82，而Yelp2013和Yelp2014的平均文檔數分別是48.42和47.87。這一結果同時也驗證了基于SVD方法得到的用戶和產品信息在文本情感分類的有效性。

（3）雙向GRU模型的有效性。

對比實驗3和實驗4的結果，可以看出，GRU模型在文本特征抽取中要略優于LSTM模型，準確率普遍提升1%，且GRU模型結構更簡單，模型參數更少，可以降低整體的模型效率。同時，對比實驗5和實驗6的結果，可以看出，相比于標準GRU模型，雙向的GRU模型在最終模型分類準確率上有2%的提高。驗證了雙向GRU模型在文本上下文語義結合中的有效性。

4.4 實驗迭代次數的驗證

為了驗證SVD在減少模型參數，提高模型訓練速度的有效性，以IMDB為實驗數據，在SVD+BGRU模型的基礎上，不改變其他參數，本文做了相應的對比實驗，實驗1采用隨機初始化用戶和產品信息，并參與到模型的訓練過程中。實驗2使用SVD得到用戶和產品的信息作為先驗信息，不參與到模型的訓練過程中，具體的實驗結果見圖5。

圖5 IMDB實驗中迭代次數與分類準確率的關系

從分類準確率與迭代次數的曲線圖可以看出，本文提出的基于SVD方法產生的用戶和產品的先驗信息在迭代開始時就取得了接近最高的準確率，驗證了SVD方法得到的用戶和產品信息的準確性，同時，基于SVD初始化的方法在較少的迭代次數下就達到了最優，驗證了SVD方法在提高模型訓練速度的有效性。

5 結束語

本文提出了一種基于奇異值分解（SVD）來得到文本中用戶和產品先驗信息作為神經網絡Attention信息的方法，同時引入雙向GRU模型作為層次神經網絡中的語義組合模型。在用戶和產品數據足夠的情況下，相較其他方法，SVD能得到更加準確的用戶和產品語義信息，在保證模型分類準確同時，減少了模型訓練中參數的數量，提高模型的訓練效率。在層次神經網絡的模型結構基礎上，BGRU模型代替常用的LSTM，得到了更加豐富的上下文信息，作為文本情感分類器的特征。提高了最終分類器的效果。另外，如何在用戶和產品數據不足，特別是新用戶或者新產品的情況下，保證模型的分類效果值得進一步的研究。

參考文獻：

[1]趙妍妍，秦兵，劉挺，等.文本情感分析[J].軟件學報，2010，21（8）：1834-1848.

[2]李婷婷，姬東鴻.基于SVM和CRF多特征組合的微博情感分析[J].計算機應用研究，2015，32（4）：978-981.

[3]Ding X，Liu B，Yu P S.A holistic lexicon-based approach to opinion mining[C]//International Conference on Web Search and Data Mining，2008：231-240.

[4]Taboada M，Brooke J，Tofiloski M，et al.Lexicon-based methods for sentiment analysis[J].Computational Linguistics，2011，37（2）：267-307.

[5]Mohammad S M，Kiritchenko S，Zhu X.NRC-Canada：Building the state-of-the-art in sentiment analysis of tweets[J].Computer Science，2013.

[6]Lecun Y，Bengio Y，Hinton G.Deep learning[J].Nature，2015，521（7553）.

[7]Mikolov T，Sutskever I，Chen K，et al.Distributed representations of words and phrases and their compositionality[J].Advances in Neural Information Processing Systems，2013，26：3111-3119.

[8]Collobert R，Weston J，Karlen M，et al.Natural language processing（almost） from scratch[J].Journal of Machine Learning Research，2011，12（1）：2493-2537.

[9]Kim Y.Convolutional neural networks for sentence classification[J].arXiv preprint arXiv：1408.5882，2014.

[10]Kalchbrenner N，Grefenstette E，Blunsom P.A convolutional neural network for modelling sentences[J].Eprint Arxiv，2014.

[11]Socher R，Huval B，Manning C D，et al.Semantic compositionality through recursive matrix-vector spaces[C]//Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning，2012：1201-1211.

[12]Socher R，Perelygin A，Wu J Y，et al.Recursive deep models for semantic compositionality over a sentiment treebank[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing（EMNLP），2013.

[13]Wang X，Liu Y，Sun C，et al.Predicting polarities of tweets by composing word embeddings with long shortterm memory[C]//Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing，2015：1343-1353.

[14]Teng Z，Vo D T，Zhang Y.Context-sensitive lexicon features for neural sentiment analysis[C]//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing，2016：1629-1638.

[15]Gao W，Kaji N，Yoshinaga N.Collective sentiment classification based on user leniency and product popularity[J].Journal of Natural Language Processing，2014，21（3）：541-561.

[16]Tang D，Qin B，Liu T.Learning semantic representations of users and products for document level sentiment classification[C]//Meeting of the Association for Computational Linguistics and the International Joint Conference on Natural Language Processing，2015：1014-1023.

[17]Tang D，Qin B，Liu T，et al.User modeling with neural network forreview rating prediction[C]//International Conference on Artificial Intelligence，2015：1340-1346.

[18]Chen H，Sun M，Tu C，et al.Neural sentiment classification with user and product attention[C]//Proceedings of EMNLP，2016.

[19]Chen T，Xu R，He Y，et al.Learning user and product distributed representations using a sequence model for sentiment analysis[J].IEEE Computational Intelligence Magazine，2016，11（3）：34-44.

[20]Pennington J，Socher R，Manning C.Glove：Global vectors for word representation[C]//Conference on Empirical Methods in Natural Language Processing，2014：1532-1543.

[21]Mou L，Peng H，Li G，et al.Discriminative neural sentence modeling by tree-based convolution[J].arXiv preprint arXiv：1504.01106，2015.

[22]Tai K S，Socher R，Manning C D.Improved semantic representations from tree-structured long short-term memory networks[J].Computer Science，2015.

[23]Yang Z，Yang D，Dyer C，et al.Hierarchical attention networks for document classification[C]//Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies，2016.

[24]胡新辰.基于LSTM的語義關系分類研究[D].哈爾濱：哈爾濱工業大學，2015.

[25]Mnih V，Heess N，Graves A，et al.Recurrent models of visual attention[J].Computer Science，2014，3：2204-2212.

[26]Bahdanau D，Cho K，Bengio Y.Neural machine translation by jointly learning to align and translate[J].arXiv preprint arXiv：1409.0473，2014.

[27]張沖.基于Attention-Based LSTM模型的文本分類技術的研究[D].南京：南京大學，2016.

[28]Chung J，Gulcehre C，Cho K H，et al.Empirical evaluation of gated recurrent neural networks on sequence modeling[J].Eprint Arxiv，2014.

[29]Tang D，Qin B，Liu T.Document modeling with gated recurrent neural network for sentiment classification[C]//Conference on Empirical Methods in Natural Language Processing，2015：1422-1432.

[30]來斯惟.基于神經網絡的詞和文檔語義向量表示方法研究[D].北京：中國科學院研究生院，2016.