基于注意力機制的卷積 雙向長短期記憶模型跨領域情感分類方法

龔琴 雷曼 王紀超 王保群

摘 要：針對現有跨領域情感分類方法中文本表示特征忽略了重要單詞的情感信息，且在遷移過程中存在負遷移的問題，提出一種基于注意力機制的卷積 雙向長短期記憶（AC-BiLSTM）模型的知識遷移方法。首先，利用低維稠密的詞向量對文本進行向量表示;其次，采用卷積操作獲取局部上下文特征之后，通過雙向長短期記憶（BiLSTM）網絡充分考慮特征之間的長期依賴關系;然后，通過引入注意力機制考慮不同詞匯對文本的貢獻程度，同時為了避免遷移過程中出現負遷移現象，在目標函數中引入正則項約束;最后，將在源領域產品評論訓練得到的模型參數遷移到目標領域產品評論中，并在少量目標領域有標注數據上進行微調。實驗結果表明，與AE-SCL-SR方法和對抗記憶網絡（AMN）方法相比，AC-BiLSTM方法的平均準確率分別提高了6.5%和2.2%，AC-BiLSTM方法可以有效地提高跨領域情感分類性能。

關鍵詞：情感分類;跨領域;遷移學習;注意力機制;長短期記憶網絡

中圖分類號：?TP181; TP389.1

文獻標志碼：A

Cross-domain sentiment classification method of convolution-bi-directional long short-term memory based on attention mechanism

AC-BiLSTM model

GONG Qin*， LEI Man， WANG Jichao， WANG Baoqun

School of Communication and Information Engineering， Chongqing University of Posts and Telecommunications， Chongqing 400065， China

Abstract：?Concerning the problems that the text representation features in the existing cross-domain sentiment classification method ignore the sentiment information of important words and there is negative transfer during transfer process， a Convolution-Bi-directional Long Short-Term Memory based on Attention mechanism （AC-BiLSTM） model was proposed to realize knowledge transfer. Firstly， the vector representation of text was obtained by low-dimensional dense word vectors. Secondly， after local context features being obtained by convolution operation， the long dependence relationship between the features was fully considered by Bi-directional Long Short-Term Memory （BiLSTM） network. Then， the contribution degrees of different words to the text were considered by introducing attention mechanism， and a regular term constraint was introduced into the objective function in order to avoid the negative transfer phenomenon in transfer process. Finally， the model parameters trained on source domain product reviews were transferred to target domain product reviews， and the labeled data in a small number of target domains were fine-tuned. Experimental results show that compared with AE-SCL-SR （AutoEncoder Structural Correspondence Learning with Similarity Regularization） method and Adversarial Memory Network （AMN） method， AC-BiLSTM method has average accuracy increased by 6.5% and 2.2% respectively， which demonstrates that AC-BiLSTM method can effectively improve cross-domain sentiment classification performance.

Key words：?sentiment classification; cross-domain; transfer learning; attention mechanism; Long Short-Term Memory （LSTM） network

0 引言

隨著互聯網的蓬勃發展，互聯網信息呈現爆炸式增長，京東、天貓、淘寶、亞馬遜等大型電子商務網站迅速發展，網上購物也因此受到了越來越多人的青睞。為了提高用戶滿意度，網絡商家通常允許用戶對其所購買的商品進行評價，這導致商品評價數量與日俱增。挖掘并分析評論文本中的情感傾向，不僅可以優化用戶的購買決策，而且能夠幫助生產商和銷售商通過反饋信息來改進產品，從而提高市場競爭力，因此，情感分析（Sentiment Analysis， SA）[1]應運而生。

情感分析，又稱為意見挖掘，它是利用自然語言處理（Natural Language Processing， NLP）、文本分析、機器學習等技術自動分析商品評論的文本內容，挖掘出消費者對該商品的褒貶態度和意見[2]。然而，當訓練集和測試集不屬于同一領域時，典型的有監督情感分類方法的效果就變得很差。這是由于訓練集里有強烈情感傾向性的詞語在測試集里呈現微弱的情感傾向性，由此產生了跨領域情感分類（Cross-Domain Sentiment Classification， CDSC）問題。隨著評論文本的不斷增加、新興領域的不斷涌現，需要大量的人力來標注訓練集，這是費時費力的，因此研究跨領域的情感分類具有十分重要的研究價值。

跨領域情感分類的研究主要集中于從一個或多個源領域訓練得到分類器并且應用在不同的目標領域進行訓練。當前存在的技術主要包含兩類：1）通過目標領域中少量標注數據來輔助訓練;2）目標領域均是未標注數據。本文主要針對第一類進行研究。

近年來，遷移學習已經在學術界和工業界引起了廣泛的關注和研究。其中，領域自適應（Domain Adaptation， DA）是遷移學習中的一種代表性方法，通過利用信息豐富的源領域樣本來提升目標領域模型的性能。然而在領域自適應實際應用中常常存在概念漂移[3]和特征漂移[4]的問題。比如，不同領域特征分布差異太大將會導致情感分類模型在跨領域應用中分類效果下降，同時在不同領域下相同的特征可能代表相反的情感。

為了解決跨領域所存在的概念漂移（特征漂移）問題，本文選擇亞馬遜網站中4個領域產品評論作為實驗數據，以情感分析作為研究任務，提出一種基于注意力機制的卷積 雙向長短期記憶模型（Convolution-Bi-directional Long Short-Term Memory based on Attention mechanism， AC-BiLSTM）以實現不同領域環境下的知識遷移。

1 相關工作

情感分類是自然語言處理領域的一個研究熱點，受到了學術界和工業界的高度關注。文獻[5-6]總結了以往的情感分類研究技術及其所使用的數據集。然而這些研究主要集中在單一領域，隨著數據量的快速增長，要想在跨領域環境下構建一個具有魯棒性和普遍性的情感分類器變得十分困難，這激勵研究者去分析跨領域數據的情感極性，即跨領域情感分類。

以往展開的大多數研究都是采用特征遷移[7]來實現，它致力于解決源領域與目標領域特征空間存在差異的問題，主要通過把各個領域的數據映射到同一空間下，使源領域與目標領域具有相同的分布，并利用源領域中的訓練數據來解決目標領域的學習問題[8]。其中，Blitzer等[9]提出的結構對應學習（Structural Correspondence Learning， SCL）模型是經典的方法，該模型利用源領域和目標領域部分樞紐特征，構造樞紐特征與非樞紐特征的關聯模型，在此基礎上，構造基于樞紐特征和非樞紐特征的特征空間，用于情感分類任務;Pan等[10]提出譜特征對齊（Spectral Feature Alignment， SFA），首先構造領域樞紐特征與非樞紐特征的二分圖，然后在二分圖上利用譜聚類獲取新的特征表達，最后在新的特征上構造分類器;文獻[11]使用主成分分析法（Principal Component Analysis， PCA）進行特征選擇，然后用樸素貝葉斯（Naive Bayes， NB）進行情感分類;文獻[12]采用半監督方式，結合改進的最大熵（Maximum Entropy， ME）模型與二分圖聚類模型，針對情感詞分類取得了相對較好的準確率;文獻[13]中提出一種基于短文本特征擴展的遷移學習模型——CATL-PCO（Correlation Analysis Transfer Learning-Probability Co-Occurrence）以解決古代詩歌這類短文本的情感分析問題。然而這些方法使用專家設計的規則或者n-gram進行句子的特征提取，通常未考慮到上下文之間的關系和重要單詞的情感信息，因此不能較好地表示跨領域大規模數據。

隨著深度學習研究工作的開展，深度學習被廣泛應用于圖像分類、語音識別和自然語言處理等領域[14-15]。近年來，有研究者提出將深度學習用來學習跨領域場景下情感分類的公有特征和共享參數的方法，這些方法取得了顯著的成就。Glorot等[16]利用堆疊降噪自編碼器（Stacked Denoising Autoencoder， SDA）對多個領域的未標注數據進行預訓練，結合源領域的標注數據和預訓練模型來訓練情感分類模型;Chen等[17]提出邊緣降噪自動編碼器（marginalized SDA， mSDA），它保留了強大的特征學習能力并且解決了高昂的計算成本和SDA的可擴展性問題;隨后，許多SDA的擴展方法被提出以提高跨領域情感分類的性能[18-19]。然而這些方法缺乏可解釋性，即無法證明網絡是否充分學習到了樞紐特征。

為了提高深度學習的可解釋能力，Ganin等[20]提出域對抗神經網絡（Domain Adversarial Neural Network， DANN）來解決跨領域情感分類問題;文獻[21]中提出AE-SCL-SR（AutoEncoder Structural Correspondence Learning with Similarity Regularization）算法，結合自編碼和結構對應學習的優勢來提高跨領域情感分類的性能;Li等[22]提出對抗記憶網絡（Adversarial Memory Network， AMN）模型，利用注意力機制來自動捕獲樞紐特征從而實現跨領域情感分類。

2 AC-BiLSTM模型跨領域情感分類方法

2.1 問題定義

為了解決跨領域情感分類問題，本文給出問題定義：給定已標記情感的源領域DS={（XSi，γSi）}nS n的下標是小寫s，還是大寫S？應該為大寫S吧？與其他處的書寫保持一致。 i=1和無標記情感的目標領域DT={（XTj）}nTj=1。其中，nS和nT分別表示源領域DS 此處的s，應為大寫S吧？ 和目標領域DT的評論數量，XSi和XTj分別表示源領域DS和目標領域DT的第i和j條評論，γSi為XSi對應的情感標簽，γSi∈{+1，-1}，+1和-1分別為正向情感標簽和負向情感標簽。本文研究的目標是利用源領域DS的有標簽評論XSi訓練一個分類器來預測目標領域DT的無標簽評論XTj的情感標簽γTj。

2.2 相關概念

互聯網上商品評論文本中的特征可分為兩類：1）樞紐特征。源領域和目標領域中的公共特征，表示兩個領域的一些公共知識。2）非樞紐特征。在某一領域多次出現而在另一個領域很少出現或不出現的特征。例如，“great”或“terrible”等特征在不同領域中表達的情感相似，在亞馬遜網站的商品評論中，在源領域和目標領域都高頻出現，這些特征被稱為樞紐特征。表1給出了亞馬遜網站商品評論中，Books和Kitchen兩個領域的評論。

2.3 AC-BiLSTM模型

AC-BiLSTM模型如圖1所示。該模型主要包含5個步驟：

步驟1? 采用詞向量進行文本表示;

步驟2? 利用卷積操作獲取局部特征;

步驟3? 利用BiLSTM模型充分考慮到特征之間的長期依賴關系;

步驟4? 引入注意力機制表示不同特征的重要性;

步驟5? 利用分類器進行情感分類。

作為詞向量嵌入層，通過Word2Vec[23]預訓練的低維稠密的詞向量對詞向量嵌入層的權重進行初始化，并采用均勻分布U（-0.01，0.01）對未登錄詞進行向量初始化。嵌入層矩陣形式為 x ∈ R n×k，一條評論可以向量化為：

x1：n= x 1⊕ x 2⊕…⊕ x n （1）

其中：n為一條評論的長度，k為詞向量的維度， x i為句子中第i個詞的向量表示，⊕為連接運算符。

卷積層? 卷積核的作用在于通過窗口滑動得到輸入數據的局部特征，卷積濾波器 m ∈ R h×k是指對窗口為h的k維詞向量進行卷積操作。一條評論中第i個詞的新的特征表示如下：

si=f（ m T· x i：i+h-1+ b ） （2）

其中： m T和 b 分別為權值和閾值， f為非線性激活函數ReLU（Rectified Linear Unit）。評論的特征表達為：

S =[s1，s2，…，sn-h+1];? S ∈ R n-h+1 （3）

該層的輸出 y i∈ R p由每個特征映射的第i維連接而成，如下所示：

y i= S i1⊕ S i2⊕…⊕ S ip （4）

LSTM模型由三個門（輸入門 i t、遺忘門 f t、輸出門 o t）和一個記憶單元（ c t）構成，通過這三個門對內部記憶進行選擇性的輸入、輸出和遺忘操作，能夠有效地克服梯度爆炸或梯度消失缺陷。LSTM可表示為：

i t=σ（ W iy y t+ W ih h t-1+ b i） （5）

f t=σ（ W fy y t+ W fh h t-1+ b f） （6）

o t=σ（ W oy y t+ W oh h t-1+ b o） （7）

c t= f t⊙ c t-1+ i t⊙ tanh（ W cy y t+ W ch h t-1+ b c） （8）

h t= o t⊙ tanh（ c t） （9）

其中： h t為t時刻的隱藏狀態;σ為激活函數Sigmoid; y t為t時刻的輸入詞向量; W 和 b 分別為權值和閾值，均為模型訓練參數;⊙為逐點乘積。

雖然LSTM能夠解決長期依賴的問題，但是它并沒有利用文本的下文信息，因此本文采用BiLSTM模型同時考慮文本的上下文信息，其工作原理為：通過兩個LSTM來得到時序相反的隱藏層狀態并將其通過連接方式得到同一個輸出，前向LSTM和后向LSTM分別獲取輸入序列的上文信息和下文信息，BiLSTM模型能夠有效地提高準確率。BiLSTM在t時刻的隱藏狀態 H t包含前向的 h forwardt和后向的 h backwardt，如下所示：

h forwardt=LSTMforward（ h t-1， x t， c t-1） （10）

h backwardt=LSTMbackward（ h t-1， x t， c t-1） （11）

H t=[ h forwardt， h backwardt] （12）

將BiLSTM的輸出 H t當作文本的特征向量。

對于情感分類任務而言，句子中的情感詞在整個句子的情感傾向性判別上具有十分關鍵的作用，因此，提出AC-BiLSTM模型，通過引入注意力機制[24]計算出文本中每個單詞的注意力權重，使得情感詞所在時刻的隱藏狀態對情感分類有更大的貢獻。

在AC-BiLSTM模型中，首先在每個時刻都將得到一個表示該時刻隱藏狀態 H t所占的注意力權重αt，最后通過加權累加得到用于情感分類的隱藏狀態 v ，可表示為：

u t=tanh（ W att H t+ b att） （13）

αt= exp（ u Tt u w） ∑ t? exp （ u Tt u w）

（14）

v =∑ t αt h??? ^?? t （15）

其中： u t為 H t的隱藏單元; u w為上下文向量，被隨機初始化并在訓練中不斷學習更新; W att和 b att均為注意機制參數;αt∈[0，1]為 H t的權重且∑ t αt=1。

最后，將注意力機制輸出 v 輸入到softmax函數進行情感分類，分類結果為：

=softmax（ w s v + b s） （16）

本文采用交叉熵作為損失函數。交叉熵損失函數公式如下：

Loss=-∑ i yi log? i+λ‖θ‖2 （17）

其中：yi為實際類別; i為預測類別;λ‖θ‖2為正則項，防止發生過擬合現象同時避免負遷移。

AC-BiLSTM模型在源領域數據進行訓練，訓練好的模型表示為NS。為了實現遷移，本文還構造了另一個模型NT，這兩個模型神經網絡結構一致。首先將在NS訓練好的參數對NT對應層進行初始化;然后凍結NT的詞向量層，NT其余層的參數在目標領域含有少量標注的數據上進行微調;最后將訓練好的NT模型用來對目標領域進行預測。跨領域情感分類框架如圖2所示。

3 實驗結果及分析

3.1 數據集及參數設置

本文進行仿真實驗所采用的數據集是賓夕法尼亞大學Blitzer等[9]收集的多領域情感數據集，具體包括：Books（B）、DVD（D）、Electronics（E）和Kitchen（K）4個領域。其中，每個領域包含正、負評論各1000條，另外還包含大量的未標注數據。分別將各領域正負評論通過五折交叉驗證劃分為訓練集和驗證集。多領域情感數據集的統計信息如表2所示。

為了訓練一個較好的模型，模型參數的設置十分重要，表3是本文方法的參數設置。

3.2 評價指標

本文主要通過準確率（Accuracy）來評估情感分類的性能。計算公式如下所示：

Accuracy= 1 N ∑ N i=1 ?| yi= i |

（18）

其中： i表示xi的預測標簽，yi則表示xi的實際標簽，N表示測試集的大小。

3.3 實驗分析

將本文提出的AC-BiLSTM模型的跨領域情感分類方法與以下8種方法進行比較來驗證所提方法的有效性。

1）NoTransf（No Transfer）：源領域訓練的分類器直接用于目標領域。

2）SCL-MI（Structural Correspondence Learning Mutual Information）[7]：首先采用互信息（Mutual Information， MI）構造出樞紐特征，最后分別計算源領域、目標領域樞紐特征與非樞紐特征之間的相關性。

3）SFA（Spectral Feature Alignment）[10]：首先基于共現關系構建領域特定詞匯和通用詞匯的二分圖，然后在二分圖上進行譜聚類獲取新的特征表示，最后在新的特征上構造分類器。

4）SS-FE（Feature Ensemble Sample Selection）[11]：使用主成分分析法進行特征選擇，然后用樸素貝葉斯算法進行情感分類。

5）DANN（Domain Adversarial Neural Network）[20]：利用域對抗神經網絡來實現跨領域情感分類。

6）DAmSDA（Domain Adversarial Stacked Denoising Autoencoders）[20]：它是DANN的一種改進方法，從邊緣堆疊去噪自編碼中獲得特征表達。

7）AE-SCL-SR（AutoEncoder SCL with Similarity Regularization）[21]：結合自編碼和結構對應學習的優勢來提高跨領域情感分類的性能。

8）AMN（Adversarial Memory Network）[22]：利用對抗記憶網絡實現跨領域情感分類。

表4是上述各種方法的分類準確率對比結果。可以看出，本文提出的AC-BiLSTM模型在各個情感分析任務中的準確率均是最高的，平均準確率達到了83.3%。與NoTransf方法相比，AC-BiLSTM模型的平均分類準確率提升了13.6%，原因在于NoTransf方法容易受到文本稀疏性的影響，所以平均分類準確率相對較低;

與SCL-MI、SFA和SS-FE方法相比，AC-BiLSTM模型的平均分類準確率分別提升了12.1%、6%和7.3%，因為SCL-MI、SFA和SS-FE的性能取決于樞紐的特征選擇方式，這將不能準確地捕獲樞紐特征，因此它們的平均分類準確率相對很低;

與DANN、DAmSDA和AE-SCL-SR方法相比，AC-BiLSTM模型的平均準確率分別提高了11.4%、9.3%和6.5%;

與分類效果較佳的AMN方法相比，AC-BiLSTM的平均分類準確率提升了2.2%。

從表4的對比結果可以看出，在跨領域情感分類中，Kitchen和Electronics領域之間的準確率相對其他領域來說較高，這說明Kitchen和Electronics特征分布最相似，領域自適應效果最佳。同時，從各個方法的平均分類準確率可以看出遷移學習的效果均優于沒有進行遷移的情況，這說明遷移學習能夠有效地提高分類準確率。

由表4還可以看出，與NoTransf方法相比，AC-BiLSTM模型在12個跨領域情感分類任務中分別提升了15.2%、16%、15.6%、10.3%、12.5%、12.8%、17%、17.1%、6.4%、13.7%、16.7%、11.7%，特別是D → E這個分類任務中，提升了17.1%。

本文方法優于其他對比方法的原因在于：NS模型能夠自動學習有助于情感分類任務的特征表示，并且源領域和目標領域可以共享該特征;將NS中遷移過來的參數在少量目標領域數據上進行微調能夠強化NT模型去學習對目標領域分類任務有利的特征，從而提高預測精度;卷積操作能夠有效捕獲局部上下文特征，BiLSTM能夠考慮特征之間的語義長短期依賴關系;通過引入注意力機制，充分考慮到不同詞匯對文本的貢獻程度，這將進一步提高分類精度。

圖3表示準確率和交叉熵損失值隨著迭代次數增加而變化的曲線。可以看出，本文提出的模型具有對領域自適應的充分性，同時在交叉熵損失值和分類準確率之間存在較強的相關性，隨著迭代次數的增加，準確率整體呈現上升趨勢，而交叉熵損失值整體呈現下降趨勢。

4 結語

本文提出了一種AC-BiLSTM模型來進行跨領域情感分析研究。該模型通過引入注意力機制充分考慮到重要單詞的情感信息，同時為了避免發生負遷移現象，在目標函數中加入了正則項約束。在公開的大規模產品評價數據集上的實驗結果表明，所提出的AC-BiLSTM模型可以有效地提高跨領域情感分類的性能。從整體上來看，本文方法在各個領域下的準確率均優于對比方法。

本文方法的局限性在于語料庫的選擇主要局限于英文。在后續研究中，將利用中文語料庫來驗證模型，并在領域跨度更大的環境（例如電子產品與餐飲類評論）中進一步驗證模型的效果;同時，下一步還需要將該模型應用到實際工程中。

參考文獻 （References）

[1]?AGARWAL B， MITTAL N， BANSAL P， et al. Sentiment analysis using common-sense and context information [J]. Computational Intelligence and Neuroscience， 2015， 2015（78）： Article No. 30.

[2]?陳龍，管子玉，何金紅，等.情感分類研究進展[J].計算機研究與發展，2017，54（6）：1150-1170. （CHEN L， GUAN Z Y， HE J H， et al. A survey on sentiment classification [J]. Journal of Computer Research and Development， 2017， 54（6）： 1150-1170.）

[3]?GAMA J， LIOBAITE I， BIFET A， et al. A survey on concept drift adaptation [J]. ACM Computing Surveys， 2014， 46（4）： Article No. 44.

[4]?BARDDAL J P， GOMES H M， ENEMBRECK F， et al. A survey on feature drift adaptation： definition， benchmark， challenges and future directions [J]. Journal of Systems and Software， 2017， 127（52）： 278-294.

[5]?MOHAMED HUSSEIN D M E D. A survey on sentiment analysis challenges [J]. Journal of King Saud University — Engineering Sciences， 2018， 30（4）： 330-338.

[6]?RAVI K， RAVI V. A survey on opinion mining and sentiment analysis： tasks， approaches and applications [J]. Knowledge-Based Systems， 2015， 89（17）： 14-46.

[7]??BLIZER J， DREDZE M， PEREIRA F. Biographies， bollywood， ?boom-boxes and blenders： domain adaptation for sentiment classification [C]// Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics. Stroudsburg， PA： ACL， 2007： 440-447.

[8]?莊福振，羅平，何清，等.遷移學習研究進展[J].軟件學報，2015，26（1）：26-39. （ZHUANG F Z， LUO P， HE Q， et al. Survey on transfer learning research [J]. Journal of Software， 2015， 26（1）： 26-39.）

[9]?BLITZER J， McDONALD R， PEREIRA F. Domain adaptation with structural correspondence learning [C]// Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： ACL， 2006： 120-128.

[10]?PAN S J， NI X， SUN J T， et al. Cross-domain sentiment classification via spectral feature alignment [C]// Proceedings of the 19th International Conference on World Wide Web. New York： ACM， 2010： 751-760.

[11]?XIA R， ZONG C， HU X， et al. Feature ensemble plus sample selection： domain adaptation for sentiment classification [J]. IEEE Intelligent Systems， 2013， 28（3）： 10-18.

[12]?DESHMUKH J S， TRIPATHY A K. Entropy based classifier for cross-domain opinion mining [J]. Applied Computing and Informatics， 2018， 14（1）： 55-64.

[13]?吳斌，吉佳，孟琳，等.基于遷移學習的唐詩宋詞情感分析[J].電子學報，2016，44（11）：2780-2787. （WU B， JI J， MENG L， et al. Transfer learning based sentiment analysis for poetry of the Tang dynasty and Song dynasty [J]. Acta Electronica Sinica， 2016， 44（11）： 2780-2787.

[14]?QIN B， LIU T， TANG D. Deep learning for sentiment analysis： successful approaches and future challenges [J]. Wiley Interdisciplinary Reviews： Data Mining and Knowledge Discovery， 2015， 5（6）： 292-303.

[15]?SCHMIDHUBER J. Deep learning in neural networks： an overview [J]. Neural Networks， 2015， 61（27）： 85-117.

[16]??GLOROT X， BORDES A， BENGIO Y. Domain adaptation for? large-scale sentiment classification： a deep learning approach [C]// Proceedings of the 28th International Conference on Machine Learning. New York： ACM， 2011： 513-520.

[17]?CHEN M， XU Z， WEINBERGER K Q， et al. Marginalized denoising autoencoders for domain adaptation [C]// Proceedings of the 29th International Conference on Machine Learning. New York： ACM， 2012： 1627-1634.

[18]?CLINCHANT S， CSURKA G， CHIDLOVSKII B. A domain adaptation regularization for denoising autoencoders [C]// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： ACL， 2016： 26-31.

[19]?PENG Y， WANG S， LU B L. Marginalized denoising autoencoder via graph regularization for domain adaptation [C]// Proceedings of the 2013 International Conference on Neural Information Processing， LNCS 8227. Berlin： Springer， 2013： 156-163.

[20]?GANIN Y， USTINOVA E， AJAKAN H， et al. Domain-adversarial training of neural networks [J]. Journal of Machine Learning Research， 2015， 17（1）： 2096-2030.

[21]?ZISER Y， REICHART R. Neural structural correspondence learning for domain adaptation [C]// Proceedings of the 21st Conference on Computational Natural Language Learning. Stroudsburg， PA： ACL， 2017： 400-410.

[22]?LI Z， ZHANG Y， WEI Y， et al. End-to-end adversarial memory network for cross-domain sentiment classification [C]// Proceedings of the 2017 International Joint Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2017： 2237-2243.

[23]?MIKOLOV T， CHEN K， CORRADO G， et al. Efficient estimation of word representations in vector space [C]// Proceedings of the 2013 International Conference on Learning Representations. Stroudsburg， PA： ACL， 2013： 1-12.

[24]?BAHDANA D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate [C]// Proceedings of the 3rd International Conference on Learning Representations. San Diego， CA： [s.n.]， 2015： 1-15.