基于LSTM-CNN的中文短文本分類模型

杜雪嫣 王秋實 王斌君

一、研究現狀

國內外的諸多研究學者在文本分類方面已經取得了一些研究成果，Kim將單詞轉變為詞向量，并將其嵌入卷積神經網絡，在情感分類中取得了良好效果①Y. Kim, “Convolutional Neural Networks for Sentence Classification”, Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), Doha, Qatar, 2014, pp.1746-1751.；Santos等人以英文字符序列為基礎，將待分類的文本劃分為不同的處理單元，分別提取單詞級和句子級的特征向量，提高了英文文本分類的準確性②Santos C. N, Gatti M. A, “Deep convolutional neural networks for sentiment analysis of short texts”, Proc of International Conference on Computational Linguisttics, 2014, pp. 69-78.；劉龍飛等人提取字級別的特征來對微博文本進行分類，進一步提高了微博文本分類的準確率③劉龍飛等：《基于卷積神經網絡的微博情感傾向性分析》，《中文信息學報》2015年第6期。。本文針對中文及短文本的特點，研究了LSTM、CNN以及其參數調優問題，并通過大量實驗，構建了一個適用于中文短文本分類的基于 LSTM-CNN的文本分類模型。與現有方法進行的對比實驗表明，該方法非常適合中文短文本分類，有較高的準確率。

二、基于LSTM-CNN的短文本分類架構

本文所構建的基于LSTM-CNN的中文短文本分類模型包括LSTM層、輸入層、卷積層、池化層以及全連接層，其結構圖如下圖所示。

中文短文本分類模型結構圖

下面分別闡述LSTM層、輸入層、卷積層、池化層以及全連接層的設計思路。

一是LSTM層。LSTM層的作用主要是接收輸入的詞向量，并從中提取到有用的語義特征。由于句子中的每個詞所表達的含義并不僅取決于這個詞的含義，而且取決于這個詞上下文的含義，因此直接將詞向量輸入到卷積神經網絡提取局部特征可能會導致語義信息的丟失。通過LSTM層的處理，在輸入到卷積層的信息中，不僅包含了詞向量的原始信息，還包括了輸入文本的語義信息，這樣卷積層就能提取到更加豐富的局部信息，提高模型分類的準確率。……