基于ERNIEBiGRU模型的中文文本分類方法

雷景生, 錢 葉

(上海電力大學 計算機科學與技術學院, 上海 200082)

文本分類是自然語言處理領域中非常重要的一部分。其研究內容主要包括新聞文本的類別劃分和情感分析。得益于網絡媒體的迅速發展,使得該領域的研究具備海量文本數據的支持,這些數據蘊含著豐富的信息。如何管理這些數據,并從中準確高效地獲取有價值的信息,這是目前很多研究者關注的問題[1]。

近年來,對于文本分類的研究已經取得了不錯的進展。PANG B等人[2]利用詞袋模型,結合貝葉斯、最大熵、支持向量機等分類器對電影評論數據進行情感分類,并取得了較好的結果。但隨著技術的更新,淺層的分類模型在分類任務中無法很好地保留文本上下文信息的問題逐漸暴露出來,因此研究者開始將目光轉向對深度學習模型的研究。

深度學習模型強調模型結構的深度和對特征的學習,因而廣泛應用于圖像領域的研究[3]。YANN L C等人[4]將卷積神經網絡(Convolutional Neural Network,CNN)應用于文本分類任務中,顯著地提升了文本分類的準確率。MIKOLOV T等人[5]提出將循環神經網絡(Recurrent Neural Network,RNN)應用于文本分類任務中,相較于CNN利用卷積層提取特征,RNN在當前時間的輸出是由上一時間的輸出和當前時間的輸入共同決定的,所以能更好地學習該詞上下文的信息。但是隨著時間序列的增長,RNN模型容易出現梯度消失和梯度爆炸的問題。

為了解決RNN結構上的缺陷,基于RNN的各種變體不斷出現,如長短期記憶神經網絡[6](Long Short-Term Memory,LSTM)、門限循環單元[7](Gated Recurrent Unit,GRU)等,并在自然語言任務中取得了不錯的結果。……