NLP文本分類深度學習方法庫建立研究

朱茜敏

摘? 要：人工智能技術的推動下，深度學習與NLP的聯系更為緊密，并推動了NLP的進一步發展。本文就如何打造NLP文本分類深度學習方法庫進行了回顧性的分析，對其建模原理及模型細分進行了總結，將為這一研究的深入提供一定的參考。

關鍵詞：深度學習;NLP;方法庫

隨著NLP（神經語言程序學）研究的不斷深入，其重要的應用價值開始在機器翻譯、情感分析、智能問答、文摘生成、文本分類、輿論分析、知識圖譜等領域有所體現^[1]。與此同時，以深度學習技術為核心的人工智能得到了廣泛的關注，成為一個新的研究熱點。這一技術與PLB的耦合，推動了NLP的新發展。打造神經語言程序學文本分類深度學習數據庫即NLP文本分類深度學習方法庫作為其中的基礎環節成為研究中的一個重點。NLP文本分類深度學習方法庫建立的目的可為探索以深度學習為主要技術的NLP分類方法提供海量的研究資源，這一學習方法庫還具有文本分類的各種基準模型。同時NLP文本分類深度學習庫也支持多標簽的分類，且這些標簽與句子或文檔可以形成一定的關聯。這些模型的建立將使得后續的研究有了重要的支點。在實踐中發現，打造NLP文本庫的過程中，有一些較為經典的模型是比較適合作為學習庫的基準模型。

在此次研究的過程中，采用兩個 seq2seq模型進行文本分類，每個模型之下都設置有一個函數予以測試。兩個 seq2seq模型也可以在文本分類的過程中生成序列或其它任務。在文本分類的過程中，若需完成的分類任務是多標簽的分類工作，這時候就可以將工作以序列生成的方式來進行。在這一研究中基本達成了一個記憶網絡的建設^[2]。其中以recurrent entity network（循環實體網絡）來追蹤狀態，以blocks of key-value pairs（它用鍵值對塊）為記憶并進行運行，并在這一功能的支持下實現對新狀態的獲取。構建后的NLP文本分類深度學習模型可以實現使用歷史或上下文來回答建模的問題。例如，在測試中可以讓NLP文本分類深度學習模型來讀取句子作為文本，并提出一個問題來查詢，而后可實現NLP文本分類深度學習模式的答案預測。若這一過程轉化為向NLP文本分類深度學習模型提供一些素材資源，這時NLP文本分類深度學習模型便能夠完成研究意義上的分類工作^[3]。

1NLP文本分類深度學習方法庫模型

1.1模型

fast Text（快速文本模型）：這一模型主要用于高效文本分類技巧上的研究，在運行中使用 bi-gram，具有較高的速度優勢。

Text CNN（文本卷積神經網絡）：這一模型主要用于句子分類的卷積神經網絡的實現，在結構上利用從降維到conv再到最大池化，最終到softmax。

Text RNN（文本循環神經網絡）：這一模型在結構上與文本卷積神經網絡有一定的不同，是從降維到雙向的lstm到concta輸出，最終到softmax。

RCNN（循環卷積神經網絡）：這一模型在結構上與文本循環神經網絡基本相同，在輸入項上進行了特殊的設計，采用EOS將兩個問題隔開。

Hierarchical Attention Network（分層注意網絡）：這一墨香在結構上采用降維→詞編輯器→詞注意→句子編輯器→句子注意→FC + Softmax。

seq2seq with attention（具有注意的 Seq2seq 模型）：這一模型在結構上主要有三層，降維→ bi-GRU→具有注意的解碼器。

Transformer：這一模型主要有編碼器和解碼器兩大部分組成，具有在多向自我注意等方面的突出優勢。

Recurrent Entity Network（循環實體網絡）：這一模型在型號結構上也是分為三個層次，即輸入編碼，動態記憶，輸出。

BiLstm Text Relation（雙向長短期記憶網絡文本關系）：這一模型在結構上與文本循環神經網絡基本相同，在輸入項上進行了特殊的設計，采用EOS將兩個問題隔開。

Two CNN Text Relation（兩個卷積神經網絡文本關系）：這一模型采用不同的卷積來實現對句子特征的提取，然后在通過函數使目標標簽完成飲食，然后使用softmax。

BiLstm Text Relation Two RNN（雙長短期記憶文本關系雙循環神經網絡）：這一模型在結構上采取不同句子的雙向lstm獲取，最終由softmax輸出。

1.2性能

2 NLP文本分類深度學習方法庫的用途

2.1用途

此次研究中的NLP文本分類深度學習方法庫建立在 xxx_model.py之上。在訓練階段采用 python xxx_train.py來進行，進入測試階段之后，可使用 python xxx_predict.py 來進行。快速文本模型、文本卷積神經網絡、循環卷積神經網絡、分層注意網絡等模型下都有測試方法，可通過此來實現對模型的檢驗^[4]。

2.3環境

該項學習庫建立之后的運行環境為python 2.7+tensorflow 1.1或tensorflow 1.2。

3結束語

作為人工智能研究的一個重要分支，打造NLP文本分類深度學習方法庫正在不斷的探索當中，隨著信息技術、大數據技術及人工智能技術逐步由設想變為應用，這一過程也將會進一步的提速。相信在未來的探索中，這一技術模型在獲得突破的同時，將為人類社會的發展帶來新的福音。

參考文獻

[1]? 王臣博.深度學習在自然語言處理NLP中的應用研究[J].新商務周刊，2020，（4）：226.

[2]? 周向明，貝聿運.基于機器深度學習的智能材料預審模型構建[J].科學與信息化，2020，（14）：11-12.

[3]? 徐子淇，李煜.打造NLP文本分類深度學習方法庫[J].機器人產業，2017，（5）：50-57. .

[4]? 馬立紅，覃丹，林強，等.基于NLP方法的配電網項目關鍵指標智能化提取[J].自動化與儀器儀表，2019，（4）：129-133.