自然語言處理中的深度學習分析方法及應用

鮑舒恬

（北京語言大學信息科學學院，北京，100083）

引言

目前，基于深度學習技術而面向自然語言的處理任務為該領域提供了許多新的研究思路與方向。自然語言處理技術作為一種交叉學科出現(xiàn)，研究中既包含有最主要的計算機科學，同時也涉及到人工智能學、語言學以及心理學、邏輯學等重要領域。在研究方面，人工智能為了能夠對自然語言進行處理，必須具備實體識別、機器翻譯、詞性標注等能力，因此需要選用專門的深度學習方法。

1 人工智能領域自然語言處理的深度學習方法

1.1 前饋神經(jīng)網(wǎng)絡應用

前饋神經(jīng)網(wǎng)絡（Feed Forward Neural Network,FNN）又被稱為多層感知機模型，這種神經(jīng)網(wǎng)絡模型主要應用于多任務環(huán)境之中。但是隨著處理環(huán)境的復雜化，模型內部結構的復雜程度也逐漸提高，很可能導致神經(jīng)網(wǎng)絡訓練困難。而在圖形處理技術的突破下，前饋神經(jīng)網(wǎng)絡被再次提起，且開始廣泛應用于自然語言處理。在計算機技術領域，前饋神經(jīng)網(wǎng)絡當中的反向傳播算法（Back Propaganda）能夠在深度學習過程中對不同層級之間存在的錯誤驅動進行優(yōu)化，最終完成對網(wǎng)絡參數(shù)的調整。

卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network,CNN）作為一種FNN已成為了主流模型之一，相較于其他模型它可以使用卷積核來擴展描述空間，增加模型深度，并且訓練過程中所需要調整的參數(shù)也較少，進行自然語言處理時，通常將文本中的句子向量化為矩陣，卷積后得到句向量特征。

1.2 遞歸神經(jīng)網(wǎng)絡

在技術的發(fā)展中前饋神經(jīng)網(wǎng)絡受到技術制約形成瓶頸，導致其只能單獨處理一個輸入。為了提高神經(jīng)網(wǎng)絡的處理系列數(shù)據(jù)的能力，技術人員希望通過遞歸神經(jīng)網(wǎng)絡（Recurent Neural Network,RNN）來對時間遞歸結構進行表達，從而使數(shù)據(jù)學習能夠擁有明確的時間序列關系，同時使訓練模型擁有記憶性，將前后的輸入關聯(lián)起來。在RNN當中，為了能夠完成深度學習的建模，需要通過包含三個隱含層的神經(jīng)網(wǎng)絡進行模型組建。在時序信息方面，不同的時刻都可以依照隱含層當中所含有的激活值（Activation）進行遞歸，從而形成具有輸入層到隱含層連接權的權值參數(shù)矩陣，并能夠計算得出偏置向量（Bias Vector）以及激活函數(shù)（activation function）[1]。根據(jù)RNN的特征，可以實現(xiàn)損失函數(shù)的時域反向傳播，最終再借助低度下降發(fā)完成學習網(wǎng)絡參數(shù)的確定。這種神經(jīng)網(wǎng)絡方法在元模型學習、機器翻譯以及語義標注方面，均有著良好的效果。

不過普通的 RNN在實際應用中經(jīng)常因為無法處理遠距離依賴而導致訓練效果不佳，而長短時記憶網(wǎng)絡（Long Short Term Memory Network, LSTM）則解決了這一缺陷。但是這種改進使得LSTM的模型變得十分復雜，于是GRU（Gated Recurrent Unit）隨之被提出，這是一種RNN的變體，它簡化了LSTM模型且能達到較好的自然語言處理效果，因此被廣泛應用。

1.3 神經(jīng)網(wǎng)絡詞向量

在人工智能神經(jīng)網(wǎng)絡的自然語言處理技術研究中，通過神經(jīng)網(wǎng)絡的方式對文本稀疏性較小的大規(guī)模語料進行分析，從而獲取復雜的上下文關系時一種具有分布式特征的詞編碼技術，這種技術被稱為神經(jīng)網(wǎng)絡中的“詞向量”，用來進行分詞工作，這在自然語言處理中是極為重要的準備工作之一。在技術研究領域，目前廣為人所知的詞向量主要有glove詞向量、word2vec詞向量、HLBL詞向量以及SENNA詞向量等。在相關的研究中，研究人員發(fā)現(xiàn)，不同的詞向量規(guī)則具有不同的特點。例如word2vec詞向量中，詞向量之間具有語義上的聯(lián)系，表現(xiàn)為詞向量之間的加減關系，這種關系的存在使其具有高科用量。相較于前者，于2014年所提出的glove詞向量通過矩陣的方式實現(xiàn)更為優(yōu)異的性能，除了能夠使測評指標更具優(yōu)勢之外，還能夠解決諸多自然語言的測評任務。

2 人工智能自然語言處理深度學習的應用方法

2.1 神經(jīng)網(wǎng)絡的模型建設

在現(xiàn)階段的深度學習模型建構中，通常采用Nivre分析方法作為主要的確定性分析方法，這種分析方法能夠通過對自然語言進行特征提取的方式進行分類，而其所提取的數(shù)據(jù)則能夠表示當前文本上下文的依存關系，進而完成句法分析。依據(jù)Nivre分析方法，本文在進行模型建設時采用了三元組的方式對分析過程格局進行表示。三元組主要包含有堆棧、節(jié)點序列以及依存弧集合三個部分，分別以字母S、I、A進行表示。在分析動作中，通過模型的特征向量進行三元組特征的提取能夠實現(xiàn)句法分析，最終實現(xiàn)分析決策。在三元組信息當中，需要包含以下幾個方面的信息內容。

首先，三元組應當包含有詞信息。無論是堆棧還是節(jié)點序列緩存，其內部都包含有大量的詞信息，這些詞信息可能已被處理，也可能尚未進行處理。同時詞帶有的特征十分明顯，因此在對模型潛入之前，這類詞往往需要通過稀疏的方式進行表達，但在完成了潛入之后，詞所擁有的特征則以稠密的方式進行表述，即Dense Representation；其次，在詞內部還具有一定量的詞性信息，這種詞性信息在模型中與前者的保持一一對應，從而實現(xiàn)每一個詞都擁有一個相對固定的對應詞性；最后，在三元組當中還應具有依存弧信息，這種信息的主要功能在于對已經(jīng)完成處理的詞信息進行依存關系的表現(xiàn)。

通過這些信息，可以使三元組得到重新組合，并擁有二階特征（Second Order），使得不同的詞的特征在進行模型組合時更加具有效率。與傳統(tǒng)的句法分析方式不同，在應用了三元組的神經(jīng)網(wǎng)絡模型中，詞的不同類型能夠實現(xiàn)彼此之間的相互組合，并且這種組合方式能夠作用于不同的層級之中。

2.2 深度學習的模型層級

在應用于自然語言處理的神經(jīng)網(wǎng)絡模型當中，人工智能可以實現(xiàn)非線性函數(shù)狀態(tài)下的語言特征組合，而為了能夠使神經(jīng)網(wǎng)絡三元組的特征表現(xiàn)出來，在模型當中需要依托多層級的方式進行提取特征的分類訓練。本文在進行研究時發(fā)現(xiàn)，神經(jīng)網(wǎng)絡模型可以分為輸入層、嵌入層以及隱含層和softmax層等四個層級[2]。

其中，輸入層是整個神經(jīng)網(wǎng)絡模型的第一個層級，其主要的功能在與對已經(jīng)完成構建的分析格局三元組進行處理，從而使神經(jīng)網(wǎng)絡能夠獲取其內部的元特征（Atomic Feature）內容；嵌入層則是輸入層之后的處理層級，這一個層級當中，要由與三元組中各個特征相對應的子嵌入層組成，各個子嵌入層彼此獨立，且負責對詞信息、詞性和依存弧特征進行獲取，最終完成三元組特征中離散稀疏到稠密的轉換；隱含層則需要對嵌入層當中完成轉換的稠密特征進行處理，使其能夠進行非線性的變換；而softmax層則在隱含層之后，對自然語言的非線性轉換結果進行分類和預測，從而保證神經(jīng)網(wǎng)絡能夠完成對于自然語言處理的訓練。

2.3 深度信念網(wǎng)絡訓練

在理論研究中，研究人員發(fā)現(xiàn)，通過對既有的受限玻爾茲曼機（Restricted Boltzmann Machine）進行堆疊，可以形成全新的訓練模型。這種模型被稱為深度信念網(wǎng)絡模型（Deep Belief Nets），該模型在應用中能夠依托網(wǎng)絡訓練權重，對輸入層的數(shù)據(jù)進行還原訓練。在開展訓練時，深度信念網(wǎng)絡模型依據(jù)可見層RBM進行原始數(shù)據(jù)的輸入，使原始的語言數(shù)據(jù)能夠在層級內部進行處理。隨后，深度信念網(wǎng)絡模型會對其內部的層級數(shù)量進行檢驗，確認層級數(shù)量是否能夠滿足執(zhí)行步驟，如果無法滿足執(zhí)行步驟，則需要重新進行原始數(shù)據(jù)獲取，直到滿足為止。在毛南族層級數(shù)量滿足執(zhí)行步驟需求后，深度信念網(wǎng)絡則對內部層級進行微調，從而使深度學習算法模型能夠實現(xiàn)有效收斂，最終獲得局部最優(yōu)解[3]。在研究領域，有研究專家指出了深度學習方法在深度信念網(wǎng)絡之中的層數(shù)設置方式。層數(shù)設置可以通過自編碼器來完成，從而實現(xiàn)網(wǎng)絡的泛化和拓展。自編碼器能夠取代網(wǎng)絡模型中的每一層的RBM，從而實現(xiàn)簡單的堆疊，這種堆疊能偶成為堆疊式的自編碼網(wǎng)格（Stacked Auto Encoders）。這種網(wǎng)格編碼方式是神經(jīng)網(wǎng)絡中對于自然語言的稀疏特性的一種獨特的隱藏方式。借助神經(jīng)元的抑制狀態(tài)可以實現(xiàn)稀疏自編碼網(wǎng)格。在實踐應用中發(fā)現(xiàn)，這種網(wǎng)格化能夠具有對自然語言特征的學習能力，最終實現(xiàn)廣泛的多模態(tài)檢索。

3 結束語

綜上所述，人工智能的深度學習是一項蓬勃發(fā)展的新技術，不過在目前階段，對于自然語言的處理尚有許多亟待突破的技術瓶頸，等待技術發(fā)展予以攻克。在神經(jīng)網(wǎng)絡的研究中，仿生學對于深度學習的模擬仍然處于起步階段，其諸多結果都是具有試驗性的，需要依托未來的技術發(fā)展予以提升。

[1]吳稟雅, 魏苗.從深度學習回顧自然語言處理詞嵌入方法[J].電腦知識與技術, 2016, 12(36): 184-185.

[2]趙棟材, 周雁.基于深度學習的電子文本自然語言處理系統(tǒng)[J].電子技術與軟件工程, 2018, (03): 180.

[3]陳利民, 王金芳.學生深度學習源于教學環(huán)節(jié)的優(yōu)化[J].教育, 2017,(52): 16-18.

[4]奚雪峰, 周國棟.面向自然語言處理的深度學習研究[J].自動化學報,2016, 4210: 1445-1465.

[5]樂明, 孫博洋.自然語言形式分析的作用和前景——兼評《自然語言計算機形式分析的理論與方法》[J].外語電化教學, 2017, 06: 89-96.