融合多類型特征的特定領域實體識別研究

雷樹杰 邢富坤 王聞慧

1(戰略支援部隊信息工程大學洛陽校區 河南 洛陽 471003)2(青島大學外語學院 山東 青島 266000)

0 引 言

命名實體識別(Named Entity Recognition，NER)是自然語言處理的一項基礎性任務，可以為關系抽取(Relation Extraction)、機器翻譯(Machine Translation)、自動文摘(Automatic Summarization)等更復雜的自然語言處理任務提供支持。在軍事領域的信息處理中，軍事類命名實體的識別同樣起著基礎性的作用，武器裝備名就是非常重要的軍事類命名實體。

對于傳統統計模型而言，命名實體識別任務的完成需要相應的特征輸入，從詞形、詞性、句法特征等一般語言學特征到由領域專家總結出來的領域特征，都在命名實體識別任務中發揮著重大作用。隨著深度學習的出現，機器可以自己從大規模數據集中學習到抽象特征并在該抽象特征的支持下完成命名實體識別任務，進而可以一定程度上擺脫專家特征(通用特征+領域特征)，其中應用最廣泛的就是詞向量[1]。在深度學習框架下，研究者的主要研究內容也轉到對深度學習模型本身的研究和應用上來，而對專家特征的研究和應用不再是提升模型識別效果的主要方法。為此，本文主要探討在深度學習框架下不同專家特征的有效性、必要性以及在模型中呈現出的不同特點。

本文以英文武器裝備名識別為任務，對比模型在加入多類型專家特征前后的表現，探索了專家特征在深度學習框架下的效果。通過設計多種指標對多類型特征在語料中的分布進行定量統計并在不同語料規模下進行實驗，揭示了多類型專家特征在分布上的異同點并分析了這些異同點對模型識別效果的影響。

1 相關工作

在研究領域上，命名實體識別任務主要受到了如CoNLL(Conference on Computational Natural Language Learning)等評測會議的影響，這使得現有的命名實體識別研究主要集中在對人名、地名、組織機構名、時間表達式等通用命名實體的識別上，缺乏對領域實體的識別研究。

在研究內容上，命名實體識別方法經歷了從早期的規則識別方法，到后來傳統的統計識別方法，再到近些年的深度學習方法的轉變，而對命名實體識別的效果也得到了逐步提升。文獻[2]采用自助取樣方法(Bootstrapping Method)，通過對統計模型識別出的時間表達式進行迭代、拓展和篩選，在識別準確率和召回率上都取得很大的提升；文獻[3]利用支持向量機(Support Vector Machine，SVM)來對命名實體進行識別，該方法將詞向量融入模型，獲得了很好的效果；文獻[4]采用長短時記憶網絡(Bidirectional Long-Short-Term Memory，Bi-LSTM)與條件隨機場(Conditional Random Fields，CRF)的聯合模型對社交媒體上的命名實體進行識別，該模型采用預訓練的詞向量、基于字符的詞向量和句法特征向量作為模型輸入，有效克服了社交媒體信息噪音多、句子過短的不利因素；文獻[5]提出了循環神經網絡(Recurrent Neural Network，Parallel RNN)的概念，該方法通過將一個LSTM單元分成多個更小的LSTM單元，使得網絡由全連接網絡為局部連接網絡，從而減少整個神經網絡架構的參數數目并提升訓練效率。實驗結果表明，該方法能夠在減少模型規模的基礎上達到與目前最好的模型相當的識別效果。中文命名實體研究方面，文獻[6]在中文上訓練了基于字的詞向量，并與基于上下文的詞向量一起作為神經網絡模型的輸入，得到了優于SVM模型和CRF模型的識別效果。

綜合分析，目前命名實體識別任務的開展主要采用深度學習的方法，研究重點也集中在對模型本身架構的優化和參數的調整上，對專家特征(通用特征+領域特征)所能起到的作用不足。為此，本文將多類型特征加入到了模型當中，通過對多類型專家特征在語料中的分布特點進行定量統計，以分析不同類型的專家特征對模型識別效果的影響，從而論證專家特征在深度學習框架下的有效性和必要性并揭示影響專家特征對模型支持效率的關鍵因素。

2 Bi-LSTM+CRF模型

Bi-LSTM+CRF模型在2015年被正式提出后[7]，廣泛應用于線性序列標注任務中。Bi-LSTM+CRF模型整體上由輸入層，雙向LSTM層，輸出層和CRF層組成，模型的整體架構如圖1所示。

圖1 模型整體框架

LSTM是RNN的一種變體，其在RNN模型的基礎上增加了記憶單元和門限機制，從而可以一定程度上避免梯度彌散和梯度爆炸問題，并在處理長序依賴問題上有著出色的表現。一個LSTM單元的架構如圖2所示。Bi-LSTM模型則采用了正序與反序兩個方向的LSTM網絡，從而可以將正反兩個序列方向上的信息考慮進來，更好地處理線性序列標注問題。

通過在Bi-LSTM模塊之上增加CRF層來接受Bi-LSTM模型的輸出，可以彌補Bi-LSTM模型在線性序列標注任務上沒有考慮輸出值之間轉移概率的缺陷，以此來提高模型在命名實體識別任務中的性能。

3 多類型專家特征及對比

專家特征可以分為通用特征和領域特征。其中通用特征是指在任何領域都存在的特征，如詞性、句法特征等普通語言學特征，領域特征則是指某一領域特有的特征，如英文武器裝備名的構造特征就是一種領域特征，其只存在于英文武器裝備名這一領域實體當中。

3.1 英文武器裝備名構造特征與獲取

英文武器裝備名內部構成成分類型有限，具有很強的領域特征。雷樹杰等[8]在2019年對英文武器裝備名的內部構造模式和特征做了專門研究。根據其研究成果，英文武器裝備名可以用兩層體系來描述：第一層是對武器裝備名的總體性描述；第二層是對各總體性描述要素的具體劃分。第一層分類將武器裝備名分為型號(A)、別稱(N)、描述(P)和縮寫(R)四類。第二層分類將第一層分類中的型號(A)做進一步區分，區分為系列E和具體型號V；第二層分類對第一層分類中的描述(P)也做了具體區分，如表1所示。

依據英文武器裝備名內部構成成分的分類體系，本文對來自維基百科詞條的6 402條英文武器裝備名的內部構成進行人工特征標注，并構造了規模為8 714的武器裝備名領域特征集，部分內容如表2所示。表中第一列是武器裝備名構成成分，第二列是該成分所屬構成類型。該特征集作為領域知識參與到對武器裝備名的識別當中。

表2 領域特征集

3.2 詞性、句法特征與獲取

詞性是一個語言學術語，其以句法特征為主要依據、兼顧詞匯意義對一種自然語言中的詞進行分類，詞性能夠一定程度上反映一個詞在句子中的句法作用和含義。由此可見，與英文武器裝備名的構造特征不同，詞性是一種通用特征，在一種自然語言中任何領域的文本中都會出現。本文使用賓州樹庫的詞性標注集作為模型使用的詞性特征集。

句法以句子為研究單位，分析句子的組成成分及它們之間的排列順序。不同流派對句法有著不同的看法，本文則選擇了依存句法作為模型用句法特征。依存句法由法國語言學家L.Tesniere提出，其指出了句子各個詞匯之間的依存關系，從而將一個句子分析為一棵依存句法樹。與詞性一樣，依存句法特征也是一種普通語言學特征，是一種通用特征，存在于一種自然語言的各個領域當中。本文使用賓州樹庫的依存句法標注體系作為模型使用的依存句法特征集。

命名實體在文本中一般屬于名詞性成分，這使得命名實體內部組成成分的詞性與承擔的句法成分較為有限。從理論上分析，詞性與句法特征可以為武器裝備名識別提供幫助，這是本文選擇詞性與句法特征作為模型所用通用特征的依據所在。

本文通過斯坦福大學的斯坦福詞性標注器來獲取語料中每一個詞所對應的詞性，并通過斯坦福句法分析器[9]獲取語料中每個詞匯相對應的依存句法特征。

3.3 特征向量獲取與使用

本文采取預訓練的詞向量和特征向量作為神經網絡模型的輸入，并使用Python的開源工具包Gensim對詞向量和特征向量進行訓練。

word2vec[1]是神經概率語言模型(Neural Probabilistic Language Model)的一種實現，其中包含了CBOW與Skip-gram兩種模型。word2vec可以在構建神經概率語言模型的同時得到詞的嵌入式表示(Word Embedding)。其中，CBOW模型是通過上下文來預測當前詞，而Skip-gram則是通過當前詞來預測上下文。來斯惟[9]在2016年證明：當用于訓練詞向量的語料規模達到百兆級時，CBOW模型要好于Skip-gram模型。本文用于訓練詞向量的語料來自于維基百科，其規模超過了600 MB，為此，采取CBOW模型來訓練詞向量。

特征向量方面，本文共選取了詞性、句法信息和英文武器裝備名的構造特征共三種類型的特征。其中詞性特征通過Stanford POS Tagger獲取，句法特征通過Stanford Parser[10]獲取，英文武器裝備名的構造特征則通過本文前期構造的英文武器裝備名構造特征集獲取。通過將訓練詞向量的維基百科語料轉化為相對應的詞性語料、句法特征語料、英文武器裝備名構造特征語料，并使用word2vec來進行訓練，本文得到了詞性特征向量，句法特征向量與領域特征向量。

通過將預訓練的詞向量與特征向量首尾相連，形成聯合向量作為神經網絡的輸入。本文的輸入層結構如圖3所示。

圖3 模型的輸入層：詞向量+特征向量

4 實驗設計與結果分析

4.1 實驗語料與標注集

本文收集了美國國防部網站2017年度110篇新聞報道與美國2018年武器裝備采購書中的部分文本共120篇語料作為待標注語料，并對其中的武器裝備名進行了人工標注與校對。本文選取其中90篇作為訓練語料，30篇作為測試語料。

本文采用了BIO標注集。其中，“B-MILEQP”表示一個英文武器裝備名的起始部分，“I-MILIQP”表示英文武器裝備名的非起始部分，“O”表示非英文武器裝備名成分。只有將一個武器裝備名的各部分全部識別出且邊界界定正確才視為模型成功識別該武器裝備名。

4.2 評測標準

為了全面評價模型在對多類型特征利用方面的異同點，本文設計了六個評價指標來評價模型的識別效果，如表3所示。

表3 評價指標

其中：整體標注的正確率Pw用來評價模型對整體文本的標注情況；武器裝備名識別的準確率Pm與召回率Rm用來評價模型對武器裝備名的識別情況；F值則用來綜合評價模型對武器裝備名的識別情況；為了排除模型對某一特定武器裝備名多次識別成功或失敗所造成的對總體評價指標的影響，本文設置了武器裝備名type識別的召回率Rtype這一指標，在這一指標下，對同一武器裝備名的多次識別成功只計算一次；而未登錄詞識別的召回率Ruk則用來評價模型對未登錄詞的泛化能力。

4.3 實驗設計

為了驗證專家特征(通用特征+領域特征)在深度學習框架下的有效性和必要性，本文分別將詞性特征、依存句法特征與領域特征加入到了神經網絡當中，對在各特征支持下英文武器裝備名的識別效果進行了實驗。

為了探究語料規模對不同專家特征的影響，本文將訓練語料依次減為80篇、70篇、60篇，并在同一測試集上進行測試，從而更好地揭示不同專家特征對Bi-LSTM+CRF模型產生不同支持作用的背后原因。

4.4 實驗結果

在90篇訓練語料上，Bi-LSTM+CRF模型分別在詞性特征、依存句法特征與領域特征支持下的實驗結果如表4所示。

表4 多類型特征加入Bi-LSTM+CRF模型中的識別結果(90篇訓練語料)

從表4可以看出，在加入領域特征向量后，模型對武器裝備名的識別效果得到了很大的提升，其中在整體標注準確率上提升了0.85%，對武器裝備名的識別準確率提升了9.1%，召回率提升了9.57%，從而在對武器裝備名識別的F值上提升了9.5%。隨著領域特征的加入，對未登錄武器裝備名的識別提升了8.19%，這表明領域特征增強了模型的泛化能力，使得通過詞向量識別不出的未登錄武器裝備名在領域特征的幫助下成功地被識別了出來。這樣的例子有“P-8A”,“Bradley fighting vehicles”等。同時，模型的約束能力也得到增強，僅使用詞向量會錯誤識別為武器裝備名的一些非武器裝備名也在領域特征向量的幫助下沒有被錯誤識別出，如“stealthy”等。這表明，在深度學習框架下，領域特征的作用依然非常突出，其依然具有不可替代的作用。

在加入詞性特征向量后，與只使用詞向量相比，模型對武器裝備名的識別效果得到了提升，其中整體識別準確率提升了0.23%，武器裝備名識別的F值提升了0.97%，對武器裝備名類型的召回率提升了0.6%，對未登錄武器裝備名識別的召回率提升了1.79%。這些數據表明，在加入詞性特征后，模型的泛化能力得到增強，詞性特征在深度學習框架下仍有其價值。

在加入句法特征向量后，相對于只使用詞向量，模型的識別效果產生了下降，其中在整體識別準確率上下降了0.5%。武器裝備名識別準確率與召回率都產生了下降，使得武器裝備名識別的F值下降了9.9%。而武器裝備名類型的召回率與未登錄武器裝備名召回率分別下降了7.24%與9.27%。這表明，在加入句法特征后，模型對武器裝備名的識別效果產生了下降。然而，考慮到詞性特征、領域特征對模型識別效果的提升作用，不能就此否認專家特征或通用特征在深度學習框架下的有效性和必要性，而應該從特征本身的層面去分析導致詞性與句法特征在深度學習框架下產生不同效果的原因，以更好地指導模型和特征的使用。

為了探究造成上述結果的原因，本文將訓練語料規模依次減少為80篇、70篇、60篇。在不同語料規模下，Bi-LSTM+CRF模型在不同特征支持下的識別結果分別如表5、表6、表7所示。

表5 多類型特征加入Bi-LSTM+CRF模型中的識別結果(80篇訓練語料)

表6 多類型特征加入Bi-LSTM+CRF模型中的識別結果(70篇訓練語料)

表7 多類型特征加入Bi-LSTM+CRF模型中的識別結果(60篇訓練語料)

對比表5、表6、表7可以看出，隨著語料規模的減少，模型在不同特征支持下的識別效果逐步下降，這顯示了語料規模在Bi-LSTM+CRF模型中的重要性。此外，有一個非常值得注意的現象是，隨著訓練語料規模減少至80篇、70篇、60篇，以詞向量加詞性向量為輸入的模型的識別效果開始低于以詞向量為輸入的模型的識別效果。這意味著，隨著語料規模的下降，詞性特征開始干擾模型對武器裝備名的識別，這一點與表4中句法特征表現出的識別效果相一致。但詞性特征與句法特征表現出的對模型識別效果的反向作用在領域特征上沒有出現，隨著語料規模的減少，領域特征仍然表現出對模型識別效果的正向作用。

綜上所述，要使專家特征對模型的識別產生正向作用，單靠相應的特征向量還不夠，特征向量需要與之相對應的語料規模才能對模型產生正向作用。

4.5 特征分布與實驗結果分析

隨著語料規模的減少，在加入不同類型專家特征后，Bi-LSTM+CRF模型表現出了不同的識別效果，在訓練語料、測試語料、預訓練詞向量與所用模型都相同的情況下，這只能是特征本身造成的。對于機器而言，不同的特征只是符號形式上的不同，對模型真正造成影響的是隱藏在特征符號形式背后的特征分布特點。因此，本文對詞形、詞性、句法特征與武器裝備名領域特征在測試與訓練語料中的分布進行了統計，并以此為依據分析造成4.4中識別結果的原因。

4.5.1評價指標

詞性、依存句法特征與英文武器裝備名的構造特征是三種類型的特征，其在語料中的分布特點也各不相同，而這種分布上的不同很大程度上影響了該特征對模型的支持效果。為了定量地描述多類型特征分布上的不同，本文設計了四個評價指標，如表8所示。

表8 特征分布評價指標

表中，特征覆蓋率Cf用于描述特征在語料中的稠密程度；特征準確率Pf與特征召回率Rf用于評價語料中特征的領域性，即特征對武器裝備名的判斷能力，其中特征準確率Pf可以評價特征內武器裝備名的集中程度，特征召回率Rf可以評價語料中武器裝備名內特征的集中程度；特征F值Ff則用于綜合評價語料中武器裝備名與該特征類型的關聯程度，即該特征的領域性。

4.5.2統計結果與分析

本文對訓練語料與測試語料中三種類型的專家特征的分布情況進行了統計調查，統計結果如表9所示。

表9 不同類型特征在語料中分布情況統計

從表9中可以看出，在特征覆蓋率Cf這一指標上，詞性特征與句法特征的特征覆蓋率都為100%，而英文武器裝備名構造特征的特征覆蓋率只有29.78%。這顯示領域特征在文本中的分布較為稀疏，并不是所有詞匯都有其對應的領域特征，這是領域特征與通用特征的重要區別點。從特征分布的稠密程度上可以解釋領域特征對模型的提升效果要強于通用特征的現象，其分布更為稀疏，特征性更為明顯。

在特征準確率Pf與特征召回率Rf兩個指標上，詞性特征與句法特征的表現一致，都表現為在特征召回率Rf上達到了100%，即所有武器裝備名都擁有相應的通用特征，而在特征準確率Pf上的指標卻很低，只有6.52%，即在擁有該特征的所有詞匯中，武器裝備名的占比很低，這是由于通用特征在語料中的全分布所導致的。而英文武器裝備名構造特征在這兩個指標上顯示出不同于詞性、句法特征的特點，其在特征召回率Rf上達到了93.32%，這表明，絕大部分武器裝備名都擁有相應的領域特征，在特征準確率Pf上的指標也較高，達到了20.44%，即在擁有英文武器裝備名構造特征的詞匯中，有20.44%的詞匯屬于武器裝備名稱。綜合兩個指標，從特征F值Ff上看，英文武器裝備名構造特征要高出詞性與句法特征21.29%。從上述統計指標上看，相對于通用特征，英文武器裝備名構造特征的領域性要強很多，其與武器裝備名這個領域實體的關聯程度也要較通用特征高很多，具體表現為有相應領域特征的武器裝備名占比高，而在有相應領域特征的詞匯內，武器裝備名占比高。從這三個指標上也可以解釋領域特征對模型的支持作用要高于通用特征的現象。

從特征類別覆蓋率Ct來看，詞性特征為54.84%，即54.84%的詞性類別在英文武器裝備名中出現過；句法特征為61.30%，即61.30%的句法特征類別在英文武器裝備名中出現過。而作為通用特征，有更多比例的句法特征類別在武器裝備名中出現，這表明句法特征比詞性特征在武器裝備名中的分布更為分散。

此外，特征的不同也反映在不同特征與詞形之間的具體組合類型數目上。對于神經網絡而言，不同特征與詞形之間的具體組合類型數目決定了模型輸入向量的種類數。從模型的角度講，模型輸入向量的種類數越多，模型就需要越多的語料來進行模型的參數訓練。在模型輸入向量種類數增多，而語料規模不變的情況下，模型就有可能出現欠擬合現象。本文在不同特征組合下，具體組合類型的數目如表10所示。

表10 不同特征組合的具體組合類型數目

可以看出，在詞形特征與句法特征組合下，具體組合類型數目比詞形特征多出了87.86%；在詞形特征與詞性特征組合下，具體組合類型數目比詞形特征多出了26.27%；而在詞形特征與領域特征組合下，具體組合類型數目相較于詞形特征保持不變。這一方面反映了句法特征比詞性特征在語料中的分布更為分散，另一方面也可以驗證4.4中的實驗結果。

本文實驗是在小規模語料庫下進行的，因此對于句法特征而言，隨著句法特征向量的加入，模型輸入向量的種類數也提升了87.86%，因此也需要更多的語料來進行模型訓練。受限于語料規模，在詞向量加句法特征向量的支持下，Bi-LSTM+CRF模型不能很好地收斂，從而使得句法特征向量產生了干擾模型識別效果的現象。對于詞性特征而言，隨著詞性特征的加入，模型輸入向量的種類增加了26.27%。由表4可知，在90篇語料上，詞性向量顯示出了對模型識別效果的正向作用，但隨著語料規模減少到80篇、70篇、60篇，詞向量加詞性向量的識別效果開始低于詞向量的識別效果，詞性向量對武器裝備名的識別產生反向作用。這是由于語料規模減少造成詞向量與詞性向量組成的聯合向量種類數的相對增加，從而使得Bi-LSTM+CRF模型不能很好的收斂，產生了干擾識別的情況。由于句法特征造成模型輸入向量種類的增加要遠遠大于詞性，因此句法特征對模型產生正向作用所需要的語料規模也要遠遠大于詞性特征。除此之外，造成句法特征向量對模型產生干擾的另一個重要原因是，目前句法分析的準確率相對于詞性標注而言要低很多，句法特征沒有得到正確分析也是造成即使在90篇語料下，句法特征對模型依然產生反向作用的重要原因。

不同于詞性特征與句法特征，本文的領域特征對模型輸入向量的種類數目沒有產生影響，因此即使語料規模在不斷減少，由于領域特征向量給模型帶來了詞向量不包含的新信息，模型的識別效果依然得到了提升。

5 結 語

本文以英文武器裝備名識別為任務，使用Bi-LSTM+CRF模型，在深度學習框架下對詞性、句法特征與英文武器裝備名構造特征對模型的有效性和必要性進行了實證研究。通過定量統計上述專家特征在語料中的分布并在不同語料規模下進行實驗，比較了不同專家特征在語料中分布的異同點以及討論分析了這些異同點對深度學習框架下模型識別效果的影響。通過實驗，本文總結了幾點結論：(1) 在深度學習框架下，普通語言學特征與領域特征對提升模型識別效果有正向作用，其有存在的必要性與有效性。(2) 對于特定領域的任務而言，在深度學習框架下，領域特征對模型的提升作用強于普通語言學特征，領域特征研究仍然必不可少。(3) 詞性特征、句法特征與領域特征在語料中有著不同的分布特點，不同的分布特點決定了其對模型的作用效果不同。領域特征由于其分布上的集中性，對模型提升作用最大，而句法特征與詞性特征的分布則較為分散，且這兩種特征對模型產生正向作用對語料規模有要求。句法特征對語料規模的要求要高于詞性特征。

本文不僅有助于研究者更好地了解深度學習模型，而且對不同特征在深度學習框架下對模型支持效果的不同特點進行了探索。此外，本文還可以為研究者如何根據任務的不同來評價特征與選擇特征提供參考，具有很強的實踐意義。