支持背景知識的多維端到端短語識別算法研究

劉 廣，涂 剛，李 政，劉譯鍵，占志強

華中科技大學 計算機科學與技術學院，武漢 430074

隨著即時通信、微博、論壇、朋友圈等的快速流行，人們在網絡上發布的文字信息也越來越多。這些文字信息蘊含極大的價值，它們是分析社會整體及公眾個體的觀點、喜好、情緒、趨勢等的入口。快速準確地分析文字信息，是自然語言處理研究的目標。

目前，實體識別與依存關系分析，采用的主要是基于監督學習的深度端到端方法。這種方法存在一些不足。首先，不能借助背景知識，比如：“中華人民共和國”是知識庫中已知實體名稱，但是算法模型不能方便地導入這些知識庫信息；其次，不能很好地識別出語言的多粒度、嵌套特征。比如：“中華人民共和國國務院”，包括“中華人民共和國”“國務院”“中華人民共和國國務院”等多粒度、嵌套的實體名稱，但是端到端模型只能預測出單一的標簽；再者，一個端到端模型只能完成一類預測任務，不能同時預測命名實體以及它們之間的依存關系。

為了解決這些問題，只能從源頭上入手：改變標注規則，同時設計更加合適的算法。本文首先提出了基于短語窗口的標注規則。該標注規則既可以表示語言的多粒度、嵌套關系，又可以表示語言片段之間的依存關系。然后，使用該規則，標注了各種類型的句子數據集，把這個數據集稱為中文短語窗口數據集（Chinese phrase window dataset，CPWD）。最后，設計了相應的算法。新的算法采用多維輸入和多維輸出的端到端模型，可以把背景知識作為信息輸入，同時，識別出多粒度、嵌套短語，以及短語之間的依存關系，對應模型稱為多維端到端模型（multi-dimensional end-to-end model，MDM）。實驗的結果表明，該標注規則方便易用；MDM模型比端到端模型更加適用于語法的多粒度與多樣性特征，準確性有明顯提高。

1 相關工作

語塊分析體系最早是由Abney在1991年提出的語塊描述體系[1]，之后Kudo等[2]提出了一種基于支持向量機的語塊自動分析方法；同時，Shen等[3]提出了一種投票分類策略，將多種不同的數據表示和多種訓練模型結合在一起，根據投票分類策略確定最終結果；此外，Mancev等[4]提出了一種處理支持向量機非凸結構的斜率損失的最小化問題的序列雙向方法。在漢語的語塊分析方面，周強等[5-6]構造了基于規則的漢語基本塊分析器，并設計了相應的基本塊規則，給出了一整套解決方案，提高了基于規則的基本塊分析器的性能；此外，李超等[7]應用最大熵模型和馬爾科夫模型構建了一套漢語基本塊的分布識別系統。

深度學習方法出現后，短語識別研究迎來了快速發展。Chiu等[8]使用雙向LSTM提取文本全局特征，同時，使用CNN提取單詞的特征，進行名詞短語實體的識別；Kuru等[9]使用Stacked Bidirectional LSTMs提取文本全局特征進行名詞短語實體識別，取得了較大進展；侯瀟琪等[10]利用深度模型，將詞的分布表征作為模型的輸入特征維度，用于基本短語識別任務中，比使用傳統的詞特征表示方法提高明顯；李國臣等[11]以字作為標注單元和輸入特征，基于深層模型研究短語的識別問題，并將基于C&W和Word2Vec兩種方法訓練得到的字分布表征作為模型的特征參數，避免了對分詞及詞性標注結果的依賴；徐菁[12]利用知識圖譜，提出基于主題模型和語義分析的無監督的名詞短語實體指稱識別方法，同時具備短語邊界檢測和短語分類功能；程鐘慧等[13]提出了一種基于強化學習的協同訓練框架，在少量標注數據的情況下，無須人工參與，利用大量無標注數據自動提升模型性能，從非結構化大數據集中抽取有意義的名詞短語。

語法依存最早是著名的法國語言學家特思尼耶爾在《怎樣建立一種句法》一書談到，我國學者徐烈炯[14]認為，語義角色是一個“句法-語義”接口概念，而不是單純的語義概念；劉宇紅[15]提出語義和語法雙向互動的觀點；孫道功[16]基于詞匯義征和范疇義征的分析，研究了詞匯與句法的銜接機制；亢世勇等[17]通過構建“現代漢語句法語義信息語料庫”，研究了義類不同的體詞在施事（主語、賓語、狀語）和受事（主語、賓語、狀語）六個語塊的分布特點。這其中還包括哈工大、百度、清華等團隊的語法分類貢獻。

在語法分析方面，McDonald等[18]提出了基于圖模型的依存句法分析器MSTParser；Nivre等[19]提出了基于轉移模型的依存句法分析器MaltParser；Ren等[20]對MaltParser依存句法分析器的Nivre算法進行了優化，有效地改進了在漢語中難以解決的長距離依存等問題；車萬翔等[21]對MSTParser依存句法分析器進行了改進，使用了圖模型中的高階特征，提高了依存句法分析的精度；Dyer等[22]在基于轉移模型的依存句法分析框架上運用長短時記憶神經網絡，將傳統的棧、隊列、轉移動作序列看作3個LSTM細胞單元，將所有轉移的歷史均記錄在LSTM中，改進了長距離依存問題；Ji等[23]開發了一種依賴樹節點表示形式，可以捕獲高階信息，通過使用圖神經網絡（GNN），解析器可以在PTB上實現最佳的UAS和LAS；Wang等[24]提出了一種基于神經過渡的解析器，通過使用基于列表的弧躍遷過渡算法的一種變體，進行依賴圖解析，獲得了較好的效果；Fried等[25]通過強化學習來訓練基于過渡的解析器，提出了將策略梯度訓練應用于幾個選區解析器的實驗，包括基于RNN過渡的解析器。

在語義分析方面，丁偉偉等[26]利用CRF在英文語料上能夠利用論元之間的相互關系、提高標注準確率的特點，將其運用到中文命題庫，使用CRF對中文語義組塊分類，取得好的效果；王麗杰[27]提出了基于圖的自動漢語語義分析方法，使用哈工大構建的漢語語義依存樹庫完成了依存弧和語義關系的分析；王倩等[28]基于謂詞和句義類型塊，使用支持向量機的語義角色對句子的句義類型進行識別，也有一定的啟發意義。

綜上，傳統方法存在一些不足。首先，不能引入背景知識；其次，不能很好識別出語言的多粒度、嵌套特征；再者，端到端模型只能完成一類預測任務，不能同時預測命名實體以及它們之間的依存關系。

為了解決這些問題，從源頭上入手：改變標注規則，同時設計更加合適的算法。本文首先提出了基于短語窗口的標注規則。然后，使用該規則，標注了各種類型的句子數據集CPWD。最后，設計了相應的多維端到端模型MDM。

2 短語標注規范

為了實現句子的短語識別與依存關系分析，制定了一套短語標注規范。該短語標注規范不僅可以對嵌套短語進行標注，而且可以反映短語之間的依存關系。例如嵌套詞語：“中國海軍”，傳統端對端模型只可以識別出“中國”“海軍”或者“中國海軍”，不可以同時識別3個短語。本文提出的短語標注規范和MDM模型解決了詞語嵌套問題。標注規則相對簡單，容易推廣。

根據該規則，標注了中文短語窗口數據集CPWD，數據集包括45 000條從對話、新聞、法律、政策、小說中挑選的非文言文的中文句子。為了方便模型設計，句子最大長度限制在50個字以內。

2.1 短語依存關系

標注規范將句子中的短語分成：名詞短語、動詞短語、數量詞短語、介詞短語、連詞短語、語氣詞、從句，總共7類基本類型。句子由短語組成，因此7類短語類型通過樹狀結構組成句子，即依存關系。

通常，句子的樹狀結構由主、謂、賓關系組成，圖1是句子語法樹結構圖。（a）句子成分樹：句子“我愛祖國”，按照句子語法可以分為主語“我”、謂語“愛”、賓語“祖國”；（b）句子原型樹：把“我”“愛”“祖國”放到對應的主謂賓位置；（c）短語類別樹：“我”是名詞短語，“愛”是動詞短語，“祖國”是名詞短語。

圖1 句子語法樹結構圖Fig.1 Syntax tree structure

對于復雜的句子同樣可以采用這種方法進行短語識別和依存關系的分析。圖2是復雜句子的語義單元劃分過程。為了方便介紹，使用“（）”表示名詞短語，“[]”表示動詞短語，“{}”表示數量詞短語，“＜＞”表示介詞短語，“##”表示連詞短語，“@@”表示語氣詞短語，“/”表示從句。

圖2 短語依存關系Fig.2 Phrase dependency

2.2 短語標注規范

短語類別有名詞短語“（）”、動詞短語“[]”、數量詞短語“{}”、介詞短語“＜＞”、連詞短語“##”、語氣詞短語“@@”、從句“/”。標注允許嵌套結構的存在，每種短語類別的標注規則如下。

（1）連詞短語

連詞短語是用來連接詞與詞、詞組與詞組或句子與句子、表示某種邏輯關系的虛詞。連詞短語可以表并列、承接、轉折、因果、選擇、假設、比較、讓步等關系。連詞短語主要成分為連詞。

如：“但是”表轉折，“因為”“所以”表因果等。

在標注體系中連詞短語一般無嵌套關系。

（2）語氣詞短語

語氣詞短語是表示語氣的虛詞，常用在句尾或句中停頓處表示種種語氣。語氣詞短語的主要成分即為語氣詞。

如：“嗎”“吧”“呢”等在詞語、句子末，表示語氣。

在標注體系中語氣詞短語一般無嵌套關系。

（3）名詞短語

表示人或事物以及時間、方位等，在句子中主要充當主語、賓語、定語。它包括：以名詞為中心詞的偏正短語（如“偉大祖國”“這些孩子”）；用名詞構成的聯合短語（如“工人農民”）；復指短語（如“首都北京”）；方位短語（如“桌面上”“大樓前面”）；“的”字短語（如“打更的老漢”）等。某些名詞短語的中心詞也可以是動詞、形容詞，定語可以是代詞、名詞或其他名詞短語。名詞短語的主要成分有多種形式，模板種類復雜，主要包括以動詞、形容詞為中心詞，以代詞、名詞和其他名詞短語為定語而組成的名詞短語。

（4）動詞短語

動詞短語代表動作，包括起修飾作用的狀語與補語。動詞短語的主要成分是動詞，包括部分修飾狀語。

如：“馬上開始了”包括狀語“馬上”，中心動詞“開始”，補語“了”。

（5）介詞短語

又稱為介賓短語，是介詞和其他代詞或名詞或從句搭配形成的短語。介詞短語的主要成分由介詞和名詞短語構成。

“在這次考試中”為介詞+名詞短語，標注為＜在（{這次}考試中）＞。

“被”“把”字句。如：＜被（他）＞，＜把（他）＞。

（6）數量詞短語

數量短語，指由數詞和量詞組合構成的短語。

數量詞和名詞搭配，如：（{一首}動聽的曲子）。

作為狀語，如：[{一蹦一跳}地走著]。

作為補語，如：[看了]（他）{一眼}。

（7）從句

為了標注一個完整的語義單元，需要使用從句結構體現短語間的層次關系。從句的主要成分較為復雜，主要成分包括名詞、動詞、介詞等，從句允許存在嵌套現象。

兼語句標為從句。如“我命令他去外面”，這里“他”既是前面的賓語，又是后面的主語，標注：（我）[命令]/（他）[去]（外面）。

連動句標為從句。如“我出去騎車打球”，“騎車”“打球”為連動，標注為：（我）//[出去]/[騎]（車）/[打]（球）\。

主語從句、賓語從句。如：（他）[說]/（計算機）[正在改變]（世界）。

3 算法

本章詳細介紹短語多維端到端算法。短語多維端到端算法采用多維輸入，多維輸出的形式。以句子長度50為例，例句為“我的祖國是中華人民共和國”。

多維輸入包括50維，其中，第n維對應的是知識庫中的長度為n的短語的信息，例如：長度為7的“中華人民共和國”是知識庫中的實體，第7維輸入對應于“中”字的偏移位置，會放入實體分類的標記。標記類型包括名詞、動詞、介詞等多種詞性。

多維輸出包括50維，其中，第n維對應預測結果中的長度為n的短語類型（7類），例如：長度為7的“中華人民共和國”被預測成了名詞，則第7維輸出對應于“中”字的偏移位置開始的7個標簽，會預測為名詞標記。標記類型包括7種短語類型。

可見，算法可以預測多粒度、嵌套短語，以及短語依存關系。下面幾節詳細介紹算法對應的模型MDM，包括算法模型基本結構圖，以及具體的背景知識、分類網絡、短語分片及依存關系的應用。

3.1 算法流程

算法流程如下。

（1）輸入維度。

使用“我愛祖國”字向量作為輸入。字向量以外的50維，需要引入知識庫查找結果：第1維對應標簽包括，“我”標記為“名詞”，“愛”標記為“動詞”；第2維對應標簽包括，“祖國”標記為“名詞”；如果有沒找到的字詞，則標記為0。這里并不關注分詞正確性，只要是知識庫找到的詞，都會作為輸入，即使是錯誤的分詞，由模型訓練判斷對錯。字詞查找采用AC（Aho-Corasick automaton）樹算法。

（2）短語特征提取。

通過特征提取網絡進行特征提取，可以使用語言模型進行特征提取。

（3）短語分類。

使用全連接識別出短語類別與依存關系。例如：“我”是名詞短語，“愛”是動詞短語，“祖國”是名詞短語。

（4）輸出維度。

將50維短語分類預測結果綜合，去除有沖突的預測，比如長度與維度不匹配錯誤等，使用標注符號表示出來，得到結果。例如：“（我）[愛]（祖國）”。

3.2 MDM模型

短語算法模型采用多維輸入與多維輸出的端到端模型，識別短語類別及它們之間的依存關系。圖3是模型結構圖。主要分為四個部分：（1）字向量和背景知識層。字向量是將句子中的字進行嵌入的一種方式；背景知識是使用知識庫查詢結果進行標示；字向量與背景知識concat后通過embedding層輸入。（2）特征提取層。特征提取層負責特征的抽取，該層使用Bi-LSTM或者BERT語言模型。（3）分類層。使用特征提取層提取的特征進行全連接分類，實現短語類別預測。（4）短語分片及依存關系層。對句子中的短語進行識別，同時解決沖突，預測出依存關系。

圖3 算法結構Fig.3 Algorithm structure

（1）字向量和背景知識嵌入層

模型輸入是字向量和背景知識。字向量是通過word2vec訓練得到的一組向量，每個字向量是256維組成。

背景知識以標記形式輸入，包括分詞與詞性信息。標記包含詞性信息，并且，標記以B標示開始位置，而且只在開始位置標示，與分詞的BIO方式不同，見表1。

表1 輸入標記類型Table 1 Input tag type

背景知識是增加的維度，由50維的知識編碼形成。其中，第n維對應的是知識庫中的長度為n的短語的信息，例如，句子“一輛汽車停在馬路邊”中，長度為2的詞包括“一輛”“汽車”“馬路”“路邊”，長度為3的詞為“馬路邊”，這些是從知識庫中的查找獲得的。那么，第2維輸入對應于詞的第一個字“一”“汽”“馬”“路”的位置，會放入實體分類的標記，標記類型包括名詞、動詞、介詞等多種詞性（這里為了方便圖示，簡化成統一用B代替）。第3維輸入對應“馬”的位置，放入實體分類的標記，代表“馬路邊”是一個長度為3的詞。

背景知識引入了一句話的不同組成成分在知識庫中的信息。增加背景知識后模型能學到更多的語言特征，可以引入更多的信息來進行監督學習，提高短語識別和依存關系的準確性。引入的知識庫分類信息并不需要關注分詞結果，而是查找到了對應的詞就把輸入信息加入相應維度，由模型訓練判斷取舍。如圖4，“馬路邊”在該句里面的正確分詞是“馬路”而不是“路邊”，但是由于知識庫中存在“路邊”一詞，所以還是引入到輸入的維度信息中，讓模型訓練去習得規律。

圖4 背景知識Fig.4 Background knowledge

實驗證明，這種處理方式可以省略分詞步驟，而且結果比分詞后進行預測更準確。

由于模型輸入的句子長度限定為50，所以有50維的輸入知識編碼，對應從最短的（長度為1）的短語到最長的（長度為50）的短語。如圖5所示，第n維背景知識表示的是長度為n的詞的知識編碼，其中第一維、第二維背景知識大多是一些名詞、動詞、介詞等基本詞分類。第三維以后，隨著長度變長，短語大多是一些實體名稱，經過訓練，發現模型對于實體名稱的權重設置較大，遇到長于3的實體名稱，都可以正確識別，而且可以識別出多粒度、嵌套的實體名稱與各類短語。

圖5 多維背景知識輸入標記舉例Fig.5 Examples of multi-dimensional background knowledge input tags

用B-ming、B-dong等標示名詞、動詞的起始位置，如圖5的方式進行輸入編碼：“馬路邊”是名詞，“在馬路邊”是介詞短語，“一輛”是數詞，“一輛汽車”是名詞。嵌套與依存關系都蘊含在這種標示中。

（2）特征提取層

特征提取層負責短語特征的提取，特征提取比較成熟，可以選用卷積神經網絡、雙向長短記憶網絡Bi-LSTM、BERT等來實現特征抽取。目前測試最佳的網絡架構是BERT與Bi-LSTM的組合。經過特征提取網絡后，輸出的是512維的隱層權值向量，特征提取提取的結果將被用于后續的分類網絡。

（3）分類層

對特征提取層提取到的特征進行全連接，輸出50維的預測標簽，輸出第n維對應的是長度為n的短語；標簽是分詞常用的B/I組合方式，其中B代表開始字，I代表后續的字，如：三個字“馬路邊”在第三維輸出，對應的標簽是“B-ming I-ming I-ming”，這里與輸入層只用B作為標記不同，如圖6。

圖6 短語及依存關系識別Fig.6 Phrases and dependency recognition

多維輸出包括50維，其中第n維對應預測結果中的長度為n的短語類型（7類），例如：長度為7的“中華人民共和國”被預測成了名詞，則第7維輸出對應于“中”字的偏移位置，會輸出名詞標記，標記類型包括7種短語類型，除從句外其他6種如表2。

表2 輸出標記類型Table 2 Output tag type

（4）短語識別及依存關系層

該層對判斷后的短語類型進行輸出。輸出50維的短語識別和依存關系結果，其中有錯誤的地方。比如：第2維輸出了一個“B-ming I-ming I-ming”長度為三個字的預測標簽，即使采用CRF層也無法避免，需要把這種標簽去掉。此外，還有預測沖突與錯誤的標簽，比如：以I開頭的標簽。該層對這些問題進行統一整理，然后輸出一致的預測標簽，同時生成類似“（我）[愛]（祖國）”的預測結果。

（5）損失函數

損失函數，由輸出的所有維度決定。采用交叉熵函數，通過交叉熵來計算預測的結果和標簽之間的距離。式（1）是損失函數，其中M是短語類別數量，即M=7,yc是真實分布，pc是預測結果的分布。總的loss是50維loss的求和。

4 實驗

4.1 數據集與評估標準

實驗數據集使用標注的中文短語窗口數據集CPWD，包括45 000條從對話、新聞、法律、政策、小說中挑選的中文句子。其中文言文只占不到5%比例，多是一些成語與諺語組成的句子。為了方便模型設計，句子最大長度限制在50個字以內。在數據集劃分上，劃分訓練集/驗證集/測試集，分別為43 000條、1 000條和1 000條，在訓練過程中，針對訓練集和驗證集采用了交叉驗證方式訓練。

傳統端到端的結果統計，主要根據每個字預測得到標簽的情況。這樣的統計方式存在偏差，不如按照短語統計準確，比如：“中華人民共和國”命名實體的標簽是“BIIIIII”為正確，如果預測結果是“BIIIBII”，那么存在一個標簽錯誤。按照傳統方式統計，只算7個標簽中出現了一次錯誤；按照短語方式統計，“BIIIIII”全對為正確，“BIIIBII”為錯誤，即有一個標簽錯誤，整個短語的預測是錯誤的，這樣更加準確合理。

4.2 實驗環境

實驗采用Python語言實現，python版本為3.6.1。使用的框架為TensorFlow，版本為1.12.0。使用的電腦配置為內存：32 GB，處理器：Intel Xeon?CPU E5-2623 v3@3.00 GHz×8，顯卡：TITAN Xp，操作系統類型：ubuntu14.04 64-bit。

4.3 實驗分析

首先，MDM在多種網絡結構或者數據形式的情況下進行對比優化，同時，在準確性和時間上做一個均衡。在序列標注模型中，典型的特征抽取器包括有Bi-LSTM[29]、BERT模型[30]、Transformer[31]等。雙向長短期記憶網絡（BiLSTM）是序列建模中最常用的架構之一，結構上包括2個LSTM單元，用2組不同參數模擬前向和后向序列。Transformer結構最初被用于序列轉換（sequence to sequence）問題，在這問題上它比RNN、CNN結構更有優勢。同時，Transformer的Encoder模塊可用于序列標注任務。Jacob等人提出的BERT預訓練模型，就是基于Transformer的Encoder模塊堆疊而成。因此，優化方法包括采用雙層BiLSTM，采用BERT代替BiLSTM，使用CRF層，在BiLSTM層之前加入CNN層進行特征抽取，在特征抽取層之后加入Transformer結構，選取不同比例的反例，輸入維度不同等。CPWD的測試集的實驗結果如表3所示。

表3 MDM優化過程對比Table 3 MDM optimization process comparison

從結果可以看出，最優的模型結構是50維輸入，1∶2正反例，BERT+CRF。但是考慮到運行效率和資源占用情況，在做實驗或者工程部署的時候，建議采用的模型是50維輸入，1∶2正反例，BiLSTM+Transformer。

Loss值收斂情況在BERT、BiLSTM兩種最優模型之間進行比較，收斂情況如圖7，可以看到，BiLSTM收斂快些，BERT語言模型的收斂慢，一個epoch的訓練時間也長些。在實際部署中，推薦使用BiLSTM作為特征提取層，可以提高效率。

圖7 Loss收斂情況圖Fig.7 Loss Convergence

4.4 對比實驗結果

由于各種端到端算法輸出與標簽形式有不同，所以將標簽形式調整成在統一的方式下進行對比。MDM模型輸出標簽比端到端多，附帶有嵌套等信息，所以需要進行降維處理，之后與端到端模型進行對比。降維后可以形成命名實體標簽、依存標簽，分別與BiLSTM、BERT等端到端算法進行對比。同上，表4為不同模型在CPWD數據集上的F1測試結果。

表4 對比實驗結果Table 4 Comparative experiment result %

從表4可以看到MDM模型比傳統端到端有優勢。這種優勢的產生，分析是由于MDM更適合語言多樣性，使得模型不用在嵌套的命名實體之間做多選一的抉擇，降低了模型的困惑度；而且，MDM可以預測語法依存關系，模型不需要進行降維映射，所以就不會造成特征的丟失，也因此獲得了更高的準確性。同時，將SWM模型用于CCL2018的中文隱喻情感分析任務中，通過抽取名詞短語、動詞短語、介詞短語和語氣詞短語，分析不同實體詞對應的正負面情感詞，并將此作為情感分類模型輸入的一部分進行模型優化，在原有模型基礎上提升了1個百分點以上，并在比賽中獲得了第一名的成績。

5 總結

針對傳統端到端算法的一些問題，從源頭上入手：改變標注規則，同時設計更加合適的算法。首先提出了基于短語窗口的標注規則。該標注規則既可以標示語言的多粒度、嵌套關系，又可以標示語言片段之間的依存關系。然后，使用該規則，標注了包括各種類型句子的數據集CPWD。最后，設計了多維端到端模型，可以把背景知識作為信息輸入，同時，識別出多粒度、嵌套短語，以及短語之間的依存關系。實驗的結果表明，該標注規則方便易用；MDM模型比端到端模型更加適用于語法的多粒度與多樣性特征，引入背景知識后，準確性有明顯提高。