基于關聯記憶網絡的中文細粒度命名實體識別?

琚生根,李天寧,孫界平

(四川大學 計算機學院,四川 成都 610065)

命名實體識別是自然語言處理中的信息抽取任務之一,其目的是對文本中特定類別的實體進行定位和分類.大多數命名實體識別任務只識別人名、組織、地點等實體類別,識別的實體類別少,并且類別劃分的比較寬泛.然而,細粒度命名實體識別更符合現實世界的知識體系,在一些常見類別的基礎上做了近一步的類別劃分,需要識別的實體種類遠多于一般的命名實體識別.這樣,從文本中抽取的實體就擁有了一個更詳細的定義,為下游的知識圖譜的構建和問答任務提供更有力的支撐.

在細粒度命名實體識別中,更細粒度的劃分會造成各實體類別在語義上有更緊密的距離.模型對語義相近類別的實體進行分類時容易發生混淆,這意味著細粒度實體類別的區分更具有挑戰性.目前,中文公開的高質量細粒度命名實體識別的數據集很少,CLUENER2020[1]數據集包含10 種不同的實體類別,并對一些常見類別進行了細粒度的劃分,如從“地點”中分離出來了“景點”,從“組織”中分離出了“政府”和“公司”,這就造成“地點”和“景點”之間,“組織”“政府”和“公司”之間的混淆程度較高.同時,存在同一實體在不同語境下屬于不同類別的情況,如“游戲”可以是一些“書籍”和“電影”的改編.如表1 所示,實體“《黑暗之塔》”在第1 個句子中屬于“游戲”類別,在第2 和第3 個句子中屬于“書籍”.在這種情況下,對實體類別的區分需要結合上下文語境,同時也給“游戲”“書籍”和“電影”實體類別之間的區分造成混淆.Xu 等人[1]使用bilstm-crf[2]和預訓練語言模型[3]在該數據集上進行實驗,相同的模型在其他數據集上的F1 值可以達到95,然而在該數據集上,最好的效果只能達到80 左右.這是因為細粒度數據集的句子中經常存在多個類別的實體,模型在預測時會出現一些實體類別的丟失;同時,模型對一些類別的區分能力也存在一定的限制.因此,細粒度命名實體識別任務更具有挑戰性.

Table 1 Examples of entities belonging to different categories in different contexts表1 實體在不同的語境屬于不同類別的例子

Xu 等人使用bilstm-crf、預訓練語言模型作為CLUENER 2020 數據集的基線[1],其中,預訓練語言模型在該數據集上取得了最好的效果.Xu 等人使用預訓練語言模型對句子中的字符進行上下文編碼,在一定程度上解決了同一實體在不同句子中屬于不同類別的問題,但模型還是存在實體類別丟失和分區類別能力不足的情況.本文受到Wang 等人[4]的啟發,考慮到細粒度命名實體識別數據集中實體類別多、類別區分難的問題,通過在句子的字符表示中融入類別的標簽信息,使句子字符的上下文表示更加接近類別的標簽嵌入,來提高識別效果.

為了利用標簽信息,本文通過關聯記憶網絡[5]的方式,使用訓練集中帶標簽的句子,通過捕獲訓練集中相關句子的標簽信息,并使用注意力機制將類別的標簽信息融入句子的字符表示中.同時,結合預訓練語言模型和多頭自注意力,提升模型的識別效果.最后,通過消融實驗分別證明了關聯記憶網絡、多頭自注意力和預訓練語言模型這3 個部分在CLUENER 2020 細粒度命名實體識別任務上的有效性.

本文的貢獻主要包括:

(1) 提出了一種結合預訓練語言模型和關聯記憶網絡的方法,利用標簽類別信息輔助細粒度實體類別的區分,并通過實驗證明了模型方法的有效性,同時證明實體的標簽類別信息對細粒度命名實體識別有促進作用.

(2) 針對命名實體識別任務,本文提出了一種實體類別距離的記憶句子選擇方式,在實體類別距離的選擇方式上進行實驗,驗證了細粒度命名實體識別的挑戰在于實體類別的區分,正確的實體類別的標簽可以大幅度提升模型的識別效果.

本文第1 節介紹關于中文細粒度命名實體識別的相關工作.第2 節詳細描述本文提出的模型.第3 節使用本文模型在CLUENER2020 數據集上和其他模型進行對比實驗,驗證本文模型的有效性.第4 節總結全文并提出未來的發展方向.

1 相關工作

命名實體識別任務主要的方法有3 種:基于規則[6]、基于傳統機器學習[7]和基于深度學習的方法,其中,基于深度學習的方法由于可以自動地捕獲輸入句子的特征,實現端到端的命名實體識別,已經成為現在的研究熱點.

近年來,基于深度學習的方法在命名實體識別任務上獲得了很好的應用.Rrubaa 等人[2]、peng 等人[8]使用了雙向長短期記憶網絡(BiLSTM)和條件隨機場網絡進行命名實體標記,但BiLSTM 編碼長序列的能力有限,并且計算速度慢.Strubell 等人[9]將卷積神經網絡(CNN)用于命名實體識別,相比循環神經網絡,卷積神經網絡具有更快的計算速度.但是卷積神經網絡更多捕獲的是局部信息,會造成全局信息的大量丟失.

中文命名實體識別區別于英文,由于句子中的詞沒有天然的邊界,更具有挑戰性.Yang 等人[10]使用分詞工具對句子序列進行分詞,然后對單詞序列進行標注.然而,分詞工具不可避免地會出現單詞的錯誤劃分,造成實體邊界的錯誤識別.因此,一些工作(Liu 等人[11]、Lu 等人[12])表明,字符級別的命名實體識別的效果比單詞級別的更好.基于字符的命名實體識別存一個很明顯的缺點,就是沒有充分地利用單詞信息.所以,中文命名識別的研究熱點是將詞典信息充分融入字符模型中.Zhang 和Yang[13]提出了Lattice-LSTM 模型,通過長短期神經網絡的門控機制,自動地匹配句子中每個字符對應的單詞,將詞典中與句子語義最匹配的單詞信息融入句子表示中,從而提升了模型識別的能力.除了字典信息可以提高命名實體識別的效果,Xu 等人[14]表示,中文字符部首蘊含的特征信息能夠幫助命名實體的識別.他們在模型中同時使用了字嵌入、詞嵌入和部首嵌入來豐富句子中的字符表示,并驗證了部首信息的有效性.然而,這些研究都沒有關注到實體類別的標簽信息可能幫助命名實體的識別.Wang 等人[4]連接詞嵌入和標簽嵌入進行文本分類,引入標簽注意力機制為句子中的每個單詞分配權重來生成文本表示,通過訓練,使詞嵌入接近于它們對應的標簽嵌入.Luo 等人[15]使用標簽注意力機制生成全局的句子表示,為句子中的每個位置補充全局信息.Li 等人[16]基于閱讀理解的框架進行命名實體識別,通過編碼每個類別標簽的注釋構建問題,然后通過問題在文本中匹配相應的類別的實體.Guan 等人[5]提出了關聯記憶網絡的方法,將單詞級別的標簽信息融入單詞表示中進行語義角色標記.但是其通過雙向長短期神經網絡對單詞表示進行上下文編碼,由于雙向長短期神經網絡的編碼能力有限,并且無法并行,所以本文拋棄了長短期神經網絡,使用BERT 對句子中的字符進行上下文編碼,從而獲得更好的編碼表示.

Xu 等人[1]構建了CLUENER2020 中文細粒度命名實體數據集,該數據集包含大量的訓練樣例,同時,各實體類別在數據集中分布平均.Xu 等人分別使用雙向長短期神經網絡、預訓練語言模型作為該數據的基線,并在細粒度數據集和普通數據上進行對比實驗,結果表明,相同的方法在細粒度數據集上的效果要低于普通數據集.所有的基線方法都只是對句子中的字符進行了簡單的上下文編碼,然后通過條件隨機場層學習實體標記之間的約束.所以本文通過關聯記憶網絡連接句子中字符的上下文表示和實體類別的標簽嵌入,使上下文表示更接近于實體類別的標簽嵌入,來提升細粒度命名實體識別的效果.

2 本文方法

給定輸入句子s,將其表示為字符序列其中,ls表示句子的長度,xi表示句子中的第i個字符.本文將細粒度命名實體識別看成序列標注任務,將句子s作為輸入,對s中的每一個字符進行標記,生成標簽序列其中,yi表示句子中第i個字符的標簽.

為了將實體類別的標簽信息融入輸入句子s的字符表示中,本文提出了一種結合預訓練語言模型和關聯記憶網絡的方法,將訓練集中相關句子的正確實體標簽信息融入輸入句子的字符表示中,框架如圖1 所示.

該方法的模型自底向上包括輸入層、嵌入層、關聯記憶網絡、多頭自注意層、條件隨機場層和輸出層.其中,輸入層進行記憶句子的選擇,計算輸入句子和訓練集中句子的距離,將訓練集中與輸入句子距離最近的幾個句子作為記憶句子;嵌入層對輸入句子和記憶句子中的字符進行上下文編碼,并將記憶句子的實體標簽轉換成標簽序列,進行標簽嵌入;關聯記憶網絡計算輸入句子中每個字符和記憶句子中每個字符的注意力矩陣,并與記憶句子對應的標簽嵌入相乘,將標簽信息融入序列表示中;多頭自注意力層結合句子任意位置之間的相互關注,對融入了標簽信息的序列表示進行重新編碼;條件隨機場層學習各實體標簽之間的規則;輸出層使用維特比算法輸出概率最高的標簽序列.

Fig.1 Model overall framework diagram圖1 模型整體框架圖

2.1 輸入層

輸入層的主要目的是構建記憶單元,記憶單元的最小組成部分是一個句子以及與該句子對應的n個記憶句子,所以記憶句子的選擇是本文需要解決的主要問題.模型的計算時間和空間,隨著記憶句子的增大而增大,但在引入記憶句子的同時,模型的效果也有所提升.

模型的輸入包括輸入句子s、句子s在訓練集中對應的n個記憶句子和這n個句子對應的標簽序列.本文使用了兩種句子距離的計算方式:第1 種使用Guan 等人[5]提供的計算兩個句子詞性序列編輯距離的方法,計算句子s和訓練集中所有句子的距離,選擇前n個與句子s距離最近的句子和這n個句子對應的標簽序列存入記憶單元中;第2 種針對命名實體識別任務,本文提出一種計算實體類別距離的方法,計算兩個句子包含的實體類別的差異.由于記憶句子需要包含輸入句子中的相應的實體類別,本文首先通過文本多標簽預測模型預測句子中可能包含的實體類別,然后將訓練集中與輸入句子包含的實體類別最相近的句子存儲在記憶單元中.具體地,假如輸入句子包含的實體類別集合為Ys={y1,y2,…,yk},yk∈C,訓練集中句子中包含的實體類別集合為Yt={y1,y2,…,yn},yn∈C,其中,C是所有實體類別的集合,k和s分別表示輸入句子和記憶句子包含實體類別的數量,該方法先計算集合Ys和集合Yt的差集,以兩者差集包含的實體類別數量|Ys?Yt|降序,再以集合Yt包含的類別數量|Yt|降序,對訓練集中的句子進行排序.讓記憶句子包含輸入句子實體類別的同時,記憶句子包含的實體類別最少.本文通過實驗驗證:當多標簽文本分類模型預測句子中包含的實體類別越準確,模型的命名實體識別的效果越好.

2.2 嵌入層

嵌入層是為了將句子的字符映射到同一個語義空間中,根據上下文的語義將句子中的字符編碼成向量.本文選擇RoBERTa 語言模型[17]對句子中的字符進行編碼,因為該模型是深度的神經網絡模型,并且在大規模的語料上進行訓練,可以更好地歸納自然語言文本中的語義和語法上的特性.但是由于模型參數量大,需要的計算空間也隨之增大.

嵌入層包括兩個部分:使用預訓練語言模型對句子中的字符進行上下文嵌入;對記憶句子的標簽序列進行標簽嵌入.

本文使用預訓練語言模型RoBERTa 分別對輸入句子s和s對應的n個記憶句子進行上下文嵌入,捕獲每個字符在給定句子中的上下文信息.假設輸入句子,其中,ls表示句子的長度,xi表示句子中的第i個字符.使用預訓練語言模型對句子s中字符進行上下文編碼,得到嵌入表示s′,嵌入式(1)如下:

其中,x′i是字符xi上下文編碼向量,維度為Rd,其中,d是預訓練語言模型隱藏層的維度.記憶句子的上下文嵌入過程與輸入句子相同.假設n個記憶句子為其中,lj表示第j個記憶句子的長度,xj,k表示第j個記憶句子中的第k個字符.通過預訓練語言模型對n個記憶句子進行上下文編碼,得到嵌入表示aj′,j∈{1,2,…,n}嵌入式(2)如下:

其中,x′j,k是字符xj,k的上下文編碼向量,維度為Rd.

對于記憶句子的標簽嵌入,本文首先使用預訓練的詞向量對訓練集中的各類實體進行詞嵌入,如果出現未登陸的實體則進行字符嵌入,詞嵌入和字符嵌入的維度為300 維.然后,將各類實體嵌入表示的平均數作為標簽嵌入矩陣的初始化權重.另外,由于本文采用BIOS 的形式對實體進行標記,為了表明實體標簽的位置信息,如圖2 所示,本文將4 位onehot向量拼接在各實體標簽嵌入的尾部.最后,標簽嵌入的維度Rl為304 維.標簽嵌入矩陣在訓練過程中更新,使句子字符上下文的表示更加接近實體類別的標簽嵌入.本文使用預訓練的詞向量和字符向量對標簽嵌入矩陣進行初始化,而不是選擇隨機初始化,是為了讓初始化的標簽矩陣就包含一些實體類別的相關特征.

Fig.2 From of label embedding圖2 標簽嵌入形式

2.3 關聯記憶網絡

一般的命名實體識別模型將經過上下文編碼的輸入序列表示通過softmax激活或者輸入到條件隨機場層進行標簽序列的預測.本文通過引入關聯記憶網絡,在對輸入序列表示進行標簽預測之前,讓輸入句子的字符去記憶句子中匹配和其類別最相關的字符的標簽信息,然后將匹配的標簽信息融入輸入句子的字符表示中進行預測.

關聯記憶網絡包含兩部分:輸入句子和記憶句子之間的注意力計算、標簽序列的融入和合并.計算輸入句子和記憶句子之間的注意力,是為了捕獲輸入句子的中的每一個字符對記憶句子中每一個字符在實體類別方面的相似度,如果兩個字符擁有相同的實體標簽,那么這兩個字符之間就擁有較高的關聯度.

在嵌入層得到句子s的向量表示s′以及記憶句子的向量表示a′j,j∈{1,2,…,n}后,通過式(3)計算句子s′中每個字符和記憶句子a′中每個字符的相似度,得到n個ls×lj的注意力矩陣

其中,n是記憶句子的數量,ls是輸入句子的長度,lj是第j個記憶句子的長度.

其中,f(?)代表softmax函數,ai,j是矩陣第i行的簡化形式.

標簽序列的融入和合并如式(6)所示,是將歸一化后的注意力矩陣Mj與記憶句子對應的標簽嵌入序列Lj相乘后,得到融入了標簽信息的序列L′j,它根據輸入句子s中的每個字符對記憶句子中每個字符標簽的關注程度來計算輸入句子中每個字符對應的標簽類別信息:

最后,將n個融入了標簽信息的序列L′j進行平均,并與句子s的上下文向量s′拼接,得到最后的輸入句子表示e,如式(7)所示.

其中,e的表示維度為Rd+l,mean(?)是平均函數.圖3 是嵌入層和關聯記憶網絡層的向量間的形狀轉換圖.

Fig.3 Shape transition diagram of vector in each layer圖3 各層向量形狀轉換圖

2.4 多頭自注意力層

多頭自注意力層的主要作用是結合序列各個位置的相關度,對融合了標簽信息的字符表示進行重新編碼,使用自注意力機制對句子序列進行編碼,避免了LSTM 不能并行的缺點,同時可以更好地捕獲全局信息.

多頭自注意力層將最后的句子表示e作為輸入,通過多頭自注意力機制從多個角度計算輸入序列任意位置之間的相關度,突出序列每個位置實體類別的最重要信息.圖4 為多頭自注意力的計算機制.

Fig.4 Multi-head self-attention layer圖4 多頭自注意力層

如式(8)所示,多頭自注意力機制通過不同的線性映射將輸入向量映射成query,key和value的形式,并映射到不同的子空間中,每個子空間反映不同的隱藏特征:

其中,scorei(e)表示第i個自注意力頭的輸出,表示映射到第i個子空間對應的參數.各參數的維度大小為其中,d表示多頭自注意力層輸入向量的維度,dQ,dV,dK分別表示query,key和value的映射維度.

然后,如式(9)所示,計算輸入序列中某個位置的query和所有位置的key的相似度,得到注意力矩陣:

這個注意力矩陣表示了句子中兩兩位置之間的關注度.將注意力矩陣和該位置value相乘,捕獲句子中任意位置之間的關系.

最后,如式(10)所示,將各個子空間的計算結果進行拼接,經過線性映射,得到最終的輸出:

這樣,最后得到的輸入序列就包含了每個自注意力頭學習到的語義和語法特征.

2.5 條件隨機場層和輸出層

條件隨機場的作用是約束標簽序列的預測,通過式(11),計算預測標簽序列y=l1,l2,…,ls的概率P(y|s)為

其中,WCRF和bCRF是條件隨機場層的權重和偏置,反映的是各標簽之間的轉換分數,通過訓練對參數進行更新.

本文的模型使用隨機梯度下降進行端到端訓練,通過最小化句子級別的負對數似然來訓練模型的參數.

在訓練過程中,由于微調預訓練語言模型的學習率滿足不了條件隨機場層參數的訓練,本文在模型訓練的過程中,增大了除預訓練語言模型層之外其他層的學習率來優化模型參數.在預測階段,輸出層使用維特比算法找到分數最高的標簽預測序列進行輸出.

3 實驗與結果

3.1 數據集與評價指標

本文采用CLUENER2020 數據集進行實驗,該數據集的實體類別分為10 種:address、book、company、game、government、movie、name、organization、position、scene.該數據集只提供訓練集和驗證集的標注,不提供測試集的標注.數據集的詳細信息見表2.本文采用CLUENER 2020 提供的線上測評網站(評測網站https://www.cluebenchmarks.com/ner.html),以F1 值對實驗結果進行評價.

Table 2 Description of CLUNER 2020 dataset表2 CLUNER 2020 數據集描述

3.2 參數設置

本實驗使用Colab pro p100 16g 內存.由于內存限制,在嵌入層使用中文預訓練語言模型RoBERTa 的base版本,該模型是包含12 層的Transformer.

本文模型中使用的參數取值見表3.通過實驗驗證:增大其他層的學習率,包括自注意力層和條件隨機場層的學習率后,模型的效果有所提升,學習出來的條件隨機場層的參數也符合真實情況.

Table 3 Parameter value表3 參數取值

3.3 實驗結果

本文模型在CLUNER2020 數據集上的訓練過程如圖5 所示,圖5 是模型在驗證集上的F1 值曲線圖.

Fig.5 F1 value curve graph on the validation set圖5 驗證集上的F1 值曲線圖

從圖中可以看出,模型訓練的前期F1 值提升較快,然后不斷地波動尋找局部最優值,最后趨于平穩.

(1) 實體類別距離選擇方式分析

為了證明本文提出的實體類別距離的有效性,本文使用訓練集和驗證集中的句子包含的gold 的實體類別構建記憶單元,并在驗證集上進行實驗.如表4 所示,引入正確的類別標簽信息,可以大幅度促進命名實體的識別.表4 中第1 行和第3 行對比了編輯距離方法和實體類別距離在驗證集上的效果,表中的pred 表示句子包含的實體類別是通過基于BERT 的文本多標簽預測模型得到.從結果可以看出,本文提出的實體類別距離在驗證集上的效果要高于編輯距離.通過第2 行和第3 行的對比,句子包含的實體類別預測越準確,模型的效果越高.從實驗結果可以看出,細粒度命名實體識別任務還有很大的提升空間,該任務的挑戰在于對實體類別的預測.

Table 4 Ablations experiment of distance calculation method on development set表4 驗證集上距離計算方法的消融實驗

(2) 各實體類別評價指標分析

RoBERTa-Base 模型和本文模型在驗證集上,各實體類別精確率、召回率和F1 的對比如表5 所示.從表中可以得出:在所有類別總體的準確率和召回率上,本文模型都有所提升.在各類別的召回率上,本文模型都較高,說明本文模型能多識別更多的命名實體.從表5 可以看出,模型對“地址”和“景點”的類別實體的類別的實體效果差,模型的效果取決于對這兩種類別實體的識別和區分.

Table 5 Comparison of models on validation set表5 驗證集上的模型對比

(3) 消融實驗和基線模型對比

為了分析模型不同模塊對實體識別效果的影響程度,本文在RoBERTa-Base 模型+關聯注意力網絡的基礎上分別做了2 組消融實驗,分別去除了關聯記憶網絡、去除了預訓練語言模型并使用BiLSTM+字符嵌入進行上下文編碼.實驗結果見表6,分別驗證了預訓練語言模型、關聯記憶網絡對實驗結果的影響.

表6 將本文模型結果與對應的基線模型進行對比,表6 中,LSTM+CRF 和BERT-Base 語言模型是Xu 等人提出的兩個基線模型,本文使用RoBERTa-wwm-base-ext 語言模型作為基線.RoBERTa 是BERT 語言模型的升級版本,wwm 表示該語言模型在訓練過程中使用了完整的單詞遮蔽,ext 表示使用了更大規模的擴展語料,base表示模型使用12 層的Transformer.

表6 第2 行和第3 行的對比中可以看出,在基于LSTM+CRF 的模型結構上加入關聯記憶網絡,模型的識別效果有所提升.從第5 行和第6 行可以看出,在使用預訓練語言模型的基礎上,加上關聯記憶網絡之后,借助正確的實體類別信息,模型的效果也有明顯的提升.

Table 6 Comparison of F1 values of each model表6 各模型F1 值對比

(4) 關聯注意力矩陣分析

本文通過分析各關聯句子間的注意力矩陣來驗證關聯記憶網絡的有效性.圖6 是基于實體類別距離的一對關聯句子之間注意力矩陣的熱力圖,圖中方格的亮度代表字符之間的相關性.從圖中可以看出,對于“書籍”實體,輸入句子中的“證券時報”與記憶句子中的“《推背圖》”存在強關聯;對于“名字”實體,實體“唐曜華”和實體“李淳風”存在強關聯;對于“職位”實體,實體“記者”和“作者”存在強關聯.這說明相同實體種類的上下文向量更加接近,通過捕獲記憶句子中強關聯實體的真實標簽信息,就可以提升輸入句子中實體的類別預測.

Fig.6 Heat map of associated attention based on entity category distance圖6 基于實體類別距離的關聯注意力熱力圖

圖7 是基于編輯距離的一對關聯句子之間的注意力矩陣的熱力圖,從圖中發現,當記憶句子中不包含輸入句子中的一些實體類別時,記憶句子的一些實體會關聯到句子的其他位置.

Fig.7 Heat map of associated attention based on edit distance圖7 基于編輯距離的關聯注意力熱力圖

如圖7 所示,因為記憶句子中不包含“書籍”的實體類別,導致“書籍”實體“證券時報”關聯到了“職位”實體“處長”,但是最終模型還是對“證券時報”做出了正確的預測.從實驗中發現,基于編輯距離的記憶句子選擇方式出現上述情況的可能性要大于基于實體類別距離的記憶句子選擇方式,但模型通過訓練能很好地對錯誤融入的標簽信息進行處理.所以在對句子包含的實體類別預測效果不佳的情況下,基于編輯距離的記憶句子選擇方式要好于第2 種.

由于基于編輯距離的模型具有一定的利用正確實體類別信息和處理錯誤實體類別信息的能力,本文針對模型識別“地址”類別實體能力差的特點,嘗試將所有句子的類別標簽信息用“地址”類別的標簽嵌入進行替換,如表7 所示,發現模型的整體的識別效果得到了大幅度提升.

Table 7 F1 value using enhanced address information表7 使用增強地址信息的模型F1 值

4 總結

本文充分利用預訓練語言模型捕獲句子字符的上下文信息,同時利用關聯記憶網絡,使字符的上下文信息接近于實體類別的標簽信息,并將類別的標簽信息融入到序列的字符表示中.最后,利用多頭自注意網絡高效地計算了句子任意位置間的關注度,對融入了標簽信息的字符表示進行重新編碼,增加了實體識別的效果.實驗結果表明,本文模型在細粒度命名實體識別任務中取得了更好的效果.在未來的工作中,希望針對細粒度命名實體識別,設計多標簽文本分類模型來提高預測句子中包含的實體類別的效果,結合本文提出的實體類別距離的計算方法,來提高模型的識別效果.