面向中文中醫(yī)藥領(lǐng)域的命名實(shí)體識(shí)別

雷迪，張璞

（1.河北地質(zhì)大學(xué)，河北石家莊，050000；2.河北政法職業(yè)學(xué)院，河北石家莊，050000）

0 引言

中醫(yī)藥是中華文化的瑰寶，歷經(jīng)上千年的傳承，形成了以經(jīng)驗(yàn)為依據(jù)的獨(dú)特理論體系。因此，對(duì)這些寶貴的中醫(yī)藥治療醫(yī)案進(jìn)行數(shù)字化、結(jié)構(gòu)化的知識(shí)構(gòu)建，對(duì)中醫(yī)藥信息檢索與臨床應(yīng)用、挖掘中醫(yī)辨證規(guī)律等方面具有非凡的指導(dǎo)意義。所以，對(duì)這些醫(yī)案中，相關(guān)病癥、方劑、治療手段等實(shí)體的正確提取，有利于推進(jìn)中醫(yī)藥知識(shí)結(jié)構(gòu)化、數(shù)字化、智能化的建設(shè)，進(jìn)一步推進(jìn)中醫(yī)藥領(lǐng)域的發(fā)展。

命名實(shí)體識(shí)別作為知識(shí)圖譜中的一部分技術(shù)，在自然語言處理特別是通用領(lǐng)域，已有多種模型，并且效果較好。然而針對(duì)中文的復(fù)雜語義關(guān)系及中醫(yī)藥領(lǐng)域中的特定語義信息，比如疾病名稱、中醫(yī)藥物等實(shí)體，當(dāng)前大多命名實(shí)體識(shí)別模型還無法對(duì)這類實(shí)體進(jìn)行準(zhǔn)確的判斷。

針對(duì)此類問題，本文提出使用一種融合中醫(yī)藥領(lǐng)域字、詞信息，運(yùn)用Lattice-LSTM-CRF 解決中文中醫(yī)藥特定領(lǐng)域的命名實(shí)體識(shí)別方法。使用Lattice 對(duì)中文語言命名實(shí)體識(shí)別的實(shí)體邊界劃分優(yōu)勢(shì)，結(jié)合中醫(yī)藥領(lǐng)域詞信息的字符特征進(jìn)行輸入。同時(shí)，在領(lǐng)域?qū)＜业闹笇?dǎo)下，運(yùn)用BIOES 語言標(biāo)注方法自行構(gòu)建中醫(yī)藥醫(yī)案的數(shù)據(jù)集。本文所提出的方法可對(duì)中醫(yī)藥醫(yī)案中的中醫(yī)人體基礎(chǔ)、中醫(yī)治療手段、病癥醫(yī)治藥物等實(shí)體邊界進(jìn)行有效的確定。

1 基于Lattice-LSTM-CRF 在中醫(yī)藥領(lǐng)域的命名實(shí)體識(shí)別模型

本模型主要考慮中文詞級(jí)和字級(jí)信息，經(jīng)過Lattice-LSTM-CRF 幾部分。首先通過Lattice 輸入句子信息后，通過BILSTM 捕獲句子的上下文信息，理解其復(fù)雜的語義關(guān)系。最后利用CRF 將句子的語義表示進(jìn)行判別和解碼，獲得最優(yōu)標(biāo)記序列。整體結(jié)構(gòu)如圖1 所示。

圖1 Lattice-LSTM-CRF 整體結(jié)構(gòu)

■1.1 Lattice-LSTM

我們使用BIOES 標(biāo)記方案進(jìn)行基于詞和基于字的命名實(shí)體識(shí)別標(biāo)記。句子S可以表示為S=c1,c2,c3…,cm（共m個(gè)字符），如圖2 所示，基于字的模型可表示為其中j為句子中的索引值，c為字符信息，x表示文字的向量化表示。經(jīng)過Bi-LSTM的輸入門、遺忘門和輸出門計(jì)算，公式如下：

其中i、o、f分別表示LSTM的輸入門、輸出門、遺忘門信息。Wc和bc是模型的參數(shù)。若將句子S看做基于詞的表示，句子S=w1,w2,w3,… ,wn（其中wi表示第i個(gè)單詞的表示）。b，e分別表示S中單詞開始和結(jié)束的索引值，則經(jīng)過Bi-LSTM的輸入門、遺忘門和輸出門計(jì)算，公式如下：

由于標(biāo)注序列均是在字后面進(jìn)行的標(biāo)注，所以對(duì)于詞級(jí)信息，LSTM 部分沒有輸出門信息。如圖2 所示，由于Lattice-Lstm 是考慮如何將當(dāng)前位置索引為j的cj中能夠融合潛在的w的信息，將融合了詞的更新狀態(tài)送入LSTM 中，所以考慮在LSTM的輸入門位置更新cj。其中這一過程需要增加一個(gè)輸入門的向量

圖2 基于字、詞信息的Lattice-LSTM

對(duì)該向量進(jìn)行歸一化的處理：

得到更新后的cj：

如圖3 所示，將更新的cj重新放入LSTM 中進(jìn)行訓(xùn)練，去掉LSTM 最后的輸出層softmax，將信息放入CRF 中，利用其轉(zhuǎn)移特征來對(duì)標(biāo)簽進(jìn)行語義約束。

圖3 經(jīng)過Lattice-LSTM 后輸入CRF的特征信息舉例

■1.2 CRF

CRF 是一個(gè)判別式模型，也是一種無向的圖模型?？梢钥醋魇亲畲箪伛R爾可夫模型在標(biāo)注問題上的推廣。它可以通過特征函數(shù)來學(xué)習(xí)狀態(tài)間的關(guān)聯(lián)。如圖4 所示，對(duì)于本文來說，利用CRF 中輸出元素的前后關(guān)聯(lián)性，來對(duì)中文中的中醫(yī)藥領(lǐng)域標(biāo)簽進(jìn)行標(biāo)簽前后的約束。

圖4 CRF 中進(jìn)行Viterbi 解碼示例

對(duì)特征函數(shù)進(jìn)行簡(jiǎn)化，將兩種特征函數(shù)此時(shí)都用f表示，權(quán)重都用w 表示為：

給定一個(gè)輸入序列x，可以計(jì)算出輸出序列為y的概率，公式如下，其中n為序列的長(zhǎng)度。

可以把Z(k) 看成是所有輸出序列的得分之和。最后采用L2 正則化的句子級(jí)對(duì)數(shù)似然損失訓(xùn)練模型，防止小樣本數(shù)據(jù)實(shí)驗(yàn)過擬合。

而命名實(shí)體識(shí)別任務(wù)本質(zhì)上是一個(gè)seq to seq的任務(wù)，所以最后得到的結(jié)果還應(yīng)轉(zhuǎn)化為相應(yīng)標(biāo)簽。這一部分，我們使用CRF 中的一階Viterbi 算法在本模型對(duì)應(yīng)的輸入序列上找到得分最高的標(biāo)簽序列。

2 實(shí)驗(yàn)

本文數(shù)據(jù)集來自于中醫(yī)藥專家對(duì)多種病癥治療的中文中醫(yī)藥治療醫(yī)案，并且以中醫(yī)藥學(xué)科體系為核心，遵循中醫(yī)藥學(xué)語言特點(diǎn)，借鑒語義網(wǎng)絡(luò)的理念，建立的一個(gè)中醫(yī)藥學(xué)語言集成系統(tǒng)TCMLS 為依據(jù)，在專家指導(dǎo)下將中醫(yī)藥的醫(yī)案文本數(shù)據(jù)分為6 類不同標(biāo)簽，共標(biāo)注字?jǐn)?shù)71902，實(shí)體10692 個(gè)，標(biāo)注類別如表1 所示，對(duì)其相關(guān)實(shí)體進(jìn)行BIOES 標(biāo)注。

表1 6類標(biāo)簽的劃分及示例

本實(shí)驗(yàn)取數(shù)據(jù)集的80%作為訓(xùn)練集，10%作為驗(yàn)證集，10%作為測(cè)試集。實(shí)驗(yàn)最終選取常用的精確率 P、召回率R 和F1 值對(duì)命名實(shí)體識(shí)別結(jié)果進(jìn)行評(píng)價(jià)。為了驗(yàn)證本文方法的有效性，我們?cè)O(shè)置了以下4 個(gè)實(shí)驗(yàn)。

LSTM-CRF：LSTM 捕捉句子信息，理解語義內(nèi)容，CRF 對(duì)標(biāo)簽進(jìn)行約束，更好的進(jìn)行命名實(shí)體識(shí)別任務(wù)。

BiLSTM-CRF：BiLSTM由前項(xiàng)LSTM和后項(xiàng)LSTM組合而成，可以更好的捕捉上下文的語義信息。效果優(yōu)于LSTM-CRF。

Lattice-LSTM-CRF：將分詞信息帶入LSTM，能夠?qū)⒆址?jí)別序列信息和該序列對(duì)應(yīng)的詞信息同時(shí)編碼供模型取用，豐富了語義表達(dá)。對(duì)于中文中醫(yī)藥文本數(shù)據(jù)效果明顯。

Lattice-BiLSTM-CRF：結(jié)合字、詞信息同時(shí)，捕捉上下文語義，更好的理解中醫(yī)藥語義信息，可以看出F1 值最高，效果最好。實(shí)驗(yàn)結(jié)果如表2 所示。

表2 4個(gè)實(shí)驗(yàn)對(duì)比結(jié)果

3 結(jié)論

本文將Lattice-LSTM-CRF 模型引入到中文數(shù)據(jù)的中醫(yī)藥領(lǐng)域命名實(shí)體識(shí)別研究。通過標(biāo)注的中醫(yī)藥醫(yī)案數(shù)據(jù)集發(fā)現(xiàn)，相比傳統(tǒng)的LSTM-CRF 實(shí)驗(yàn)，Lattice-LSTM-CRF 更具有實(shí)驗(yàn)優(yōu)越性，對(duì)中醫(yī)藥醫(yī)案中的實(shí)體邊界的確定有更好的效果。本文對(duì)中文中醫(yī)藥領(lǐng)域中的6 類實(shí)體進(jìn)行了很好的識(shí)別。在今后研究中，可以針對(duì)特定領(lǐng)域的詞信息及上下文的相關(guān)性，提前進(jìn)行詞信息的預(yù)處理，比如構(gòu)建相關(guān)詞典。使Lattice 可以更好的利用相關(guān)信息，更好的在命名實(shí)體識(shí)別任務(wù)中凸顯其效果。