注意力孿生網(wǎng)絡(luò)在生物醫(yī)學(xué)文本相似性上的應(yīng)用

安宏達(dá),李正光,2,吳鏑,鄭巍

(1.大連交通大學(xué) 軟件學(xué)院，遼寧 大連 116028;2.大連理工大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，遼寧 大連 116023 )*

近年來，隨著醫(yī)學(xué)信息的快速發(fā)展積累了越來越多的醫(yī)學(xué)文本，然而在這些龐大的數(shù)據(jù)中經(jīng)常會有很多語義相近但文本描述卻截然不同的句子，這無疑給醫(yī)學(xué)研究帶來很多不必要的麻煩.文本語義相似性評估成為解決這一問題的主要技術(shù).

文本相似性，指的是對文本或句子之間相似程度的評價.最早的評估方法主要利用信息檢索技術(shù)[1]等從文檔中抽取文本結(jié)構(gòu)，然后預(yù)測文本相似性.除此之外，還有詞頻共現(xiàn)自動評估算法[2]、單詞(或字)與文本混合評估、短文本語義相似性抽取[3]等方法.這些方法都是通過檢索或者神經(jīng)網(wǎng)絡(luò)的方法分別抽取兩個句子的相似特征進(jìn)行比較，但是這些方法只是單獨抽取每個句子的相似特征，在抽取特征時沒有考慮到兩個句子間的影響.

孿生網(wǎng)絡(luò)[4]通過兩個共享參數(shù)的子網(wǎng)絡(luò)同時抽取兩個輸入句子的語義特征對句子的相似性進(jìn)行評估.不過，孿生網(wǎng)絡(luò)結(jié)構(gòu)在文本相似問題上雖然優(yōu)于信息檢索和詞頻共現(xiàn)的方法，但是它仍有很大的提升空間.注意力機(jī)制可以對孿生網(wǎng)絡(luò)輸出的兩個語義特征再次加工，將與語義相關(guān)的特征放大，把無關(guān)的噪音縮小，這無疑可以提高預(yù)測的準(zhǔn)確率.注意力機(jī)制主要可分為自注意力機(jī)制[5]和交互式注意力機(jī)制.自注意力機(jī)制可以將自身文本中有用的部分?jǐn)U大，無用的部分縮小，以此讓模型快速學(xué)習(xí)到有用的特征，其主要應(yīng)用在文本分類[6]、命名實體識別等任務(wù).交互式注意力機(jī)制則是增強(qiáng)兩個句子間的相關(guān)語義特征，以提高兩個句子間語義相似的部分.

1 實驗方法

本文提出了一種基于注意力機(jī)制的孿生網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.整個網(wǎng)絡(luò)結(jié)構(gòu)可分為輸入層、嵌入層、孿生網(wǎng)絡(luò)層、注意力層和語義距離計算(圖中的注意力層展示了自注意力機(jī)制和交互式注意力機(jī)制，這兩個機(jī)制之間沒有關(guān)系)，本部分將主要針對這五個網(wǎng)絡(luò)層進(jìn)行介紹.

圖1 基于注意力機(jī)制的孿生網(wǎng)絡(luò)

1.1 實驗數(shù)據(jù)與預(yù)處理

本文在實驗中使用DBMI和SICK數(shù)據(jù)集：

(1)DBMI數(shù)據(jù)：DBMI評測中任務(wù)一“Clinical Semantical Textual Similarity”(簡稱ClinicalSTS)的數(shù)據(jù)集，是關(guān)于臨床醫(yī)療文本的文本相似性評估數(shù)據(jù).DBMI數(shù)據(jù)集包含訓(xùn)練集1400條，測試集412條.驗證集255條.數(shù)據(jù)集中的標(biāo)簽為0～5之間的小數(shù)，標(biāo)簽中分?jǐn)?shù)越大說明兩個句子的語義相關(guān)性越大，反之則越小.

(2)SICK數(shù)據(jù)：SICK(Sentences Involving Compostional Knowledge)數(shù)據(jù)集將每個句子對及其相應(yīng)分?jǐn)?shù)作為一條數(shù)據(jù)，其中包含訓(xùn)練集4500條，測試集4805條以及試驗集500條.數(shù)據(jù)集中的標(biāo)簽為1～5之間的小數(shù)，其余與DBMI數(shù)據(jù)相似.

在數(shù)據(jù)預(yù)處理方面為方便數(shù)據(jù)集轉(zhuǎn)換，本文在實驗中將DBMI與SICK的標(biāo)簽同比例縮小為0～1之間的小數(shù).除此之外，由于SICK數(shù)據(jù)中訓(xùn)練集數(shù)量小于測試集數(shù)據(jù)的數(shù)量，我們對數(shù)據(jù)集進(jìn)行了調(diào)整.最后實驗中訓(xùn)練集6000條、驗證集1235條、測試集2570條.

1.2 詞向量嵌入模型

詞向量(Word embedding)又被叫做詞嵌入，是一種將詞語或單詞轉(zhuǎn)化為數(shù)值向量(Vector)的過程.句子中的每個單詞通過預(yù)訓(xùn)練被表示成一個實數(shù)值向量，再將同一個句子中的所有向量表示組合到一起成為一個可以表示句子語義特征的矩陣.相比較于其他的文本表示方法，詞向量模型的向量表示所包含的語義信息更加豐富.因為實驗數(shù)據(jù)為醫(yī)學(xué)類數(shù)據(jù)，因此本文選用Pubmed 詞向量，該工具使用對Pubmed上醫(yī)學(xué)論文的標(biāo)題和摘要進(jìn)行訓(xùn)練得到.本文在實驗中選用Pubmed 2018版400維的詞向量.

1.3 孿生網(wǎng)絡(luò)

孿生網(wǎng)絡(luò)(Siamese network)是一種可以共享神經(jīng)網(wǎng)絡(luò)參數(shù)的網(wǎng)絡(luò)框架，在這個框架內(nèi)擁有兩個共享參數(shù)并且結(jié)構(gòu)相同的子網(wǎng)絡(luò).孿生網(wǎng)絡(luò)結(jié)構(gòu)主要應(yīng)用于對輸入序列的相似性預(yù)測，兩個子網(wǎng)絡(luò)的輸入X與Y分別對應(yīng)預(yù)測相似性的兩個序列.通過子網(wǎng)絡(luò)訓(xùn)練捕捉語義信息得到語義特征G(X)與G(Y)，而語義特征就是判斷兩個句子語義相似性的依據(jù).

對于孿生網(wǎng)絡(luò)的子網(wǎng)絡(luò)，由于選擇的數(shù)據(jù)多屬于像臨床醫(yī)學(xué)文本這樣的長篇幅句子，而循環(huán)網(wǎng)絡(luò)在處理長度大的序列效果更好.本文選擇的孿生網(wǎng)絡(luò)框架子網(wǎng)絡(luò)就是在循環(huán)網(wǎng)絡(luò)中表現(xiàn)較好的Bi-LSTM(Bi-directional Long Short-Term Memory)網(wǎng)絡(luò).Bi-LSTM由前向LSTM和后向LSTM組成，LSTM(Long Short-Term Memory)模型結(jié)構(gòu)可分為遺忘門，記憶門和輸出門，模型通過遺忘門將無用信息丟棄，通過記憶門保存有用信息，最后由輸出門輸出結(jié)果，具體公式如下：

(1)

1.4 注意力機(jī)制

孿生網(wǎng)絡(luò)的兩個輸出雖然可以分別表示兩個輸入句子的語義，但是由于句子中往往會存在很多的噪音，從而導(dǎo)致結(jié)果并不理想.為解決這一問題，本文引進(jìn)注意力機(jī)制(Attention mechanism).注意力機(jī)制可以對孿生網(wǎng)絡(luò)輸出的兩個語義特征再次加工，通過訓(xùn)練注意力權(quán)重(Attention weight)擴(kuò)大語義相關(guān)的部分，減小與語義無關(guān)的噪音，將噪音對語義特征的影響降到最低.注意力機(jī)制主要可分為自注意力機(jī)制(Self attention mechanism)和交互式注意力機(jī)制(Interactive attention mechanism).本文在實驗中使用了一種自注意力機(jī)制的網(wǎng)絡(luò)和三種交互式注意力機(jī)制的網(wǎng)絡(luò).其中的三種交互式注意力機(jī)制分別為交互式注意力網(wǎng)絡(luò)(Interactive attention network)、混合交互式注意力網(wǎng)絡(luò)(Merge interactive attention network)、單獨交互式注意力網(wǎng)絡(luò)(Single interactive attention network).

1.4.1 自注意力網(wǎng)絡(luò)(Self attention network)

自注意力網(wǎng)絡(luò)是通過計算輸入X=[x1,x2,x3,…,xi](i∈[1,N])中每一個單詞xi對句子中其它單詞的權(quán)重α，來預(yù)測xi在X中的影響程度，其中α=[α1,α2,α3,…,αi](i∈[1,N])，N表示輸入X的長度，權(quán)重αi的計算公式如下：

(2)

其中,f表示分?jǐn)?shù)計算函數(shù)，計算公式如下：

f(xi)=tanh(xi·W+b)

(3)

式中，tanh表示激活函數(shù)，W表示權(quán)重矩陣，b表示偏執(zhí)項，xi表示分?jǐn)?shù)計算函數(shù)f的輸入.

最后，將得到ci=αixi,而自注意力網(wǎng)絡(luò)輸出C表示如下：

(4)

C就是自注意力網(wǎng)絡(luò)的輸出，表示輸入序列X中的每一個單詞按照影響程度放大或縮小后的結(jié)果.

1.4.2 交互式注意力網(wǎng)絡(luò)

交互式注意力網(wǎng)絡(luò)[8]計算過程與自注意力網(wǎng)絡(luò)相似.X=[x1,x2,x3,…,xi](i∈[1,N])表示句子A的序列，Y=[y1,y2,y3,…,yi](i∈[1,N])表示句子B的序列，α是X的注意力權(quán)重，β是Y的注意力權(quán)重：

(5)

f(xi,yavg)和f(yi,xavg)分別表示序列X和Y的分?jǐn)?shù)計算函數(shù)，計算公式如下：

(6)

(7)

Cx是序列X的注意力網(wǎng)絡(luò)輸出，Ty是序列Y的輸出，最后將Cx和Ty放入到曼哈頓距離公式中計算兩個序列X與Y的差異.

1.4.3 混合交互式注意力網(wǎng)絡(luò)

混合交互式注意力網(wǎng)絡(luò)相比于交互式注意力網(wǎng)絡(luò)(IAN)不再區(qū)分序列X和Y的注意力權(quán)重，而是兩個序列X和Y分別乘以相同的混合注意力權(quán)重，這種乘以相同的權(quán)重矩陣的方法可能會增強(qiáng)兩個句子間的語義關(guān)聯(lián)度.具體運(yùn)算公式如下：

(8)

其中,Wx和Wy表示X和Y的權(quán)重矩陣，Wmerge表示X和Y混合特征的權(quán)重矩陣，bmerge為偏執(zhí)項.

1.4.4 單獨交互式注意力網(wǎng)絡(luò)

在實驗中，由于兩個輸入序列的分?jǐn)?shù)計算函數(shù)相似，在計算序列差異上會有影響，單獨交互式注意力網(wǎng)絡(luò)將序列X乘以序列Y的自注意力權(quán)重，反之亦然.其余計算與自注意力網(wǎng)絡(luò)相同.

(9)

其中，β是序列Y的自注意力權(quán)重，α是序列X的自注意力權(quán)重，Cx和Ty分別表示序列X和序列Y的單獨交互式注意力網(wǎng)絡(luò)輸出.

1.5 語義距離計算

在得到經(jīng)過注意力機(jī)制增強(qiáng)后的兩個語義表示后，用曼哈頓距離公式計算兩個句子的語義距離，并以此作為句子對語義相似性的依據(jù).

2 實驗結(jié)果與討論

本文實驗使用Ubuntu 18.04系統(tǒng)，Python 3.7.3，tensorflow 1.14.0以及Keras 2.1.5，具體試驗參數(shù)如表1所示.

表1 實驗參數(shù)設(shè)置

實驗中所用參數(shù)如表1所示，參數(shù)因為DBMI數(shù)據(jù)集和SICK數(shù)據(jù)集的差異性而略作調(diào)整.由于SICK數(shù)據(jù)中的句子普遍比DBMI數(shù)據(jù)短，所以降低了序列長度和孿生網(wǎng)絡(luò)子網(wǎng)絡(luò)這個兩層Bilstm的單元(Units)個數(shù).同時因為SICK數(shù)據(jù)中的訓(xùn)練集數(shù)量明顯高于DBMI數(shù)據(jù)，所以提高了每一批次的大小(batch size).

2.1 DBMI數(shù)據(jù)注意力網(wǎng)絡(luò)實驗結(jié)果比較

在本部分將使用DBMI數(shù)據(jù)對方法中的四種注意力網(wǎng)絡(luò)進(jìn)行實驗結(jié)果對比，其中的孿生網(wǎng)絡(luò)(SN)為實驗的基線方法(孿生網(wǎng)絡(luò)中的子網(wǎng)絡(luò)采用兩層Bilstm網(wǎng)絡(luò))，其余方法分別為孿生網(wǎng)絡(luò)加自注意力網(wǎng)絡(luò)(SN-SAN)、孿生網(wǎng)絡(luò)加交互式注意力網(wǎng)絡(luò)(SN-IAN)、孿生網(wǎng)絡(luò)加混合交互式注意力網(wǎng)絡(luò)(SN-MIAN)、孿生網(wǎng)絡(luò)加單獨交互式注意力網(wǎng)絡(luò)(SN-SIAN).

表2是對四種注意力網(wǎng)絡(luò)的試驗結(jié)果對比，評價方法分別為皮爾森相關(guān)系數(shù)(Pearson)、斯皮爾曼相關(guān)系數(shù)(Spearman)和均方差(MSE).通過

表2 DBMI注意力網(wǎng)絡(luò)結(jié)果對比

對表中數(shù)據(jù)分析可知，注意力機(jī)制對實驗結(jié)果有很大提升，本文提出的孿生網(wǎng)絡(luò)加交互式注意力網(wǎng)絡(luò)(SN-IAN)要優(yōu)于其它方法，并且相比于孿生網(wǎng)絡(luò)(SN)皮爾森相關(guān)系數(shù)提升了0.27.

2.2 SICK數(shù)據(jù)方法比較

因為DBMI數(shù)據(jù)暫時還沒有發(fā)布評測結(jié)果，所以用SICK數(shù)據(jù)與其他方法比較.目前使用SICK數(shù)據(jù)的文章有很多，我們在其中選擇pos-LSTM-n[9]、Multi-Perspective CNN[10]、Siamese GRU Model[11]這三種方法與我們的方法做對比.

表3 SICK數(shù)據(jù)其它方法結(jié)果對比

對表3的結(jié)果分析可知，孿生網(wǎng)絡(luò)加注意力機(jī)制的結(jié)果要優(yōu)于使用SICK數(shù)據(jù)的其它方法，而本文提出的SN-IAN優(yōu)于其它方法，并且在皮爾森相關(guān)系數(shù)上的結(jié)果比SN高0.07，證明我們提出的方法是有效的. 此外，本文所使用的孿生網(wǎng)絡(luò)(SN)的內(nèi)層網(wǎng)絡(luò)為BiLSTM且皮爾森系數(shù)高于使用門控循環(huán)單元(GRU)作為內(nèi)層網(wǎng)絡(luò)的孿生網(wǎng)絡(luò)模型(Siamese GRU Model)，證明BiLSTM網(wǎng)絡(luò)作為孿生網(wǎng)絡(luò)的內(nèi)層網(wǎng)絡(luò)要優(yōu)于GRU網(wǎng)絡(luò).

3 結(jié)論

通過實驗結(jié)果對比以及數(shù)據(jù)分析，可以得出以下結(jié)論.

(1)對孿生網(wǎng)絡(luò)輸出的語義特征用注意力網(wǎng)

絡(luò)進(jìn)行加工處理對于孿生網(wǎng)絡(luò)的實驗結(jié)果有提升作用且效果很大；

(2)在文本相似性任務(wù)中，交互式注意力機(jī)制的效果要比自注意力機(jī)智的效果更好；

(3)在交互式注意力機(jī)制中，交互式注意力網(wǎng)絡(luò)要比混合交互式注意力網(wǎng)絡(luò)與單獨交互式注意力網(wǎng)絡(luò)效果更好.