面向航空發(fā)動機(jī)故障知識圖譜構(gòu)建的實(shí)體抽取*

韓 濤，黃海松，姚立國

(1. 貴州大學(xué)現(xiàn)代制造技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，貴陽 550025；2.中國航發(fā)貴陽發(fā)動機(jī)設(shè)計(jì)研究所，貴陽 550081)

0 引言

航空發(fā)動機(jī)是現(xiàn)代工業(yè)“皇冠上的明珠”，是一個國家科技工業(yè)水平的重要體現(xiàn)。和其他復(fù)雜機(jī)械系統(tǒng)一樣，在其研制和使用過程中，時常會發(fā)生故障。據(jù)統(tǒng)計(jì)，航空發(fā)動機(jī)的故障發(fā)生率約占整個飛機(jī)故障的1/3左右。因此，如何利用現(xiàn)有知識經(jīng)驗(yàn)，快速高效處置故障，保證航空發(fā)動機(jī)穩(wěn)定安全工作，一直是困擾研究人員和用戶的難題。近年來，作為人工智能三大技術(shù)領(lǐng)域之一的知識圖譜(Knowledge Graph)技術(shù)，能夠以更接近人類認(rèn)知世界的形式表達(dá)和描述文本知識數(shù)據(jù)中的信息，為高效管理、組織和理解海量知識信息提供了可能[1]。自提出以來，知識圖譜已在醫(yī)療、金融、社交、教育、軍事等領(lǐng)域得到了深入研究探索[2]。在故障研究領(lǐng)域，文獻(xiàn)[3]研究了無人系統(tǒng)故障知識圖譜的構(gòu)建方法，文獻(xiàn)[4]探索了面向電網(wǎng)調(diào)度故障處理的知識圖譜關(guān)鍵技術(shù)，文獻(xiàn)[5]研究了數(shù)控設(shè)備故障領(lǐng)域知識圖譜構(gòu)建方法。建立航空發(fā)動機(jī)故障領(lǐng)域的知識圖譜是高效處理和利用既有知識的客觀需要，是推進(jìn)航空發(fā)動機(jī)故障智能決策處置的主要技術(shù)基礎(chǔ)，并在航空發(fā)動機(jī)可靠性設(shè)計(jì)、產(chǎn)品質(zhì)量管理等方面也具有較大的應(yīng)用潛力。

實(shí)體抽取是航空發(fā)動機(jī)故障知識圖譜構(gòu)建關(guān)鍵環(huán)節(jié)之一。航空發(fā)動機(jī)故障文本實(shí)體抽取，主要是實(shí)現(xiàn)對故障部位、故障原因、故障特征、處理措施等關(guān)鍵實(shí)體的識別，目前國內(nèi)外在該領(lǐng)域的研究還鮮有涉及?；诖?，本文針對航空發(fā)動機(jī)故障領(lǐng)域知識圖譜實(shí)體抽取的需要，構(gòu)建了航空發(fā)動機(jī)故障文本數(shù)據(jù)集并進(jìn)行了實(shí)體標(biāo)注，以解決該領(lǐng)域數(shù)據(jù)集缺乏問題；提出了一種Lattice Transformer-CRF實(shí)體抽取方法，以研究航空發(fā)動機(jī)發(fā)動機(jī)故障領(lǐng)域文本中的實(shí)體自動抽取問題，為航空發(fā)動機(jī)故障知識圖譜的構(gòu)建奠定基礎(chǔ)。

1 航空發(fā)動機(jī)故障領(lǐng)域數(shù)據(jù)集構(gòu)建

1.1 數(shù)據(jù)介紹

本文所建立的故障數(shù)據(jù)集，來源于某研究所在航空發(fā)動機(jī)研制過程中長期積累的故障分析報(bào)告、發(fā)動機(jī)外場使用維護(hù)記錄、情報(bào)文獻(xiàn)等資料。經(jīng)脫敏處理、篩選整理后，遴選出430余份文獻(xiàn)(約73萬字)作為原始數(shù)據(jù)。通過對文獻(xiàn)內(nèi)容進(jìn)行分析，并結(jié)合航空發(fā)動機(jī)研究人員建議，將數(shù)據(jù)中的實(shí)體分為故障部位、故障原因、故障特征、處理措施等4類，并采用本文1.2節(jié)中的標(biāo)注策略進(jìn)行數(shù)據(jù)標(biāo)注。

1.2 標(biāo)注策略

本文采用BIOES標(biāo)注規(guī)范對數(shù)據(jù)集進(jìn)行標(biāo)注。即將每個實(shí)體的第一個字標(biāo)記為“B-(實(shí)體名稱)”；中間的字標(biāo)記為“I-(實(shí)體名稱)”；結(jié)尾的字標(biāo)記為“E-(實(shí)體名稱)”；單個字符字標(biāo)記為“S-(實(shí)體名稱)”；對于無關(guān)字，全部標(biāo)記為O。標(biāo)記好的數(shù)據(jù)處理后共分17個大類，分別為B-POS、I-POS、E-POS、B-FEA、I-FEA、E-FEA、B-CAU、I-CAU、E-CAU、B-MET、I-MET、E-MET、S-POS、S-FEA、S-CAU 、S-MET、O。

具體標(biāo)注說明如下：

故障部位(POS)：本文標(biāo)注的故障位置是指故障發(fā)生的部件、元器件等，由于航空發(fā)動機(jī)故障類別較多，大致可以分為性能、結(jié)構(gòu)、附件等故障類型，其中屬于發(fā)動機(jī)整機(jī)性的故障，以“發(fā)動機(jī)”、“飛機(jī)發(fā)動機(jī)”等一級實(shí)體作為故障部位；

故障特征(FEA)：是航空發(fā)動機(jī)故障表現(xiàn)或現(xiàn)象，如裂紋、喘振、燒蝕、放炮等；

故障原因(CAU)：是故障發(fā)生的原因，航空發(fā)動機(jī)故障原因錯綜復(fù)雜，往往是多種因素耦合作用的結(jié)果，在數(shù)據(jù)標(biāo)注時應(yīng)特別注意標(biāo)注的完整性，典型的原因如：腐蝕、磨損、老化等；

處理措施(MET)：對故障的處理方式，如“采用噴丸處理”、“增加葉片自振頻率”等；

以“發(fā)動機(jī)供油管因材料腐蝕導(dǎo)致開裂后，發(fā)生滲油故障?！睘槔M(jìn)行序列標(biāo)注，標(biāo)注后結(jié)果如圖1所示。

圖1 序列標(biāo)注示例

2 Lattice Transformer-CRF模型

本文提出了一種可以用于航空發(fā)動機(jī)中文故障文本實(shí)體識別的Lattice Transformer-CRF模型，結(jié)構(gòu)如圖2所示。該模型結(jié)構(gòu)是以融入句子序列中字和詞位置信息的預(yù)訓(xùn)練的字向量和詞向量同時作為模型輸入后，采用Transformer模型作為編碼和解碼器，后通過條件隨機(jī)場(CRF)作為分類器對Transformer輸出的特征進(jìn)行序列標(biāo)注，從而得到標(biāo)簽序列的最優(yōu)解。

圖2 Lattice-Transformer-CRF模型

2.1 Lattice

中文實(shí)體抽取算法按照輸入類型可大致分為基于字符(Character-based)的模型和基于詞(Word-based)的模型。不同于英文或其他語種文本數(shù)據(jù)，中文文本數(shù)據(jù)中字符為最小語言單位，詞與詞之間界限區(qū)分不明顯，因此基于詞的模型對分詞效果具有很強(qiáng)的依賴性，且易受分詞算法的影響。基于字符的模型盡管無需分詞，但是僅采用字向量會導(dǎo)致內(nèi)在信息丟失，因?yàn)橛行┥舷挛闹械脑~序列蘊(yùn)含的語義信息可輔助模型性能的提高，比如“磨蝕”這個詞，若采用字向量，就成了“磨”和“蝕”，這兩個字的單獨(dú)含義明顯區(qū)別于它所組成的詞的含義。

在基于字符的實(shí)體抽取結(jié)構(gòu)中通過引入詞匯信息來提升識別性能指標(biāo)，已成為中文實(shí)體抽取的一個重要研究方向。文獻(xiàn)[6]在所研究的BGRU-CRF實(shí)體抽取模型中，將潛在詞信息整合其中，模型明確地利用了詞與詞之間的序列信息，能夠不受分詞錯誤的影響；文獻(xiàn)[7]提出了融入字符-詞-位置三種信息的BiLSTM-Attention模型，該模型在MSRA數(shù)據(jù)集和微博數(shù)據(jù)集的實(shí)驗(yàn)驗(yàn)證中均取得較高的精確率和召回率，并表現(xiàn)完整性、簡單性和穩(wěn)定性等特點(diǎn)；文獻(xiàn)[8]構(gòu)建了融合字詞信息的命名實(shí)體識模型，可在不需要人工特征的條件下獲得較好的結(jié)果。

Lattice是一種可以利用字符和詞序列信息、門控結(jié)構(gòu)選擇最相關(guān)的字符和單詞以獲得更好的實(shí)體抽取結(jié)果的結(jié)構(gòu)。如圖3所示，Lattice結(jié)構(gòu)是一個有向無環(huán)圖，其中每個節(jié)點(diǎn)都是一個字符或一個潛在的詞。Lattice包括句子中一系列的字符和詞，這些字符和詞不是按順序排列的，詞的位置由詞的第一個字符和最后一個字符決定。文獻(xiàn)[9]構(gòu)建了Lattice LSTM模型用于中文文本實(shí)體識別，結(jié)果表明模型可以同時利用中文字符和單詞的信息，可對字符和單詞的信息進(jìn)行選擇，消除歧義，有效提升了實(shí)體抽取性能。文獻(xiàn)[10]采用Lattice LSTM模型，研究了古漢語的實(shí)體抽取問題，文獻(xiàn)[11]基于Lattice LSTM模型，構(gòu)建了對抗訓(xùn)練Lattice LSTM模型(AT-Lattice LSTM-CRF)，研究了中文臨床實(shí)體抽取方法。文獻(xiàn)[12]研究了基于句子級Lattice-LSTM的中文電子病歷實(shí)體抽取方法。

圖3 Lattice結(jié)構(gòu)

上述研究中，相較于單純的基于字符的模型或基于詞的模型，Lattice LSTM模型均取得了相對較好的識別效果。然而， Lattice LSTM模型是LSTM模型為基礎(chǔ)，通過改進(jìn)輸入信息，來提升的模型效果，在訓(xùn)練過程中受LSTM模型的影響，會出現(xiàn)信息損失、計(jì)算性能低下、可遷移性差等問題[13]。

2.2 Transformer

Transformer模型是最近一年多來NLP領(lǐng)域最重要的進(jìn)展。與LSTM一樣，Transformer模型可以對輸入序列每個字之間的特征關(guān)系進(jìn)行提取與捕捉。Transformer 模型本質(zhì)是由兩個結(jié)構(gòu)類似的編碼器(Encoder)和解碼器(Decoder)構(gòu)成[13]，如圖4所示。二者均由6個相同的基本層堆疊而成，每一個基本層都由兩個子層組成，其中一個是多頭注意力層(Multi-Head Attention)，另一個是密集型全連接前饋神經(jīng)網(wǎng)絡(luò)層(Feed Forward Network)。解碼器結(jié)構(gòu)中還有一個用于對編碼器層的輸出進(jìn)行多頭注意力操作的隱蔽式多頭注意力層(Masked Multi-Head Attention)。每個子層中使用殘差連接，然后進(jìn)行層歸一化操作[14]。

圖4 Transformer模型框架

通過自注意力機(jī)制和對多個基本的編碼器與解碼器單元進(jìn)行連續(xù)堆疊，Transformer模型可以發(fā)現(xiàn)單字在不同語境下的不同語義，從而實(shí)現(xiàn)了一詞多義的區(qū)分，比LSTM具備更強(qiáng)的特征提取性能[15]。以Transformer模型為基礎(chǔ)，通過引入Lattice結(jié)構(gòu)作為模型輸入，可提升實(shí)體抽取效果。

(1)

其中，ec表示字符嵌入查找表。

由于引入了詞匯信息，還要考慮句子中的詞典子序列w1,3，每個詞典子序列w1,3的向量可表示為：

(2)

其中，ew表示詞嵌入查找表。

由于Transformer中未包含遞歸和卷積，為了使模型能夠利用序列的順序，本文為每個字符嵌入和詞嵌入增加了位置編碼(Lattice Position Encoding)。字的位置是在字符序列中的位置，詞的位置是這個詞的開始字符的字符位置。例如“渦輪轉(zhuǎn)子葉片裂紋”中“渦”的位置為0，“渦輪”的位置也為0。

Transformer 模型完全基于注意力機(jī)制實(shí)現(xiàn)的。注意力機(jī)制通?？梢赃M(jìn)行如下描述：將查詢向量(Q)和一系列鍵向量(K)與值向量(V)的鍵值對映射到輸出上。Transformer首先使用h個注意頭對輸入序列單獨(dú)實(shí)現(xiàn)自我注意，然后對每個頭部進(jìn)行級聯(lián)和線性變換運(yùn)算，即為多頭注意力。在實(shí)際應(yīng)用中，可同時計(jì)算一組查詢的注意函數(shù)，將它們打包成一個矩陣Q，鍵和值也被打包成矩陣K和V。假設(shè)Lattice輸入序列向量為X∈Rn×d，則輸出的序列表示計(jì)算為：

(3)

在Transformer模型中，多頭注意力是通過h次不同的線性變換將dmodel維的Q，K和V這3個向量分別映射成dk維、dk維和dv維?；诿總€映射組的Q、K和V，并行執(zhí)行Attention函數(shù)，產(chǎn)生h×dv維的輸出值。然后，將它們連接并再次映射，產(chǎn)生最終值，具體公式如下：

要將調(diào)整法運(yùn)用到圖論問題中，必須先要確定存在可以取最值的結(jié)構(gòu)組合，然后在取最值時要充分觀察以及分析研究，選擇組合對象可能滿足的特質(zhì)，同時要用調(diào)整法來體現(xiàn)出它所具備的特質(zhì)，在不具備該特質(zhì)的情況下，應(yīng)當(dāng)及時調(diào)整改編組合對象的結(jié)構(gòu)，促使其能夠滿足題目要求的條件，但會使相應(yīng)的函數(shù)值變大或變小，以致出現(xiàn)矛盾，最后通過在取最值時，滿足組合對象相應(yīng)的條件來解出這個最值。

MultiAtt(Q,K,V)=Concat(head1,head2,…,headh)WO

(4)

(5)

2.3 CRF

CRF是文獻(xiàn)[16]提出的一種用于分割和標(biāo)記有序數(shù)據(jù)的判別式概率無向圖模型，具有表達(dá)長距離依賴性和交疊性特征的能力，能夠較好地解決標(biāo)記偏置等問題，通過將所有特征進(jìn)行全局歸一化來得到全局最優(yōu)解。

由于Transformer模型無法充分利用輸出標(biāo)簽之間的關(guān)聯(lián)，輸出結(jié)果中很可能會出現(xiàn)無效標(biāo)注的情況，如在預(yù)測結(jié)果中可能出現(xiàn){B-POS，I-REA，E-MET，…}的情況。因此需要引入CRF層，把Transformer的輸出信息作為輸入信息加到CRF中。

3 實(shí)驗(yàn)與分析

為了驗(yàn)證使用預(yù)訓(xùn)練模型的有效性，本文采用MSRA、微博等公開數(shù)據(jù)集對模型的有效性進(jìn)行驗(yàn)證。而后再采用三個模型Lattice LSTM、BERT、BiLSTM-CRF、Transformer-CRF等4個模型對比驗(yàn)證本文所提模型在自建數(shù)據(jù)集的適用性，對比模型均采用CRF進(jìn)行序列標(biāo)注。

3.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

所有實(shí)驗(yàn)采用的實(shí)驗(yàn)環(huán)境配置：處理器為Intel Xeon Silver 4210，雙路CPU，20核40線程，主頻為2.2 GHz，顯卡為GeForce RTX 2080Ti，顯存為11 G，內(nèi)存為256 GB，如表1所示。

Lattice Transformer-CRF模型參數(shù)的設(shè)置對模型的準(zhǔn)確性和魯棒性均會有較大的影響。經(jīng)過實(shí)驗(yàn)調(diào)參，得出的識別效果較好的Lattice Transformer-CRF模型主要參數(shù)如下：單句最大長度限制200個字，Attention層數(shù)目為6，多頭數(shù)目h為8，隱藏層維數(shù)為200，dropout為0.5，使用Adam 優(yōu)化器優(yōu)化，訓(xùn)練學(xué)習(xí)率lr為1e-5，batch size為10，如表2所示。

表1 實(shí)驗(yàn)環(huán)境及配置

3.2 評估標(biāo)準(zhǔn)

NER的評價(jià)標(biāo)準(zhǔn)主要包括精確率(P)、召回率(R)和F值。具體公式如下：

(6)

(7)

(8)

其中，Tp為模型識別正確的實(shí)體個數(shù)；Fp為模型識別到的不相關(guān)實(shí)體個數(shù)；Fn為模型沒有檢測到的相關(guān)實(shí)體個數(shù)。

3.3 實(shí)驗(yàn)結(jié)果及分析

為了對本文模型有效性做出更加客觀的評價(jià)，本文分別對微博數(shù)據(jù)集和微軟亞洲研究院的MSRA數(shù)據(jù)集進(jìn)行測評。這兩個數(shù)據(jù)集是國內(nèi)公開的中文評測數(shù)據(jù)集，包含了人名(PER)、地名(LOC)和組織機(jī)構(gòu)(ORG)等3種實(shí)體類型。本實(shí)驗(yàn)主要對這三類實(shí)體進(jìn)行識別評測。語料具體規(guī)模如表2 所示。實(shí)驗(yàn)結(jié)果如表3、表4所示。

表2 兩個數(shù)據(jù)集統(tǒng)計(jì)

表3 微博語料的模型對比(單位: %)

表4 MSRA語料測試的模型對比(單位: %)

在微博數(shù)據(jù)集上，通過對比表3中模型的P值、R值和F值可知，Lattice-LSTM、LR-CNN、Lattice-Transformer-CRF這三種采用了Lattice結(jié)構(gòu)，同時引入詞、字符、詞序信息的模型，其F值要明顯高于直接基于字符的BiLSTM+CRF+adversarial+self-attention的模型結(jié)果，分別達(dá)達(dá)到了58.79%、56.54%、65.65%。CAN-NER模型也是以字符特征向量為輸入的模型，并同時引入了卷積注意力模型、門控循環(huán)網(wǎng)絡(luò)模型(GRU)、Global Attention、CRF模型等，模型結(jié)構(gòu)非常復(fù)雜，僅比只有兩層模型結(jié)構(gòu)的Lattice LSTM模型高了0.52%。這說明，Lattice結(jié)構(gòu)通過增加輸入信息，可以在提高識別率的同時簡化神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)。

在MSRA數(shù)據(jù)集上，基于字符特征向量的ME-CNER模型，要比其他幾個基于詞、字符、詞序信息等特征向量輸入模型至少低于1%。Lattice LSTM模型和Lattice Transformer模型，可知，在同樣向量輸入的條件下，模型中主要結(jié)構(gòu)對識別準(zhǔn)確率有很大影響，引入多層注意力模型的Lattice Transformer-CRF的P值、R值和F值均比Lattice LSTM模型的高，分別是94.12、96.26、95.18。表4中，LR-CNN模型的P值、R值要比Lattice Transformer-CRF模型要高一些，這可能是Transformer模型中缺乏遞歸和卷積網(wǎng)絡(luò)，不像CNN模型那樣對序列順序有較強(qiáng)的利用能力，但Lattice Transformer-CRF的F值比LR-CNN要高。

表3、表4中，Lattice-LSTM、LR-CNN、Lattice Transformer-CRF結(jié)果表明在同一模型上，數(shù)據(jù)集不同，產(chǎn)生的結(jié)果也大有很大差異。因此，為了驗(yàn)證所提方法在自建的數(shù)據(jù)集上的可用性，實(shí)驗(yàn)同時采用Lattice LSTM、BERT、BiLSTM-CRF、Transformer-CRF、Lattice Transformer-CRF等共5種實(shí)體抽取模型進(jìn)行對比研究。實(shí)驗(yàn)中，從自己標(biāo)注的航空發(fā)動機(jī)故障數(shù)據(jù)集中隨機(jī)選取300份中文故障數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)集，其中80%作為訓(xùn)練集，10%作為測試集、10%作為驗(yàn)證集。實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 實(shí)驗(yàn)結(jié)果

由圖5可知，Lattice LSTM、BERT、BiLSTM-CRF、Transformer-CRF、Lattice Transformer-CRF等模型在本文所建數(shù)據(jù)集上均取得了較高的F值，分別是92.16、92.27、83.07、87.24、95.18，這說明本文所建數(shù)據(jù)集數(shù)據(jù)標(biāo)注規(guī)范合理，可以作為新的原始數(shù)據(jù)標(biāo)注的參照。通過Lattice LSTM模型和BiLSTM-CRF模型結(jié)果對比，Transformer-CRF模型和Lattice Transformer-CRF模型結(jié)果對比可知，在模型主要結(jié)構(gòu)一致的情況下，采用Lattice結(jié)構(gòu)能夠有效提高NER的準(zhǔn)確率。通過表3、表4及圖5中，Lattice LSTM模型和Lattice Transformer-CRF模型對比、BiLSTM-CRF模型和Transformer-CRF對比，可知Transformer模型比LSTM具備更強(qiáng)的特征提取性能。

4 結(jié)束語

本文為滿足航空發(fā)動機(jī)故障知識圖譜構(gòu)建過程中實(shí)體抽取的客觀需要，結(jié)合自建數(shù)據(jù)集特點(diǎn)，制定了一套能基本反映航空發(fā)動機(jī)故障內(nèi)在信息的數(shù)據(jù)標(biāo)注策略，提出了能夠充分利用字序列和詞序列信息的Lattice Tansformer-CRF模型，并在公共數(shù)據(jù)集和自建數(shù)據(jù)集上開展了模型實(shí)驗(yàn)驗(yàn)證。在微博、MSRA等公共數(shù)據(jù)集上，所提模型F值分別達(dá)到了65.65%、95.18%，均高于其他研究者的模型得分，且在P值、R值上也均取得較好的得分，表明Lattice Transformer-CRF模型總體表現(xiàn)良好，方法有效可行。在自建故障數(shù)據(jù)集上，通過與4種傳統(tǒng)模型對比驗(yàn)證實(shí)驗(yàn)，Lattice Transformer-CRF模型F值達(dá)到了95.18%，取得了較好的結(jié)果，表明所提模型有效，能夠滿足航空發(fā)動機(jī)故障文本數(shù)據(jù)實(shí)體抽取任務(wù)的要求。