融合注意力機制與BERT+BiLSTM+CRF模型的漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別

任 媛，于 紅，楊 鶴，劉巨升，楊惠寧，孫哲濤，張思佳，劉明劍，孫 華

融合注意力機制與BERT+BiLSTM+CRF模型的漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別

任 媛，于 紅※，楊 鶴，劉巨升，楊惠寧，孫哲濤，張思佳，劉明劍，孫 華

（1. 大連海洋大學(xué)信息工程學(xué)院，大連 116023；2. 設(shè)施漁業(yè)教育部重點實驗室，大連 116023；3. 遼寧省海洋信息技術(shù)重點實驗室，大連 116023）

在漁業(yè)標(biāo)準(zhǔn)文本中，定量指標(biāo)識別對標(biāo)準(zhǔn)內(nèi)容服務(wù)具有重要的意義，針對目前常用的命名實體識別方法對漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別準(zhǔn)確率不高的問題，該研究提出了融合注意力機制與BERT+BiLSTM+CRF（Bidirectional Encoder Representations from Transformers + Bi-directional Long Short-Term Memory + Conditional Random Field，來自轉(zhuǎn)換器的雙向編碼器表征量+雙向長短時記憶網(wǎng)絡(luò)+條件隨機場）模型的漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別方法，該方法將漁業(yè)標(biāo)準(zhǔn)中定量指標(biāo)拆分為指標(biāo)名、指標(biāo)值、單位、限制詞4類實體，通過分析漁業(yè)標(biāo)準(zhǔn)語料的特點發(fā)現(xiàn)位置信息對指標(biāo)名等實體識別效果具有重要影響，首先利用BERT模型中位置向量信息提高指標(biāo)名等實體的識別效果，其次采用BiLSTM（Bi-directional Long Short-Term Memory，雙向長短時記憶網(wǎng)絡(luò)）模型學(xué)習(xí)漁業(yè)標(biāo)準(zhǔn)文本定量指標(biāo)中長序列語義特征，然后再將注意力機制與BERT+BiLSTM模型進行融合以解決長序列語義稀釋問題，最后利用CRF（Conditional Random Field，條件隨機場）層得到預(yù)測序列標(biāo)簽。試驗結(jié)果表明，融合注意力機制與BERT+BiLSTM+CRF模型的漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別準(zhǔn)確率為94.51%、召回率為96.37%、1值為95.43%，研究表明，該方法解決了漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別準(zhǔn)確率不高的問題，可以比較準(zhǔn)確地識別由指標(biāo)名、指標(biāo)值、單位、限制詞組成的漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)，是一種有效的漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別方法，可為農(nóng)業(yè)、醫(yī)學(xué)、生物等其他領(lǐng)域定量指標(biāo)命名實體識別提供新思路。

漁業(yè)；標(biāo)準(zhǔn)；模型；定量指標(biāo)；BERT；注意力機制；BiLSTM；命名實體識別

0 引 言

漁業(yè)標(biāo)準(zhǔn)信息服務(wù)是實現(xiàn)漁業(yè)標(biāo)準(zhǔn)化生產(chǎn)的基礎(chǔ)，基于標(biāo)準(zhǔn)內(nèi)容服務(wù)的漁業(yè)標(biāo)準(zhǔn)精準(zhǔn)服務(wù)是提高漁業(yè)生產(chǎn)效益、提升漁業(yè)管理能力和決策水平的有效手段[1-3]。但目前漁業(yè)標(biāo)準(zhǔn)服務(wù)主要通過關(guān)鍵字匹配方式進行，無法實現(xiàn)基于內(nèi)容的標(biāo)準(zhǔn)服務(wù)，因此不能滿足精準(zhǔn)服務(wù)需求。基于知識圖譜的領(lǐng)域信息服務(wù)是領(lǐng)域知識精準(zhǔn)服務(wù)的主流方法，在農(nóng)業(yè)、醫(yī)學(xué)等領(lǐng)域得到了廣泛應(yīng)用[4-6]。要實現(xiàn)漁業(yè)標(biāo)準(zhǔn)信息精準(zhǔn)服務(wù)，需要構(gòu)建漁業(yè)標(biāo)準(zhǔn)知識圖譜，漁業(yè)標(biāo)準(zhǔn)命名實體識別是漁業(yè)標(biāo)準(zhǔn)知識圖譜構(gòu)建的基礎(chǔ)[7]。漁業(yè)標(biāo)準(zhǔn)指標(biāo)是漁業(yè)標(biāo)準(zhǔn)命名實體的重要組成部分，定量指標(biāo)是其中最重要內(nèi)容之一，定量指標(biāo)識別的準(zhǔn)確性直接影響漁業(yè)標(biāo)準(zhǔn)命名實體的識別效果，進而影響漁業(yè)標(biāo)準(zhǔn)知識圖譜的構(gòu)建質(zhì)量。因此，需要研究有效的漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別算法，以實現(xiàn)漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)的自動提取，為基于標(biāo)準(zhǔn)內(nèi)容服務(wù)的標(biāo)準(zhǔn)信息精準(zhǔn)服務(wù)提供數(shù)據(jù)支撐。

早期命名實體識別主要是基于規(guī)則和詞典的方法，王沖等利用敏感詞規(guī)則方法對用戶的真實對話意圖進行識別，解決了分詞結(jié)果不準(zhǔn)確帶來的錯誤傳導(dǎo)問題，取得較好的效果[8]。該類方法主要依賴于專家制定規(guī)則，對語料庫要求較高，對詞典和規(guī)則依賴性較強，對詞典中存在的或規(guī)則中涵蓋的實體識別效果較好，但不能識別復(fù)雜實體。為解決復(fù)雜實體識別效果不好的問題，向曉雯等采用統(tǒng)計與規(guī)則結(jié)合的方法進行實體識別，利用隱馬爾可夫模型進行實體識別，效果有明顯提升，但無法有效解決實體歧義問題[9]。深度學(xué)習(xí)具有自主學(xué)習(xí)特征的能力，自2006年被提出以來，已被廣泛應(yīng)用于命名實體識別[10]。Majtner等采用深度學(xué)習(xí)方法對醫(yī)學(xué)領(lǐng)域的黑色腫瘤類別實體進行識別，解決了人工提取特征效率不高的問題，取得了較好的識別效果，但是該方法無法有效解決復(fù)雜實體識別和實體嵌套問題[11]；賀琳等提出使用CNN+BiGRU+CRF（Convolutional Neural Network+ Bi- directional Gated Recurrent Unit+Conditional Random Field，卷積神經(jīng)網(wǎng)絡(luò)+雙向門控循環(huán)網(wǎng)絡(luò)+條件隨機場）模型對外來海洋生物實體進行識別，解決了外來海洋生物領(lǐng)域?qū)嶓w復(fù)雜且實體間存在嵌套導(dǎo)致實體識別效果較差的問題[12]；BERT（Bidirectional Encoder Representations from Transformers，來自轉(zhuǎn)換器的雙向編碼器表征量）模型被提出之后[13]，杜琳等利用BERT與BiLSTM（Bi-directional Long Short-Term Memory，雙向長短時記憶網(wǎng)絡(luò)）融合注意力機制對中醫(yī)藥文本進行識別，解決了中醫(yī)文本利用率低、識別有效信息效果差的問題[14]。文獻[11-14]中的方法對實體類別數(shù)量較少情況的效果較好，但是漁業(yè)領(lǐng)域?qū)嶓w類別較多，不能直接上述方法使用。

為解決漁業(yè)領(lǐng)域命名實體識別問題，孫娟娟等提出基于深度學(xué)習(xí)的漁業(yè)領(lǐng)域命名實體識別方法，在漁業(yè)領(lǐng)域命名實體識別任務(wù)中取得了較好的效果，但該方法主要針對較寬范圍的漁業(yè)領(lǐng)域命名實體識別，沒考慮漁業(yè)標(biāo)準(zhǔn)命名實體存在的實體特征不明顯、語義序列較長等問題[15]。程名等提出了融合注意力機制和BiLSTM+CRF漁業(yè)標(biāo)準(zhǔn)命名實體識別方法，該方法對漁業(yè)標(biāo)準(zhǔn)號和漁業(yè)標(biāo)準(zhǔn)定性指標(biāo)識別取得了較好的效果[7]。但對具有特殊結(jié)構(gòu)的定量指標(biāo)識別效果不夠好，存在準(zhǔn)確率和召回率偏低的問題。因此，需要在研究漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)命名實體結(jié)構(gòu)特點的基礎(chǔ)上，研究有效的漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)實體識別方法。

針對以上問題，本研究在分析漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)結(jié)構(gòu)特性的基礎(chǔ)上，研究漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)實體分解方法和語料標(biāo)注方法，將漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)分解為指標(biāo)名、指標(biāo)值、單位、限制詞等4類實體，提出了融合注意力機制與BERT+BiLSTM+CRF模型的漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別方法，并進行試驗驗證，以實現(xiàn)對漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)有效識別。

1 材料和方法

1.1 數(shù)據(jù)來源與特點分析

1.1.1 數(shù)據(jù)來源

試驗數(shù)據(jù)來源于漁業(yè)領(lǐng)域真實生產(chǎn)中采用的標(biāo)準(zhǔn)，從“大連市漁業(yè)標(biāo)準(zhǔn)體系化服務(wù)與決策系統(tǒng)平臺”漁業(yè)標(biāo)準(zhǔn)數(shù)據(jù)庫中下載了300余篇涵蓋國標(biāo)、行標(biāo)、地標(biāo)的水產(chǎn)養(yǎng)殖種質(zhì)、育苗、養(yǎng)殖等漁業(yè)標(biāo)準(zhǔn)，語料庫約36萬余字符。

1.1.2 漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)結(jié)構(gòu)特性分析

1）漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)的組成元素及分布特性

對300多篇漁業(yè)標(biāo)準(zhǔn)進行分析發(fā)現(xiàn)，在漁業(yè)標(biāo)準(zhǔn)中，存在很多定量描述內(nèi)容，例如：“溫度不高于18 ℃”、“孔徑40 mm-80 mm”等，通過對這些定量描述分析發(fā)現(xiàn)：漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)不是由單一實體構(gòu)成，而是由幾個不同類別實體構(gòu)成，主要包括指標(biāo)名、指標(biāo)值、單位、限制詞4個部分，例如上例中“溫度”是指標(biāo)名、“不高于”是限制詞、“18”是指標(biāo)值、“℃”是單位，因為定量指標(biāo)中既包含文字又包含數(shù)字和單位，并且組合方式也不同，很難找到固定模式，將漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)作為一個整體進行識別準(zhǔn)確率和召回率較低，因此需要將漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)進行拆分。

通過對36余萬字符的漁業(yè)標(biāo)準(zhǔn)語料庫數(shù)據(jù)進行統(tǒng)計分析發(fā)現(xiàn)，漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)的基礎(chǔ)實體包含指標(biāo)名、指標(biāo)值、限制詞和單位4個類別，其中每一類基礎(chǔ)實體在漁業(yè)標(biāo)準(zhǔn)文本中出現(xiàn)的頻率都較高，上述4類實體字符占文本總量約10.7%，其中各類別實體數(shù)量及分布如表1所示。

表1 實體數(shù)據(jù)分布

從以上統(tǒng)計結(jié)果可以看出，雖然不能將漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)作為一個整體進行實體識別，但是只要能識別出其中的基礎(chǔ)實體以及基礎(chǔ)實體之間的位置關(guān)系，就可以把這一個定量指標(biāo)實體識別出來。因此，將漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)分解為指標(biāo)名、指標(biāo)值、單位、限制詞4類基礎(chǔ)實體，然后分別把這4類實體作為單獨的實體進行識別，這樣每一類標(biāo)簽都有明顯特征，可以提高每一類實體的識別準(zhǔn)確率，進而提高定量指標(biāo)的識別準(zhǔn)確率。

2）漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)的結(jié)構(gòu)形態(tài)

雖然漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)主要由指標(biāo)名、指標(biāo)值、限制詞和單位等4種基礎(chǔ)實體構(gòu)成，但是它們的結(jié)構(gòu)形態(tài)存在差異，要想準(zhǔn)確識別每一類實體，需要了解它們的結(jié)構(gòu)形態(tài)，通過對36余萬字符漁業(yè)標(biāo)準(zhǔn)語料庫數(shù)據(jù)進行分析發(fā)現(xiàn)，漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)的結(jié)構(gòu)形態(tài)主要包括5種典型的形態(tài)，具體形態(tài)如表2所示。每一類形態(tài)中，這4類實體都具有固定的位置關(guān)系，因此，位置信息對漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)實體識別具有重要的作用。

表2 實體結(jié)構(gòu)特征實例

1.1.3 漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)標(biāo)注方法

語料標(biāo)注是命名實體識別的重要步驟，不同特點的語料需要采用不同的標(biāo)注方法。命名實體識別一般采用BIO（Begin Inside Other，開始中間其他）方法進行語料標(biāo)注[16]，但漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)由4部分組成，基本的BIO方法無法表達漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)，因此需要根據(jù)定量指標(biāo)命名實體的結(jié)構(gòu)特點設(shè)計一種有效的標(biāo)注方法。本研究借鑒并擴展了BIO標(biāo)注方法的基本思想[17]，在BIO基礎(chǔ)上擴展類別信息，與其他標(biāo)注類別不同的是根據(jù)漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)的組成元素和結(jié)構(gòu)形態(tài)給出了標(biāo)簽類別定義。標(biāo)簽類別定義如表3所示。指標(biāo)名、指標(biāo)值、單位、限制詞的表現(xiàn)形式分別用NAM、FIG、UUU、LIM表示。

表3 標(biāo)簽類別定義

1.2 融合注意力機制與BERT+BiLSTM+CRF的漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別模型

1.2.1 模型總體架構(gòu)設(shè)計

由1.1.2的漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)命名實體具有結(jié)構(gòu)差異性和形態(tài)多樣性等特點，如果將定量指標(biāo)作為整體進行識別，可能會因為由多個部分組合起來的定量指標(biāo)在語料中出現(xiàn)頻率較低導(dǎo)致識別效果不好，因此，提出將定量指標(biāo)進行拆分識別的方法。由于漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)中各類實體出現(xiàn)的位置有一定的規(guī)律性，因此位置信息對拆分后的實體識別至關(guān)重要；此外，由于與漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別相關(guān)的字符序列較長，因此實體識別時需要進行長序列語義特征學(xué)習(xí)；而長序列語義特征學(xué)習(xí)可能會帶來語義稀釋問題，因此需要采用有效的方法解決該問題；沒有規(guī)范性約束的實體標(biāo)簽中可能由于不規(guī)范標(biāo)簽的存在導(dǎo)致識別效果不好，因此需要進行標(biāo)簽規(guī)范性約束。綜合上述分析，在設(shè)計漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別模型時需綜合考慮位置信息利用、長序列語義特征學(xué)習(xí)、語義稀釋問題解決、標(biāo)簽規(guī)范性約束等因素。

對常用的深度學(xué)習(xí)模型進行綜合研究發(fā)現(xiàn)，BERT模型具有預(yù)測推斷位置向量和結(jié)構(gòu)信息的能力；BiLSTM在確保短序列語義學(xué)習(xí)效果的基礎(chǔ)上增加了學(xué)習(xí)長序列語義的能力；注意力機制增強特征詞的權(quán)重，可以解決特征詞語義稀釋問題；CRF具備對標(biāo)簽進行約束的能力。因此設(shè)計了融合注意力機制與BERT+BiLSTM+CRF的漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別模型。

模型總體架構(gòu)如圖1所示。共分為4層網(wǎng)絡(luò)模型，從表 2可以看出，實體組合方式不同，存在指標(biāo)名在指標(biāo)值前，和指標(biāo)名在指標(biāo)值后的情況，需要學(xué)習(xí)表示實體之間相互關(guān)系的位置向量，為后面的語義理解打下基礎(chǔ)，因此將BERT層作為第一層，先利用預(yù)訓(xùn)練的BERT模型對語料進行初始化，然后將BERT層與BiLSTM結(jié)合，將BERT模型輸出位置和結(jié)構(gòu)信息向量作為雙向長短時記憶神經(jīng)網(wǎng)絡(luò)各個時間點的輸入，送入BiLSTM模型中，為了強化位置信息作用，同時將位置向量和字向量輸入BiLSTM模型，經(jīng)過雙向處理后，輸出結(jié)果同時具備長時記憶和短時記憶。此時，由于長時記憶和短時記憶權(quán)重不同，可能引起長序列語義稀釋問題，用注意力層處理BiLSTM模型的輸出結(jié)果可以提升重點詞語在句子中的權(quán)重，使模型將注意力集中在目標(biāo)實體上，降低其他無關(guān)詞作用。CRF層計算注意力層的輸出得到最優(yōu)結(jié)果，轉(zhuǎn)化成序列標(biāo)簽得到最終預(yù)測結(jié)果。

1.2.2 BERT層

BERT是一個預(yù)訓(xùn)練模型[18-21]，具有預(yù)測上下文信息、提供位置信息的作用。在漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)命名實體識別任務(wù)中，位置和語義信息起到關(guān)鍵作用，而一般的語言模型不能很好理解句子之間的關(guān)系，漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)需要模型學(xué)習(xí)上下文信息和結(jié)構(gòu)特征，所以采用BERT模型進行漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別。

BERT能夠計算詞語之間的相互聯(lián)系，利用計算到的權(quán)重提取出文本關(guān)鍵特征，并且利用自注意力機制進行預(yù)訓(xùn)練，相比于其他預(yù)訓(xùn)練模型，可以深層次理解上下文信息，捕捉到文本的結(jié)構(gòu)特點。

BERT模型輸入的是字向量和位置向量的總和[22]。字向量可以表示模型中關(guān)于字的主要信息，因為自注意力機制不能記住時序信息，所以加入位置向量可以提升識別的準(zhǔn)確性。BERT模型輸入實例如圖2所示，輸入向量由字向量與位置向量的和構(gòu)成。

1.2.3 BiLSTM模型

通過對漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)分析發(fā)現(xiàn)，漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)中指標(biāo)名實體長短不一，最長實體可達8個字符，上下文存在較強的依賴關(guān)系，基于循環(huán)神經(jīng)網(wǎng)絡(luò)的LSTM可以把長依賴轉(zhuǎn)化成短依賴并且計算出依賴的概率[23]，可以有效利用上一時刻特征判斷下一時刻特征，所以LSTM網(wǎng)絡(luò)實現(xiàn)了漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別任務(wù)的長序列記憶功能。在漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)中，例如“大腸桿菌含量小于230 MPN/100 g”其中“大腸桿菌含量”是指標(biāo)名，“小于”是限制詞，“230”是指標(biāo)值，“MPN/100 g”是單位，此時指標(biāo)名字符較長，而LSTM網(wǎng)絡(luò)可以解決長序列的問題。

但后一時刻詞權(quán)重大于當(dāng)前時刻詞權(quán)重是LSTM網(wǎng)絡(luò)存在的問題[24]。所以采取雙向長短時記憶網(wǎng)絡(luò)BiLSTM（正向LSTM與反向LSTM結(jié)合）對漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)進行識別，不僅可以解決長期依賴問題，還可以解決后一時刻權(quán)重大于當(dāng)前時刻權(quán)重問題。

1.2.4 注意力機制

注意力機制的靈感來源于人類觀察事物時的狀態(tài)，當(dāng)人觀察事物時，會將注意力集中在某些具有特殊特征事物上，忽略特殊特征外的其他事物。注意力機制利用這一原理可以精準(zhǔn)、快速地學(xué)習(xí)漁業(yè)標(biāo)準(zhǔn)文本信息，BiLSTM模型存在長序列前端語義稀釋問題，輸出的特征向量信息不夠準(zhǔn)確，導(dǎo)致識別的實體標(biāo)簽信息錯誤。

注意力機制本質(zhì)是權(quán)重分配，通過計算詞與詞之間的關(guān)聯(lián)程度，獲取詞語結(jié)構(gòu)信息。在漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別模型中引入注意力機制，可以生成不斷變化的語義向量使模型關(guān)注重點詞，抑制無用詞，可以有效解決BiLSTM網(wǎng)絡(luò)生成固定的語義向量導(dǎo)致長序列前端語義稀釋的問題。

注意力層用來獲取句子級別信息[25]，可以提取長距離依賴信息，并對編碼層信息進行整合。注意力層主要計算注意力權(quán)重向量r，其定義如式（1）所示。

式中y表示BiLSTM 層輸出的特征序列，b表示文檔中詞語之間的相關(guān)性概率分布，其定義如式（2）所示。

式中w和w表示文檔中的第個詞和第個詞,是文檔中詞的個數(shù)，( w，w)表示采用詞w與詞w 的相似性得分，( w，w)表示詞w與文檔中任意詞w的相似性得分。

例如：想要判斷“池塘的面積”中的指標(biāo)名實體，需要根據(jù)公式計算注意力權(quán)重向量，假設(shè)模型計算結(jié)果為：“池塘”權(quán)重為0.2，“的”權(quán)重為0.1，“面積”權(quán)重為0.7，選擇最大權(quán)重實體，因此“面積”被選為指標(biāo)名實體。

通過注意力層處理BiLSTM層輸出的特征序列，得到當(dāng)前詞與序列中其他詞的相關(guān)性，獲取全局特征表示，然后將加入注意力機制的特征序列送入CRF中進行標(biāo)簽的預(yù)測。

1.2.5 CRF層

經(jīng)過BERT層、BiLSTM層以及注意力層處理后向量需要進行序列標(biāo)注，無約束的標(biāo)注可能給出錯誤的標(biāo)簽，為了解決這一問題，加入CRF層對標(biāo)簽進行約束。CRF層能從訓(xùn)練數(shù)據(jù)中獲得約束性規(guī)則，可以為最后預(yù)測的標(biāo)簽添加約束，保證預(yù)測標(biāo)簽合法性[26]。在訓(xùn)練過程中，這些約束可以通過CRF層自動學(xué)習(xí)，具體約束有兩點。

1）句子中第一個詞總是以標(biāo)簽“B-”或“O”開始，而不是“I-”。

2）標(biāo)簽“B-L1 I-L2 I-L3 I-…”，其中L1、L2、L3實體標(biāo)簽類型是一樣的。例如“B-LIM I-LIM I-LIM”是合法序列標(biāo)簽，“B-UUU I-FIG”就是不合法序列標(biāo)簽。定義這些約束條件，使預(yù)測不合法的序列標(biāo)簽出現(xiàn)概率降低，可以提升整體識別的準(zhǔn)確率。

2 試驗設(shè)計與結(jié)果分析

2.1 試驗設(shè)計

1）試驗環(huán)境

研究試驗的硬件環(huán)境為intel xeon E5-2630 v3 2.4 GHZ處理器，6 GB內(nèi)存，操作系統(tǒng)為 Ubuntu 16.04 LTS 64 bit，GPU為GTX2080Ti。搭建依賴環(huán)境為python3+tensorflow1.12。

2）試驗數(shù)據(jù)

試驗將36余萬字符分為兩部分，將試驗數(shù)據(jù)80%作為訓(xùn)練集，20%的數(shù)據(jù)作為測試集進行試驗。

3）試驗方案

首先，BiLSTM+CRF模型是命名實體識別領(lǐng)域的基線（baseline）模型，一般的命名實體識別算法都與該模型進行比較，因此設(shè)計了與BiLSTM+CRF模型的比較試驗；其次，此前程名等對漁業(yè)標(biāo)準(zhǔn)指標(biāo)進行了識別，取得了一定效果，但是未能有效識別漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)[7]，本研究是為了解決程名等提出的模型不能有效識別漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)這一問題而提出的，因此設(shè)計了與程名等提出的融合注意力與BiLSTM+CRF模型的比較試驗；最后，為了比較注意力機制對識別結(jié)果的影響，分別設(shè)計了BERT+BiLSTM+CRF模型試驗以及融合注意力與BERT+BiLSTM+CRF模型試驗，因此總共設(shè)計了4個模型試驗。此外，因為漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)中包括4類實體，每類實體具有不同特點，為了比較不同實體的識別效果，設(shè)計了不同類別實體識別效果比較試驗。

4）試驗結(jié)果評價方法

目前，在命名實體識別任務(wù)中，評價模型效果的指標(biāo)主要包括準(zhǔn)確率、召回率和1值[27]，因為漁業(yè)標(biāo)準(zhǔn)命名實體識別任務(wù)的目標(biāo)是自動識別文本中的命名實體，為知識圖譜構(gòu)建提供數(shù)據(jù)，命名實體識別的準(zhǔn)確率、召回率將直接影響知識圖譜的構(gòu)建質(zhì)量，因此選擇準(zhǔn)確率、召回率和1值作為漁業(yè)標(biāo)準(zhǔn)命名實體識別任務(wù)的性能評價指標(biāo)。

2.2 試驗步驟

在試驗過程中，參數(shù)優(yōu)化是關(guān)鍵步驟。需要依次改變模型中某個參數(shù)，其余參數(shù)固定不變，對測試集進行訓(xùn)練進行最優(yōu)化探索，最終獲得實體識別效果較好的模型參數(shù)。主要修改學(xué)習(xí)率、迭代次數(shù)（Epoch）、失活率（Dropout）、隨機初始化向量和優(yōu)化器。學(xué)習(xí)率越大，損失函數(shù)越大，識別效果越差，但學(xué)習(xí)率過小會使收斂速率降低，導(dǎo)致識別速率減慢；完成1次完整模型訓(xùn)練就是1次迭代，但是由于1次迭代并不能保證學(xué)習(xí)效果最好所以需要多次迭代，迭代次數(shù)表示模型學(xué)習(xí)效果最好的次數(shù)；失活率過大則導(dǎo)致模型不收斂，過小則導(dǎo)致模型收斂特別慢或者無法學(xué)習(xí)，因此需要設(shè)置合適的失活率；初始化向量就是將數(shù)據(jù)分為數(shù)據(jù)塊，且固定大小的數(shù)據(jù)塊；優(yōu)化器用來更新和計算影響模型訓(xùn)練和模型輸出的網(wǎng)絡(luò)參數(shù)，使其逼近或達到最優(yōu)值[28]。

通過對訓(xùn)練集的數(shù)據(jù)進行參數(shù)訓(xùn)練，得到最優(yōu)訓(xùn)練參數(shù)如下：學(xué)習(xí)率為0.001，迭代次數(shù)為40，失活率為0.5，向量維為300，優(yōu)化器為Adam。

2.3 試驗結(jié)果與分析

2.3.1 模型綜合性能比較試驗

對BiLSTM+CRF模型、融合注意力+BiLSTM+CRF模型、BERT+BiLSTM+CRF模型和融合注意力與BERT+ BiLSTM+CRF模型進行了試驗，所有模型試驗的訓(xùn)練數(shù)據(jù)、測試數(shù)據(jù)均采用同一數(shù)據(jù)集，試驗結(jié)果如表4所示。

表4 不同模型試驗結(jié)果對比

從表4可以看出，無論是BiLSTM+CRF模型還是BERT+BiLSTM+CRF模型，加入注意力機制后，識別的準(zhǔn)確率、召回率、1值分別為91.73%、89.64%、90.78%和94.51%、96.37%、95.43%，說明用注意力機制增加對漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)中各類實體的權(quán)重可以有效提升識別效果；在BiLSTM+CRF模型的基礎(chǔ)上加入BERT模型后，識別效果顯著提升，準(zhǔn)確率、召回率、1值分別為92.89%、96.08%、94.46%，說明位置信息在漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別過程中具有重要作用，加入BERT預(yù)訓(xùn)練語言模型后，增加了表達位置的信息，使得識別效果提升幅度較大。提出的融合注意力機制與BERT+BiLSTM+CRF模型識別結(jié)果優(yōu)于其他模型，與融合注意力+BiLSTM+CRF模型相比，準(zhǔn)確率、召回率、1值分別提升2.78、6.73、4.65個百分點，與BERT+BiLSTM+CRF模型相比，準(zhǔn)確率、召回率和1值分別提升1.62、0.25和0.97個百分點，說明位置信息和實體權(quán)重信息同樣重要，在BiLSTM+CRF模型的基礎(chǔ)上，加入注意力機制和BERT模型既提供實體自身權(quán)重，又突出了位置信息權(quán)重，使模型更準(zhǔn)確地識別定量指標(biāo)。

2.3.2 不同類別實體識別效果比較試驗

為進一步評價各類定量指標(biāo)實體的識別效果，將4組模型進行對比試驗，分別對指標(biāo)名、指標(biāo)值、單位、限制詞4類不同實體進行識別，試驗結(jié)果如表5所示。

從試驗結(jié)果可知，4類實體的識別結(jié)果中，指標(biāo)值、單位、限制詞的識別結(jié)果較好，而指標(biāo)名的識別結(jié)果較差，因為這3類實體大多是由數(shù)字以及特殊符號構(gòu)成，與上下文的文字相比，實體特征較為明顯，結(jié)合位置信息進行識別，識別的準(zhǔn)確率、召回率較高；而指標(biāo)名完全由文字構(gòu)成，與上下文的文字相似度較高，需要先進行與上下文之間的邊界劃分，再進行實體識別，邊界劃分導(dǎo)致的錯誤會傳遞給實體識別任務(wù)，進而降低識別的準(zhǔn)確性，因此整體識別效果不好。

綜合上述試驗，融合注意力機制與BERT+ BiLSTM+CRF模型的識別效果優(yōu)于其他3個模型，識別的準(zhǔn)確率接近95%，召回率、1值均超過95%，與BERT+BiLSTM+CRF命名實體識別模型相比，采用注意力機制可以高效分配注意力資源，有選擇地關(guān)注相關(guān)信息，更精準(zhǔn)地學(xué)習(xí)特征信息，注意力機制通過計算時序向量進行加權(quán)，將權(quán)重作為特征向量的方法，解決了BiLSTM模型梯度消失問題，1值有明顯提升。與程名等[7]采用融合注意力機制和BiLSTM+CRF的漁業(yè)標(biāo)準(zhǔn)命名實體識別模型相比，提出的模型結(jié)合字向量、位置向量、句子特征進行識別，并使用BERT模型的自注意力機制進行預(yù)訓(xùn)練，BERT模型中的Transformer層采用雙向編碼器表示能夠很好地增強文本上下文記憶[29]，使準(zhǔn)確率、召回率、1值均有提升，經(jīng)試驗證明，該模型在漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)命名實體識別結(jié)果有較大提升。

表5 不同模型類別結(jié)果對比

3 結(jié) 論

1）本研究針對漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)由多個基礎(chǔ)實體組成且實體結(jié)構(gòu)差異性大等問題，提出了實體拆分的方法，將定量指標(biāo)拆分為指標(biāo)名、指標(biāo)值、單位、限制詞4類基礎(chǔ)實體進行識別，有效解決了漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)實體識別困難的問題。

2）針對漁業(yè)標(biāo)準(zhǔn)文本中定量指標(biāo)識別準(zhǔn)確率不高的問題，設(shè)計了融合注意力機制與BERT+BiLSTM+CRF模型的漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別方法，與程名等提出的融合注意力機制和BiLSTM+CRF模型的漁業(yè)標(biāo)準(zhǔn)命名實體識別方法相比，提出的模型結(jié)合字向量、位置向量、句子特征進行識別，并使用BERT模型的自注意力機制進行預(yù)訓(xùn)練，采用雙向編碼器方式增強了文本上下文記憶，識別效果得到了明顯提升，識別的準(zhǔn)確率為94.51%、召回率為96.37%、1值為95.43%，解決了漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別準(zhǔn)確率不高的問題，是一種有效的漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別方法，也為農(nóng)業(yè)、醫(yī)學(xué)、生物等其他領(lǐng)域的定量指標(biāo)命名實體識別提供了新思路。

雖然本研究已經(jīng)提升了漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)實體識別問題，但由于實體邊界不清晰導(dǎo)致指標(biāo)名類別實體的識別效果依然不夠理想，下一步需要研究一種方法有效解決實體邊界不清晰導(dǎo)致錯誤傳遞的問題。

[1] 任酉貴. 遼寧省海洋漁業(yè)綜合管理數(shù)據(jù)服務(wù)平臺建設(shè)概述[J]. 海洋信息，2019，34(2)：57-61.

Ren Yougui. The construction of liaoning oceans and fisheries management data service platform based on big spatial data[J]. Ocean Information, 2019, 34(2): 57-61. (in Chinese with English abstract)

[2] 于紅，馮艷紅，李晗，等. 漁業(yè)標(biāo)準(zhǔn)體系化服務(wù)與決策系統(tǒng)研究[J]. 大連海洋大學(xué)學(xué)報，2019，34(2)：260-266.

Yu Hong, Feng Yanhong, Li Han, et al. Establishment of a systematic service and assistant decision-making system for fishery standard[J]. Journal of Dalian Ocean University, 2019, 34(2): 260-266. (in Chinese with English abstract)

[3] 劉亞迪，余連祥，冷華南. 鄉(xiāng)村振興戰(zhàn)略背景下現(xiàn)代漁業(yè)發(fā)展優(yōu)勢、問題及政策分析：以浙江省湖州市南潯區(qū)漁業(yè)發(fā)展為例[J]. 海洋湖沼通報，2020(5)：155-163.

Liu Yadi, Yu Lianxiang, Leng Huanan. Analysis of advantages, problems and policies of modern fishery development in the context of rural revitalization strategy: Take Nanxun District, Huzhou, Zhejiang Province as an example[J]. Bulletin of Oceans and Lakes, 2020(5): 155-163. (in Chinese with English abstract)

[4] 吳賽賽，周愛蓮，謝能付，等. 基于深度學(xué)習(xí)的作物病蟲害可視化知識圖譜構(gòu)建[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(24)：177-185.

Wu Saisai, Zhou Ailian, Xie Nengfu, et al. Construction of visual knowledge graph of crop diseases and insect pests based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(24): 177-185. (in Chinese with English abstract)

[5] 張善文，王振，王祖良. 結(jié)合知識圖譜與雙向長短時記憶網(wǎng)絡(luò)的小麥條銹病預(yù)測[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(12)：172-178.

Zhang Shanwen, Wang Zhen, Wang Zuliang. Prediction of wheat srtipe rust disease by combining knowledge graph and bidirectional long short-term memory network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(12): 172-178. (in Chinese with English abstract)

[6] 奧德瑪，楊云飛，穗志方，等. 中文醫(yī)學(xué)知識圖譜 CMeKG構(gòu)建初探[J]. 中文信息學(xué)報，2019，33(10)：1-9.

Ao Dema, Yang Yunfei, Sui Zhifang, et al. Preliminary study on the construction of Chinese medical knowledge graph[J]. Journal of Chinese Information Processing, 2019, 33(10): 1-9. (in Chinese with English abstract)

[7] 程名，于紅，馮艷紅，等. 融合注意力機制和BiLSTM+CRF的漁業(yè)標(biāo)準(zhǔn)命名實體識別[J]. 大連海洋大學(xué)學(xué)報，2020，35(2)：296-301.

Cheng Ming, Yu Hong, Feng Yanhong, et al. Research on named entity labeling and recognition of fishery standards[J]. Journal of Dalian Ocean University, 2020, 35(2): 296-301. (in Chinese with English abstract)

[8] 王沖，張虎，王鑫，等. 融合敏感詞規(guī)則和字符級RCNN模型的用戶意圖識別[J]. 計算機應(yīng)用與軟件，2020，37(3)：160-165.

Wang Chong, Zhang Hu, Wang Xin, et al. User intention recognition based on sensitive word rules and character-level RCNN model[J]. Computer Applications and Software, 2020, 37(3): 160-165. (in Chinese with English abstract)

[9] 向曉雯，史曉東，曾華琳. 一個統(tǒng)計與規(guī)則相結(jié)合的中文命名實體識別系統(tǒng)[J]. 計算機應(yīng)用，2005(10)：2404-2406.

Xiang Xiaowen, Shi Xiaodong, Zeng Hualin. A Chinese named entity recognition system using statistics-based and rules-based method[J]. Computer Applications, 2005(10): 2404-2406. (in Chinese with English abstract)

[10] Li Lishuang, Jiang Yuxin. Integrating language model and reading control gate in BLSTM-CRF for biomedical named entity recognition[J]. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 2020, 17(3): 841-846.

[11] Majtner T, Yildirim-Yayilgan S, Hardeberg J Y . Combining deep learning and hand-crafted features for skin lesion classification[C]// 2016 Sixth International Conference on Image Processing Theory, Tools and Applications (IPTA). IEEE, 2017(10): 12-15.

[12] 賀琳，張雨，巴韓飛. 基于CNN-BiGRU-CRF模型的外來海洋生物實體識別[J]. 大連海洋大學(xué)學(xué)報，2020，194：1-10.

He Lin, Zhang Yu, Ba Hanfei. Recognition of alien marine organisms based on CNN-BiGRU-CRF model[J]. Journal of Dalian Ocean University, 2020, 194: 1-10. (in Chinese with English abstract)

[13] 毛明毅，吳晨，鐘義信，等. 加入自注意力機制的BERT命名實體識別模型[J]. 智能系統(tǒng)學(xué)報，2020，84(4)：146-153.

Mao Mingyi, Wu Chen, Zhong Yixin, et al. BERT named entity recognition model with self-attention mechanism[J]. Journal of Intelligent Systems, 2020, 84(4): 146-153. (in Chinese with English abstract)

[14] 杜琳，曹東，林樹元，等. 基于BERT與Bi-LSTM融合注意力機制的中醫(yī)病歷文本的提取與自動分類[J]. 計算機科學(xué)，2020，47(S2)：416-420.

Du Lin, Cao Dong, Lin Shuyuan, et al. Extraction and automatic classification of TCM medical records based on attention mechanism of BERT and Bi-LSTM[J]. Computer Science, 2020, 47(S2): 416-420. (in Chinese with English abstract)

[15] 孫娟娟，于紅，馮艷紅，等. 基于深度學(xué)習(xí)的漁業(yè)領(lǐng)域命名實體識別[J]. 大連海洋大學(xué)學(xué)報，2018，33(2)：265-269.

Sun Juanjuan, Yu Hong, Feng Yanhong, et al. Recognition of nominated fishery domain entity based on deep learning architectures[J]. Journal of Dalian Ocean University, 2018, 33(2): 265-269. (in Chinese with English abstract)

[16] 秦穎，王小捷，鐘義信. 級聯(lián)中文組塊識別[J]. 北京郵電大學(xué)學(xué)報，2008，31(1)：14-17.

Qin Ying, Wang Xiaojie, Zhong Yixin. Cascaded Chinese chunk recognition[J]. Journal of Beijing University of Posts and Telecommunications, 2008. 31(1): 14-17. (in Chinese with English abstract)

[17] 計峰，邱錫鵬. 基于序列標(biāo)注的中文依存句法分析方法[J]. 計算機應(yīng)用與軟件，2009，26(10)：133-135.

Ji Feng, Qiu Xipeng. A new Chinese dependency analysis method based on sequence labeling model[J]. Computer Applications and Software, 2009, 26(10): 133-135. (in Chinese with English abstract)

[18] Francis S, Landeghem J V, Moens M F. Transfer learning for named entity recognition in financial and biomedical documents[J]. Information (Switzerland), 2019, 10(8): 248.

[19] 謝騰，楊俊安，劉輝. 基于BERT-BiLSTM-CRF模型的中文實體識別[J]. 計算機系統(tǒng)應(yīng)用，2020(7)：48-55.

Xie Teng, Yang Junan, Liu Hui. Chinese entity recognition based on BERT-BiLSTM-CRF model[J]. Computer Systems & Applications, 2020(7): 48-55. (in Chinese with English abstract)

[20] 趙平，孫連英，萬瑩，等. 基于BERT+BiLSTM+CRF的中文景點命名實體識別[J]. 計算機系統(tǒng)應(yīng)用，2020，29(6)：169-174.

Zhao Ping, Sun Lianying, Wan Ying, et al. Chinese scenic spots named entity recognition based on BERT+BiLSTM+CRF[J]. Computer Systems & Applications, 2020, 29(6): 169-174. (in Chinese with English abstract)

[21] 王月，王孟軒，張勝，等. 基于BERT的警情文本命名實體識別[J]. 計算機應(yīng)用，2020，40(2)：535-540.

Wang Yue, Wang Mengxuan, Zhang Sheng, et al. Alarm text named entity recognition based on BERT[J]. Journal of Computer Applications, 2020, 40(2): 535-540. (in Chinese with English abstract)

[22] Liu H, Perl Y, Geller J. Concept placement using BERT trained by transforming and summarizing biomedical ontology structure[J]. Journal of Biomedical Informatics, 2020, 112: 103607.

[23] Gers F, Schmidhuber J, Cummins F, et al. Learning to forget: Continual prediction with LSTM[J]. Neural Computation, 2000, 12(10): 2451-2471.

[24] Cho M, Ha J, Park C, et al. Combinatorial feature embedding based on CNN and LSTM for biomedical named entity recognition[J]. Journal of Biomedical Informatics, 2020, 103: 1532-1539

[25] Zhao B, Wu X, Feng J, et al. Diversified visual attention networks for fine-grained object classification[J]. IEEE Transactions on Multimedia, 2017(18): 149-157.

[26] Wegner J, Montoyazegarra J, Schindler K. A higher-order CRF model for road network extraction[J]. IEEE, 2013. 1: 1698-1705

[27] 宋楓溪，高林. 文本分類器性能評估指標(biāo)[J]. 計算機工程，2004(13)：107-109.

Song Fengxi, Gao Lin. Performance evaluation metric of text classifier[J]. Computer Engineering, 2004 (13): 107-109. (in Chinese with English abstract)

[28] 仝衛(wèi)國，李敏霞，張一可. 深度學(xué)習(xí)優(yōu)化算法研究[J]. 計算機科學(xué)， 2018， 45(2)：155-159.

Tong Weiguo, Li Minxia, Zhang Yike. Research optimization algorithms of deep learning[J]. Computer Science, 2018, 45(2):155-159. (in Chinese with English abstract)

[29] Qin H, Wang Y. Enhancing named entity recognition from military news with bert[J]. Journal of Physics Conference Series, 2020, 1453:012132

Recognition of quantitative indicator of fishery standard using attention mechanism and the BERT+BiLSTM+CRF model

Ren Yuan, Yu Hong※, Yang He, Liu Jusheng , Yang Huining, Sun Zhetao, Zhang Sijia, Liu Mingjian, Sun Hua

(1.,,116023,; 2.,,116023,; 3.,116023,)

Fishery information service is a vital component to realize data analysis, feature extraction, and fishing forecasting, particularly for a high comprehensive production capacity and modernized management in fishery. The commonly-used keyword matching without standard contents cannot meet the high demand for accurate service in the current information system of fishery. The standard quantitative indicators in fishery have become one of the most important tasks in the information service. Therefore, it is very necessary to accurately identify the effective standard quantitative indicators for the automatic extraction of fishery. Combining the attention mechanism and the BERT+BiLSTM+CRF (Bidirectional Encoder Representations from Transformers + Bi-directional Long Short-Term Memory + Conditional Random Field) model, this study aims to propose a highly accurate recognition method of standard quantitative indicators in fishery, further to replace the commonly-used entity recognition. The quantitative indicators were firstly divided into four types of entities: the indicator name, indicator value, unit, and qualified words for identification. This operation effectively dealt with the difficult identification of fishery standard quantitative indicator entities. It was found that the location information behaved a significant impact on the recognition of indicator names and other entities. Vector data was also utilized to improve the recognition of indicator names. Secondly, the BiLSTM model was used to learn the semantic features of long sequences in the fishery standard text quantitative indicators. The attention mechanism was then integrated to treat the long-sequence semantic dilution. Finally, all sequence tags were obtained through the CRF layer. The test results showed that the accuracy rate was 94.51%, the recall rate was 96.37%, and the1 value was 95.43% for the fusion attention mechanism and the BERT+BiLSTM+CRF model. Compared with the fusion attention + BiLSTM + CRF (named entity recognition model), the accuracy, recall rate, and F1 value increased by 2.78, 6.73, and 4.65 percentage points, respectively. The word vectors, position vectors, and sentence features were combined for better recognition in the model. The self-attention mechanism of the BERT model was pre-trained, where a bidirectional encoder was used for the transformer layer in the BERT model, indicating a better performance on the text context memory. Compared with the BERT+BiLSTM+CRF model, the accuracy, recall, and1 value increased by 1.62, 0.25, and 0.97 percentage points, respectively, indicating that the attention mechanism contributed to the greater weight of the target entity in the long- and short-term memory network. The features were then weighted to make the model more accurately identify quantitative indicators. The proposed model can be expected to more accurately identify the fishery standard quantitative indicators, especially the indicator names, indicator values, units, qualifiers. This investigation can provide promising data support to accurate information using standard content services. The effective fishery standard quantitative index can also offer new ideas for the identification of quantitative indicator named entities in agricultural, medical, and biological fields

fisheries; standards; models; quantitative index; BERT; attention mechanism; BiLSTM; named entity recognition

10.11975/j.issn.1002-6819.2021.10.016

TP391

A

1002-6819(2021)-10-0135-07

任媛，于紅，楊鶴，等. 融合注意力機制與BERT+BiLSTM+CRF模型的漁業(yè)標(biāo)準(zhǔn)定量指標(biāo)識別[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(10)：135-141.doi：10.11975/j.issn.1002-6819.2021.10.016 http://www.tcsae.org

Ren Yuan, Yu Hong, Yang He, et al. Recognition of quantitative indicator of fishery standard using attention mechanism and the BERT+BiLSTM+CRF model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(10): 135-141. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.10.016 http://www.tcsae.org

2020-12-14

2021-04-14

設(shè)施漁業(yè)教育部重點實驗室開放課題（2021-MOEKLECA-KF-05）；遼寧省教育廳研究項目（JL201917）；國家自然科學(xué)基金項目（61802046）

任媛，研究方向為自然語言處理。Email：971457354@qq.com

于紅，博士，教授，研究方向為數(shù)據(jù)集成、漁業(yè)知識圖譜等。Email：yuhong@dlou.edu.cn