基于復述增廣的醫療領域機器翻譯

安 波 龍從軍

(中國社會科學院民族學與人類學研究所 北京 100081)

1 引言

機器翻譯(Machine Translation， MT)是利用計算機將源語言的文本翻譯為目標語言的文本的技術，是自然語言處理的核心任務之一，對于實現跨語言交流等應用具有重要價值[1—3]。機器翻譯按照發展階段可以大致分為基于詞典的機器翻譯[4]、基于規則的機器翻譯[5]、基于統計的機器翻譯[6]和基于神經網絡的機器翻譯[3]。當前，隨著深度神經網絡在自然語言處理中的廣泛應用，基于神經網絡的機器翻譯取得了較好的性能，成為當前機器翻譯領域的主流方法[3，7]。醫療領域機器翻譯在藥品研發、跨境醫療等領域具有重要的應用價值，也得到了學界和企業界的廣泛重視[8—10]。

基于神經網絡的機器翻譯通常需要較多的訓練數據，目前的大規模平行語料主要以新聞、政策文檔等領域的數據為主，缺少大規模開源醫療領域的漢英平行數據集[11—13]，因此訓練數據不足是制約醫療領域機器翻譯的關鍵因素之一。針對訓練數據不足的問題，研究者們提出無監督學習、半監督學習、數據增廣等方法來減少模型對訓練數據的依賴[13—16]。其中數據增廣通過自動生成新的訓練數據的方式來增加訓練數據，具有較好的通用性，得到了學界的廣泛關注[13]。常用的數據增廣方法包括基于回譯的數據增廣、基于同義詞替換的數據增廣和基于復述生成的數據增廣[16—20]。其中基于回譯的數據增廣通過兩次不同方向的機器翻譯實現[19]，如將漢語句子通過漢英翻譯模型翻譯為英文句子，然后通過英漢翻譯模型將英文句子翻譯為中文句子。該方法依賴于已有機器翻譯模型的性能。基于詞典替換的數據增廣方法主要依賴于同義詞詞典對句子中的同義詞進行替換，受限于同義詞詞典的規模和領域，并且句子語言的多樣性變化較小[17]。

機器翻譯數據是相同語義在不同語言下的表示，復述是相同語義在同一語言下的不同表述，因此基于已有的雙語平行語料，通過在源語言/目標語言上進行復述生成，能夠生成新的對齊數據，從而實現數據增廣(如圖1所示)[20]。基于高質量的復述數據可以訓練較好的復述生成模型，生成語義一致但詞匯、句法不同的數據[21]。因此基于復述生成的數據增廣方法可以更好地處理語言的多樣性，增強模型的魯棒性、減少對訓練數據的依賴[21，22]。

基于上述分析，本文提出基于復述增廣的醫療機器翻譯方法。該方法首先利用高質量的漢語復述數據訓練漢語復述生成模型。其次，設計實現基于漢英雙語醫學電子書中抽取雙語平行數據集，并在采集到的漢英醫療領域平行數據上利用復述生成方法進行數據增廣，得到更大規模的漢英醫療機器翻譯平行語料。最后，利用多種主流的神經機器翻譯方法進行機器翻譯的模型驗證。實驗結果表明，我們提出的方法能夠有效地提升漢英醫療機器翻譯的性能(平均提升6個點的BLEU值)，驗證了基于復述增廣的機器翻譯方法的價值。需要說明的是，本文在數據增廣時以漢語作為主要增廣對象，主要目的是能夠更好地實現漢語與其他語言的翻譯，如漢英、漢日、漢韓等，漢語與這些語言之間均存在如跨境醫療的翻譯需求。以漢語作為數據增廣的對象，可以實現對漢語與其他多種語言之間機器翻譯的性能。

本文的主要貢獻包括以下3點：

(1) 本文設計實現了一種基于復述生成的方式提升醫療機器翻譯性能的方法，該方法具有較好的通用性，能夠提升多種主流的機器翻譯模型；

(2) 通過對比基于同義詞替換、基于深度學習的復述生成模型和基于大規模預訓練語言模型的復述生成模型發現，基于大規模預訓練語言模型(Bert， MT5)的復述生成方法能夠更大程度地提升機器翻譯的性能；

(3) 本文利用醫療領域著作、指南、病歷等雙語數據構建了一個漢英醫療機器翻譯數據集。

2 相關工作

本文主要涉及機器翻譯和基于數據增廣的模型提升工作，本節將從這兩個方面分別進行介紹。

2.1 機器翻譯

機器翻譯是自然語言處理的核心任務，因其具有非常強的應用價值和市場需求，一直是自然語言處理領域的研究熱點[1，2]。機器翻譯按照發展階段可以大致分為：早期基于詞典的機器翻譯(Dictionary Based Machine Translation， DBMT)、融合詞典和語言知識的規則翻譯(Rule Based Machine translation， RBMT)、統計機器翻譯(Statistic Machine Translation， SMT)和神經機器翻譯(Neural Machine Translation， NMT)[3—6]。隨著深度學習的快速發展和計算性能的爆炸式提升，基于深度學習的神經機器翻譯成為當前研究和應用的主流方法[3]。

IBM在1954年在IBM-701計算機上首次實現了英俄機器翻譯實驗，驗證了機器翻譯的可行性，正式拉開了機器翻譯研究的序幕[23]。這一時期由于軍事、政治、文化的需求，各國對于外文資料均有較多的翻譯需求，因此也對機器翻譯研究提供了較多地支持，也產生了包含LMT等具有代表性的系統。但是由于翻譯質量差、速度慢等特點，1966年ALPAC對于機器翻譯的負面評價導致機器翻譯的研究出現了短暫的停滯。

20世紀70年代，基于規則的機器翻譯逐漸成熟，機器翻譯再一次得到較為廣泛地應用。這類方法依賴于一定的規則對詞法/句法等語言學信息進行轉換實現機器翻譯。這一時期的代表系統包括：Systran， Japanese MT systems和EUROTRA[24—26]等。這類方法的缺點也存在人工規則制定成本高、規則易沖突、不利于系統擴展等缺點。

統計機器翻譯利用機器學習將機器翻譯建模為從源語言到目標語言的生成問題，即求解最大化p(t|s)，其中s為源語言句子，t為目標語言句子。統計機器翻譯最早在1949年由瓦倫基于香農的信息論提出[27]。最早可行的統計機器翻譯模型則是由IBM研究院提出，并實現IBM Model-1到IBM Model-5 5種統計機器翻譯模型[28]。為了解決基于詞翻譯的語義單元過小的問題，研究者提出基于短語的機器翻譯，得到了廣泛地應用。目前愛丁堡大學維護的Moses[29]是統計機器翻譯最為成功的開源實現。在國內，小牛翻譯開源的NiuTrans也得到了較為廣泛的關注[30]。

近年來，隨著深度學習、神經網絡在自然語言處理領域的廣泛應用，基于神經網絡的機器翻譯(NMT)也得到廣泛的關注。神經機器翻譯同樣將機器翻譯建模為從源語言到目標語言的生成問題。2013年Kalchbrenner等人[31]提出了基于編碼器-解碼器結構的神經機器翻譯方法，該方法使用卷積神經網絡(Convolution Neural Network， CNN)[32]作為源語言的編碼器，使用迭代神經網絡(Recursive Neural Network， RNN)[33]作為目標語言的解碼器。為了解決RNN帶來的梯度爆炸和梯度消失問題，基于長短時記憶網絡(Long Short Time Memory， LSTM)[34]的模型被引入機器翻譯的編解碼模型，并提出了在機器翻譯領域著名的Seq2Seq框架[35]。受到圖像領域啟發，注意力機制(Attention)被引入到機器翻譯模型中，該機制動態的建模在生成目標詞時所應當關注的源語言詞的信息，能夠更好地指導目標詞的生成，因此得到了廣泛地應用[36]。近期，谷歌將基于自注意力機制(self attention)的Transformer結構引入到機器翻譯模型中，取得了非常好的效果，成為當前神經機器翻譯的主流方法[37]。

因為有著強烈的市場需求，神經機器翻譯得到了學界和企業界的廣泛重視，在各大自然語言處理、人工智能的頂級會議中均為較多數量的神經機器翻譯的研究工作。目前，谷歌、百度、搜狗、有道、小牛等公司也在神經機器翻譯上投入了大量的資源。

2.2 基于復述的數據增廣

與其他基于深度學習的模型類似，神經機器翻譯通常需要大量的訓練數據才能訓練得到較好的模型，然而對于小語種或垂直領域而言，往往缺乏大規模的訓練數據，如漢藏翻譯、醫療機器翻譯等。針對數據稀缺的問題，基于無監督的機器翻譯、基于遷移學習的機器翻譯和基于數據增廣的機器翻譯受到學者們的廣泛關注。

數據增廣在圖像處理、自然語言處理等領域具有廣泛地應用。在自然語言處理領域，數據增廣的方法主要包括：基于同義詞替換的方法、基于回譯(back translation)的方法和基于復述生成的數據增廣方法。基于同義詞替換的方法借助于已有的同義詞詞典或詞向量來獲取詞匯的同義詞，通過同義詞替換的方式生成新的句子，以達到數據增廣的目的。然而，基于同義詞替換的方法主要受限于高質量的同義詞詞典，并且僅在詞匯級別上進行替換難以生成具有多樣性的句子。隨著機器翻譯等技術的提升，基于回譯的機器翻譯越來越多地用于數據增廣。然而，基于回譯的機器數據增廣方法嚴重依賴于已有的機器翻譯模型，且已有的商用機器翻譯服務(百度、谷歌)均為通用領域的機器翻譯，在醫療文本翻譯方面不能進行有效的翻譯。基于復述的數據增廣是利用復述生成的方法對數據進行增廣，復述生成也成為自然語言處理領域數據增廣的常用方法[20，22]。

通常機器翻譯的訓練數據為語義對齊的雙語句子，而復述是相同語義在同種語言下的不同表達，因此通過復述生成的方法對機器翻譯訓練句對中的一個句子進行復述，得到的復述句與訓練句對中的另外一個句子天然的形成新的機器翻譯訓練句對。基于復述的數據增廣方法主要涉及復述數據集和復述生成方法，在漢語環境下已經有了多種公開的復述數據集，如BQ Corpus[38]， Chinese PPDB1)，https://github.com/casnlu/Chinese-PPDBPKU paraphrase bank[39]， Phoenix Paraphrasing dataset2)https://ai.baidu.com/broad/subordinate?dataset=paraphrasing等，為本文的研究提供了語料庫支撐。復述生成方法主要可以分為：基于詞典與規則的復述生成、基于統計學習的復述生成和基于神經網絡的復述生成。隨著訓練數據規模的提升，深度學習依賴其強大的建模能力，在復述生成領域取得了較好的效果。包括基于迭代神經網絡的復述生成，基于長短是記憶網絡的復述生成和基于Transformer的復述生成[40]。近期，大規模預訓練語言模型在自然語言處理領域得到了廣泛的應用，如Bert[41]， MT5[42]等，這些模型利用其較強的文本表示與文本生成能力能夠在一定程度上提升模型的泛化能力和生成文本的多樣性。

3 基于復述增廣的醫療機器翻譯方法

本文的基本思路是在已有漢英醫療機器翻譯平行句對的基礎上，利用復述生成技術對平行句對中的漢語句子進行復述，進而生成具有與英文句子相同語義的漢語新句子構建新的平行句對，從而達到復述數據擴充的目的，如圖1所示。本文的方法主要包含以下3個步驟：(1)首先基于已有的漢語復述語料集構建漢語復述生成模型；(2)然后利用中文復述生成模型對采集的漢英醫療機器翻譯數據集進行數據增廣；(3)最后在增廣后的雙語平行數據集上進行神經機器翻譯模型的訓練，得到醫療機器翻譯模型。本節將從中文復述生成模型、醫療漢英平行語料采集和復述增廣的神經機器翻譯方法3個方面分別進行介紹。

圖1 基于復述生成的機器翻譯數據增廣示意圖

3.1 漢語復述生成模型

復述生成模型能夠產生與給定文本字面不同但語義相同的文本，按照復述粒度的不同，可以分為詞級復述(即同義詞)、短語級復述、句子級復述和文檔級復述。本文針對機器翻譯雙語平行語料庫數據增廣的需要，僅涉及句子級復述。我們使用復述生成來實現漢語句子的復述，復述生成模型的訓練依賴于高質量的復述數據集，本文通過融合BQ Corpus， Chinese PPDB， PKU paraphrase bank和Phoenix Paraphrasing dataset 4個數據集，形成一個較大規模的中文復述數據集。

近期，基于深度學習的文本生成方法取得了顯著地提升，本文在Seq2Seq框架下實現了3種常用的復述生成模型，包括基于RNNSearch的復述生成模型、基于BiLSTM的復述生成模型和基于Transformer[36]的復述生成模型。同時，為了能夠更好地實現對醫療專有名詞的翻譯(疾病詞、癥狀詞、藥品名、手術名等)，本文引入了Copy機制來實現高質量的專有名詞的翻譯。大規模預訓練語言模型通過在大規模文本數據上的訓練，可以增強模型的泛化能力，也能提升文本生成的多樣性。因此，我們在Bert和MT5[43]的基礎上進行微調，訓練得到復述生成模型。復述生成的整體框架如圖2所示。

如圖2所示，其中基于深度學習的復述生成模型(BiLSTM， Transformer)的表示層使用預訓練的詞向量，本文使用騰訊發布中文預訓練詞向量3)https://ai.tencent.com/ailab/nlp/zh/embedding.html，中文分詞采用北京大學開源的pkuseg4)https://github.com/lancopku/pkuseg-python。編碼層和解碼層采用對應的模型，如Transformer的編碼層和解碼層均使用Transformer，分類層采用Softmax。基于預訓練語言模型的復述生成模型(Bert，MT5)均以漢字為單位作為輸入，表示層和編碼層均采用語言模型的文本表示方法。其中基于Bert的方法在編碼層和解碼層為兩個單獨的Bert模型，共享詞表但是分別訓練。由于MT5本身為文本生成模型，因此只需要在漢語復述數據上進行微調(fine-tuning)即可得到復述生成模型。

圖2 復述生成整體框架圖

3.2 漢英醫療機器翻譯數據采集

目前缺少開源的大規模醫療領域漢英機器翻譯數據[44]。針對這種現狀，本文通過對醫療領域的雙語電子書進行雙語平行語料的抽取(包括：醫學著作、指南、病歷中英雙語版本)，構建了一個包含10萬句對的醫療領域漢英機器翻譯數據集。具體的構建流程如圖3所示。其中“漢語書”和“英語書”指的是相同電子書的不同語言的版本，通過掃描后形成對齊的電子書。OCR模塊將圖片格式的數據轉換為漢語和英語的文本數據，本文使用百度開源的OCR識別接口實現字符識別5)https://github.com/PaddlePaddle。在得到文本數據之后，通過章節編號、標題等信息實現章節的切分和對齊。在章節內部，使用Giza++[45]實現詞級別的對齊。利用詞對齊的信息，找到雙語數據中的錨點句(雙語句子中的詞完全對齊)，然后使用動態規劃算法來實現雙語章節內部的句子對齊。之后，通過谷歌翻譯6)https://translate.google.cn/將英文翻譯為英文，并通過SentenceBert[46]計算句子的語義相似度，過濾掉相似度低于一定閾值的句子對。最后，對得到的雙語對齊數據進行去重，去掉中英文完全一致的句子對。

圖3 基于雙語電子書的漢英醫療機器翻譯數據抽取方法

通過上述步驟，本文從醫學著作、指南、雙語病歷等數據中抽取出了約10萬條句子對，形成了一個較大規模的醫療機器翻譯數據集。本文通過隨機抽取的方式將數據分為訓練集、驗證集和測試集，具體的統計信息如表1所示。

表1 漢英醫療機器翻譯數據集

3.3 基于復述增廣的機器翻譯方法

通過上述步驟，本文得到了漢語復述生成模型和漢英醫療機器翻譯數據集。本節介紹通過復述生成模型對雙語平行句對中的漢語句子進行復述生成。新生成的句子與原句子對應的英文句子構成新的雙語對齊數據。通過上述方法實現了對雙語平行語料的增廣。該方法的整體框架如圖4所示。

圖4 復述增廣的機器翻譯方法框架圖

本文的主要目的是驗證基于復述生成的增廣方法是否能夠有效地提升神經機器翻譯的性能，因此本文復現了幾種主流的機器翻譯模型作為基礎模型，包括Seq2Seq， RNNSearch和Transformer。本文在這3種模型先開展實驗，來驗證方法的有效性。

4 實驗

4.1 實驗設置

本節主要介紹復述生成模型、神經機器翻譯模型的實驗模型設置。本文基于Transformer實現復述生成模型，word embedding dim地址為300、beam設置為50，batch size設置為64、句子長度設置為256、learning rate設置為0.01、optimizer設置為Adam。神經機器翻譯包含Seq2Seq， RNNSearch和Transformer3種模型，模型的超參數設置如表2所示。本文使用BLEU值作為模型的評價指標。本文的所有實驗均為在訓練集上進行訓練，在驗證集上找到最優的超參和epoch次數，在測試集上得到結果。本文所有實驗均在一臺GPU服務器上進行，其基本配置如下：CPU 2*AMD 霄龍7742、512G DDR4內存、4* Nvidia RTX 24G顯卡。本文使用BLUE值作為評價不同模型翻譯結果的主要指標。

表2 模型參數設置

4.2 對比實驗

為了能夠驗證復述增廣方法對于漢英醫療機器翻譯的作用，本文設置了多組對比實驗，包括：(1)在采集的機器翻譯語料上直接使用基礎機器翻譯模型(Seq2Seq， RNNSearch和Transformer)進行訓練；(2)使用基于同義詞替換(WordRep)的方法對機器翻譯數據進行增廣，然后使用機器翻譯模型進行訓練；(3)使用本文提出的幾種復述生成方法對數據進行增廣，然后使用機器翻譯模型進行訓練。其中基于同義詞替換的方法，本文使用哈爾濱工業大學的同義詞詞典7)http://ir.hit.edu.cn/demo/ltp/Sharing_Plan.htm作為同義詞數據源。

4.3 實驗結果

由于本文主要為了驗證基于復述生成的數據增廣方法對于醫療機器翻譯的增強效果，因此主實驗為3種模型在沒有數據增廣和有數據增廣之后的效果的對比，該實驗設置生成的復述句子為4個，新生成的訓練數據集是原始訓練數據的5倍數據量。該部分的實驗結果如表3所示，其中“-para”表示增廣之后的訓練集得到的模型。

從表3我們可以得到以下結論：

表3 漢英醫療機器翻譯結果

(1)基于復述生成的數據增廣方法能夠顯著地提升醫療領域機器翻譯的性能，驗證了復述增廣的方法在機器翻譯領域具有一定的通用性。

(2)基于同義詞替換的方法(WordRep)基本不能提升機器翻譯的性能，在RNNSearch模型下甚至降低了模型的性能，我們推測是可能是由于同義詞詞典為通用領域的同義詞，在醫療領域缺少相關的詞匯導致的。

(3)基于語言模型的復述生成方法(Bert， MT5)能夠更大程度地提升模型的性能，說明通過這種方法生成的復述句子能夠更好地提升機器翻譯的性能。

(4)基于MT5的復述生成方法相對于基于Bert的復述生成方法能夠更大程度地提升機器翻譯的性能，說明MT5在復述生成任務上具有更好的性能和多樣性。

為了更清晰地展示本文提出的方法訓練得到醫療領域機器翻譯的性能，本文在表4中使用一個例子來直觀地展示本文提出的方法與百度和谷歌的機器翻譯的對比。醫療專家的人工評價也認為本文提出的方法能夠較好地保持漢語句子的語義，翻譯的結果比較符合常見的病例描述方式，同時在醫療詞匯的翻譯上也更加準確(如“并持續加重”翻譯為“progressive worsening”)。

表4 漢英醫療機器翻譯例子

4.4 不同的復述數量對翻譯性能的影響

為了進一步地驗證復述增廣對機器翻譯性能地提升作用，本節通過設置不同的復述數量來觀察對于復述模型的提升效果。本部分實驗以Transformer作為基礎模型，然后通過不同的增廣數量來開展實驗。該部分的實驗結果如圖5所示，其中橫坐標為1表示僅使用原始訓練數據，橫坐標為2時復述生成數量設置為1，即使用2倍的數據進行訓練，以此類推。

從圖5可知，不同的復述數量對于機器翻譯的性能有較大影響，在初期階段通過增加訓練數據可以快速提升機器翻譯的BLEU值，并且當使用5倍的數據進行訓練時達到最優的效果。當訓練數據超過5倍的數據時，性能開始下降，我們推測是因為復述模型引入了更多的噪音且多樣性不足等原因，導致機器翻譯性能的下降。

圖5 不同復述數量對機器翻譯性能的影響

綜上所述，實驗結果表明基于單語復述增強的方式能夠較好地提升醫療機器翻譯的性能。我們認為這是由于機器翻譯在理解愿語言文本和生成目標語言文本的時候均需要處理語言多樣性的問題。在訓練數據不足的情況下，單語復述能夠提升模型應對一種語言多樣性的能力，進而優化機器翻譯的性能。

5 結束語

針對醫療領域機器翻譯訓練數據不足的問題，本文提出一種基于復述生成進行數據增廣的方法來增強醫療領域機器翻譯的性能的方法。該方法借助于大規模單語復述數據集構建復述生成模型。同時，本文設計實現了一種從醫療領域電子書中抽取漢英醫療機器翻譯數據的方法，構建了一個10萬句級別的醫療領域機器翻譯數據集。最后，利用復述生成模型對醫療機器翻譯的訓練數據進行增廣，得到更大規模的訓練數據。在3種不同的神經機器翻譯方法的實驗結果表明，基于復述增廣的機器翻譯方法能夠有效地提升醫療機器翻譯的效果。同時，實驗結果表明基于大規模預訓練語言模型的復述方式能夠最大程度地提升機器翻譯的性能。但從實驗結果中也可以看出，復述生成仍然會引入一部分噪音，因此針對機器翻譯如何生成更高質量的復述句子，避免引入噪音是未來工作的重點。