藏語動詞形態變化的還原研究與實現

格桑加措 趙棟材

摘要：論文在對藏語動詞隨時態的形態變化分析的基礎上，根據藏語語法對動詞隨時態形態變化的分類，建立了藏語動詞隨時態變化的詞典庫，提出基于詞典匹配的藏語動詞詞形還原方法。

關鍵詞：藏語動詞;動詞詞形還原;數據預處理

中圖分類號：TP311? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2019）28-0205-03

動詞（）一般就是用來表示動作或狀態的詞匯（）[1]。詞形還原是將一個任何形式的單詞還原為一般形式。詞形還原作為文本數據分析中數據預處理的一部分，其對數據分析起到降低數據復雜度、提升處理效率的作用。本文把英語中詞形還原技術的思想應用到藏語中，對藏語的動詞三時一式的變化進行還原操作，還原規范為將未來時、過去時和命令式的藏語動詞的形態，歸一到藏語動詞的一般形式。在藏語書面語里，動詞的時、式、態都是用動詞本身的屈折形式來表達的（）[1]。本文按藏文動詞的隨時態變化規律，分別統計藏語動詞來建立詞典，最后用詞典匹配法進行了藏文動詞的詞形還原操作。其在藏語數據處理中起到減少數據量、降低噪音、降低所占空間和提高文本處理效率的作用。

1 藏語可變動詞的隨時態變化規律

1.1藏語動詞和英語動詞隨時態的形態變化上的比較

英語動詞的"時"有兩種，"體"有兩種，兩者可以互相結合構成8種動詞的時、體形式[2]。與英語的動詞詞形變化一樣，藏語動詞也有隨時態的形態變化。傳統語法中藏語動詞分為有形態變化的動詞和無形態變化的動詞，有形態變化的動詞有未來時、進行時、過去時、祈使式三時一式的形態變化。英語詞形還原技術已經很成熟，主流還原方法均是利用語法規則或利用詞典匹配獲得詞的原形。nltk、Pattern、TextBlob等自然語言處理庫都有相關詞形還原的模塊[4]。由于藏語自然語言處理起步比較晚，雖然語言學家和學者們對動詞詞形變化的規律做了很多相關研究，但是很少見到詞性還原模塊相關的研究。在英語語法中，動詞的時態變化除了極少無規則的時態變化可以統計出來的外，其余都有明顯的后綴變化規律，比如（say， says，said，saying）。比起英語，藏語動詞隨時態變化規律比較復雜，藏文動詞的變化主要有前加字、后加字和再后加字的變化。有些特殊動詞，隨著其時態的變化，動詞的基字也會發生變化。瞿靄堂在《藏語動詞屈折形態的結構及其演變》中提到，藏語書面語中能發生時炙屈折變化的動詞約占整個單音動詞的70%左右，能發生語態屈折變化的動詞約占20%，而現代藏語中，發生語態屈折變化的動詞約占10%，發生時、式屈折變化的動詞，衛藏方言約占30%，安多方言約占45%。在書面語中，動詞的屈折形態具有獨立表達語法意義的功能[3]。

藏語語法里，藏語動詞從形態變化上分有時態變化的動詞和無時態變化的動詞兩種。

3藏語動詞的詞形還原

詞形還原 （Lemmatization） ，是把一個任何形式的語言詞匯還原為一般形式，是數據預處理的一部分，是一種對詞的不同形態的統一歸并的過程。主要應用于信息檢索和文本、自然語言處理等方面[4]。它可以減少數據量，降低噪音，降低所占空間和提高實際信息提取任務的準確性提高文本處理的效率。藏文動詞作為句子中重要的組成部分，占數據總量的較大比例，還原藏語動詞各種形態作為藏文數據預處里的一部分，可以減少數據復雜度，提高藏文數據處理效率。本文在測試語料中隨便抽取了100個藏語長句進行了分析，其中平均100個音節字中包含動詞9個左右。其中一個動詞各種形態的重復率占所有動詞的13%左右。當然，所選的句子不同，動詞在句子中的比率和動詞各種形態的變化率差距也很大。詞形規范化將一個詞的不同形式統一為一種具有代表性的形態，目標是將詞的屈折形態或派生形態簡化或歸并為原形的基礎形式。本文中將藏語動詞的現在時形態暫且定為一般形式，以將未來時、過去時、命令式詞形還原成一般（現在時）形式的方式進行還原。比如句子中出現四個字的任何一種，統一還原成這個現在時形式。

3.1語動詞的詞典庫建立

在藏語語法中，藏語動詞隨時態的形態變化提出了較完整的規律，但是用計算機來實現，歧義較多，很難用規則來實現。本文依據《藏文動詞變化表》，按照藏語動詞的三種形態變化規則分別進行收集、建立藏語動詞詞庫，對文本中讀取出來的動詞進行還原。收集藏文動詞規則庫的方式為：首先以變形動詞的最基本的三個變形規則進行分開收集，然后從零散形藏語動詞中提取不變形動詞成為另一個分類，總共收集了常用的823個動詞，建立動詞詞典庫。格式如上。

3.2藏語動詞的還原

3.2.1藏語動詞還原原理

語言學中的詞形還原（Lemmatisation）是將單詞的變形形式組合在一起的過程，這樣同一單詞不同的幾個形態就可以作為單個項目進行分析。在許多語言中，單詞以幾種變形形式出現。例如，在英語中，動詞“to walk”可能表現為'walk'， 'walked'， 'walks'， 'walking'。可能在字典中查找的基本形式“walk”被稱為單詞的原型[7]。藏語句子中，藏語動詞也會以變形形式出現，文中以藏語的一般現在時詞形作為基本形式進行還原，在還原過程中不是現在時的動詞形態還原成現在時形態。比如騎馬（）中原型且定為，而、和還原成（現在時）的形式。把四種不同形態的藏語動詞統一到原型的形態，可以降低數據的復雜度，提高藏語數據的精確度。