藏文文本規范化處理研究

陳小瑩

摘要：本文通過對藏文文本中不規范文本進行分類后，針對不同類型的文本特征制定規范化處理方法，最終實現了對藏文文本的規范化處理。但因藏文文本來源的不確定性，文本中可能會存在一些未收集到的不規范文本類型，需在后期的研究工作中繼續收集整理。

關鍵詞：信息處理； 藏文文本； 規范化

中圖分類號： TP391

文獻標志碼：A

文章編號： 2095-2163（2016）06-0029-03

0引言

[JP2]藏文文本規范化處理主要是對藏文文本做版面分析，識別并規范藏文文本中可能出現的非正常藏文字符的過程。藏文文字屬于符號文字，藏文文本中除包含正常的藏文字符外，還可能會出現借形詞、特殊符號、黏著語等一些特殊字符形式＼[1＼]。這些藏文特殊字符的存在會直接影響到文本信息處理的正確性。在規范化處理時，需在正確理解其產生原因的基礎上確定相應處理方式，依據其所處語境設定相應規則將這些符號轉換成規范的藏文文本形式。在藏語字音轉換系統中，對非規范形式的藏文文本進行規范化處理能保證后續字音轉換順利完成，因此對藏文文本規范化處理是一個必不可少的基礎工作。

[JP3]本文通過對藏文文本進行分析，確定藏文文本規范化主要有2個任務：第一個任務是特殊符號歸一化；第二個任務是外借詞藏文化。在此，擬將針對每一部分研究給出如下分析論述。[JP]

[BT4]1特殊符號歸一化

藏文文本規范化主要是指在藏文文本中出現的一些非常用藏文標記符號以及其它有特殊含義的符號，這些特殊符號的存在會對后期文本理解造成歧義。

[BT5]1.1標記符號歸一化處理

在藏文文本中可能會存在這樣一些符號，這類符號有些能夠表達語言功能，有些只是文本中存在的裝飾性圖案，這些標記符號對語音并沒有任何作用，因此在獲取規范化設計時即需要進行歸一化處理。

根據目前從各類文獻中收集藏文符號和圖形的分析，藏文文本中的字符與圖形可以劃分為文字符號與非文字符號兩大類。其中，文字符號除了包括能夠書寫語言聲音的藏文字符外，還包括描寫聲音連接、停頓和結束的符號；非文字符號可以表示某種事物或觀念意義，但與語言聲音無關，主要包括篇章符、敬重符、歷算符等＼[3＼]。

藏文文本中出現的藏文標記符號，一般沒有實際語義，所以對這些符號推行規范化處理時，只需要獲取其出現的特征標記以及對應的編碼形式，通過建立標記符號替換規則表，然后在待處理的文本中識別出這些符號，利用標記符號替換規則表即可實現歸一化處理。

[BT5]1.2其它類型特殊符號歸一化處理

其它類型特殊符號規范化處理時，首先收集整理可能出現的符號類型以及其表示的具體語義；其次是確定標準的藏文文本表示形式；最后再建立對應的映射規則表。規范化處理時直接通過映射規則表查找出對應的符號，再將其利用表里的標準藏文文本形式代替即可。映射規則表如表1所示。

2外借詞藏文化處理

因藏文文本的網絡化傳播，許多藏文文本中存在這樣一類詞，這一類詞借用藏語以外的其他民族語言字形，但是卻需要按照藏語的讀音來讀，這類詞就是外借詞。外借詞主要有2種形式，一種是簡略詞形式，一種是數字符號形式。

[BT5]2.1簡略詞規范化處理

藏文文本中的簡略詞，主要來源于其它語種中一些事物縮略表示形式。簡略詞的存在會影響對藏文文本的正確分析，因此對簡略詞規范化處理在自動注音系統中非常重要。

一般而言，藏文文本中包含的簡略詞主要有2類：一類是常用的單位簡寫形式。例如：mm、cm、kg等，這種形式需要轉換成藏文進行發音；另一類是一些特殊名詞的簡略表示形式。例如：CO、LA、CA、DC、USA等，這一類外借詞在規范化處理時直接按照原來的形式與藏文分開。簡略詞規范化處理主要是通過建立簡略詞轉換表來獲得實現的，簡略詞轉換如表2所示，具體處理過程如下[3]：

1）首先對已進行符號歸一化處理的藏文文本按照句子進行切分，其次將藏文句子按照藏文文本、數字符號以及其它文本進行識別并標記，以此得到3類不同的字符塊。

2）將切分后的句子中所有文本塊分別在簡略詞表中查找，若在簡略詞表中，轉3），否則轉4）。

3）查找結果在上下文中進行一一對應，確定對應的規范化形式。

4）繼續處理下一個句子。

2.2數字符號規范化處理

2.2.1數字符號種類

數字符號的表示形式主要有4類[4]，具體給出如下分析論述。

1）電話號碼形式。固定電話號碼形式相對一致，可能包含前綴符號、區號和普通號碼三個部分，每部分之間可能存在分隔符號。一般而言，國內的電話基本一致，包含區號和普通號碼兩部分共計11個數字符號，其中區號部分有3～4個數字，普通號碼有7～8個數字。如果一個文本塊判別屬于這種模式，那么其顯示為電話號碼形式的幾率就比較大。[JP2]之后再利用該文本塊相鄰的上下文內容進行查找，判斷是否有一些指時間在藏文文本中也可能有多種表示形式。常見的一些關于時間的書寫方式有9：30，9：30am，8：00-8：30等。但有時候如果僅僅出現上述形式，并不能完全說明該文本表示形式就是時間。比如“9：30”這種形式如果出現在比賽描述中，說明場上比分是“9：30”，此時的“9：30”就不能用時間形式來進行轉換，而需要綜合上下文語境后再進行轉換。針對這些可能出現歧義的表示形式，不能簡單地只考慮文本表達式的匹配，還需要考慮上下文的環境，確定具體描述的意義之后再進行對應的轉換。

3）金錢貨幣形式。藏文文本中也可能會出現一些常見的貨幣表示形式，該形式在藏文文本出現時基本可以通過貨幣單位而得到關聯辨別，在規范化處理時，直接進行識別替代即可。

4）其它數字符號形式。由于藏文文本來源各異，因此在藏文文本中可能會出現小數2.178、溫度-20.5 ℃、商品型號M4350、IP地址202.200.10.11等常見數字符號形式，也可能會出現其它特定的數字符號形式。這些數字符號在規范處理過程中需要動態加入新的數字塊識別規則，以便處理新的數字形式。

2.2.2數字符號規范化處理的技術設計方案

數字符號在規范化處理時，首先參照陳志剛等在《中文語音合成系統中的文本標準化方法》一文中對文本標準化規則庫的創建方法，建立百分數規則、小數規則、數字區間規則、溫度規則等規則，確定不同含義數字的組合規則；其次利用數字符號、特征詞和標準藏文文本建立數字符號轉換規則表，基于該表即可實現不同意義數字符號到標準藏文文本形式的轉換[5]。數字符號轉換規則如表3所示。

因藏文文本來源的不確定性，在文本中可能會存在一些未收集到的不規范文本類型，所以建立的規則知識庫并不能處理這類文本。針對這種情況，項目中開放了數字符號轉換規則表，允許用戶添加新的數字符號識別特征詞和組合規則，以便更加有效識別數字符號，從而提高數字符號規范化處理的準確性和完整性。

3結束語

[JP+1]藏文文本標準化處理是藏文信息處理領域中的重要內容之一，藏文文本標準化處理對藏文信息處理的進一步發展有著重要推動作用。本文通過對藏文文本中不規范文本設定提供了有效分類后，又針對不同類型的文本特征制定規范化處理方法，最終實現了對藏文文本的規范化處理。但因藏文文本來源的不確定性，文本中可能會存在一些未收集到的不規范文本類型，需在后期的研究工作中繼續補充征集。

參考文獻：[1]格桑居冕，格桑央京. 實用藏文文法教程[M]. 成都：四川民族出版社，2008.

[2] 扎西加，珠杰. 面向信息處理的藏文分詞規范研究[J]. 中文信息學報，2009，23（4）：113-117，123.

[3] [JP3]高璐，陳琪，李永宏，等. 藏語語音合成中文本分析的若干問題研究[J]. 西北民族大學學報（自然科學版），2010，31（2）：27-32，75.[JP]

[4] 于洪志，楊博，關白. 藏文文本規范化技術的研究與實踐[J]. 西北民族大學學報（自然科學版），2006，27（1）：43-47.

[5] 陳志剛，胡國平，王熙法. 中文語音合成系統中的文本標準化方法[J]. 中文信息學報，2003，17（4）：45-51.[ZK）]