中文詞性標注：單步標注還是同步標注？基于詞還是基于字？

魏小雨 張?zhí)煊?/p>

【摘 要】中文詞性標注給中文語句中的每一個字分配一個POS標簽。但是，由于中文詞語在句子中不能被精確切分，所以若想進行中文詞性標注，需要詞語切分作為前提條件。我們可以在分詞之后進行詞性標注，或者將詞性標注與分詞進行組合，兩者同時進行。此外，我們可以選擇在基于詞的基礎(chǔ)上進行詞性標注，利用上下文語意，或者基于字符的基礎(chǔ)。本文提出一種利用最大熵值框架方法針對中文詞性標注等架構(gòu)處理和特征表示的深入研究。我們發(fā)現(xiàn)分詞與標注同步進行的基于字符的方法是最好的，基于字符單步（once-at-a-time）進行的標注方法是值得商榷和完善的，在精確度上略差于同步（all-at-once）進行方法，但是它的運行時間更短些。

【關(guān)鍵詞】詞性標注；分詞；單步；同步

【中圖分類號】G623.31【文獻標識碼】A【文章編號】1672-5158（2013）07-0354-02

1.引言

大多數(shù)基于語料庫語言處理的研究，主要集中在對英文的處理。理論上，我們應(yīng)該只能使用基于語料庫的端口，因為語言的機器學(xué)習(xí)技術(shù)在很大的程度上獨立于語言。但是，實際上，不同語言的特性帶來了復(fù)雜性。尤其是中文，詞語在一條語句中不能被準確的劃分。因此在我們進行標注和解析等工作之前需要先進行分詞，因為中文詞性標注是對每一個詞進行標注，并且一條語句的解析樹是詞。

進行中文部分詞語標注時，會遇到以下問題：

（1） 我們應(yīng)該嚴格按照先分詞后標注的方法進行標注還是分詞與標注同時進行？

（2） 我們應(yīng)該基于上下文（基于詞）進行標注，還是基于字符進行標注？

本文提出一種利用最大熵值框架方法針對詞性標注等問題的深入研究。我們分析了不同方法的運行結(jié)果，試圖找尋最優(yōu)化的方法。

2.分詞

作為我們調(diào)查研究的第一步，我們創(chuàng)建一種不進行詞性標注的中文分詞。由于在使用單步方法時，分詞中的錯誤將傳遞到詞語標注階段，為了我們研究的準確性，我們使用最先進的分詞技術(shù)。我們的分詞類似于采用最大熵值分詞法（Xue and Shen， 2003）。它根據(jù)上下文得來的特性對每個詞進行分類。每個詞被分配一個由4個邊界值組成的標簽：“b”表示一個詞的開始，“m”表示一個詞的中間的字，“e”表示一個詞的結(jié)尾，“e”表示該表示的詞是單個字的詞。

2.1 分詞特點

我們提出了另外三種能夠提高分詞精確度的功能（如下模板（d）-（f））。在我們的分詞中去掉了默認功能（Xue and Shen， 2003），因為在我們的分詞中默認功能不能夠提高我們的精確度。

以下的功能模板在我們的分詞中被使用，W指代詞，C指代字。（a）-（c）指的是含有5個字的內(nèi)容。 0C表示當前字符， nC表示當前字符的前后n位置上的字符。

英文與中文的語言差別直接影響到英文詞性標注方法在中文環(huán)境下的運行結(jié)果，得到是無效的結(jié)果。中文里個別字符編碼信息有助于詞性標注。使用基于字符方法的中文詞性標注優(yōu)于使用基于詞方法的中文詞性標注。我們的研究還表明，與之前提出的同步基于字符方法相比，單步基于字符方法達到了相當良好的詞性標注精確度，并且可以大大縮減運行時間。

參考文獻

[1] H.Jing，R.Florian， X. Luo， T. Zhang， and A.Ittycheriah. 2003. HowtogetaChineseName（Entity）：segmentation and combination issues.In Proc. of EMNLP

[2] O.Y.Kwong and B. K. Tsou. 2003. Categorial fluidity in Chinese and its implications for part-of-speech tagging. In Proc. of EACL

[3] X.Luo. 2003. A maximum entropy Chinese characterbased parser. In Proc. of EMNLP

[4] A.Ratnaparkhi. 1996. A maximum entropy model for part-of-speech tagging. In Proc. of EMNLP

[5] R. Sproat， C. Shih， W. Gale， and N. Chang. 1996. A stochastic finite-state wordsegmentation algorithm for Chinese. Computational Linguistics， 22（3）：377-404

[6] R.Sproat and T.Emerson. 2003. The first international Chinese word segmentation bakeoff. In Proc. of SIGHAN Workshop.

[7] W.J.Teahan，Y.Wen，R.McNab， and I. H. Witten. 2000. A compression-based algorithm for Chinese word segmentation Computational Linguistics，26（3）：375-393

[8] F.Xia， M. Palmer，N.Xue， M. E. Okurowski， J. Kovarik， F-D Chiou，S.Huang，T.Kroch，and M. Marcus. 2000. Developing guidelines and ensuring consistency for Chinese text annotation. In Proc. of LREC