“地”字結(jié)構(gòu)識別

[摘要] “地”字結(jié)構(gòu)是漢語中有標(biāo)記的狀語結(jié)構(gòu)，“地”字結(jié)構(gòu)的自動識別作為淺層句法分析的任務(wù)之一可以減少自動句法分析的歧義。本文在分析“地”字結(jié)構(gòu)性質(zhì)的基礎(chǔ)上，利用規(guī)則與統(tǒng)計相結(jié)合的方法，基于分詞文本對“地”字結(jié)構(gòu)進(jìn)行了對比性的識別研究。實驗利用200萬字的語料進(jìn)行訓(xùn)練，將獲取的數(shù)據(jù)用于自動識別，獲得了較好的效果。

[關(guān)鍵詞] “地”字結(jié)構(gòu) 句法分析 規(guī)則 概率

漢語是一種缺乏形態(tài)變化的語言，傳達(dá)了較少的形式化信息，增加了自然語言處理的歧義。在自動句法分析的過程中，漢語缺少可直接利用的形式信息，增加了分析的難度。

20世紀(jì)80年代末，國外開始了關(guān)于組塊（Chunk）的研究，并提出了淺層句法分析的概念，希望通過語塊的識別和語塊之間依附關(guān)系的分析來實現(xiàn)對完全句法分析任務(wù)的分解。90年代以來，國內(nèi)學(xué)者在漢語的淺層句法分析方面也做了很多工作。郭志立利用廣義互信息研究了“的” 字短語的結(jié)構(gòu)和邊界。王立霞、吳云芳使用概率模型識別了介詞短語的邊界。趙軍提出了基于轉(zhuǎn)換的漢語基本名詞短語（baseNP）識別模型。周強利用邊界概率分布和內(nèi)部結(jié)構(gòu)組合對最長名詞短語（MNP）進(jìn)行了較為全面的識別分析。這些研究主要集中于對名詞短語和介詞短語的識別，為漢語的自動處理做出了有益的探索。

作為淺層句法分析的任務(wù)之一，“地”字結(jié)構(gòu)的自動識別可以有效地減少句法分析的歧義。由于“地”字結(jié)構(gòu)在句中處于狀語的位置，對于一些簡單的單句而言，該結(jié)構(gòu)的自動識別常常可以幫助找到謂語中心，劃定句子的基本結(jié)構(gòu)，我們可以給出這樣的形式化表示：

S=[SZ]+Subj+[SZ]+DS+P+[Obj]

其中，S表示單句，SZ表示句首或小句狀語，DS表示“地”字結(jié)構(gòu)，P表示謂語中心，Subj表示主語，Obj 表示賓語，[]表示可以出現(xiàn)也可以不出現(xiàn)，+表示語法分隔。

本文分為四個部分，第一部分對“地”字結(jié)構(gòu)進(jìn)行定義和分類，第二部分介紹統(tǒng)計與規(guī)則相結(jié)合的“地”字結(jié)構(gòu)識別算法，第三部分分析實驗結(jié)果，第四部分結(jié)語。

1.“地”字結(jié)構(gòu)的定義及分類

1.1“地”字結(jié)構(gòu)的定義

“地”字結(jié)構(gòu)是以結(jié)構(gòu)助詞“地”為右邊界標(biāo)志，在句中動詞前作狀語，直接修飾動詞或謂語中心語的一種句法結(jié)構(gòu)。我們把“地”字結(jié)構(gòu)定義為“修飾語+地”的形式。

1.2“地”字結(jié)構(gòu)分類

“地”字結(jié)構(gòu)內(nèi)部存在多種句法關(guān)系，表現(xiàn)為修飾語部分可以是單個詞語，也可以是句法組合，包括狀中組合、并列組合、述賓組合、主謂組合等。根據(jù)“地”字結(jié)構(gòu)內(nèi)部的句法層次和句法關(guān)系對它進(jìn)一步細(xì)分。

（1）簡單“地”字結(jié)構(gòu)：“單元狀語+‘地’”形式的結(jié)構(gòu)。

（2）復(fù)雜“地”字結(jié)構(gòu)：“多元狀語+‘地’”形式的結(jié)構(gòu)。

簡單“地”字結(jié)構(gòu)的修飾語是單元的，即內(nèi)部只有一個元素，不存在句法組合關(guān)系，如：

新 的 游客 【源源不斷 地】 涌 來 。

復(fù)雜“地”字結(jié)構(gòu)的修飾語有多個元素組合而成，這些元素之間滿足一定的句法組合關(guān)系。根據(jù)這些關(guān)系，可以將復(fù)雜“地”字結(jié)構(gòu)進(jìn)一步細(xì)分為多元修飾型、多元并列型、多元主謂型以及多元述賓型等：

多元修飾型：修飾語為“狀語+中心語”形式的“地”字結(jié)構(gòu)，如“很 努力 地”。

多元并列型：修飾語為“并列成分+[連接成分]+并列成分+…”形式的“地”字結(jié)構(gòu)，如“積極 主動 地”。

多元主謂型：修飾語為“主語+謂語”形式的“地”字結(jié)構(gòu)，如“程度 不同 地”。

多元述賓型：修飾語為“述語+賓語”形式的“地”字結(jié)構(gòu)，如“有 計劃 地”。

2.統(tǒng)計與規(guī)則相結(jié)合的“地”字結(jié)構(gòu)識別策略

2.1識別目標(biāo)

“地”字結(jié)構(gòu)識別的目標(biāo)是準(zhǔn)確地確定“地”字結(jié)構(gòu)的左右邊界。本研究以“【”作為“地”字結(jié)構(gòu)左界標(biāo)志，以“】”作為右界標(biāo)志，對句中“地”字結(jié)構(gòu)進(jìn)行識別，識別結(jié)果格式如下：

中國認(rèn)為 ， 伊拉克應(yīng) 【全面 、 切實 地】 履行 聯(lián)合國 有關(guān) 決議。

2.2識別算法

根據(jù)“地”字結(jié)構(gòu)的特點，在語料統(tǒng)計分析的基礎(chǔ)上，我們確定采用規(guī)則匹配、概率加權(quán)選擇和上下文調(diào)整相結(jié)合的策略進(jìn)行識別。

2.2.1規(guī)則匹配

我們以人民日報1998年1月份的標(biāo)記語料（記為9801.tag）作為訓(xùn)練語料，對其中的“地”字結(jié)構(gòu)進(jìn)行人工標(biāo)注，并提取出每一個具體的“地”字結(jié)構(gòu)的詞性標(biāo)記串及其出現(xiàn)概率，組成“地”字結(jié)構(gòu)的標(biāo)記串規(guī)則集，此規(guī)則集中包含了100條規(guī)則，其中任意一條規(guī)則的出現(xiàn)概率P(rule[i])的計算公式如下：

我們應(yīng)用此標(biāo)記串規(guī)則集的具體規(guī)則對每一個“地”字結(jié)構(gòu)進(jìn)行可能匹配：對于每一條標(biāo)記串規(guī)則，獲取相同長度的“地”字結(jié)構(gòu)詞串，并通過查詞典的方式取得該詞串所有的可能標(biāo)記串，如果存在某條可能標(biāo)記串與標(biāo)記串規(guī)則匹配，則該標(biāo)記串規(guī)則作為一條可能匹配規(guī)則；如此記錄下所有的可能匹配規(guī)則，并統(tǒng)計其出現(xiàn)概率。

2.2.2概率加權(quán)選擇

由于面對的是分詞文本，規(guī)則的長度和詞串所對應(yīng)的標(biāo)記串都是不確定的，在實際標(biāo)注過程中有兩種選擇：一種選擇是長規(guī)則優(yōu)先匹配，規(guī)則長度相同時，高頻規(guī)則優(yōu)先匹配；另一種選擇是通過規(guī)則的出現(xiàn)概率進(jìn)行優(yōu)選。實驗表明，第一種選擇不能體現(xiàn)語料中的自然比例關(guān)系，造成了短規(guī)則匹配概率低下，影響標(biāo)注正確率；第二種方法具有更大的可行性和優(yōu)越性。但是，通過統(tǒng)計得到的規(guī)則集還不能直接用于標(biāo)注：

第一，用上文使用得最大似然估計法估計參數(shù)會造成嚴(yán)重的數(shù)據(jù)稀疏問題，低概率事件常常被忽略。

第二，規(guī)則的出現(xiàn)概率受到其長度的制約。實驗發(fā)現(xiàn)，短規(guī)則出現(xiàn)概率通常高于長規(guī)則，但規(guī)則的出現(xiàn)概率高不等于該規(guī)則作為“地”字結(jié)構(gòu)的概率高，甚至有相反的趨勢。

我們使用一種簡單的加權(quán)方法，并將權(quán)值轉(zhuǎn)化為費用：

Feeweight[i] = P (rule[i])×Fee(rule[i]) ×(Len(rule[i])-1) 公式2

其中， Fee(rule[i])表示rule[i]的費用，Len(rule[i])表示規(guī)則rule[i]的長度。為解決數(shù)據(jù)稀疏的問題，采用了一階馬爾可夫過程計算規(guī)則費用：

trans[i][j]是指從“地”字結(jié)構(gòu)內(nèi)部獲取的詞性tag_i到tag_j的轉(zhuǎn)移概率。

對于某一條具體的規(guī)則rule[i]，F(xiàn)eeweight[i]值越大，它用于“地”字結(jié)構(gòu)標(biāo)注的概率越小。當(dāng)某一個字符串能匹配多條規(guī)則時，優(yōu)先選擇費用最低的規(guī)則進(jìn)行標(biāo)注。

2.2.3上下文信息

對標(biāo)記串的概率優(yōu)選只利用了詞性信息，一些詞語上下文信息對識別也非常有幫助。我們制定了三張詞表來進(jìn)行概率標(biāo)注后的微調(diào)。左界外詞表記錄常常僅作為DS左界外一詞的詞語，如“等”，左界內(nèi)詞表記錄常常僅作為DS左界內(nèi)一詞的詞語，如“很”，非DS左詞詞表記錄常常只出現(xiàn)在名詞“地”左鄰，而不出現(xiàn)在助詞“地”左鄰的詞語。

3.實驗結(jié)果及分析

3.1 實驗結(jié)果分析

我們應(yīng)用9801.tag作訓(xùn)練語料，1月份和2月份的切分語料（分別記為9801.cut和9802.cut）作測試語料，進(jìn)行了多次實驗。

3.1.1 相異詞表實驗

考慮到詞表對于“地”字結(jié)構(gòu)標(biāo)注的影響，分別應(yīng)用從9801.tag的“地”字結(jié)構(gòu)中提取的封閉的小詞表（917詞條），并使用開放的先驗大詞表（約155000詞條）進(jìn)行測試，其中開放測試語料為人民日報2月份上半個月的切分語料（記為9802p.cut）。令某DS左右邊界都標(biāo)注正確作為1次正確識別，否則為1次錯誤識別，如果Fc表示正確識別的DS個數(shù)，F(xiàn)w表示錯誤識別的個數(shù)，F(xiàn)f表示識別失敗的個數(shù)，F(xiàn)m表示多余識別的個數(shù)，F(xiàn)t表示文本中DS總數(shù)，則正確率（Precision）、召回率（Recall）和調(diào)和平均值（Ｆ）可計算如下：

測試結(jié)果如表1和表2所示：

詞表對于標(biāo)注的影響非常明顯。從“地”字結(jié)構(gòu)中提取出的小詞表減少了詞語的詞性選擇維度，有利于提高精確率，但詞語數(shù)量不夠的問題，降低了召回率。先驗的大詞表基本能夠保證詞語數(shù)量的充足，有利于提高召回率，但加劇了詞性標(biāo)記的競爭，降低了正確率。另外，大詞表中可能存在的錯誤，也會對識別產(chǎn)生影響。

綜合正確率、召回率和調(diào)和平均值可以看出，使用大詞表的開放測試取得了比較好的結(jié)果。

3.1.2相異規(guī)模實驗

為考察算法的有效性和健壯性，我們使用先驗的大詞表對9802p.cut和9802.cut進(jìn)行了對比性的開放測試，測試結(jié)果如表3和表4所示：

從測試結(jié)果可以看出，我們所采用的算法具有較好的健壯性，對于大詞表開放測試，9802.cut的正確率甚至略優(yōu)于9802p.cut的測試數(shù)據(jù)。

3.2 錯誤分析

大詞表測試數(shù)據(jù)表明：實驗中最主要的錯誤類型是錯誤識別(Fw)和多余識別(Fm)的問題。錯誤識別即因該識別的結(jié)構(gòu)定界不準(zhǔn)確而導(dǎo)致的錯誤，這些錯誤涉及到以上提到的各種語法結(jié)構(gòu)，主要包含以下幾種情況：

3.2.1狀語存在語法功能歧義，如“又”，它既可以出現(xiàn)在DS中，也可以作謂語的修飾語：

a. 他 【又 生氣 又 無奈 地】 瞅 著 我 。

b. *姐妹 倆 【又 親熱 地】 聊 了 起來 。

考慮到句a存在的可能性，我們沒有將“又”列入左界外詞表，帶來了如句b的標(biāo)注錯誤（用*號表示，下同）。事實上，在9802.cut中并沒有出現(xiàn)a所示的情況。因此標(biāo)志詞詞表如何制定還需要進(jìn)一步考慮和完善。

3.2.2 標(biāo)點分隔的并列結(jié)構(gòu)作狀語，以上算法缺乏識別能力，如：

c. *從而全面 、 【完整 、 準(zhǔn)確 地】回答 了 什么是 社會主義 。

3.2.3語料問題，如分詞問題。

d. *她 還 把 學(xué) 到 的 技術(shù) 毫無 【保留 地】 傳教 給 別人 。

“毫無保留”作為一個詞切分更合適，例d切分為兩個詞，造成了識別錯誤。

3.2.4固定結(jié)構(gòu)，如“…般地”，“像…般地”。

e. *像 【洪流 般 地】向前 移動 。

多余識別，即名詞“地”被作為助詞處理，是另一個重要的錯誤來源，從識別算法可以看出，我們使用的統(tǒng)計方法對多余識別的錯誤缺乏辨別能力，因此名詞“地”的排歧任務(wù)主要由非DS左詞詞表完成，雖然名詞“地”前一詞具有一定的特征，如量詞“畝”，完全收錄這部分詞仍然困難，如：

f. *許多 “ 六朝 【繁華 地】 ” 成為荒漠中的遺址。

“地”字結(jié)構(gòu)的自動識別可以減少句法分析的歧義，是淺層句法分析的任務(wù)之一。本文在分析語料的基礎(chǔ)上，對切分語料中“地”字結(jié)構(gòu)進(jìn)行了識別，提出了基于規(guī)則匹配和概率選擇的識別方法，取得了比較好的效果。在今后的研究中，我們將逐步進(jìn)行改進(jìn)和提高。

參考文獻(xiàn)：

[1] 陳小荷：現(xiàn)代漢語自動分析——Visual C++實現(xiàn)．北京語言文化大學(xué)出版社，2000年。

[2] 郭志立：用統(tǒng)計方法研究“的”字短語的結(jié)構(gòu)和邊界．計算機時代的漢語和漢字研究，1997年。

[3] 王立霞：現(xiàn)代漢語介詞短語邊界識別研究．中文信息學(xué)報，2005年第3期。

[4] 吳云芳：漢語介詞結(jié)構(gòu)的自動標(biāo)注．北京語言文化大學(xué)碩士論文，1998年。

[5] 趙軍，黃昌寧：基于轉(zhuǎn)換的漢語基本名詞短語識別模型．中文信息學(xué)報，1999年第２期。

[6] 周強、孫茂松、黃昌寧：漢語最長名詞短語的自動識別．軟件學(xué)報，2000年。

（錢小飛，南京師范大學(xué)文學(xué)院）