基于ＨＭＭ的中文姓名識別方法研究此

楊　霞　黃陳英

[摘要]以2000年1月－12月《人民日報》大約80萬漢字語料為基礎，利用基于隱馬爾可夫模型并結合統計來評價在真實文本中構成中文姓名的能力，實現中文姓名的自動識別。實驗測試表明；準確率達91.5％，召回率為89.5％。

[關鍵詞]中文姓名識別隱馬爾可夫模型中文信息處理

中圖分類號：TP3文獻標識碼：A文章編號：1671－7597(2009)0210064－01

一、引言

在漢語的書面表現形式中，詞與詞之間是沒有自然界限的，自動分詞就成了中文信息處理的基礎工程[1]，而未登錄詞(人名、地名、機構名、新詞和專業術語)的識別是漢語自動分詞的難題之一，其識別率和識別速度的高低將直接影響分詞的效果。中文姓名在未登錄詞中占很大比例，統計顯示：中文姓名占未登錄詞的15％[2]，可見，中文姓名的自動識別對未登錄詞識別是極其重要的。傳統的姓名識別方式主要包括：基于統計[3-4]、基于語料庫[5]、結合決策樹等。

姓名識別也是一種分類問題，每一個字或者是或者不是姓名的一部分。近年來，隱馬爾可夫模型(HMM，Hidden Markov Models)在文字分類尤其是標注中取得了很大的成功。本文以《人民日報》2000年的語料為基礎，基于HMM建立了中文姓名的識別模型，開發了中文姓名自動識別實驗系統，經測試準確率達91.5％，召回率為89.5％。

二、基于HMM的中文姓名識別

(一)隱馬爾可夫的基本概念

隱馬爾可夫模型(Hidden Markov Model，HMM)是馬爾可夫鏈的一種，它的狀態不能直接觀察到，但能通過觀測向量序列觀察到每個觀測向量都是通過某些概率密度分布表現為各種狀態，每一個觀測向量是由一個具有響應概率密度分布的狀態序列產生。所以，隱馬爾可夫模型是一個雙重隨機過程具有一定狀態數的隱馬爾可夫鏈和顯示隨機函數集。HMM創立于20世紀70年代。80年代得到了傳播和發展，成為信號處理的一個重要方向，現已成功地用于語音識別，行為識別，文字識別以及故障診斷等領域。

HMM有5個組成部分，記為一個五元組(N，M，π，A，B)，其中：N是模型狀態集的狀態數目；M是每個狀態可能的觀察值數目；π是初始狀態空間的概率分布；A是與時間無關的狀態轉移概率矩陣；B是給定狀態下，觀察值概率分布。

(二)模型框架

首先定義文字的屬性，在上下文中每一個詞只能有一個屬性，要么是姓名的一部分，要么就是非姓名。相應地，在隱馬爾可夫模型的狀態中，對中文姓名的識別其實只包含兩種類型：中文姓名(Person-Name)與非姓名(Non-Person-Name)。另外，還有兩個特殊的狀態，分別是句子起始狀態(start-0f-Sentence)和句子結束狀態(End-0f-Sentence)。我們使用一個二元統計語言模型來計算詞在每個區域內(name-class)的似然值。

本系統中所用的模型包括三個部分：(1)模型選擇Name－class；(2)模型產生Name-class內部的第一個詞；(3)模型產生Name-class內部的所有其它詞。

相應的公式分別是：

其中Nc表示當前的Name-class，NC-I表示前一個Name-class，w-I表示前一個類中最后一個字或者詞，wfirst表示當前類中的第一個字或者詞。

Name－class內部產生所有非第一個詞的模型：

還有一個特殊的詞“＋end＋”，在Name－class內部如下公式計算最后一個詞的概率：

其中，c()表示事件在訓練數據中出現的次數。當然統計的時候需要用某種平滑方法例如Good-Turning來解決數據稀疏的問題。

(三)識別

中文姓名識別的任務可歸結為：給定一個句子W＝wlw2…Wn2，要求找出NC＝NCINC2…NCn使得P(Nclw)最大，其中NCi是詞，它的狀態有兩種：中文姓名PN或NPN。

由貝葉斯法則，P(Nc｜w)＝P(NC，W)／P(w)，對于給定的句子，P(W)是固定的，所以只需要考慮P(NC，w)，展開即如公式(1)－(4)所示。這樣，姓名的提取可以看成特殊的分詞過程，系統在解碼或識別過程中采用Viterbi束搜索算法。

用一個各態遍歷HMM作為產生句子的模型，稱為PNHMM。該模型有四種狀態，PN，NPN，Start－Of－Sentence和End-0f-Sentence。使P(Nc，w)最大化可轉化為P(Path，W)最大化，Path＝S1S2…Sn是狀態轉移路徑。

PNHMM產生一個句子的過程如圖1所示。

三、實驗結果及討論

分詞采用的也是Viterbi束搜索算法，用來訓練的語料為2000年《人民日報》約80萬字；從中文網站上下載50篇文章作為測試系統性能的測試數據，總共有2000句話，大約有5萬字。其中含有中文姓名304個。統計結果，共識別出中文姓名272個，未識別出的中文姓名32個，召回率89.5％。識別為中文姓名的共有297處，誤報為19個，準確率91.5％。

識別錯誤的例句：

1．候選人為何齊魯。(漏識別)

2、受聘于張氏律師事務所。(錯召回)

基于HMM的各態遍歷過程對中文姓名進行識別，可以提高識別的精度，但仍存在一些需要解決的問題：(1)構造模型的語料有限，中文姓名在真實文本中的覆蓋率不完全，對識別產生很大影響；(2)對于那些小概率稀疏事件沒有較好考慮，造成識別錯誤；(3)外國人名和中文姓名有些具有相似的語言特征，在識別中容易引起錯誤。