一種基于后綴數組的無詞典分詞方法
2004-04-29 00:00:00張長利赫楓齡左萬利
吉林大學學報(理學版) 2004年4期
摘要：提出一種基于后綴數組的無詞典分詞算法。該算法通過后綴數組和利用散列表獲得漢字的結合模式，通過置信度篩選詞。實驗表明，在無需詞典和語料庫的前提下，該算法能夠快速準確地抽取文檔中的中、高叔詞。適用于對詞條頻度敏感、對計算速度要求高的中文信息處理。
關鍵詞：中文信息處理；中文自動分詞；后綴數組；散列表
中圖分類號：TP391.12文獻標識碼：A
