基于jieba中文分詞的中文文本語料預處理模塊實現

2020-07-04 02:14:28石鳳貴

電腦知識與技術 2020年14期

石鳳貴

摘要：文本預處理是文本分析理解的基礎，預處理結果可以直接影響到文本分析的準確率。中文文本語句結構復雜，詞語之間沒有明顯的分隔標記，需要進行分詞來理解語句。分詞是文本預處理的基礎，詞的切分準確性影響文本預處理結果。本文分詞采用jieba中文分詞工具，實現了文本預處理模塊。

關鍵詞：文本分詞;文本預處理;去停用詞

中圖分類號：TP181 文獻標識碼：A

文章編號：1009-3044（2020）14-0248-04

分詞是自然語言處理中處理文本的基礎和前提，中文結構復雜，詞之間沒有明顯的分隔標記。目前，出現了許多不錯的中文分詞工具，如jieba、LTP、SnowNLP、THULAC等。iieba中文分詞是一款廣泛使用的分詞工具，基于Python的第三方分詞庫。

1文本預處理

文本處理之前，需要對語料文本進行一些預處理，包括中文分詞、去停用詞、關鍵詞提取等。詞是構成語句的基本單元，分析語句前需要先分詞，將文本中詞切分出來作為特征值。對于英文而言，分詞相對比較簡單，因為英文語句中詞與詞之間有明顯的分隔符。中文語句結構復雜，詞語之間沒有分隔符，而且同一個詞在不同的語句和不同的文本中意義不同，下文將重點闡述。

文本中含有標點符號、介詞、語氣詞等，這些詞對理解文本沒有實際意義，應從分詞結果中去除，這些詞稱之為停用詞。去停用詞可有節省存儲空間，減少停用詞對理解語句造成的噪音，降低文本維度。去停用詞是根據停用詞表進行過濾，因此去停用詞之前需要人工構建停用詞表，然后將分詞表去掃描停用詞表，在停用詞表中詞需要過濾掉。去停用詞可以有效提高語句的理解和文本的處理效率、準確率。本文結合常見停用詞構建停用詞表。

2jieba中文分詞

2.1分詞

分詞是自然語言處理的第一步，也是比較重要的一步。分詞是將由字符序列構成的句子按照一定的規則重新組合成詞的集合，中文分詞就是指將句子中漢字序列切分成詞集合。相對于英文而言，中文分詞要復雜得多。中文分詞時如何界定“詞”、如何消除歧義、如何識別未登錄詞？這個是我們面臨的問題。中文分詞算法主要基于字符串匹配算法、基于理解算法和基于統計分詞算法。

2.2.jieba分詞工具

jieba中文分詞工具是一款廣泛使用、分詞效果較好的分詞器，開源分詞工具，基于前綴詞典實現高效的詞圖掃描，生成句子中漢字所有可能成詞情況所構成的有向無環圖（DAGl，采用了動態規劃查找最大概率路徑，找出基于詞頻的最大切分組合，對于未登錄詞，采用了基于漢字成詞能力的HMM模型（Hidden Markov Model，隱馬爾可夫模型），使用了Viterbi算法。jieba支持自定義專業詞典和未登錄詞血。

2）自定義詞典

jieba分詞工具基于前綴詞典dict.txt，應用中不能切分的未登錄新詞需要修改或增加詞典，同時用戶也可以自定義詞典。開發者可以指定自定義的詞典，切分jieba詞典中未登陸詞。雖然jieba有新詞識別能力，但是自行添加新詞可以保證更高的正確率。自定義詞典格式和dict.txt一樣，一個詞占一行;每一行分三部分：詞語、詞頻（可省略）、詞性（可省略），用空格隔開，詞頻省略時使用自動計算能保證分出該詞的詞頻。

3文本預處理模塊

3.1函數功能結構

按照軟件開發“高內聚、低耦合”原則，將實現文本預處理功能劃分為多個函數，實現代碼復用。函數及其功能表1所示。

結果如4所示。

4.3加載提取的關鍵詞

加載提取的關鍵詞，可以用于后續的模型訓練。

textPre.loadSegmentDataset（“predata/keywords.txt”）

輸出結果：

[‘服務客房套房白板分鐘宴會廳飯店樓層話筒乘車喜來登餐廳會議室hotel 12 24 10新聞投影儀豪華使館區商務退房首都機場提供無線行政公里宴會英文/n，

‘服務餐廳hotel 405個人電腦套間洗衣客房健身接口菜肴點心豪華室內提供桑拿浴本網頁貴賓廳希爾頓酒店生猛海鮮北京烤鴨壁球干洗自助餐標準間http www bjta gov cn＼n，

‘大廈hotel京瑞東三環南路娛樂商務京城首都圖書館北京經濟技術開發區古玩城龍潭湖全聚德烤鴨店http BrrccBr bjtagov cn asp id 24 hotehlame薈聚之星令ISO9000商駐他求南接北指市嘗/n，

'瀑布黃果樹景區景點犀牛天星橋風景區瀑布群名勝區石頭寨著名風景布依族壯闊雄奇迷離旅游水簾洞石林彩虹公里溶洞游人落差水上天星第一奇特內有峽谷＼n1