基于樸素貝葉斯的敏感信息識別方法研究

◆陸向艷 蘇崇 劉峻

（1.廣西大學(xué)計算機與電子信息學(xué)院 廣西 530004；2.廣西師范大學(xué)廣西多源信息挖掘與安全重點實驗室 廣西 54100）

互聯(lián)網(wǎng)經(jīng)過20 多年的發(fā)展，已經(jīng)深入滲透到社會生產(chǎn)、生活和學(xué)習(xí)等領(lǐng)域的各個方面，互聯(lián)網(wǎng)各種平臺上每天產(chǎn)生大量的文本信息，其中有些信息不加以辨別和控制會對政治、經(jīng)濟和道德等領(lǐng)域造成損害或影響。這些信息主要包括政治敏感信息、恐怖信息、色情信息、侮辱謾罵信息、惡意廣告信息等[1]，被統(tǒng)稱為敏感信息。如果不及時識別和處理這些敏感信息，互聯(lián)網(wǎng)環(huán)境將不斷地遭受破壞，給社會穩(wěn)定、安全和文明等方面造成不利影響，識別并過濾敏感信息成為當(dāng)前凈化網(wǎng)絡(luò)環(huán)境的重要手段。由于互聯(lián)網(wǎng)信息量巨大，當(dāng)前主要采取自動化方法來識別敏感信息。自動識別敏感信息方法主要為基于機器學(xué)習(xí)的分類方法，當(dāng)前研究主要有基于SVM、決策樹、K 近鄰等[2-5]方法，本文提出一種基于樸素貝葉斯的敏感信息識別方法，旨在為敏感信息識別提供方法參考。

2 基于樸素貝葉斯的敏感信息識別方法

2.1 方法模型

基于樸素貝葉斯的敏感信息識別方法包括敏感信息標(biāo)記、文本分詞、樸素貝葉敏感詞訓(xùn)練、樸素貝葉斯敏感信息分類4 個步驟，方法模型如圖1 所示。

圖1 模型圖

2.2 敏感信息標(biāo)記

用爬蟲軟件收集文本數(shù)據(jù)集，取其中一部分進行文本敏感屬性標(biāo)記，將包含和不包含敏感信息的文本分開存放。將敏感數(shù)據(jù)集分成涉黃、涉政、涉恐、廣告、謾罵五個類別進行分類標(biāo)記。

2.3 文本分詞

用Word 分詞器的最大Ngram 分值算法對文本數(shù)據(jù)集進行分詞、去除停用詞后，將敏感信息與非敏感信息的分詞分開保存。

2.4 樸素貝葉敏感詞訓(xùn)練

對于訓(xùn)練集文本的每一個分詞，首先進行詞頻統(tǒng)計并計算分詞先驗概率，然后查看敏感詞庫是否已記錄該分詞，是則修正該詞語的概率，否則寫入敏感詞庫。敏感詞庫最后保留詞頻排序在前15%的詞匯。樸素貝葉敏感詞訓(xùn)練過程如圖2 所示。

圖2 訓(xùn)練過程

3 實驗和結(jié)果分析

實驗收集涉黃、涉政、涉恐、廣告、謾罵五個類別文本數(shù)據(jù)各500 個，每個類別分別取100 個文本進行標(biāo)記，300 個文本進行訓(xùn)練，100 個文本進行測試，驗證本文提出的基于樸素貝葉斯的敏感信息方法的有效性，實驗結(jié)果如表1 所示。

表1 實驗結(jié)果

對于實驗的五個類別數(shù)據(jù)，算法正確檢出率都在87%以上，其中涉恐、涉黃和廣告文本正確檢出率在90%以上，相對較高，涉黃和謾罵文本正確檢出率相對較低，原因主要是因為樸素貝葉斯在計算各分詞概率時獨立計算，而涉黃和謾罵文本相對涉政、涉恐和廣告文本這三類文本其詞匯的上下文關(guān)聯(lián)更強。

4 結(jié)束語

識別網(wǎng)絡(luò)敏感信息，對凈化網(wǎng)絡(luò)環(huán)境具有重要意義。本文提出一種基于樸素貝葉斯的敏感信息識別方法。實驗結(jié)果表明本文方法能有效識別敏感文本信息。