基于分類概率加權的樸素貝葉斯分類方法

張步良

(重慶交通大學信息科學與工程學院，重慶 400074)

樸素貝葉斯分類器是基于條件獨立性的，但條件獨立性是十分苛刻的。為了進一步提高分類正確的概率，給樸素貝葉斯分類器加權是一種可行的辦法。加權樸素貝葉斯分類器有很多，如基于粗糙集的樸素貝葉斯加權［1］、基于屬性相關性的加權［2］等。由于樸素貝葉斯是基于概率的，所以用每種屬性分類成功的概率作為其加權也是可行的［3-20］。

1 樸素貝葉斯及加權樸素貝葉斯分類原理

設D是具有有限數量實例的訓練集，A={A1，A2…An}是n個有限的屬性。一個實例d∈D用向量 a=〈a1，a2…an〉描述，其中 ai是屬性 Ai的當前取值。類別屬性用c表示，c={c1，c2…cn}是個類別。函數dom(Ai)為取得屬性A的定義域集合。則當

成立，即預測實例d屬于在屬性給定條件下后驗概率最大的類別時，預測的正確率最大。但是，由于式(1)的后驗概率難以計算，因此樸素貝葉斯分類器引進了下列假設:在給定類別c的條件下，所有的屬性 Ai相互獨立，即所謂“樸素貝葉斯假設”，所以對類別c進行預測的樸素貝葉斯分類器［3-4］為

2 加權方法

在樸素貝葉斯分類器的基礎上給每個屬性加上權重就得到加權樸素貝葉斯模型:

其中wi代表屬性Ai的權值。

因為在樸素貝葉斯分類中是每個屬性相乘才得出最后概率，所以對式(3)取對數就可到一種線性模型:

其中式(3)的wi就成了線性模型的加權系數。

3 權重提取

樸素貝葉斯分類屬性之間要求是相互獨立的，因此本文對每個屬性分別做一次樸素貝葉斯分類，得到1個分類正確的概率a。這個概率a可以看成該屬性的可信度，因此用這個概率為樸素貝葉斯加權是可行的。

4 權重歸一化

歸一化方法很多，本文用到的是［5］

其中:ai是每個屬性i的分類正確率;n是屬性的個數;pi是權重。因為ai為正，所以pi為正，且。由于pi值太小，本文取權重wi=n*pi。

5 算法實現

1)對每個屬性用樸素貝葉斯分類器給樣本分類，得到每個屬性的分類正確率ai。

2)歸一化 ai，得到加權樸素貝葉斯的權重wi。

3)把wi加權到樸素貝葉斯中，得到新的加權樸素貝葉斯分類器。

6 仿真實驗

表1中數據來源于weka和uci數據集，都是經過交叉檢驗后的分類結果。從表1中可看出該加權方法提高了分類的正確率，且樸素貝葉斯分類成功率越低，提高就越多。然后本文多次對已加權的樸素貝葉斯進行再加權，得到的結果與第1次相比提高不大，有時反而會降低分類成功率，因此多次加權沒有太多的提高。

表1 分類結果對比 %

7 結束語

提出用樸素貝葉斯分類成功的概率來作為加權的權重，得到了比較理想的結果。時間復雜度在線性復雜度的范圍內，因此計算量比較小，計算速度較快。本文只是把樸素貝葉斯分類成功的概率作為權重，如何進一步利用概率來提高分類成功率，還有待進一步研究。

［1］王國才，張聰.一種基于粗糙集的特征加權樸素貝葉斯分類器［J］.重慶理工大學學報:自然科學版，2010，24(7):86-90.

［2］ZHANG Wen，ZHANG Huaxiang.Naive Bayesian ensemble classifier using attribute weighting［J］.Computer Engineering and Applications，2010，46(29):144-146.

［3］張聰.基于信度網的不確定性推理、學習與分類研究［D］.重慶:重慶大學，2005.

［4］王雙成.貝葉斯網絡學習、推理與應用［M］.上海:立信會計出版社，2010.

［5］李雪蓮.基于PLS的加權樸素貝葉斯分類測試算法［J］.電子質量，2010(7):22-25.

［6］陳晨，董倩，吳玉潔.基于貝葉斯分類的農作物產品質量挖掘研究［J］.安徽農業科學，2011(12):7448-7449.

［7］盧晶穎.具有Rao簡單結構的增長曲線模型關于共軛先驗的BAYES分析［J］.四川兵工學報，2010(2):142-143.

［8］史奎橋，胡永軍，張德來，等.三代棉鈴蟲發生程度與氣象條件關系的貝葉斯判別［J］.安徽農業科學，2009(33):16417-16418.

［9］杜濤，唐克，王存威.基于分層貝葉斯的末敏彈系統使用可靠性評估［J］.四川兵工學報，2010(2):27-28.

［10］張兢，候旭東，呂和勝.基于樸素貝葉斯和支持向量機的短信智能分析系統設計［J］.重慶理工大學學報:自然科學版，2010，24(1):77-80.

［11］吳海平，敖志剛，付希昌，等.基于貝葉斯網絡的兵力投送風險評估模型［J］.四川兵工學報，2010(6):118-120.

［12］馬海云.基于貝葉斯方法的配置管理研究［J］.自動化與儀器儀表，2011(4):17-18.

［13］孫天昊，陳飛，朱慶生，等.基于貝葉斯分類的增強學習協商策略［J］.計算機科學，2011(9):227-229.

［14］賈學婷，歐陽丹彤，張立明.基于模型診斷的改進貝葉斯方法［J］.計算機科學，2010(7):191-194.

［15］龍興明.基于貝葉斯神經網絡先驗模型的圖像去噪研究［J］.重慶師范大學學報:自然科學版，2009:26(3):65-68.

［16］陳麗麗，桂云苗，李震.基于貝葉斯網絡的供應擾動風險態勢分析［J］.安徽工程大學學報，2011(4):81-84.

［17］胡春玲，胡學鋼，姚宏亮.改進的基于鄰接樹的貝葉斯網絡推理算法［J］.模式識別與人工智能，2011(6):846-855.

［18］吳家鑫，宋敏，劉曉潔，等.貝葉斯網絡在泰樂菌素發酵過程中的應用［J］.安徽農業科學，2011(35):21831-21833.

［19］楊莉，杜成超，翟紫陽，等.基于貝葉斯神經網絡的焊縫跟蹤方法［J］.熱加工工藝，2011(23):168-170.

［20］朱明敏，劉三陽，汪春峰.基于先驗節點序學習貝葉斯網絡結構的優化方法［J］.自動化學報，2011(12):1514-1519.