在反垃圾郵件技術中貝葉斯算法的應用

（遼寧廣播電視學校本溪分校 遼寧本溪 117000）

自電子郵件被越來越多的人們使用以來，垃圾郵件的問題一直困擾著電子郵件的使用者，人們也找到了很多的解決之道，從早期的關鍵字匹配，到通過連接頻率來提高發送垃圾郵件的成本，再到設立專用服務器，提供RBL實時黑名單查詢，直到全世界范圍內關于垃圾郵件立法的呼吁。無論哪種方式方法，要想從根本上解除垃圾郵件的泛濫，還是需要一套能夠有效防范垃圾郵件的安全技術。

一、垃圾郵件的產生和無法避免的技術原因

垃圾郵件（SPAM） 也稱作UCE（Unsoticited Commercial Email.未經許可的商業電子郵件）或UBE（Unsolicited Bulk Email，未經許可的大量電子郵件）。首次關于垃圾郵l件的記錄是1985年8月的一封通過電子郵件發送的連鎖信，一直持續到1993年6月出現了名為“Make Money Fast 的電子郵件。1994年4月SPAM一詞首次出現.當時Canter和Siegel律師事務所把一封信發送到6000多個新聞組，宣傳獲得美國國內綠卡的法律支持。這時開始，很多商人瓤利用垃圾郵件廣告。1995年首個專門用于發送垃圾郵件的程序Floodgate發布，詼程序能夠自動地把郵件發送給大批人。同年8月開始出現出售郵件地址的事件。從此，垃圾郵件頻頻出現.也引起了人們的反感。[1]

當前郵件傳輸的主要協議是SMTP協議，從設計之初，為了滿足簡單傳輸的需要，該協議沒有任何認證手段，因此缺省的SMTP郵件服務器對于郵件的來源和目的地不做控制而是支持發送。[2]

隨著垃圾郵件的泛濫，大部分的郵件服務器都關閉了OpenRelay，在發送方和發送服務器之間進行認證，從而保證只有合法用戶才能使用這臺服務器發送郵件，這就是增強的ESMTP協議。然而這個方法無法解決在發送服務器和接收服務器之間的合法認證，垃圾郵件仍然無法避免。[3]

二、貝葉斯過濾技術介紹

1.貝葉斯公式

貝葉斯定理由英國數學家貝葉斯 （ Thomas Bayes 1702-1761 ） 發展，用來描述兩個條件概率之間的關系，比如 P（A|B） 和 P（B|A）。按照乘法法則，可以立刻導出：P（A∩B） = P（A）*P（B|A）=P（B）*P（A|B）。如上公式也可變形為：P（B|A） = P（A|B）*P（B） / P（A）。[4]

通常，事件A在事件B（發生）的條件下的概率，與事件B在事件A的條件下的概率是不一樣的；然而，這兩者是有確定的關系，貝葉斯法則就是這種關系的陳述。作為一個規范的原理，貝葉斯法則對于所有概率的解釋是有效的；然而，頻率主義者和貝葉斯主義者對于在應用中概率如何被賦值有著不同的看法：頻率主義者根據隨機事件發生的頻率，或者總體樣本里面的個數來賦值概率；貝葉斯主義者要根據未知的命題來賦值概率。一個結果就是，貝葉斯主義者有更多的機會使用貝葉斯法則。貝葉斯法則是關于隨機事件A和B的條件概率和邊緣概率的。[5]

如果事件組A1，A2，……AK為一完備事件組，則對任意事件B（其P（B）≠0）有：

貝葉斯公式實際上是綜合利用先驗概率和樣本信息從而計算后驗概率的一種方法。

2.2 貝葉斯算法在反垃圾郵件技術中的應用

首先，我們可以將電子郵件分為正常郵件和垃圾郵件兩類，貝葉斯過濾器針對這兩類郵件進行自學習。分析每封電子郵件中的每一個單詞，確定正常郵件和垃圾郵件中詞匯發送頻率的差異。

貝葉斯算法分析郵件的工作過程如下：

（1）過濾器收集大量的垃圾郵件和正常郵件，建立垃圾郵件集和正常郵件集。

（2）過濾器提取郵件主題和郵件體中的獨立字串。

（3）每一個郵件集對應一個哈希表，hashtable_good對應正常郵件集而hashtable_bad對應垃圾郵件集。表中存儲TOKEN串到字頻的映射關系。

（4）計算每個哈希表中TOKEN串出現的概率p=（某TOKEN串的字頻）/（對應哈希表的長度）

（5）綜合考慮hashtable_good和hashtable_bad，推斷出當新來的郵件中出現某個TOKEN串時，該新郵件為垃圾郵件的概率。數學表達式為：

A事件……郵件為垃圾郵件；

t1，t2……，tn代表TOKEN串，則P（A|ti）表示在郵件中出現TOKEN串ti時，該郵件為垃圾郵件的概率。

設 P1（ti）=（ti在hashtable_good中的值）

P2（ti）=（ti在hashtable_bad中的值）

則P（A|ti）=P1（ti）/[P1（ti）+P2（ti）];

（6）建立新的哈希表hashtable_probability存儲TOKEN串ti到P（A|ti）的映射

（7）至此，垃圾郵件集和正常郵件集的學習過程結束。根據建立的哈希表hashtable_probability可以估計一封新到的郵件為垃圾郵件的可能性。[6]

當新到一封郵件時，按照步驟（2）生產TOKEN串。查詢hashtable_probability得到該TOKEN串的鍵值。

假 設 由 該 郵 件 共 得 到N個TOKEN串，t1，t2……，tn，hashtable_probability中對應的值為P1，P2，……Pn，P（A|t1，t2，t3……tn）表示在郵件中同時出現多個TOKEN串t1，t2……tn時，該郵件為垃圾郵件的概率。由復合概率公式可得：P（A|t1，t2，t3……tn）=（P1*P2*……PN）/[P1*P2*……PN+（1-P1）*（1-P2）*……（1-PN）]當P（A|t1，t2，t3……tn）超過預定閾值時，就可以判斷郵件為垃圾郵件。

2.貝葉斯算法的優劣

貝葉斯風險是衡量一個決策法則的好壞的標準。一般來說，多數情況下，對于某一個（或某些）狀態θ值，決策法則δ的風險函數值ρ（θ，δ?）最小；而對于另一個（或另一些）θ值，另一個決策法則δ?的風險函數最小，因此，評價一個決策法則的好壞，只能用在各種不同狀態下其風險函數的平均值來衡量。貝葉斯風臉β（δ）就是當決策法則為δ，在狀態θ下風險函數的平均值，決策法則一經確定，其貝葉斯風險即為一常數。它反映出利用這一決策法則決策的平均損失。

因為貝葉斯算法是基于先驗概率和樣本信息來計算后驗概率的方法，所以其對于樣本積累的數量具有很大的依賴性，需要一個較長的過程，開始的時候，可能會發生很大的誤判和漏判現象，只有當積累的樣本數量足夠多，其檢測精度才能到達一定高度并為用戶所接受。

3.結和展望

隨著網絡成熟，將貝葉斯過濾技術應用到反垃圾郵件技術中，可以說是一種嘗試，也是反垃圾郵件技術領域中的一個研究方向。目前，對于貝葉斯技術的應用正在成為反垃圾郵件領域的一個研究熱點，越來越多的專用發垃圾郵件產品正在嘗試使用貝葉斯過濾技術來提高其產品的檢測精度，降低管理成本。

[1]倪加勛，袁衛，應用統計學，北京中國人民大學出版社，1993.

[2]郭泓，電子郵件過濾技術淺析，信息網絡安全.2002.

[3]王斌，潘文峰，基于內容的垃圾郵件過濾技術綜述，中國科學院計算機技術研究所碩士畢業論文.2004.

[4]托馬斯·貝葉斯 .智庫[引用日期2013-03-07].

[5]條件概率和貝葉斯定理 .中國開放教育資源聯合體[引用日期2013-01-07].

[6]An Essay towards solving a Problem in the Doctrine of Chance. Philosophical Transactions of the Royal Society of London .1763[引用日期2015-03-31].

[7]貝葉斯定理-貝葉斯 .貝葉斯定理.2014-03-21[引用日期2014-03-21].