改進的FSVM算法用于非平衡情感數據分類

張雪英，張 波，陳桂軍

(太原理工大學 信息工程學院，山西 晉中 030600)

0 引 言

計算機語音情感識別[1]能力應用多樣，在多媒體分段與檢索、測謊儀、疾病診斷等方面有著廣泛的用途。SVM在解決小樣本以及維數災難問題中有著良好的分類效果。但是它也有缺陷，在分類的過程中有些區域不可分，影響分類結果。當數據集中的正負樣本不平衡性較大時，SVM對少數類的識別效果很差。同時，支持向量機對噪聲和孤立點也比較敏感，影響最終的分類結果。

針對以上缺陷，文獻[2]用FSVM對不同的不平衡率樣本集進行分類，但忽略了樣本點附近的樣本分布情況造成了誤分。文獻[3]在模糊支持向量機的基礎上引入了不平衡調節因子，對少數類樣本賦予較大的權值，多數類樣本賦予較小的權值，有效解決了樣本分布不均勻的問題。文獻[4]設置了參數值調整選取訓練樣本的范圍，有效地避免了孤立點對最優的分類超平面所造成的影響。文獻[5]提出了DEC算法分別給兩類樣本賦權重，但這種方法沒有考慮到樣本點周圍的疏密性對分類超平面的影響。文獻[6]提出了一種近似支持向量機(Proximal SVM)，將模型轉化為簡單的二次規劃問題，提高了學習速度。文獻[7]通過對支持向量上采樣提出了一種不平衡數據分類方法。文獻[8]提出了一種核函數選取和欠采樣相結合的算法來提高少類樣本的準確率。本文提出一種FSVM算法，考慮到每個樣本臨近區域的樣本分布狀況以及樣本集的不平衡程度，設定控制值靈活的控制樣本集的范圍，減弱野值點的影響并有效突出支持向量的作用，提高了識別準確率。

1 模糊支持向量機

1.1 改進FSVM算法

(1)

式中：C+，C-為常數，分別代表正負類樣本的懲罰因子，為求解式(1)，通過拉格朗日函數，出其對偶規劃為

(2)

約束條件為

(3)

其中，k(xi·xj)=φ(xi)φ(xi)T為核函數。模糊因子si的確定是模糊支持向量機工作性能好壞的關鍵，本文重心在于如何精確的對模糊因子si賦值。

1.2 DEC算法

SVM對不平衡的大數據樣本集做分類，超平面會偏移，優化性能很差，具體表現在多數樣本分類遠遠優于少數， DEC算法通過對不同類別樣本分別給予重要程度，優化分類超平面，使偏移性降低，增強分類結果，文獻[5]表明當C-/C+的比率等于n+/n-(n+，n-分別表示正樣本和負樣本的數量)時，算法最優，能實現最好的分類。基本大多樣本類別數目相差懸殊的時候都用此算法，一定范圍上可以提高準確性，但并未考慮樣本分布情況的影響，若是空間復雜性樣本分布或者不規則分布時，算法便不能優化分類超平面了。本文將模糊隸屬度與懲罰因子結合起來，根據對分類超平面的貢獻值為每個樣本分配不同的權重，使分類器分類偏移幅度盡可能的小。

2 面向非平衡數據集的FSVM隸屬度設計

2.1 傳統隸屬度函數設計

為了減少異常值和噪聲點對最優分類超平面的影響，傳統的隸屬函數主要是根據從樣本到類中心的距離來設計的。如圖1所示，H1與H2上各有3個支持向量，每個支持向量到屬于本類的類中心間距不一，這6個支持向量對于確定H這個分類超平面起著決定性作用，如果根據間距賦重要性程度，那么每個支持向量被給予的權值都不同，但實際情況，它們重要性是一樣的，傳統方法賦值存在很大漏洞，不能單靠與類中心間隔比較來確定重要與否。只有將這些不足之處填補，才能優化分類器的性能，減小數據偏移，大數據氛圍下，有大量數據樣本點需要做處理、做賦值，必須優化算法才能解決這一問題。

圖1 根據樣本到類中心的距離進行隸屬度函數設計

2.2 根據樣本分布情況進行設計

(4)

(5)

圖2 帶有一個噪聲點的橢圓分布數據

wx++b1=1;wx-+b2=-1

(6)

(7)

兩類樣本到各自類中心的距離

(8)

正樣本到過負樣本中心超平面的距離

(9)

負樣本到過正樣本中心超平面的距離

(10)

計算兩類類中心的距離

(11)

取

D+=max{di+},D-=max{di-}

(12)

隸屬度函數計算公式為

(13)

(14)

圖3 新型不平衡隸屬度函數設計

將樣本點到過負類中心超平面的距離d1i+和T值進行比較，可以彰顯H1和H2線上支持向量點效果，突出其對分類超平面的貢獻，DEC算法能大幅度降低分類超平面偏移幅度，另外結合緊密度能夠確定噪聲點將其剔除。

3 實驗與結果分析

實驗選取兩種情感庫，CASIA漢語語料庫包括5類情感，空間分布規則，不重疊，情感色彩鮮明。太原理工大學TYUT2.0庫包括4種情感，由多名學生錄制判別，選取大多趨向定義情感類，具有可靠性，兩種庫比較適合用來做情感識別實驗。

實驗選取MFCC特征，音質特征還有韻律特征，歸一化，分別用CASIA庫，情感類為生氣的樣本，以及TYUT2.0，感受為高興的樣本，默認為正類樣本，其余看作一類，不平衡比體現，數據集的介紹見表1。

表1 情感語音數據集

3.1 參數對算法準確率Gm的影響

對于非平衡情感數據集，本文采用不平衡數據學習中的Se，Sp，和Gm來評價[10]，其定義為

(15)

TP、FN、TN、FP分別代表分類正確的正樣本、分類錯誤的負類樣本、分類正確的負類樣本、以及分類錯誤的正類樣本的個數，用Gm對分類器性能進行評價，Gm越大分類效果越好。

本節用不同C值做實驗，比較文獻[4]中的HFSVM、文獻[11]中LFSVM方法，取 0，0.1,1,10,20,…,100，圖4、圖5分別給出了兩種情感庫數據集的實驗結果。

圖4 C值的改變對CASIA漢語情感語料庫Gm的影響

圖5 C值的改變對TYUT2.0情感語料庫Gm的影響

3.2 算法準確率Gm對比分析

將文獻[4]中的HFSVM方法、文獻[11]中LFSVM設方法與本文方法對比，選取最高C值。表2為對CASIA漢語庫，TYUT2.0情感庫做識別的最終結果。

表2 3種算法的比較結果

圖6 3種算法對CASIA漢語情感語料庫的Gm值比較

圖7 3種算法對TYUT2.0情感語音庫的Gm值比較

比較圖6，圖7可以看出，ZFSVM在對不平衡率為14.28的CASIA漢語庫做識別時，Gm值為91.70%，對不平衡率為4.89的柏林庫做識別時的Gm值為83.65%，算法性能的好壞受樣本的不平衡程度影響。不平衡程度越厲害，算法對樣本做處理的精確度越高，說明本文所提算法的有效性，造成最優超平面偏移程度很小。此外相比其它兩種方法，本文方法的準確性也有增長，因為對每個樣本所配權值更加精準了，隨著樣本數增多前面兩種方法會將部分對超平面貢獻相同的樣本賦予不同的權值，甚至會給部分對超平面貢獻較大而距離類中心較遠的樣本賦予小的隸屬度值，一定程度上減弱了支持向量的作用，影響分類結果。

4 結束語

為了解決SVM分類的缺陷，通過DEC算法，及樣本點附近樣本分布，對每個樣本點到類中心超平面的距離設計權值賦予方式，確定噪聲點。按照樣本點重要與否、程度大小各自賦值，大大減小了非支持向量點影響，去除了噪聲點干擾，某種意義上提高了支持向量機的抗噪性。實驗結果表明，本文所提算法對不平衡語音情感數據庫的識別性能有顯著提高。但是，此方法需要設置參數重復實驗以選擇優值。下一步是更詳細地研究參數和隸屬函數之間的關系，并找到更方便的參數設置方法。