基于類內超平面距離度量模糊支持向量機的語音情感識別

張波 張雪英 陳桂軍 孫穎

摘 要： 在智能人?機交互系統中，語音情感識別是目前的研究熱點之一，支持向量機方法被廣泛用于語音情感識別。然而，支持向量機方法存在噪聲和野值敏感問題，往往難以進行精確識別。為了解決該問題，通過對隸屬度函數進行深入研究，設計一種新的基于樣本到類內超平面距離的隸屬度函數，并基于該隸屬度函數優化了模糊支持向量機分類超平面，從而提高了支持向量機的抗噪性和泛化能力。在多種情感語音庫上進行實驗仿真測試，結果表明，所提出的方法能夠有效利用樣本間的緊密度、邊界樣本點和過樣本類中心的超平面來構造最優超平面，從而提高語音情感識別的準確率。

關鍵詞： 語音情感識別； 模糊支持向量機； 隸屬度函數； 孤立點； 類內超平面； 精確識別

中圖分類號： TN912.34?34； TP181 文獻標識碼： A 文章編號： 1004?373X（2018）16?0163?05

Abstract： In the intelligent human?machine interaction system， speech emotion recognition is one of the current research hotspots. The support vector machine method is widely used in speech emotion recognition， but it has problems of noises and wild value sensitiveness， resulting in difficulty of accurate identification. Therefore， a novel membership function based on the distance from samples to the intra?class hyperplane is designed by means of the in?depth study of the membership function， based on which the classification hyperplane is optimized by using the fuzzy support vector machine， so as to improve the anti?noise and generalization capabilities of the support vector machine. An experiment and simulation test were carried out by using various emotion speech libraries. The experimental results show that the proposed method can effectively utilize the sample compactness， boundary sample points， and the hyperplane passing through the center of the sample class to construct the optimal hyperplane， which can improve the accuracy of speech emotion recognition.

Keywords： speech emotion recognition； fuzzy support vector machine； membership function； isolated point； intra?class hyperplane； accurate recognition

0 引 言

隨著人機交互技術的發展，情感識別技術已經日益成為科研人員研究的焦點，比如智能人機交互[1?2]、疾病診斷和測謊儀等。

語音信號的情感識別方法有很多，常用的情感分析方法有混合高斯模型法（GMM）、隱馬爾科夫模型法（HMM）[3?4]、人工神經網絡方法（ANN）[5]以及支持向量機（SVM）等。其中SVM情感分析方法在解決非線性、小樣本以及高維模式識別問題中有著良好的分類效果，但是從本質上來說SVM是一種不適當問題的正則化理論和非線性規劃計算方法，在情感混淆程度較大的情況下，往往難以進行精確識別。

文獻[6]將隸屬度的概念引入到SVM分類中，提出了模糊支持向量機。其原理在于給不同的樣本賦予不等的權值，而且能更好地減少野值和噪聲點帶來的影響，提高分類精度。在模糊支持向量機理論中，最為關鍵的步驟就是隸屬度函數的設計，文獻[7]通過類向心度思想設計緊密度的度量，但其方法不適用于樣本類多的情況。

文獻[8]引入控制因子定義半徑，配合類中心定義超球，對超球內樣本進行不等的權值賦予。文獻[9]提出了一種改進近似支持向量機算法，賦予正負樣本不同懲罰因子并在約束條件中加入新的參數，使分類面更具靈活性，提高分類精度。文獻[10]通過使用一種高效去邊緣方法對訓練樣本進行預處理，優化樣本個數提高訓練速度。

文獻[11]選擇對樣本做篩選，選擇部分樣本進行隸屬度賦予。文獻[12]在確定樣本的隸屬度時，對類中心距離方法進行了改進。文獻[13?15]通過用類內超平面取代類中心的方法加強支持向量的作用。本文使用樣本點到類內超平面距離的線性函數作為隸屬度函數，克服了以往方法中用樣本點到類中心的距離度量隸屬度而導致泛化能力不足的問題，能夠更加精確地對每個樣本點進行不同隸屬度值的賦予，使得構造的分類決策面更加準確。

如圖2所示，定義一個半徑控制因子，做實線圓，在圓內的樣本分別設計隸屬度函數的賦予，通過計算正類樣本到正類類中心的最大距離作為虛線圓的半徑，實線圓以外，虛線圓以內的樣本看作是孤立點，單獨對樣本賦予隸屬度[σ] ，實線圓內的樣本通過正類樣本到負類類中心超平面的距離[d1i+] 與兩個類中心的距離T做比較，如果前者距離[d1i+T]，則正類樣本到正類類中心超平面的距離越大，樣本被賦予的隸屬度值就越小。

以往的隸屬度函數設計方法如文獻[7]、文獻[8]和文獻[11]等并不能對所有的樣本點做出精確的權值賦予。單純通過樣本點到類中心距離的隸屬度函數設計方法更是使得部分對分類超平面貢獻相同的樣本點，由于到類中心的距離不同被賦予不同的隸屬度值。本文設計的隸屬度函數設計方法通過合理增加限制條件，尋求平行于分類超平面的過樣本類中心的超平面，提出用樣本到過類中心的超平面距離來代替以往樣本到類中心的距離，根據樣本點對分類面的貢獻，對類內的每個樣本點做出精確的權值賦予，對孤立點進行單獨的隸屬度值賦予，從而更加有效地加強支持向量的作用，減弱非支持向量與孤立點的作用，提高分類準確率。

3 實驗與結果分析

3.1 數據語料與特征提取

為了驗證模糊支持向量機新型隸屬度函數設計方法的有效性，并使其與之前已有的隸屬度函數設計方法做對比，本文選取了柏林情感語音庫EMO?DB，TYUT 2.0情感語音數據庫分別做情感識別。

兩種情感語音庫數據分布呈現標準的球形分布，并且各類樣本的數目相近。三種情感庫都以18 kHz采樣，18 bit量化，wav格式存儲。實驗所選取的情感特征相同，情感特征為基音頻率、韻律特征、12階MFCC，對應的統計特征值為最大值、最小值、均值、方差、標準差。對情感特征進行歸一化處理，數據集的具體信息如表1所示。

實驗在1臺PC機（CPU，3.40 GHz；內存，4 GB）上進行，操作系統為Windows 7，實驗工具是Matlab 2014a。實驗的核函數采用高斯徑向基核函數。

3.2 參數選擇影響分析

對于懲罰系數[C]的取值，分別取0.01，0.1，1，10，20，30，40，50，100，200共10個值，取其中最好的結果。在本文算法中，通過[ε] 值來確定樣本點是否是孤立點，文獻[15]提出令[ε=ρR++R-T] ，其中[ρ>0]。隸屬度的作用是通過算法的分類準確率體現的，在新型隸屬度函數的設計中通過改變[ε] 值進行測試。本節將對在不同的參數[ε] 值下，文獻[8]中的NFSVM隸屬度設計方法、文獻[14]中RFSVM隸屬度函數設計方法與本文的ZFSVM的分類準確率做比較。圖3，圖4別給出了柏林情感語音庫，TYUT 2.0情感語音庫兩組數據集的實驗結果。

3.3 分類準確率對比分析

對本文的ZFSVM方法與常規SVM、文獻[8]中的NFSVM隸屬度設計方法、文獻[14]中RFSVM隸屬度函數設計方法進行比較。每種方法選取相應分類準確率最高的ε值。

選取柏林情感語音庫、TYUT 2.0兩種情感語音庫做情感分類準確率的比較。圖5、圖6分別表示對柏林情感語音庫，太原理工大學TYUT 2.0語音庫做識別的最后試驗結果。

從圖5、圖6可以看出，相比于NFSVM，RFSVM隸屬度函數設計方法，本文提出的ZFSVM方法對于三種情感語音庫的識別率最高，對于柏林情感語音庫的情感識別結果為85.89%，較其他兩種方法識別率分別提高6.72%，3.54%。對于TYUT 2.0庫情感的分類也有顯著提升，為75.89%，較其他兩種方法平均識別結果提升4%。其識別率得到提高的理論如下：兩種情感語音庫數據呈球形分布， ZFSVM在削弱孤立點的同時，更加有效地加強了支持向量在構建最優分類面中的作用，使得分類識別率得到提高。隨著樣本數的增多，NFSVM和RFSVM方法會將部分對超平面貢獻相同的樣本賦予不同的權值，甚至會給部分對超平面貢獻較大而距離類中心較遠的樣本賦予小的隸屬度值，影響分類結果。綜合上述結果表明，在樣本呈球形分布，各類樣本數目相近的情況下，情感語音庫的樣本數目越大，ZFSVM的識別效果越顯著。

4 結 語

本文基于類內超平面距離度量對模糊支持向量機進行了改進并應用于語音情感識別，利用樣本間的緊密度、邊界樣本點和過樣本類中心的超平面來重新設計隸屬度函數，根據樣本分布情況定義球半徑，通過比較正類樣本點到過負類類中心超平面的距離與兩類樣本類中心間的距離，再結合樣本周圍的緊密度對每個樣本進行隸屬度值的賦予。超球外的樣本視為孤立點，單獨賦予隸屬度值，這種方法能更加準確地體現出樣本點對分類面的貢獻，使得每類樣本點被賦予最精確地權值，從而更加有效地加強支持向量的作用，減弱非支持向量與孤立點的作用，提高了支持向量機的抗噪性和泛化能力。實驗結果表明，本文提出的基于類內超平面距離度量的模糊支持向量機方法在對語音情感的分類性能上有著顯著的提高。

參考文獻

[1] 張石清，李樂民，趙知勁.人機交互中的語音情感識別研究進展[J].電路與系統學報，2013，18（2）：440?451.

ZHANG Shiqing， LI Lemin， ZHAO Zhijin. A survey of speech emotion recognition in human computer interaction [J]. Journal of circuits and systems， 2013， 18（2）： 440?451.

[2] AYADI M E， KAMEL M S， KARRAY F. Survey on speech emotion recognition： features， classification schemes， and databases [J]. Pattern recognition， 2011， 44（3）： 572?587.

[3] 林奕琳，韋崗，楊康才.語音情感識別的研究進展[J].電路與系統學報，2007，12（1）：90?98.

LIN Yilin， WEI Gang， YANG Kangcai. A survey of emotion recognition in speech [J]. Journal of circuits and systems， 2007， 12（1）： 90?98.

[4] 尤鳴宇.語音情感識別的關鍵技術研究[D].杭州：浙江大學，2007.

YOU Mingyu. Research on key technologies of speech emotion recognition [D]. Hangzhou： Zhejiang University， 2007.

[5] KHANCHANDANI K B， HUSSAIN M A. Emotion recognition using multilayer perceptron and generalized feed forward neural network [J]. Journal of scientific & industrial research， 2009， 68（5）： 367?371.

[6] LIN C F， WANG S D. Fuzzy support vector machines with automatic membership setting [J]. Support vector machines： theory and applications， 2005， 177： 233?254.

[7] 許翠云，業寧.基于類向心度的模糊支持向量機[J].計算機工程與科學，2014，36（8）：1623?1628.

XU Cuiyun， YE Ning. A novel fuzzy support vector machine based on the class centripetal degree [J]. Computer engineering and science， 2014， 36（8）： 1623?1628.

[8] 劉開旻，吳小俊.一種基于新隸屬度函數的模糊支持向量機[J].計算機工程，2016，42（4）：155?159.

LIU Kaimin， WU Xiaojun. A fuzzy support vector machine based on new membership function [J]. Computer engineering， 2016， 42（4）： 155?159.

[9] 劉艷，鐘萍，陳靜，等.用于處理不平衡樣本的改進近似支持向量機新算法[J].計算機應用，2014，34（6）：1618?1621.

LIU Yan， ZHONG Ping， CHEN Jing， et al. Modified proximal support vector machine algorithm for dealing with unbalanced samples [J]. Journal of computer applications， 2014， 34（6）： 1618?1621.

[10] 彭桂兵.兩種改進的模糊支持向量機[D].保定：河北大學，2010.

PENG Guibing. Two improved fuzzy support vector machines [D]. Baoding： Hebei University， 2010.

[11] LIN C F， WANG S D. Fuzzy support vector machines [J]. IEEE transactions on neural networks， 2002， 13（2）： 464?471.

[12] 陳小娟，劉三陽，滿英，等.一種新的模糊支持向量機方法[J].西安文理學院學報（自然科學版），2008，11（1）：1?4.

CHEN Xiaojuan， LIU Sanyang， MAN Ying， et al. A new fuzzy supportive vector machine algorithm [J]. Journal of Xian University of Arts and Sciences： Natural science edition， 2008， 11（1）： 1?4.

[13] WU Jianxin. Power mean SVM for large scale visual classification [C]// Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2012： 2344?2351.

[14] 劉三陽，杜喆.一種改進的模糊支持向量機算法[J].智能系統學報，2007，2（3）：30?33.

LIU Sanyang， DU Zhe. An improved fuzzy support vector machine method [J]. CAAI transactions on intelligent systems， 2007， 2（3）： 30?33.

[15] 杜喆.幾類支持向量機變型算法的研究[D].西安：西安電子科技大學，2009.

DU Zhe. Research on several kinds of support vector machine variant algorithms [D]. Xian： Xidian University， 2009.