結(jié)合投影與近鄰操作的支持向量快速篩選方法

李蒙蒙，尚志剛，李志輝

(鄭州大學(xué) 電氣工程學(xué)院，河南 鄭州 450001)

結(jié)合投影與近鄰操作的支持向量快速篩選方法

李蒙蒙，尚志剛，李志輝

(鄭州大學(xué) 電氣工程學(xué)院，河南 鄭州 450001)

為減少支持向量機(SVM)的計算負(fù)擔(dān),提高運算效率，并保證分類精度,提出一種結(jié)合投影與近鄰操作的支持向量快速篩選方法.該方法利用Fisher投影軸的全局特性將其作為SVM最優(yōu)分類面的近似法方向，在該方向快速篩除大量非支持向量，將分類邊界附近的樣本集作為備選支持向量集，同時為解決投影操作未考慮樣本局部結(jié)構(gòu)信息造成的誤刪支持向量的問題，結(jié)合近鄰操作回選樣本空間中備選支持向量的近鄰樣本更新擴充備選支持向量集，以該子集中的樣本作為SVM的輸入.在多個UCI標(biāo)準(zhǔn)數(shù)據(jù)集上的實驗結(jié)果表明，該方法在充分保證分類精度的前提下有效降低了SVM的計算負(fù)擔(dān)，具有較好的推廣性.

支持向量機；支持向量；Fisher投影；k-近鄰；快速篩選

0 引言

支持向量機(support vector machine，SVM)是建立在統(tǒng)計學(xué)習(xí)VC維理論和結(jié)構(gòu)風(fēng)險最小化基礎(chǔ)上的機器學(xué)習(xí)方法，其學(xué)習(xí)過程實際是求解一個二次規(guī)劃問題，需用到所有訓(xùn)練樣本的Hessian矩陣，故遇到樣本集較大的學(xué)習(xí)問題時，傳統(tǒng)方法內(nèi)存消耗過大且學(xué)習(xí)速度緩慢，從而影響了它的實用價值和推廣.針對這一問題，近年出現(xiàn)了許多改進(jìn)算法提高SVM對大樣本集的學(xué)習(xí)速度.一種思路是改進(jìn)優(yōu)化方法，以Keerthi等提出的循環(huán)最近點算法[1]、Platt提出的序貫最小優(yōu)化算法最具代表性.另一種思路是通過某種處理縮減樣本集得到規(guī)模較小的替代集而又不影響分類精度，如文獻(xiàn)[2-3]提出的局部支持向量機算法，利用K均值聚類生成的樣本中心點集作為替代；……