基于PSO優(yōu)化SVM算法的癌癥診斷方法研究

孟霖宜,劉嶼鴻

(1. 四川大學(xué)生命科學(xué)學(xué)院,四川 成都 610065;2. 四川大學(xué)網(wǎng)絡(luò)空間安全學(xué)院,四川 成都 610065)

1 引言

癌癥已成為威脅人類生命健康最嚴(yán)重的疾病之一,具有發(fā)展速度快、死亡率高、術(shù)后可能復(fù)發(fā)的特點(diǎn)。傳統(tǒng)的癌癥診斷大多采用病理切片、活檢等方式進(jìn)行診斷,對(duì)醫(yī)生的水平要求高,且易受醫(yī)生主觀經(jīng)驗(yàn)影響,難以滿足早診斷、早治療的要求。支持向量機(jī)(Support Vector Machine,SVM)作為一種優(yōu)異的模式識(shí)別方法,可以充分利用大量歷史癌癥數(shù)據(jù),結(jié)合患者的數(shù)據(jù)特征進(jìn)行識(shí)別判斷,在肺癌、乳腺癌、宮頸癌等醫(yī)學(xué)研究等領(lǐng)域得到廣泛的應(yīng)用,是近幾年用于癌癥輔助診斷領(lǐng)域最多的智能方法之一。文獻(xiàn)[1]提出了SVM-PCA和SVM-RFE的方法,并用于宮頸癌的診斷;文獻(xiàn)[2]提出了一種基于主成分分析和支持向量機(jī)的卵巢癌預(yù)測(cè)方法;文獻(xiàn)[3]采用支持向量機(jī)的方法開展了癌細(xì)胞識(shí)別的應(yīng)用研究;文獻(xiàn)[4]開展了支持向量機(jī)的癌癥輔助診斷方法研究;文獻(xiàn)[5]開展了改進(jìn)SVM的癌癥診斷應(yīng)用研究。

本文采用徑向基函數(shù)作為核函數(shù)的 SVM分類器,構(gòu)建了癌癥輔助診斷流程,探討其在癌癥診斷中的應(yīng)用,針對(duì)SVM分類器中對(duì)診斷準(zhǔn)確度影響較大的懲罰函數(shù)C和核函數(shù)參數(shù)γ,設(shè)計(jì)了基于粒子群(particle swarm optimization,PSO)的參數(shù)優(yōu)化流程,構(gòu)建了合理的適應(yīng)度函數(shù),利用粒子群算法進(jìn)行了參數(shù)C和γ的尋優(yōu),建立了基于PSO-SVM融合算法的癌癥診斷流程。采用威斯康星(Wisconsin)大學(xué)乳腺癌數(shù)據(jù),通過仿真驗(yàn)證了所提方法的有效性。

2 支持向量機(jī)的診斷方法

2.1 支持向量機(jī)算法

支持向量機(jī)本質(zhì)上是一種二分類模型,通過尋找一個(gè)能滿足分類要求的超平面,使訓(xùn)練樣本集內(nèi)的所有點(diǎn)盡可能地距該超平面最遠(yuǎn),用樣本特征空間中的間隔最大來定義,達(dá)到分類的目的。 其思想是對(duì)于線性可分的樣本集,支持向量機(jī)通過間隔最大化,得到一個(gè)線性分類模型;而對(duì)于非線性的樣本集,支持向量機(jī)引入了核函數(shù),將輸入數(shù)據(jù)映射到新的高維特征空間,在新空間中將非線性分類問題轉(zhuǎn)化為線性分類問題,再采用線性支持向量機(jī)的方法來實(shí)現(xiàn)非線性問題的分類[6,7]。

設(shè)給定樣本集{(x1,y1),(x2,y2),…,(xn,yn)},xi∈Rn,yi∈{-1,1},i=1,2,…N。(xi,yi)為數(shù)據(jù)的樣本點(diǎn),xi為樣本特征向量,而yi為xi對(duì)應(yīng)的類別標(biāo)簽,N為訓(xùn)練樣本總數(shù),n為樣本空間的維數(shù)。SVM需要構(gòu)建一個(gè)超平面,使得各個(gè)樣本點(diǎn)距離該超平面的距離盡可能地遠(yuǎn),達(dá)到精確分類的目的。最優(yōu)分類超平面函數(shù)如下

(1)

(2)

0≤αi≤C,i=1,2,…N

(3)

其中C為懲罰參數(shù),表示對(duì)于分類錯(cuò)誤的懲罰程度,代表能夠接受的分類錯(cuò)誤率的值,C值越大懲罰越大。在實(shí)際應(yīng)用中,需要根據(jù)具體情況預(yù)先設(shè)定。

對(duì)于非線性問題,引入能夠?qū)崿F(xiàn)非線性映射的核函數(shù),將樣本映射到更高維的特征空間,再利用線性分類方法在高維的特征空間進(jìn)行分類。

定義一個(gè)核函數(shù)K(x,y)=φ(x)·φ(y),φ是樣本空間到特征空間的映射,式(1)變換為

(4)

核函數(shù)對(duì)于非線性支持向量機(jī)的學(xué)習(xí)具有非常重要的影響,常用的核函數(shù)有:線性核函數(shù)、多項(xiàng)式核函數(shù)、徑向基核函數(shù)和Sigmoid核函數(shù)。在實(shí)際應(yīng)用中,需要根據(jù)具體情況參考經(jīng)驗(yàn)預(yù)先設(shè)定:一般樣本的特征維數(shù)多、樣本量相對(duì)較少時(shí)常選用線性核函數(shù);特征維數(shù)少、樣本量相對(duì)較大時(shí)常選用徑向基核函數(shù)。

本文的實(shí)驗(yàn)數(shù)據(jù)樣本數(shù)量遠(yuǎn)大于樣本維數(shù),故采用徑向基核函數(shù)作為SVM的核函數(shù),如式(5)

(5)

式中:γ為核函數(shù)參數(shù),γ>0。γ的改變會(huì)影響SVM的分類準(zhǔn)確度,γ減小會(huì)提高準(zhǔn)確度,但會(huì)影響分類的推廣度。

2.2 支持向量機(jī)的診斷與分析

采用支持向量機(jī)進(jìn)行癌癥輔助診斷時(shí),其流程如圖1所示。

圖1 基于支持向量機(jī)的癌癥輔助診斷

基于支持向量機(jī)的癌癥輔助診斷流程包括歷史病例診斷數(shù)據(jù)處理、支持向量機(jī)參數(shù)設(shè)置、支持向量機(jī)訓(xùn)練、待診斷病人信息分類診斷等步驟。

支持向量機(jī)用于診斷分類時(shí),其診斷分類的效果主要受懲罰參數(shù) C 和核函數(shù)參數(shù)γ的影響。實(shí)際使用中往往結(jié)合經(jīng)驗(yàn)選取C 和γ的值,選取不當(dāng)可導(dǎo)致過學(xué)習(xí)、欠學(xué)習(xí)的情況,致使診斷分類效果不理想。要想獲得性能更為優(yōu)越的SVM,必須在訓(xùn)練開始之前對(duì)C 和γ兩個(gè)參數(shù)在一定范圍內(nèi)尋優(yōu)。

粒子群算法是一種啟發(fā)式優(yōu)化算法,能較好地解決最優(yōu)化問題,可用于懲罰參數(shù) C 和核函數(shù)參數(shù)γ的優(yōu)化。

3 基于PSO優(yōu)化SVM算法的癌癥診斷

3.1 粒子群算法原理

粒子群算法(Particle Swarm Optimization,PSO)是一種基于種群中的個(gè)體行為及數(shù)學(xué)抽象而提出的啟發(fā)式優(yōu)化算法,具有實(shí)現(xiàn)方便、可調(diào)參數(shù)少和收斂速度快的優(yōu)點(diǎn),在解決優(yōu)化問題方面得到廣泛應(yīng)用。

該算法采用“位置-速度”模型,每個(gè)粒子的迭代過程由速度和位置決定,速度代表粒子搜索的方向和距離,單個(gè)粒子在多次迭代中適應(yīng)度最好的位置為個(gè)體極值,整個(gè)群體在多次迭代中所有粒子適應(yīng)度最好的位置為群體極值;各個(gè)粒子的適應(yīng)度由粒子群的適應(yīng)度函數(shù)決定。

在D維搜索空間中,粒子群由n個(gè)粒子組成X=(X1,X2,…,Xn),Xi表示第i個(gè)粒子在空間的位置Xi=(xi1,xi2,…,xiD),每個(gè)Xi都有可能是最優(yōu)解;第i個(gè)粒子的速度為Vi=(vi1,vi2,…,viD),個(gè)體極值為pi=(pi1,pi2,…,piD);群體極值為pg=(pg1,pg2,…,pgD)。每次迭代的速度和位置分別為[8,9]

(6)

(7)

3.2 PSO優(yōu)化SVM的適應(yīng)度函數(shù)選擇與參數(shù)尋優(yōu)

采用徑向基函數(shù)作為核函數(shù)的支持向量機(jī)用于診斷分類時(shí),其分類的準(zhǔn)確度和推廣能力主要受懲罰參數(shù) C 和核函數(shù)參數(shù)γ影響。

本文為了提高癌癥診斷準(zhǔn)確率,以C 和γ作為優(yōu)化目標(biāo),利用粒子群算法對(duì)其優(yōu)化。使用PSO進(jìn)行SVM參數(shù)的優(yōu)化,其優(yōu)化過程如圖2所示。

圖2 PSO優(yōu)化SVM參數(shù)的尋優(yōu)過程

基于PSO的SVM參數(shù)優(yōu)化過程,包括粒子群初始化、粒子群適應(yīng)度計(jì)算、個(gè)體極值和群體極值尋找、種群更新等步驟:

1)粒子群初始化,以待優(yōu)化參數(shù)(C,γ)為粒子個(gè)體,在其潛在求解范圍內(nèi),隨機(jī)生成一定數(shù)量的粒子,獲得初始化種群。種群中每個(gè)個(gè)體(C,γ)即為一個(gè)潛在解;

2)粒子群適應(yīng)度計(jì)算,對(duì)種群中每個(gè)個(gè)體,基于適應(yīng)度函數(shù)進(jìn)行其適應(yīng)度計(jì)算。適應(yīng)度函數(shù)是粒子群求解過程中的關(guān)鍵,決定了求解方向和求解質(zhì)量。本文將支持向量機(jī)與粒子群融合的算法用于癌癥的輔助診斷,目的是用人工智能的方法輔助醫(yī)生提高癌癥的診斷的準(zhǔn)確性。為準(zhǔn)確評(píng)估粒子個(gè)體適應(yīng)度,將粒子(C,γ)設(shè)置下的SVM分類器的診斷準(zhǔn)確度(Accuracy),作為粒子群優(yōu)化過程中的適應(yīng)度函數(shù)。

(8)

式中:Nt為驗(yàn)證樣本中輸出值與期望值一致,輸出正確的數(shù)量;Nf為驗(yàn)證樣本中輸出值與期望值不一致,輸出錯(cuò)誤的數(shù)量。

粒子群適應(yīng)度計(jì)算過程中,對(duì)于種群中的每個(gè)粒子,進(jìn)行SVM分類器的設(shè)置、訓(xùn)練、測(cè)試,獲得該粒子對(duì)應(yīng)SVM分類器的診斷準(zhǔn)確度,進(jìn)而得到粒子適應(yīng)度。

3)個(gè)體極值和群體極值尋找,在粒子群適應(yīng)度計(jì)算基礎(chǔ)上,根據(jù)每個(gè)個(gè)體適應(yīng)度大小,獲得種群最優(yōu)個(gè)體及單個(gè)粒子歷史更新過程中的最優(yōu)值。

4)種群更新,根據(jù)種群最優(yōu)值、個(gè)體最優(yōu)值,根據(jù)式(6)、式(7)進(jìn)行每個(gè)粒子的更新,實(shí)現(xiàn)粒子種群的更新。

3.3 基于PSO優(yōu)化SVM算法的癌癥診斷流程

基于PSO優(yōu)化SVM算法的癌癥診斷流程如圖3所示。主要步驟如下所示。

圖3 基于PSO優(yōu)化SVM算法的癌癥診斷

1)首先對(duì)歷史病例集并進(jìn)行數(shù)據(jù)清洗,剔除特征要素不完整的數(shù)據(jù)和明顯輸入錯(cuò)誤的數(shù)據(jù);

2)將符合要求的歷史病例數(shù)據(jù)按照交叉實(shí)驗(yàn)的方法進(jìn)行訓(xùn)練;

3)將診斷的準(zhǔn)確度按照式(8)作為粒子群優(yōu)化過程的適應(yīng)度函數(shù);利用訓(xùn)練樣本,采用粒子群算法對(duì)支持向量機(jī)的懲罰參數(shù) C 和核函數(shù)參數(shù)γ優(yōu)化;

4)采用優(yōu)化后的懲罰參數(shù) C和核函數(shù)參數(shù)γ進(jìn)行支持向量機(jī)設(shè)置,并利用歷史癌癥病例數(shù)據(jù)進(jìn)行支持向量機(jī)的訓(xùn)練,獲得支持向量機(jī)分類器;

5)對(duì)于待診斷病人,采集病人特征數(shù)據(jù),并使用支持向量機(jī)分類器進(jìn)行計(jì)算,確定病人類別,完成病人的診斷。

仿真關(guān)鍵偽代碼如下所示。

X = initialParticle(iniNum, range);

pb_fitValue = fitness_PSO(X, trainX, trainY, testX, testY);

…

for epoch=1:MAXDT

V = w*V+c1*R1*(pb-X)+c2*R2*(gb-X);

X = X+V;

cur_fitValue = fitness_PSO(X, trainX, trainY, testX, testY);

[pb, gb, pb_fitValue, gb_fitValue] = update(pb, gb, max_pb_fitValue, gb_fitValue, cur_fitValue, X);

if(gb_fitValue >limit) break; end

end

…

gam = gb(1);

sig2 = gb(2);

trainlssvm(trainX, trainY, gam, sig2,);

SVM_Y = simlssvm(trainX, trainY, gam, sig2, testX);

其中:initialParticle()為粒子群初始化函數(shù);fitness＿PSO()為粒子群適應(yīng)度計(jì)算函數(shù);update()為粒子群更新函數(shù);trainlssvm()為SVM分類器訓(xùn)練函數(shù);simlssvm()為SVM分類器測(cè)試、應(yīng)用函數(shù)。

4 仿真驗(yàn)證

4.1 實(shí)驗(yàn)數(shù)據(jù)集

本文的實(shí)驗(yàn)數(shù)據(jù)采用威斯康星(Wisconsin)大學(xué)乳腺癌數(shù)據(jù)樣本集[12](http:∥archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+%28Prognostic%29),該數(shù)據(jù)集共有198個(gè)癌癥病例術(shù)后是否復(fù)發(fā)的數(shù)據(jù),其中有151個(gè)沒有復(fù)發(fā)的病例和47復(fù)發(fā)病例,每條數(shù)據(jù)記錄包括33個(gè)特征(屬性3～35),如表1所示。

表1 數(shù)據(jù)樣本集描述

表中各屬性含義:1是編號(hào);2是結(jié)果(R代表復(fù)發(fā),N代表沒有復(fù)發(fā));3是復(fù)發(fā)時(shí)間;4～33分別是是(半徑、紋理、周長、面積、平滑度、緊密度、凹陷度、凹點(diǎn)、對(duì)稱性、分形維數(shù)等10個(gè)特征的均值、標(biāo)準(zhǔn)差和最壞值);34是腫瘤大小;35是淋巴結(jié)狀態(tài)。

5.2 仿真驗(yàn)證與結(jié)果分析

本文應(yīng)用支持向量機(jī)對(duì)訓(xùn)練樣本集建立分類模型進(jìn)行訓(xùn)練,在198個(gè)樣本中有4個(gè)樣本缺少淋巴結(jié)狀態(tài)數(shù)據(jù),不作為實(shí)驗(yàn)樣本。故以有效實(shí)驗(yàn)樣本中的154個(gè)樣本為訓(xùn)練樣本進(jìn)行支持向量機(jī)的訓(xùn)練,以40個(gè)樣本為測(cè)試樣本,進(jìn)行支持向量機(jī)性能的測(cè)試。

采用式(5)徑向基函數(shù)作為核函數(shù),懲罰參數(shù) C 和核函數(shù)參數(shù)γ通過PSO進(jìn)行尋優(yōu)后,采用優(yōu)化后的C 和γ對(duì)測(cè)試樣本集進(jìn)行分類,得到分類結(jié)果。

設(shè)定C 的取值范圍為10-1～102,γ的取值范圍為10-1～102;粒子群算法初始化粒子個(gè)數(shù)為20,迭代次數(shù) 50,慣性權(quán)重w為 0.7,加速因子c1為 1.2、c2為 1.5。采用圖2所示基于PSO的SVM參數(shù)優(yōu)化流程,進(jìn)行懲罰參數(shù)C和核函數(shù)參數(shù)γ的優(yōu)化,優(yōu)化過程中最優(yōu)個(gè)體適應(yīng)度如圖4所示。

圖4 適應(yīng)度優(yōu)化過程

由圖4所示參數(shù)優(yōu)化過程可以看出,通過PSO的優(yōu)化,種群最優(yōu)適應(yīng)度不斷提升,從0.8逐步提升至0.85、0.875、0.9、0.925,通過50代種群的優(yōu)化,最優(yōu)個(gè)體的適應(yīng)度達(dá)到0.925,此時(shí)最優(yōu)個(gè)體為(7.2377, 4.7909),即懲罰參數(shù)C=7.2377、核函數(shù)參數(shù)γ=4.7909。

根據(jù)優(yōu)化結(jié)果進(jìn)行支持向量機(jī)參數(shù)的設(shè)置,使用154個(gè)訓(xùn)練樣本進(jìn)行支持向量機(jī)的訓(xùn)練,設(shè)置復(fù)發(fā)病例的類別標(biāo)志為+1,設(shè)置未復(fù)發(fā)病例的類別標(biāo)志為-1。訓(xùn)練完成后,使用40個(gè)病例進(jìn)行支持向量機(jī)診斷性能的測(cè)試。經(jīng)測(cè)試,40個(gè)病例中37個(gè)病例診斷結(jié)果正確、3個(gè)病例診斷結(jié)果錯(cuò)誤,結(jié)果如圖5所示,即所提方法診斷正確率為92.5%。

圖5 分類結(jié)果

同時(shí),針對(duì)相同的訓(xùn)練樣本,采用Bayesian方法進(jìn)行懲罰參數(shù)C、核函數(shù)參數(shù)γ的優(yōu)化,優(yōu)化獲得懲罰參數(shù)C=94.9917、核函數(shù)參數(shù)γ=0.0183。采用該參數(shù)設(shè)置支持向量機(jī),使用相同的病例進(jìn)行支持向量機(jī)的訓(xùn)練、測(cè)試,經(jīng)測(cè)試,40個(gè)病例中36個(gè)病例診斷結(jié)果正確、4個(gè)病例診斷結(jié)果錯(cuò)誤,即經(jīng)Bayesian優(yōu)化的支持向量機(jī)其診斷正確率為90%。

與隨機(jī)森林、神經(jīng)網(wǎng)絡(luò)、梯度提升樹、LightGBM、Stacking-1、Stacking-2等現(xiàn)有診斷方法[4]相比較,各方法的診斷準(zhǔn)確率如表2所示。

表2 不同方法的診斷準(zhǔn)確率

由表2所示各診斷方法的診斷準(zhǔn)確率可以看出,已有方法中,隨機(jī)森林、神經(jīng)網(wǎng)絡(luò)、梯度提升樹、LightGBM、Stacking-1、Stacking-2的診斷準(zhǔn)確率分別為77.76%、75.70%、76.74%、74.75%、75.24%、76.77%;基于Bayesian參數(shù)優(yōu)化的支持向量機(jī)(Bayesian-SVM)其診斷準(zhǔn)確率為90%;本文所提支持向量機(jī)與粒子群相結(jié)合的診斷方法(PSO-SVM)其診斷準(zhǔn)確率為92.5%,可以看出,本文所提方法通過粒子群參數(shù)優(yōu)化、支持向量機(jī)訓(xùn)練分類,提高了癌癥診斷準(zhǔn)確率,為癌癥的自動(dòng)化、智能化診斷提供了一種新方法。

5 結(jié)論

本文針對(duì)傳統(tǒng)的癌癥診斷易受醫(yī)生主觀經(jīng)驗(yàn)影響、支持向量機(jī)輔助診斷準(zhǔn)確度不高、無法滿足實(shí)際使用需求的問題,結(jié)合粒子群具有啟發(fā)式優(yōu)化的特點(diǎn),構(gòu)建合理的適應(yīng)度函數(shù),通過粒子群算法實(shí)現(xiàn)支持向量機(jī)中懲罰函數(shù)C和核函數(shù)參數(shù)γ的優(yōu)化,進(jìn)而構(gòu)建了基于支持向量機(jī)與粒子群融合算法的癌癥輔助診斷模型。仿真驗(yàn)證表明,該方法有效提高了診斷的準(zhǔn)確度,可以作為醫(yī)生的對(duì)癌癥診斷的有效輔助手段。