基于多類指數損失函數逐步添加模型的改進多分類AdaBoost算法

翟夕陽，王曉丹，雷 蕾，魏曉輝

(1.空軍工程大學 防空反導學院，西安 710051; 2.解放軍第463醫院，沈陽 110042)

基于多類指數損失函數逐步添加模型的改進多分類AdaBoost算法

翟夕陽1，王曉丹1*，雷 蕾1，魏曉輝2

(1.空軍工程大學 防空反導學院，西安 710051; 2.解放軍第463醫院，沈陽 110042)

(*通信作者電子郵箱afeu_wang@163.com)

多類指數損失函數逐步添加模型(SAMME)是一種多分類的AdaBoost算法，為進一步提升SAMME算法的性能，針對使用加權概率和偽損失對算法的影響進行研究，在此基礎上提出了一種基于基分類器對樣本有效鄰域分類的動態加權AdaBoost算法SAMME.RD。首先，確定是否使用加權概率和偽損失;然后,求出待測樣本在訓練集中的有效鄰域;最后,根據基分類器針對有效鄰域的分類結果確定基分類器的加權系數。使用UCI數據集進行驗證，實驗結果表明：使用真實的錯誤率計算基分類器加權系數效果更好；在數據類別較少且分布平衡時，使用真實概率進行基分類器篩選效果較好；在數據類別較多且分布不平衡時，使用加權概率進行基分類器篩選效果較好。所提的SAMME.RD算法可以有效提高多分類AdaBoost算法的分類正確率。

集成學習；多分類；AdaBoost算法；多類指數損失函數逐步添加模型(SAMME)；動態加權融合

0 引言

Boosting算法[1]是基于可能近似正確(Probably Approximately Correct, PAC)可學習性模型而提出的一種經典集成算法。由于Boosting算法存在缺陷，很難應用于實際問題，針對此問題Freund等[2]1995年提出了AdaBoost(Adaptive Boosting)算法。AdaBoost算法是最常用的一種Boosting算法的變形，更加面向實際，可以有效提升弱分類器的性能。

傳統的AdaBoost算法只能解決二分類問題，然而在實際應用中要處理的問題經常是多分類問題。基于此,需要把AdaBoost算法擴展為多分類算法，現有的擴展方法可以分為兩種：一種直接把AdaBoost算法擴展為多分類算法，另一種使用多個二分類算法去解決多分類問題。傳統的多分類AdaBoost算法主要有AdaBoost.M1[3]、AdaBoost.M2[3]和AdaBoost.MH[4]。AdaBoost.M1是一種直接由AdaBoost算法擴展而成的多分類算法，這種擴展比較容易，但是它對基分類器的要求過高，它要求基分類器的分類正確率大于1/2，這對于多類的弱分類器而言是比較難以達到的條件，基分類器的獲取變得困難，可能導致基分類器數目不足，無法集成出足夠好的強分類器。AdaBoost.M2是在AdaBoost.M1的基礎上提出的一種多分類算法，它在算法中使用偽損失來代替錯誤率作為選取基分類器的標準。它對基分類器的要求有所降低，只需要偽損失比1/2略高，而且由于使用偽損失使算法不僅關注錯分樣本同時關注難分樣本。但是偽損失的計算比較復雜，算法的時間復雜度較高，同時由于使用偽損失造成的退化現象可能更為嚴重。AdaBoost.MH是一種典型的把多類問題轉換為二類問題處理的算法，由于多類問題轉變成了二類問題，基分類的獲取變得相對容易，但是算法的復雜度卻大大增加，尤其是在類別數較大時增加得更為明顯。

傳統的多分類AdaBoost算法存在時間復雜度高和獲取基分類器困難的問題。針對這些缺點，文獻[5]提出了一種改進的從兩類直接擴展為多類的AdaBoost算法——多類指數損失函數逐步添加模型(Stagewise Additive Modeling using a Multi-class Exponential loss function, SAMME)，通過擴展算法的指數損失函數把對基分類器正確率的要求降低到1/K(K為類別數)這就使得基分類的獲取變得相對容易。文獻[6]對此算法進行了證明，并把它應用于航空發動機故障診斷之中。文獻[7]指出SAMME算法對基分類器的要求過低，容易使算法陷入退化。針對此問題，楊新武等[7]提出了一種基于弱分類器調整的SAMME.R算法，并且達到了不弱于AdaBoost.M1的效果。

AdaBoost算法已經廣泛應用于人臉識別[8-10]、目標檢測[11]和網絡異常檢測[12]之中。SAMME算法解決了由二類算法擴展而來的多類算法所存在的問題，使AdaBoost算法處理多類問題更加方便。為進一步提升SAMME算法的性能，本文研究了使用加權錯誤率和偽損失對算法性能的影響，并且提出了一種改進的多分類算法——SAMME.RD(SAMMEwithResamplingandDynamicweighting)。首先確定是否使用加權的錯誤率和偽損失，之后判斷是否需要求出待測樣本在測試集中的有效鄰域，不需要則直接輸出分類結果，若需要則求出有效鄰域，并使用基分類器對有效鄰域進行分類，由此得出基分類器的加權系數，最后求出待測樣本的分類結果。實驗結果表明，本文提出的算法相比SAMME和SAMME.R算法，分類性能有所提高。

1 SAMME和SAMME.R

對于多類問題，要獲取分類正確率大于1/2的基分類器比較困難，針對此問題SAMME算法改變了傳統的AdaBoost算法的權值分配策略，令αt=ln(εt/(1-εt))+ln(k-1)來降低對基分類器分類正確率的要求。文獻[5]使用統計學的觀點證明了αt的合理性，但文獻[7]指出，SAMME算法對基分類器的要求過低可能會導致強分類器分類結果偏向于分類正確率較大的錯誤類，為此文獻[7]提出了一種基于弱分類器調整的SAMME.R算法。

1.1SAMME

SAMME算法通過擴展指數損失函數直接把二類的AdaBoost算法擴展為多類，使分類器的要求得到降低，它的合理性也從統計學方面得到了證明。SAMME算法的流程與傳統的AdaBoost算法相似，具體如下：

步驟1 初始化權值:

步驟2 對于t=1,2,…,T，執行以下1)～6)步：

1)依據權值wt，選擇訓練樣本。

2)對樣本進行分類識別ht:X→Y。

3)計算ht的偽錯誤率：

4)置αt=ln(ξt/(1-ξt))+ln(k-1)。

5)計算新的樣本權重：

6)歸一化wt+1。

步驟3 最終強分類器為：

1.2SAMME.R

SAMME.R是在SAMME的基礎上改進而來的，該算法為了解決SAMME算法對基分類器要求過弱的問題，對每次迭代訓練出的弱分類器進行檢驗，判斷分類器對于數據分到正確類的概率是否大于分到其他任意錯誤類的概率，如果滿足該條件則保留該基分類器，否則重新訓練新的基分類器。SAMME.R算法的主要改進在于通過篩選基分類器保證算法訓練出的強分類器可以分類正確。

SAMME.R算法的主要改進就是在步驟2的2)～3)之間加入了如下的篩選：

a)循環計算各類中，分到各類樣本的權值和：

對于j=1,2,…,K，有：

b)判斷各類中分類正確的樣本權值和是否大于等于分到其他各類的樣本的權值和：

γtkj[ht(xi)=j]≥?γtkj[ht(xi)≠j]

若滿足，則進行下一步驟；若不滿足，則返回步驟2。

2 改進的SAMME算法

2.1 錯誤率和偽錯誤率對算法影響

文獻[13]指出在AdaBoost算法進行權值更新和基分類器加權系數計算時使用真實錯誤率比加權錯誤率效果更好，雖然偽錯誤率在考慮分類是否正確的同時考慮了樣本的難分程度，但是隨著迭代次數的增加，難分樣本權重過大，會出現加權錯誤率較小而真實錯誤率較大的基分類器，在最后的加權融合中由于加權錯誤率較小而權值較大，導致算法出現退化的現象，所以本文對SAMME和SAMME.R算法作出改進，在算法中使用真實的錯誤率，改進后的SAMME命名為SAMME.RE，改進后的SAMME.R命名為SAMME.RRE。

文獻[7]在分析中指出SAMME算法對基分類器的要求過低，給出了進一步的要求，并從直觀上和理論上證明了所提要求的合理性。SAMME.R算法指出要循環計算各類中分到每類樣本的權值和，并且要求分到正確類的權值和大于分到任意錯誤類的權值和。文獻[7]在進行直觀和理論證明時指出，基分類器對每類數據分類時要求分到正確類的概率要大于分到任意錯誤類的概率，而在SAMME.R中要求分到正確類的權值和大于分到任意錯誤類的權值和，降低了算法的要求。隨著迭代次數的增加，部分難分數據的權值迅速增加，如果只要求分類正確的權值大于分到其他任意類的權值，可能分類器的真實正確率還達不到大于隨機的要求，這就會導致隨著迭代次數的增加，強分類器陷入退化的現象。但是如果要求分到正確類的概率大于分到其他任意類的概率又會導致對基分類器要求較高，對于有些分布不平衡的數據難以獲取足夠的基分類器。從直觀上可以看出，在數據類別較少、數據分布較平衡時，基分類器獲取比較容易，使用真實的概率對基分類器進行篩選效果更好，在數據類別較多、數據分布不平衡時，基分類器獲取比較困難，使用加權和對基分類器進行篩選或不篩選效果更好。為了能夠更好地使用SAMME.R算法，本文針對使用加權概率或真實概率對算法的影響進行實驗研究。把使用真實概率進行基分類器篩選的算法命名為SAMME.R1，在SAMME.R1的基礎上又使用真實分類錯誤率的算法命名為SAMME.R2。

2.2 動態加權SAMME.R算法

動態集成方法根據目標樣本的特征和識別性能，動態地組合基分類器或調整基分類器權重[14]。根據動態集成方法在作出預測時的選擇和加權方式，可以把動態集成方法分為動態選擇、動態投票和動態選擇與動態投票混合使用的三種類型。動態集成方法可以有效地提高集成分類的性能，為進一步提升SAMME.R算法的分類性能，本節在2.1節的基礎之上，提出一種動態投票的改進SAMME.R算法，改變SAMME.R預測時的加權方式。傳統的AdaBoost算法對待測樣本進行預測時各個分類器的加權系數是固定不變的，但是通過分析可以知道基分類器對不同的待測樣本的分類能力是不一樣的，這是因為基分類器使用不同的訓練集訓練而來，它們對分布在不同區域的樣本分類能力是不一樣的。如果在預測時使用相同的加權系數，預測結果的準確性將會受到一定的影響，所以為了進一步提升算法的預測性能，本文提出一種動態加權投票的改進SAMME.R算法SAMME.RD。

改進算法主要包括以下兩個方面：1)對基分類器的分類結果進行統計，統計分到各類的基分類器個數，如果分到某類的個數與基分類器總數的比值大于一個設定的閾值α，則直接輸出此類作為待測樣本的類別。2)對于分到各類的數目沒有大于設定閾值α的情況，求出待測樣本在訓練樣本中的有效鄰域，統計基分類器對有效鄰域中的樣本的分類能力，根據基分類器對有效鄰域分類正確率的大小來確定基分類器的加權系數。

假設有T個基分類器分別為ht(t=1,2,…,T)，有M個類別分別為ci(i=1,2,…,M)，ht對待測樣本x的輸出為ht(x)。

定義1 定義MC(x)={h1(x),h2(x),…,hT(x)}為T個基分類器對待測樣本x的分類行為。

設定閾值α(0<α≤1)，如果向量MC中有多于T*α個基分類器分到同一個類別，那么直接把這一類別作為待測樣本x的分類結果輸出，否則求出樣本x的有效鄰域進行下一步的判斷。

待測樣本的鄰域指的是在空間上與之鄰近的部分樣本，在這部分樣本中有一些樣本與待測樣本的分類相似度較低，我們認定此類樣本為無效的鄰域樣本對其進行剔除，剔除無效鄰域樣本后剩余的鄰域樣本稱之為有效鄰域。為了描述樣本之間的相似程度，在定義2中定義相似度。

由定義2可知0≤S(x,y)≤1，在選取待測樣本x的有效鄰域時，設定閾值β，如果S(x,y)≥β則認定y為有效的鄰域樣本，否則認定為無效樣本進行剔除。

在獲得待測樣本的有效鄰域后，計算每個基分類器對有效鄰域中的樣本的分類錯誤率εt(t=1,2,…,T)，定義基分類器的權值w_dy(t)=lb((1-εt)/εt)。

改進算法的具體流程如下：

1)根據2.1節中的AdaBoost算法訓練生成基分類器。

2)輸入待測樣本x,計算待測樣本的MC值。

3)計算向量MC中分到某類的基分類器數目與總的基分類器數目的比值是否大于設定閾值α。如果大于閾值α則直接輸出對應的類別，算法結束；否則，繼續下一步驟。

4)設定相似度的閾值β，計算待測樣本x的有效鄰域。

5)統計基分類器對有效鄰域樣本的分類效果，為基分類器賦權值w_dy(t)=lb((1-εt)/εt)，其中εt為第t個基分類器的分類錯誤率。

SAMME.RD算法是一種改變基分類器加權方式的動態加權多分類AdaBoost算法，它對如何訓練基分類器沒有要求，所以SAMME.RD算法的思想可以通用，把針對SAMME.RRE的改進命名為SAMME.RD1，針對SAMME.R2的改進命名為SAMME.RD2。SAMME.RD算法需要對測試樣本在基分類器下的分類情況進行統計，依據分類結果把樣本分類分為兩種方式：一種直接輸出類別；另一種求出待測樣本在訓練集中的有效鄰域，對有效鄰域中樣本在基分類器下的分類情況進行統計，計算出基分類器的加權系數。由于SAMME.RD算法需要對待測樣本的分類結果進行統計，對部分樣本求有效鄰域并對有效鄰域樣本分類結果進行統計提高了SAMME.R算法的時間復雜度。提升待測樣本有效鄰域的求解效率是解決SAMME.RD算法時間復雜度高的關鍵，還需要進一步研究。

3 實驗結果與分析

3.1 實驗數據

本次實驗所使用的數據均為UCI數據集中的多類數據集，在實驗中采用三折交叉驗證的方法來獲取訓練數據和測試數據，數據集的詳細情況如表1所示。

表1 實驗數據的詳細信息

3.2 實驗設計

實驗通過對比SAMME、SAMME.RE、SAMME.R、SAMME.RRE、SAMME.R1、SAMME.R2、SAMME.RD1和SAMME.RD2這8種算法的分類結果來驗證SAMME.RD算法的性能以及使用真實錯誤率的有效性，并總結出使用加權概率和真實概率進行基分類器篩選的前提。

實驗中8種算法所使用的弱分類算法均為決策樹，為了實驗結果的準確性，本文對每次實驗均進行10次三折交叉驗證，最后取這10次三折交叉驗證的均值作為此次實驗的最終結果。實驗中為驗證幾種算法的分類性能隨迭代次數增加的變化情況分別取迭代次數為10、20、30、40和50來對比8種算法的分類結果。為了對比算法的分類效率，統計迭代次數為50時算法對實驗數據的分類時間。

3.3 結果分析

本次實驗得出8種算法對12種UCI數據集的分類結果，如表2所示，表中的C1～C8分別表示SAMME、SAMME.RE、SAMME.R、SAMME.RRE、SAMME.R1、SAMME.R2、SAMME.RD1和SAMME.RD2這8種算法，每種算法在相應數據集上根據迭代次數的不同獲得不同的分類正確率。

表2 8種算法的分類結果對比

首先對比表2中SAMME、SAMME.RE、SAMME.R、SAMME.RRE、SAMME.R1和SAMME.R2這6種算法的分類情況，之后對比表2中SAMME.RRE與SAMME.RD1兩種算法的分類結果以及SAMME.R2與SAMME.RD2兩種算法的分類結果。在迭代次數相同的情況下對比算法的分類結果可以發現，在迭代次數較少時經常會出現SAMME算法分類結果優于其他幾種算法的情況。但是隨著迭代次數的增加，SAMME算法分類正確率急劇下降，很快地陷入退化。SAMME.R算法雖然在一定程度上解決了SAMME算法的退化問題但是效果也不太好；其他幾種算法分類效果逐漸變優，退化現象發生緩慢，而且退化較弱整體趨于平衡。從分類結果可以看出SAMME.R算法并不是在所有情況下都優于SAMME算法，在數據分類正確率較低、基分類器獲取較難時，SAMME算法的分類效果優于SAMME.R，例如在yeast和soybean數據集上。對比SAMME和SAMME.RE、SAMME.R和SAMME.RRE、SAMME.R1和SAMME.R2的分類結果可以看出，在算法中使用真實錯誤率計算基分類器的加權系數是有效的，避免了算法嚴重退化現象的發生，但是同時也存在算法正確率提升速度較慢的缺點。對比SAMME.R與SAMME.R2、SAMME.RE與SAMME.RRE和SAMME.R2的分類結果可以看出：在分類正確率較低、數據類別較多且分布不平衡時使用加權概率篩選比真實概率效果好；在分類正確率較高、數據類別較少、分布平衡時使用真實概率篩選比加權概率效果好。對比SAMME、SAMME.RE、SAMME.R、SAMME.RRE、SAMME.R1和SAMME.R2這6種算法分類結果隨迭代次數增加的變化情況：隨著迭代次數的增加SAMME算法很快陷入退化之中；SAMME.R算法達到的效果在大部分數據集上優于SAMME，而且陷入退化也較慢；其他幾種算法的分類正確率隨迭代次數增加穩步上升，達到最大值后基本趨于穩定

接下來對比SAMME.RRE與SAMME.RD1、SAMME.R2與SAMME.RD2，從實驗結果可以看出：在大部分數據集上SAMME.RD1與SAMME.RD2的分類正確率優于SAMME.RRE與SAMME.R2，但是在vowel和zoo數據集上卻比SAMME.RRE與SAMME.R2差。實驗結果驗證了本文所提出的動態加權SAMME.RD算法的有效性，但是算法的適用范圍還需要進一步研究。在研究算法分類正確率的同時，本文對算法的分類效率也進行了研究。通過對算法的分析可以知道SAMME和SAMME.RE分類時間大致相同，SAMME.R、SAMME.RRE、SAMME.R1和SAMME.R2這4種算法的分類時間大致相同，SAMME.RD1和SAMME.RD2分類時間大致相同。為了分析算法的效率，給出迭代次數為50的情況下SAMME、SAMME.R和SAMME.RD1對實驗數據的分類時間，如表3所示。

表3 不同算法的分類時間對比(迭代50次)

從表3的結果可以看出,SAMME和SAMME.R兩種算法時間復雜度大致相同，SAMME.R算法略高；SAMME.RD與SAMME和SAMME.R兩種算法相比，時間復雜度較高，在數據量較少時，分類時間是SAMME和SAMME.R兩種算法的5～10倍，隨著數據量的增多，算法的時間迅速增長至SAMME和SAMME.R的幾十甚至上百倍，SAMME.RD算法變得不可用。SAMME.RD算法能夠有效提升SAMME算法的分類正確率，但在效率上存在時間復雜度高的問題，SAMME.RD算法的時間復雜度主要源于求解待測樣本的有效鄰域，如何減少求解待測樣本有效鄰域的時間是降低算法時間復雜度的關鍵。

4 結語

本文分析了SAMME算法及其改進算法SAMME.R，并針對SAMME和SAMME.R算法使用偽錯誤率和加權概率對算法性能的影響進行了討論。得出了使用真實錯誤率要優于偽損失的結論以及加權概率和真實概率的適用前提。在此研究基礎上，本文提出了一種動態加權的SAMME.RD算法。通過實驗驗證了SAMME.RD算法對分類器性能提升的有效性，但是SAMME.RD算法仍然存在時間復雜度高的問題，如何降低算法的時間復雜度是下一步研究的主要方向。

)

[1]SCHAPIRERE.Thestrengthofweaklearnability[J].MachineLearning, 1990, 5(2): 197-227.

[2]FREUNDY,SCHAPIRERE.Adecision-theoreticgeneralizationofon-linelearningandanapplicationtoboosting[C]//ProceedingsoftheSecondEuropeanConferenceonComputationalLearningTheory,LNCS904.Berlin:Springer, 1995: 23-37.

[3]FREUNDY,SCHAPIRERE.Experimentswithanewboostingalgorithm[C]//ProceedingsoftheThirteenthInternationalConferenceonMachineLearning.SanFrancisco,CA:MorganKaufmann, 1996: 148-156.

[4]SCHAPIRERE,SINGERY.Improvedboostingalgorithmsusingconfidence-ratedpredictions[J].MachineLearning, 1999, 37(3): 297-336.

[5]ZHUJ,ZOUH,ROSSETS,etal.Multi-classAdaBoost[J].StatisticsandItsInterface, 2009, 2(3): 349-360.

[6] 胡金海,駱廣琦,李應紅,等.一種基于指數損失函數的多類分類AdaBoost算法及其應用[J].航空學報,2008,29(4):811-816.(HUJH,LUOGQ,LIYH,etal.AnAdaBoostalgorithmformulti-classclassificationbasedonexponentiallossfunctionanditsapplication[J].ActaAeronauticaEtAstronauticaSinica, 2008, 29(4): 811-816.)

[7] 楊新武,馬壯,袁順.基于弱分類器調整的多分類AdaBoost算法[J].電子與信息學報,2016,38(2):373-380.(YANGXW,MAZ,YUANS.Multi-classAdaBoostalgorithmbasedontheadjustedweakclassifier[J].JournalofElectronicsandInformationTechnology, 2016, 38(2): 373-380.)

[8] 孫士明,潘青,紀友芳.多閾值劃分的連續AdaBoost人臉檢測[J].計算機應用,2009,29(8):2098-2100.(SUNSM,PANQ,JIYF.RealAdaBoostfacedetectionmethodbasedonmulti-threshold[J].JournalofComputerApplications, 2009, 29(8): 2098-2100.)

[9] 阮錦新,尹俊勛.基于人臉特征和AdaBoost算法的多姿態人臉檢測[J].計算機應用,2010,30(4):967-970.(RUANJX,YINJX.Multi-posefacedetectionbasedonfacialfeaturesandAdaBoostalgorithm[J].JournalofComputerApplications, 2010, 30(4): 967-970.)

[10] 王燕,公維軍.雙閾值級聯分類器的加速人臉檢測算法[J].計算機應用,2011,31(7):1821-1824.(WANGY,GONGWJ.Acceleratedalgorithmoffacedetectionbasedondual-thresholdcascadeclassifiers[J].JournalofComputerApplications, 2011, 31(7): 1821-1824.)

[11]NEGRIP,GOUSSIESN,LOTITOP.Detectingpedestriansonamovementfeaturespace[J].PatternRecognition, 2014, 47(1): 56-71.

[12] 董超,周剛,劉玉嬌,等.基于改進的AdaBoost算法在網絡入侵檢測中的應用[J].四川大學學報(自然科學版),2015,52(6):1225-1229.(DONGC,ZHOUG,LIUYJ,etal.ThedetectionofnetworkintrusionbasedonimprovedAdaBoostalgorithm[J].JournalofSichuanUniversity(NaturalScienceEdition), 2015, 52(6): 1225-1229.)

[13] 張彥峰,何佩琨.一種改進的AdaBoost算法——M-AsyAdaBoost[J]. 北京理工大學學報,2011,31(1):64-68.(ZHANGYF,HEPK.ArevisedAdaBoostalgorithm—M-AsyAdaBoost[J].TransactionsofBeijingInstituteofTechnology, 2011, 31(1): 64-68.)

[14]KOAHR,SABOURINR,JRASB.Fromdynamicclassifierselectiontodynamicensembleselection[J].PatternRecognition, 2008, 41(5): 1718-1731.

ThisworkispartiallysupportedbytheNationalNaturalScienceFoundationofChina(61273275, 61503407).

ZHAI Xiyang, born in 1994, M. S. candidate. His research interests include intelligent information processing, pattern recognition.

WANG Xiaodan, born in 1966, Ph.D., professor. Her research interests include intelligent information processing, machine learning.

LEI Lei, born in 1988, Ph. D. candidate. Her research interests include intelligent information processing, pattern recognition.

WEI Xiaohui, born in 1966, senior engineer. His research interest include computer information system.

Improved multi-class AdaBoost algorithm based on stagewise additive modeling using a multi-class exponential loss function

ZHAI Xiyang1, WANG Xiaodan1*, LEI Lei1, WEI Xiaohui2

(1.InstituteofAirDefenseandAnti-Missile,AirForceEngineeringUniversity,Xi’anShaanxi710051,China; 2.Hospital463ofPLA,ShenyangLiaoning110042,China))

Stagewise Additive Modeling using a Multi-class Exponential loss function (SAMME) is a multi-class AdaBoost algorithm. To further improve the performance of SAMME, the influence of using weighed error rate and pseudo loss on SAMME algorithm was studied, and a dynamic weighted Adaptive Boosting (AdaBoost) algorithm named SAMME with Resampling and Dynamic weighting (SAMME.RD) algorithm was proposed based on the classification of sample’s effective neighborhood area by using the base classifier. Firstly, it was determined that whether to use weighted probability and pseudo loss or not. Then, the effective neighborhood area of sample to be tested in the training set was found out. Finally, the weighted coefficient of the base classifier was determined according to the classification result of the effective neighborhood area based on the base classifier. The experimental results show that, the effect of calculating the weighted coefficient of the base classifier by using real error rate is better. The performance of selecting base classifier by using real probability is better when the dataset has less classes and its distribution is balanced. The performance of selecting base classifier by using weighed probability is better when the dataset has more classes and its distribution is imbalanced. The proposed SAMME.RD algorithm can improve the multi-class classification accuracy of AdaBoost algorithm effectively.

ensemble learning; multi-class; Adaptive Boosting(AdaBoost) algorithm; Stagewise Additive Modeling using a Multi-class Exponential loss function (SAMME); dynamic weighted fusion

2016- 11- 21;

2017- 01- 10。 基金項目:國家自然科學基金資助項目(61273275,61503407)。

翟夕陽(1994—)，男，河南開封人，碩士研究生，主要研究方向：智能信息處理、模式識別； 王曉丹(1966—)，女，陜西漢中人，教授，博士，主要研究方向：智能信息處理、機器學習； 雷蕾(1988—)，女，四川南充人，博士研究生，主要研究方向：智能信息處理、模式識別；魏曉輝(1966—)，男，遼寧沈陽人，高級工程師，主要研究方向：計算機信息系統。

1001- 9081(2017)06- 1692- 05

10.11772/j.issn.1001- 9081.2017.06.1692

TP181;TP301.6

A