分類器集成綜述

朱 琳，楊本娟

(貴州師范大學(xué)數(shù)學(xué)科學(xué)學(xué)院，貴州 貴陽 550025)

0 引言

分類器是利用已知的數(shù)據(jù)來建立模型，并用這個(gè)模型去預(yù)測(cè)待測(cè)數(shù)據(jù)的類別。在監(jiān)督學(xué)習(xí)中，分類問題是基于訓(xùn)練數(shù)據(jù)樣本中提供的已知輸出標(biāo)簽來監(jiān)督的，分類器在學(xué)習(xí)待測(cè)數(shù)據(jù)的同時(shí)，主要目標(biāo)是盡可能地接近真正的未知函數(shù)，減少泛化誤差。然而，并不是所有的樣本都能被一個(gè)單獨(dú)的分類器很好地學(xué)習(xí)到，在這種情況下，模型的泛化能力降低，分類器在測(cè)試集上表現(xiàn)不佳，所以采用多分類器集成技術(shù)為解決該問題提供了思路，若在對(duì)同一個(gè)樣本進(jìn)行測(cè)試時(shí)，不同的基分類器的分類結(jié)果不同，使用一些策略來結(jié)合這些分類器，就可以在一定程度上提高模型的預(yù)測(cè)能力。Dietterich從統(tǒng)計(jì)、計(jì)算及表示三個(gè)角度分別分析了集成分類器的優(yōu)點(diǎn)；Hansen 等人將多個(gè)單神經(jīng)網(wǎng)絡(luò)進(jìn)行集成，得到集成神經(jīng)網(wǎng)絡(luò)，并通過實(shí)驗(yàn)證明了其分類效果比任何單一的分類器的更好；劉威等人提出了一種基于遺傳算法的神經(jīng)網(wǎng)絡(luò)集成方法，通過實(shí)驗(yàn)證明該方法得出的學(xué)習(xí)器泛化能力較好，避免過擬合的問題。多分類器集成就是為了彌補(bǔ)各單一分類器之間的缺點(diǎn)，從而提高最終分類器的泛化能力，此外，多分類器集成也被應(yīng)用到很多領(lǐng)域如圖像分類、醫(yī)療診斷預(yù)測(cè)、目標(biāo)識(shí)別、入侵檢測(cè)等。本文將從集成分類器優(yōu)點(diǎn)、多樣性產(chǎn)生、應(yīng)用等方面討論。

1 集成分類器

集成學(xué)習(xí)通過構(gòu)建并結(jié)合多個(gè)學(xué)習(xí)器來完成學(xué)習(xí)任務(wù)，有時(shí)也被稱為多分類器系統(tǒng)。對(duì)于集成分類器的生成，常用策略有：平均法、投票法和Stacking。對(duì)于數(shù)值型的輸出常用平均法來結(jié)合；投票法集成的模型常用于分類問題；當(dāng)訓(xùn)練數(shù)據(jù)很多時(shí)，運(yùn)用Stacking 方法，即用次級(jí)學(xué)習(xí)器去學(xué)習(xí)初級(jí)學(xué)習(xí)器的輸出，以得到最終的分類模型。Sagi 等人回顧了集成方法，討論了集成學(xué)習(xí)可從改進(jìn)流行算法、在原有預(yù)測(cè)準(zhǔn)確率的基礎(chǔ)上將集成模型轉(zhuǎn)換為更簡(jiǎn)單全面的模型發(fā)展。Schapire證明了弱學(xué)習(xí)算法與強(qiáng)學(xué)習(xí)算法的等價(jià)性，該方法的提出，使集成學(xué)習(xí)成為機(jī)器學(xué)習(xí)的一個(gè)重要研究領(lǐng)域。Santucci 等人提出通過對(duì)給定分類器的參數(shù)直接定義合適的概率分布，通過隨機(jī)抽樣其基分類器的參數(shù)值，來構(gòu)建分類器集成；Koziarski等人針對(duì)隨機(jī)子空間法的隨機(jī)性的不穩(wěn)定，提出了一種確定性子空間方法，以得到更加穩(wěn)定的集成分類器。

2 分類器多樣性產(chǎn)生

在多分類器集成過程中，構(gòu)造具有差異性的基分類器可以提高模型分類精度，多樣化后的分類器泛化能力較好。以下闡述產(chǎn)生分類器的多樣性一些方法：

對(duì)于算法參數(shù)的操作，在訓(xùn)練基分類器之前，一般需對(duì)學(xué)習(xí)算法的參數(shù)進(jìn)行設(shè)置，不同參數(shù)的設(shè)置訓(xùn)練產(chǎn)生不同的分類器，算法參數(shù)的改變也會(huì)影響模型的預(yù)測(cè)精度。Kolen 等人通過實(shí)驗(yàn)證明了初始權(quán)值的設(shè)置不同對(duì)反向傳播有極高的敏感性。Ren 等人提出一種基于動(dòng)態(tài)權(quán)值的多分類器集成方法，以減少不可靠決策信息的干擾，提高融合決策的精度。Y.Liu等人提出了負(fù)相關(guān)學(xué)習(xí)法，將單個(gè)神經(jīng)網(wǎng)絡(luò)都通過其誤差函數(shù)中的相關(guān)懲罰系數(shù)同時(shí)進(jìn)行交叉訓(xùn)練，使得集成得到的模型能夠更好地學(xué)習(xí)這個(gè)訓(xùn)練數(shù)據(jù)。

從對(duì)訓(xùn)練集的輸入操作上來看，研究者們?yōu)榱双@得性能更好的模型，針對(duì)不同類型數(shù)據(jù)的特點(diǎn)，采取了不同的數(shù)據(jù)處理方法對(duì)數(shù)據(jù)樣本進(jìn)行操作后再訓(xùn)練。Bagging 算法通過對(duì)數(shù)據(jù)集采樣方法來獲取不同的訓(xùn)練子集，然后來訓(xùn)練個(gè)體分類器，采用投票法選出分類效果最好的分類器以作為最終預(yù)測(cè)的分類器。Melville 等人提出了給訓(xùn)練集人工添加樣本的方法，證明了該方法在訓(xùn)練數(shù)據(jù)有限時(shí)的有效性。Ho提出了隨機(jī)子空間法，將初始屬性集中選出多個(gè)屬性子集，然后基于屬性子集訓(xùn)練分類器，對(duì)于屬性較多的數(shù)據(jù)集，使用該方法來減少冗余屬性，有效訓(xùn)練分類器。

對(duì)于輸出表示的操作，為減少誤差，Breiman提出了翻轉(zhuǎn)法，即隨機(jī)改變一些訓(xùn)練樣本的標(biāo)記；輸出調(diào)制法，即對(duì)輸出表示進(jìn)行轉(zhuǎn)化。Dietterich 等人提出了糾錯(cuò)輸出編碼法（ECOC），將多分類問題轉(zhuǎn)化為多個(gè)二分類問題，通過編碼的方式來糾正由單個(gè)分類器引起的偏差，以此提高分類精度。Zhou 等人提出了一種n 元糾錯(cuò)編碼方案(N-ary ECOC)，將多分類器分解為多類子問題來解決。

3 多分類器集成的應(yīng)用

3.1 不平衡數(shù)據(jù)的分類

在現(xiàn)實(shí)的數(shù)據(jù)中，大多數(shù)據(jù)都是不平衡的，不平衡問題就是在分類時(shí)，不同類別的數(shù)據(jù)它們?cè)跀?shù)目上的差別較大，對(duì)于此類問題，學(xué)者們主要從數(shù)據(jù)的預(yù)處理及算法的改進(jìn)等方面來加以解決。針對(duì)不平衡數(shù)據(jù)的分類問題，Sun 等人通過對(duì)數(shù)據(jù)的隨機(jī)分組或聚類等方法來將不平衡的數(shù)據(jù)轉(zhuǎn)化為多個(gè)平衡數(shù)據(jù)，然后通過對(duì)多個(gè)平衡數(shù)據(jù)的學(xué)習(xí)來構(gòu)建不同分類器，用集成規(guī)則來組合分類結(jié)果，通過實(shí)驗(yàn)證明所提出的方法對(duì)解決數(shù)據(jù)不平衡問題很有效。章少平等人提出了一種優(yōu)化的支持向量機(jī)(SVM)集成分類器模型，來解決不平衡數(shù)據(jù)集分類問題，根據(jù)數(shù)據(jù)集生成相應(yīng)SVM 模型，優(yōu)化生成的模型參數(shù)，利用優(yōu)化后的核函數(shù)和懲罰系數(shù)并行生成SVM 模型，采用投票法來生成最終預(yù)測(cè)模型。Zhao 等人提出了加權(quán)混合集成方法(WHMBoost),在boosting 算法框架下，通過給采樣方法和基分類器分配權(quán)值，迭代訓(xùn)練得到最終集成模型。Cao 等人采用代價(jià)敏感方法在數(shù)據(jù)和特征層面學(xué)習(xí)，通過Stacking方法獲得最終分類器。

3.2 圖像分類

圖像作為一個(gè)重要的信息載體，受到不同因素的影響，要準(zhǔn)確識(shí)別圖像中的信息確實(shí)是一個(gè)難題，對(duì)一般圖像、遙感圖像、醫(yī)學(xué)圖像的分類識(shí)別，分類器集成技術(shù)都有了一定的應(yīng)用。針對(duì)卷積神經(jīng)網(wǎng)絡(luò)提取特征信息不完整導(dǎo)致圖像分類方法分類精度不高等問題。羅會(huì)蘭等人提出一種基于集成學(xué)習(xí)技術(shù)的SVM 集成的圖像分類方法,與傳統(tǒng)的BOW 模型的圖像分類方法相比較，采用SVM 集成的圖像分類方法明顯提高了分類精度，具有一定的穩(wěn)健性。Zheyun Feng 等人針對(duì)圖像不能精確地用一種特征來表示，使用不同的分類器(核回歸和SVM)對(duì)不同的特征，以加權(quán)的方式集成分類結(jié)果。對(duì)醫(yī)學(xué)圖像的分類也提高了疾病的診斷率，為疾病的診斷提供更加有效的病灶信息。胡會(huì)會(huì)等人提出了一種基于CT 圖像的集成隨機(jī)森林模型的肺結(jié)節(jié)良惡性分類鑒別方法。

3.3 疾病預(yù)測(cè)

通過對(duì)病人的臨床數(shù)據(jù)的學(xué)習(xí)構(gòu)建預(yù)測(cè)模型，對(duì)一些疾病的患病率進(jìn)行預(yù)測(cè)且取得了顯著效果。建立先驗(yàn)?zāi)Ｐ蛠碜R(shí)別患者，提前通過藥物治療改善病情，為一些慢性疾病的診斷治療做出了很大貢獻(xiàn)，可輔助醫(yī)生做出醫(yī)療診斷。Bashir 等人用集成模型對(duì)糖尿病數(shù)據(jù)集進(jìn)行預(yù)測(cè)，采用三種決策樹類型ID3、C4.5和CART作為基分類器，比較了多種集成技術(shù)，通過實(shí)驗(yàn)證明了Bagging 集成模型表現(xiàn)優(yōu)于其他模型。蔡莉莉等人提出一種基于K 近鄰-隨機(jī)森林算法的肝病預(yù)測(cè)集成模型，采用K 近鄰和隨機(jī)森林算法分別構(gòu)建出預(yù)測(cè)分類器，利用Voting 策略得到集成肝病預(yù)測(cè)模型；Domor I Mienye 等提出集成方法預(yù)測(cè)心臟病風(fēng)險(xiǎn)，將數(shù)據(jù)集劃分為子集，用classification and regression tree(CART)訓(xùn)練子集，基于準(zhǔn)確率加權(quán)來集成分類器實(shí)驗(yàn)結(jié)果表明，該方法可以有效地預(yù)測(cè)心臟病的風(fēng)險(xiǎn)。Dutta 等人用集成分類器預(yù)測(cè)糖尿病，比較了Voting 和Stacking 兩種集成策略生成模型的性能。Yadav 等人用對(duì)甲狀腺疾病進(jìn)行預(yù)測(cè)，算法對(duì)甲狀腺疾病數(shù)據(jù)訓(xùn)練后，采用Bagging 集成技術(shù)來構(gòu)建分類器，以提高預(yù)測(cè)值。

4 總結(jié)與展望

分類器集成模型預(yù)測(cè)性能比單一分類器模型好，但也存在一些問題，隨著模型復(fù)雜度變高，訓(xùn)練的時(shí)間也變長(zhǎng)。而且多分類器集成雖然能在一定程度提高模型預(yù)測(cè)性能，但是基分類器的數(shù)量也并不是越多越好，納入模型的特征也并非越多越好，所以在構(gòu)建模型之前，選用何種方法進(jìn)行特征篩選，如何生成基分類器、組合策略等是需要考慮的。此外，對(duì)于集成模型，隨著其復(fù)雜度的提高，特征之間的關(guān)聯(lián)性解釋變得更加困難，對(duì)于如何解釋模型成為一個(gè)值得研究的問題。