基于ＡｄａＢｏｏｓｔ的組合分類器 在遙感影像分類中的應(yīng)用

摘要:運(yùn)用組合分類器的經(jīng)典算法AdaBoost將多個(gè)弱分類器-神經(jīng)網(wǎng)絡(luò)分類器組合輸出，并引入混合判別多分類器綜合規(guī)則，有效提高疑難類別的分類精度，進(jìn)而提高分類的總精度#65377;最后以天津地區(qū)ASTER影像為例，介紹了基于AdaBoost的組合分類算法，并在此基礎(chǔ)上實(shí)現(xiàn)了天津地區(qū)的土地利用分類#65377;分類結(jié)果表明，組合分類器能有效提高單個(gè)分類器的分類精度，分類總精度由81.13%提高到93.32%#65377;實(shí)驗(yàn)表明基于AdaBoost的組合分類是遙感圖像分類的一種新的有效方法#65377;

關(guān)鍵詞:組合分類器; AdaBoost; 神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào):TP391; TN911.73文獻(xiàn)標(biāo)志碼:A

文章編號(hào):1001-3695(2007)10-0181-04

在遙感影像分類應(yīng)用中，不同的分類器分類精度不同，而同一個(gè)分類器對(duì)不同類別的分類精度也不相同#65377;對(duì)于特定的遙感數(shù)據(jù)，同一個(gè)分類器對(duì)部分類別分類精度高，而對(duì)其他類別分類精度低，因此可以找到多個(gè)分類器#65377;其中一些分類器對(duì)一部分類別分類精度高，而另一些分類器對(duì)其他類別分類精度高，不同的分類器之間存在一定的互補(bǔ)性，將多個(gè)分類器結(jié)合在一起，往往可以得到比單個(gè)分類器更好的分類結(jié)果[1]#65377;

近年來(lái)，利用組合分類器來(lái)提高分類精度已經(jīng)成為模式識(shí)別領(lǐng)域的一個(gè)重要研究方向，并且集成分類器已經(jīng)成功用于人臉表情識(shí)別[2]#65380;手寫(xiě)體識(shí)別[3]#65380;醫(yī)學(xué)診斷[4]等，但在遙感圖像的處理方面應(yīng)用得還很少#65377;

本文將分類器組合的一種經(jīng)典算法AdaBoost引入到遙感圖像分類中，并引入混合判別多分類器綜合規(guī)則，將抽象級(jí)組合與測(cè)量級(jí)組合相結(jié)合進(jìn)行決策，目的是提高分類精度#65377;

1組合分類算法

1.1AdaBoost算法

AdaBoost算法，即自適應(yīng)Boosting算法，它是Boosting家族中最具代表性也是最為流行的算法，由Y.Freund等人在1995年提出[5]#65377;早期的AdaBoost算法只能解決兩類問(wèn)題，本文引用的AdaBoost.M2算法是AdaBoost算法的擴(kuò)展，用于解決多類單標(biāo)簽問(wèn)題，即每個(gè)待分類樣本只能屬于多個(gè)類別中的單個(gè)類#65377;

在AdaBoost算法中，每一個(gè)訓(xùn)練樣本均被賦予一個(gè)權(quán)重，權(quán)重值代表該樣本被下一弱分類器選入訓(xùn)練集的概率#65377;如果某個(gè)樣本被當(dāng)前弱分類器準(zhǔn)確分類，則在構(gòu)造下一個(gè)弱分類器的訓(xùn)練集時(shí)，它被選中的概率就被降低;相反，如果某個(gè)樣本沒(méi)有被當(dāng)前分類器正確分類，則它的權(quán)重就相應(yīng)提高#65377;通過(guò)這種方式，AdaBoost能夠逐漸聚焦于那些難以學(xué)習(xí)的樣本#65377;在遙感圖像的分類中，單一的分類器可能會(huì)出現(xiàn)對(duì)某些疑難的類別分類效果不好，而對(duì)其他容易區(qū)分的類別分類精度高#65377;雖然總體精度不低，但疑難類別仍然沒(méi)有得以區(qū)分#65377;AdaBoost算法能很好地解決這個(gè)問(wèn)題，對(duì)于無(wú)法正確學(xué)習(xí)的類別樣本，能夠集中學(xué)習(xí)，并將學(xué)習(xí)的結(jié)果與其他分類器的結(jié)果組合輸出#65377;

其中:ht(x，y)表示弱分類器ht將xi分類為y的置信度#65377;qt(i，y)是標(biāo)簽加權(quán)函數(shù)，它對(duì)偽誤差的貢獻(xiàn)最大，表示對(duì)于樣本i，將錯(cuò)誤類別yi與其正確類別區(qū)分的重要性#65377;其大小反映了樣本被錯(cuò)分為某一類的可能性，qt(i，y)越大，表明樣本i被錯(cuò)分為y的可能性越大，它的初始值為1/(k-1)#65377;Dt(i)表示當(dāng)前樣本權(quán)值和占所有樣本權(quán)值和的總和比重，初始值為1/N#65377;ωti，y表示相對(duì)于整個(gè)樣本集N，當(dāng)前樣本的非正確分類(y≠yi)的各錯(cuò)誤類權(quán)值(共k-1個(gè)錯(cuò)誤類)，初始值為1/N(k-1)#65377;wti表示相對(duì)于整個(gè)樣本集N，當(dāng)前樣本的各類權(quán)值總和，初始值為1/N#65377;對(duì)于各弱分類器weaklearn，要求它的偽誤差εt<0.5即可#65377;

1.2混合判別多分類器綜合規(guī)則

根據(jù)子分類器輸出類型，可以將分類器結(jié)合方法分為抽象級(jí)的組合(abstract level)#65380;排序級(jí)的組合(ranked level)和測(cè)量級(jí)的組合(measurement level)三大類[6]#65377;常用的遙感圖像分類器的輸出要么是抽象級(jí)，要么是測(cè)量級(jí)，因此對(duì)遙感圖像分類來(lái)說(shuō)，多分類器的組合一般在抽象級(jí)和測(cè)量級(jí)上進(jìn)行[7]#65377;

在具體的實(shí)現(xiàn)中，多分類器組合主要有兩種方式，即分類器選擇和分類器融合#65377;其中分類器選擇是每一個(gè)分類器針對(duì)地物的某種特征，可分性強(qiáng)#65380;分類精度高#65377;如果從專家分類器的角度來(lái)說(shuō)，那么這個(gè)分類器針對(duì)這種特征就是專家#65377;在分類過(guò)程中，當(dāng)處理到這種特征時(shí)，可認(rèn)為這種分類結(jié)果的可信度最高，并直接利用這種分類器得出地物最終分類的結(jié)果[8]#65377;分類器融合的方法也有不少，對(duì)于多類別的情況(multiclass case)，可以通過(guò)計(jì)算偽誤差(pseudoloss)來(lái)實(shí)現(xiàn)各子分類器的融合[9]，AdaBoost.M2算法正是通過(guò)計(jì)算各子分類器的偽誤差來(lái)實(shí)現(xiàn)各子分類器的融合#65377;本文采用的是一種結(jié)合投票規(guī)則#65380;最大后驗(yàn)專家規(guī)則的AdaBoost.M2的多分類器組合規(guī)則[8]#65377;該組合規(guī)則結(jié)合了分類器選擇與分類器融合，即抽象級(jí)與測(cè)量級(jí)決策各自的優(yōu)勢(shì)#65377;首先抽象級(jí)主要是發(fā)揮專家分類器的作用;而后測(cè)量級(jí)決策是綜合多個(gè)子分類器的輸出，通過(guò)計(jì)算子分類器的偽誤差實(shí)現(xiàn)加權(quán);最后取加權(quán)最大值#65377;

具體的組合規(guī)則如下:首先對(duì)于各個(gè)類別的輸出，如果有80%以上的分類器均指向同一分類結(jié)果，那么就可以認(rèn)為這個(gè)像元屬于這個(gè)類別;否則，比較這幾個(gè)分類器中置信度最高的那個(gè)分類器所分得的類別，如果分類精度在85%以上，則也可以認(rèn)為此像元屬于這個(gè)類別;如果上面兩種情況均不滿足的情況下，則用AdaBoost.M2的融合方法(式(1))比較各類別在各子分類器中輸出的加權(quán)和的最大值，返回該最大值對(duì)應(yīng)的類別號(hào)#65377;此混合判別多分類器綜合規(guī)則原理如圖1所示#65377;

從表3可以看出，對(duì)于單個(gè)子分類器難以識(shí)別的疑難類別道路，通過(guò)將多個(gè)分類器組合后綜合決策能很好地識(shí)別，道路的分類精度由單個(gè)分類器的18.13%提高至97.66%，從而也使得分類的總精度有很大提高#65377;實(shí)驗(yàn)結(jié)果充分說(shuō)明，組合分類的方法能有效地提高單一分類器的分類精度，并且對(duì)疑難類別的識(shí)別能力有很大的改善#65377;

單個(gè)神經(jīng)網(wǎng)絡(luò)道路分類精度低的原因是迭代次數(shù)達(dá)到最大迭代次數(shù)1 000次時(shí)，均方差沒(méi)有達(dá)到最小均方差0.02而網(wǎng)絡(luò)停止學(xué)習(xí)，此時(shí)道路的樣本沒(méi)有學(xué)習(xí)完全，但其他類別已經(jīng)學(xué)習(xí)完全，所以總精度能達(dá)到81.13%，但道路的精度僅有18.13%#65377;在組合分類器中，第一個(gè)子分類器與上述單個(gè)神經(jīng)網(wǎng)絡(luò)一樣，對(duì)道路的精度只有18.13%，也即道路類別的訓(xùn)練樣本它并沒(méi)有學(xué)習(xí)好#65377;因此，組合分類器會(huì)將這些沒(méi)有學(xué)習(xí)好的訓(xùn)練樣本(疑難樣本)挑選出來(lái)進(jìn)入下一個(gè)子分類器，下一個(gè)子分類器會(huì)專門對(duì)這些疑難樣本(道路等)進(jìn)行學(xué)習(xí);第二個(gè)子分類器沒(méi)有學(xué)習(xí)好的樣本將進(jìn)入第三個(gè)子分類器，于是后面的第二個(gè)#65380;第三個(gè)子分類器就對(duì)道路有很好的識(shí)別能力，稱之為專家#65377;在最后的組合決策過(guò)程中，如果道路類別的測(cè)試樣本進(jìn)入，第一個(gè)子分類器無(wú)法很好識(shí)別，但第二個(gè)子分類器#65380;第三個(gè)子分類器就能將該測(cè)試樣本識(shí)別出來(lái)并正確地歸為道路類，組合分類器的決策結(jié)果為道路類#65377;

由分類結(jié)果圖4#65380;5中可以看到，單個(gè)分類器對(duì)道路不敏感，道路的分類精度很低，但經(jīng)過(guò)組合分類器的學(xué)習(xí)后，能將沒(méi)有學(xué)習(xí)完全的道路類別重新識(shí)別出來(lái)，很大程度上提高了影像的分類精度#65377;道路在圖4中基本沒(méi)有分出，而在圖5中有明顯的體現(xiàn)，并且圖4中將部分池塘錯(cuò)分為河流，而圖5中的池塘分類明顯優(yōu)于圖4的結(jié)果#65377;

分別采用傳統(tǒng)的分類方法，即最小距離法#65380;馬氏距離法#65380;最大似然法進(jìn)行分類，分類精度如表4所示#65377;

最小距離法對(duì)河流識(shí)別精度不高，而馬氏距離法對(duì)道路識(shí)別精度不高#65377;在傳統(tǒng)的分類方法中，最大似然法一般具有最高的分類精度，而組合分類器能有效減少子分類器錯(cuò)分的類別，對(duì)疑難的類別能有效充分地學(xué)習(xí)，較大地提高了遙感圖像的分類精度#65377;從表4中可以看到，對(duì)于特定的類別，組合分類器的分類精度還略優(yōu)于最大似然法#65377;

通過(guò)以上實(shí)驗(yàn)可以看到，組合分類方法對(duì)子分類器的精度有很大的提升，能有效地提高總的分類精度，其分類效果足以與最大似然法媲美，并能在某些類別上優(yōu)于最大似然法#65377;

3結(jié)束語(yǔ)

近年來(lái)，集成分類器成為模式識(shí)別領(lǐng)域的一個(gè)重要研究方向，將集成分類算法應(yīng)用在遙感數(shù)據(jù)的分類方面還處于探索階段#65377;本文將組合分類的經(jīng)典算法AdaBoost引入遙感影像分類中，選用無(wú)隱層的高階神經(jīng)網(wǎng)絡(luò)為弱學(xué)習(xí)器，對(duì)遙感衛(wèi)星aster數(shù)據(jù)展開(kāi)實(shí)驗(yàn)#65377;實(shí)驗(yàn)結(jié)果表明，AdaBoost組合分類算法能提高子分類器分類精度，為遙感圖像分類提供了一種新的有效方法#65377;下一階段的工作在兩個(gè)方面需要深入研究，即對(duì)組合分類方法的改進(jìn)和優(yōu)化;對(duì)子分類器的類型進(jìn)行擴(kuò)展#65377;對(duì)于現(xiàn)在比較成熟的各種遙感影像分類算法都可以進(jìn)行嘗試并比較#65377;

參考文獻(xiàn):

[1]DUIN R P W， TAX D M J. Experiments with classifier combining rules[C]//Proc of the 1st International Workshop on Multiple Classifier Systems. Cagliari， Italy:[s.n.]， 2000:16-29.

[2]GUTTA S， WECHSLER H. Face recognition using hybrid classifier systems[C]//Proc of IEEE International Conference on Neural Networks. Washington， DC:[s.n.]， 1996:10171022.

[3]HANSEN L K， LIISBERG L， SALAMON P. Ensemble methods for handwritten digit recognition[C]//Proc of IEEE Workshop on Neural Networks for Signal Processing.Copenhagen:[s.n.]， 1992:333-342.

[4]ZHOU Z H， JIANG Y， YANG Y B， et al. Lung cancer cell identification based on artificial neural network ensembles[J]. Artificial Intelligence in Medicine， 2002，24(1):25-36.

[5]FREUND Y， SCHAPIRE R E. Adecision theoretic generalization of online learning and an application to boosting[J]. Journal of Computer and System Science， 1997，55(1):119139.

[6]SUEN C Y， LAM L. Multiple classifier combination methodologies for differnent output levels[C]//Proc of the 1st International Workshop on Multiple Classifier Systems. London: SpringerVerlag， 2000.

[7]柏延臣，王勁峰.結(jié)合多分類器的遙感數(shù)據(jù)專題分類方法研究[J].遙感學(xué)報(bào)，2005，9(5s):555-563.

[8]陳忠.高分辨率遙感圖像分類技術(shù)研究[D].北京:中國(guó)科學(xué)院遙感應(yīng)用研究所，2006:17-34.

[9]DRUCKER H. Effect of pruning and early stopping on performance of a boosting ensemble[J]. Computational Statistics Data Analysis， 2002，38(4):393-406.

[10]熊楨，童慶禧，鄭蘭芬.用于高光譜遙感圖像分類的一種高階神經(jīng)網(wǎng)絡(luò)算法[J].中國(guó)圖象圖形學(xué)報(bào)，2000，3(5):197-201.

[11]余英林，李海洲.神經(jīng)網(wǎng)絡(luò)與信號(hào)分析[M].廣州:華南理工大學(xué)出版社，1996:434-435.

[12]RUTA D， CABRYS B. Classifier selection for majority voting[J]. Information Fusion， 2005(6):63-81.

[13]YIN Xucheng， LIU Changping， HAN Zhi. Feature combination using boosting[J]. Pattern Recognition Letters， 2005，26(14):2195-2205.

[14]JING X Y， ZHANG D. Face recognition based on linear classifiers combination[J]. Neurocomputing，2003，50:485-488.

[15]涂承勝，刁力力，魯明明，等.Boosting家族AdaBoost系列代表[J].計(jì)算機(jī)科學(xué)，2003，30(3):30-34.

“本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文”