基于集成學(xué)習(xí)方法的醫(yī)學(xué)圖像分類系統(tǒng)的設(shè)計

摘要:提出了一個基于集成學(xué)習(xí)方法的醫(yī)學(xué)圖像分類器。該系統(tǒng)包括圖像預(yù)處理、特征提取、分類器的構(gòu)造幾個部分。在醫(yī)學(xué)圖像單特征分類研究的基礎(chǔ)上提出一種綜合了多特征融合和數(shù)據(jù)挖掘的醫(yī)學(xué)圖像分類的新方法。該方法通過引入數(shù)據(jù)挖掘中集成學(xué)習(xí)的概念，利用集成學(xué)習(xí)方法針對單特征進(jìn)行分類的弱分類器進(jìn)行迭代訓(xùn)練，通過多次迭代，最后加權(quán)投票，形成綜合多特征的具有較強能力的強分類器。

關(guān)鍵詞:集成學(xué)習(xí);特征提取;Adaboost M1;醫(yī)學(xué)圖像分類

中圖分類號:TP311文獻(xiàn)標(biāo)識碼:A 文章編號:1009-3044(2009)33-9515-03

The Design of Medical Image Classification Based on Ensemble Leaning

LIN Xiao-jia

(Faculty of Logistic and Information Management， Fujian Ineternational Business and Economics College，F(xiàn)ujzhou 350006，China)

Abstract: The paper proposes a medical image classification based on ensemble leaning.The system we proposing consists of a pre-processing phase， a feature extraction phase and a building the classifier phase. On the basis research of single feature， one new method is proposed one kind of medicine image classification new method that synthesized the multi-characteristic merge and the data mining technology. This method is through the introduction of data mining in the concept of Ensemble Learning，utilizing the Ensemble learning method to classify to the single characteristic the weak sorter to carry on the iterative training.

Key words: ensemble learning;the characteristic extraction;adaboost M1;medical image classification

隨著計算機醫(yī)學(xué)成像技術(shù)的發(fā)展，醫(yī)學(xué)影像越來越多樣化，醫(yī)學(xué)影像的應(yīng)用也越來越廣泛，與此同時大量的醫(yī)學(xué)設(shè)備的應(yīng)用使得醫(yī)學(xué)影像的數(shù)量也越來越多，大量的影像資料使醫(yī)院迷失在信息的海洋。利用數(shù)據(jù)挖掘技術(shù)可以有效的對醫(yī)學(xué)圖像進(jìn)行組織和管理，合理有效的對其進(jìn)行分類，從而使其更好的輔助日常的醫(yī)學(xué)診斷和醫(yī)學(xué)研究。

該文提出的方法是使用SVM分類器將整個特征空間分成諸多子空間;采用集成學(xué)習(xí)方法Adaboost方法對樣本進(jìn)行多次抽樣，將Adaboost算法中的分類精度作為特征選擇的依據(jù)，選取出少量有利于分類的特征，同時將單特征訓(xùn)練得到的弱分類器通過集成學(xué)習(xí)增強為強分類器。

1 系統(tǒng)的構(gòu)成

整個系統(tǒng)的構(gòu)成如圖1所示。

該系統(tǒng)主要包括訓(xùn)練和分類兩個階段。在醫(yī)學(xué)圖像訓(xùn)練階段，通過數(shù)據(jù)庫建立訓(xùn)練集，對醫(yī)學(xué)圖像進(jìn)行預(yù)處理，提取圖像顏色和紋理特征，創(chuàng)建訓(xùn)練的弱分類器。對圖像特征進(jìn)行選擇。分類階段進(jìn)行的是待分類圖像的選擇特征的提取，利用訓(xùn)練得到的強分類器進(jìn)行分類，輸出分類結(jié)果。

2 圖像預(yù)處理

由于實際的醫(yī)學(xué)圖像數(shù)據(jù)因為操作的原因，存在不完整性、噪聲和不一致性性，不能直接在原始數(shù)據(jù)上進(jìn)行數(shù)據(jù)提取，因此必須對醫(yī)學(xué)圖像進(jìn)行預(yù)處理。數(shù)據(jù)清洗和數(shù)據(jù)的變換[1-2]都是經(jīng)常用于圖像數(shù)據(jù)預(yù)處理技術(shù)上的。

圖像預(yù)處理的第一步就是圖像去噪。大部分的醫(yī)學(xué)圖像一般包含了大量有噪聲的背景:有的醫(yī)學(xué)圖像太暗，有的醫(yī)學(xué)圖案太亮，還有來自影像設(shè)備中電子元器件的隨即擾動。通過去噪處理后，可以去掉圖像中的大多數(shù)的背景信息和噪聲，增強圖像的特征，提高圖像的信噪比。針對醫(yī)學(xué)圖像來說，圖像本身有邊緣模糊的特性，通過去噪對醫(yī)學(xué)圖像進(jìn)行復(fù)原，使之與原圖像逼近是存在比較大的困難的。因此本系統(tǒng)主要采取的去噪方法為濾波技術(shù)，該技術(shù)可以在最大限度保持信號不受損失的基礎(chǔ)上，盡可能過濾噪聲，提高圖像的可讀性，將醫(yī)學(xué)圖像中感興趣的特征(圖像的輪廓和邊緣等重要信息)有選擇的突出。

圖像預(yù)處理的第二步是圖像歸一化，基于圖像特征分類主要是對圖像特征進(jìn)行匹配和區(qū)分的過程，但是通常情況下待檢圖像的圖庫中，圖像的大小尺寸并不完全相同，用戶所提供的分類例圖大小也不完全一樣的。在提取圖像特征(特別是空間分布特征)時，就有可能存在本身同類的圖像所計算出來的特征差別卻很大，而不屬于同一類的圖像由于尺度不同卻計算出了相似的特征，進(jìn)而影響到分類的結(jié)果。為了防止這類情況的發(fā)生，本分類系統(tǒng)必須首先對圖像的尺度進(jìn)行歸一化，即通過對圖像的縮放使得圖像具有同一尺度256×256，在同一尺度上提取圖像特征，從而消除尺度影響，又能夠保證圖像的整體灰度不變性。通過對大尺度的圖像進(jìn)行尺度歸一化之后，按比例進(jìn)行了縮小，降低了圖像特征提取時的計算量，提高了分類速度。

3 基于集成學(xué)習(xí)方法的特征選擇和分類

3.1 集成學(xué)習(xí)方法

集成學(xué)習(xí)(Ensemble Learning)是一種新的用來組合的學(xué)習(xí)器的方法。其主要思想[3]是:通過某種組合方法把一些學(xué)習(xí)器組合起來，使得集成后的學(xué)習(xí)器能夠表現(xiàn)出比單個學(xué)習(xí)器更好的性能。狹義的說，集成學(xué)習(xí)是指利用多個同質(zhì)的學(xué)習(xí)器對同一個問題進(jìn)行學(xué)習(xí)，這里的“同質(zhì)”是指所使用的學(xué)習(xí)器屬于同一種類型，例如所有的學(xué)習(xí)器都是決策樹、都是神經(jīng)網(wǎng)絡(luò)等等。廣義的來說，只要是使用多個學(xué)習(xí)器來解決問題，就是集成學(xué)習(xí)[4]。

集成學(xué)習(xí)從萌芽階段發(fā)展到現(xiàn)在，很多研究者提出了不同的算法。其中研究最深入，最具影響力，應(yīng)用最廣泛的就要算Boosting算法了。在眾多Boosting算法中，AdaBoost是Boosting家族中的基礎(chǔ)算法，也是Boosting家族最具代表性的算法，之后出現(xiàn)的Boosting家族中的擴展算法都是在AdaBoost算法的基礎(chǔ)上發(fā)展而來的，對AdaBoost的分析也適用于其它的Boosting方法。因此下面我們以AdaBoost M1算法為例，進(jìn)行描述。

AdaBoost M1算法用于解決多類單標(biāo)簽問題。每個待分類樣本只能屬于多個類別中的單個類。AdaBoost M1的基本思想是:首先給定任意一個弱學(xué)習(xí)算法和訓(xùn)練集(x1，y1)，(x2，y2)，…，(xm，ym)，yi在分類問題中是一個帶類別標(biāo)志的集合，yi∈Y={1，…，K}。初始化的時候，對每個訓(xùn)練例賦予的權(quán)重都相同為1/m。接著，調(diào)用弱學(xué)習(xí)算法對訓(xùn)練集進(jìn)行T次的迭代訓(xùn)練，每次訓(xùn)練后，按照訓(xùn)練結(jié)果更新訓(xùn)練集上的分布，對于訓(xùn)練失敗的訓(xùn)練示例賦予教大的權(quán)重，也就是在下一次迭代訓(xùn)練的時候，更加關(guān)注集中對這些失敗的訓(xùn)練例進(jìn)行訓(xùn)練。通過這樣的T次迭代訓(xùn)練，得到一個預(yù)測函數(shù)序列h1，h2，…，ht，其中ht也有一個權(quán)重，預(yù)測效果好的預(yù)測函數(shù)的權(quán)重較大，預(yù)測效果差的預(yù)測函數(shù)的權(quán)重較小。經(jīng)過T次迭帶后的最終預(yù)測函數(shù)H采用有權(quán)重的投票方式產(chǎn)生。

3.2 特征選擇和分類

本系統(tǒng)利用訓(xùn)練樣本的分類屬性，采用Adaboost M1算法同時，對算法進(jìn)行改進(jìn)，使算法同時具有進(jìn)行特征分類性能的評價(特征選擇)和SVM分類器的增強的功能:對樣本進(jìn)行多次抽樣，將分類精度作為特征對分類性能的判定依據(jù)，進(jìn)行有效特征選擇，選取出少量對分類作用較大的特征，同時將單特征訓(xùn)練得到的弱分類器增強為強分類器，使分類器具有較好的分類精度和泛化能力。具體算法思想如下:

1) 在Adaboost M1算法每次迭帶訓(xùn)練時候，賦予每個訓(xùn)練例的分配權(quán)重 Dt(i)(t表示迭代次數(shù)，i表示訓(xùn)練例標(biāo)號)，同時也表明它被分類器選入新訓(xùn)練子集的概率。如果某個樣本已經(jīng)被準(zhǔn)確的分類，那么在構(gòu)造下一個訓(xùn)練集中，它所占的比重概率就會被降低;反之，如果某個樣本沒有被正確分類，那么它所占的比重就會得到提高。通過這樣的方式，Adaboost M1算法就能更加重視那些較困難、更富信息的樣本上。

2) 針對Adaboost M1這個特點，我們在選入的訓(xùn)練集上，選擇SVM作為弱學(xué)習(xí)機，針對每個特征維向量進(jìn)行訓(xùn)練，產(chǎn)生弱分類器，并且計算分類精度，用來衡量該弱分類器對分類的作用程度，精度大的弱分類器表明該特征維向量的分類性能較好，有利于作為有效的分類特征，被選入作為分類特征，經(jīng)過多次迭代可以得到大部分對分類作用較高的特征，最終增強得到一個強分類器。

改進(jìn)的Adaboost M1進(jìn)行特征選擇以及SVM分類器增強的算法步驟如下:

輸入:訓(xùn)練集 (x1，y1)，(x2，y2)， …，(xm，ym) ，其中標(biāo)簽yi ∈Y={1， …，k}

特征維向量集{S}

弱學(xué)習(xí)算法SVM

迭帶訓(xùn)練的次數(shù)T

初始化:對于i=1，2，…，D1(i)=1/m， Do For t=1，2，…，T //其中T為迭代訓(xùn)練的次數(shù)，m為訓(xùn)練樣本數(shù)。

步驟1 弱分類器學(xué)習(xí)

根據(jù)選擇權(quán)重Dt(i)進(jìn)行采樣，獲得第t次迭代樣本集，選取特征子集，學(xué)習(xí)重采樣后的樣本集得到弱分類器集合Hrt ，其中Srt是特征子集集合，表示第t次迭代的每個特征維度;Srt是弱分類器集合，是根據(jù)Hrt單特征訓(xùn)練出的弱分類規(guī)則，r表示特征維度標(biāo)簽號，t表示迭代次數(shù)。

步驟2 計算分類精度，選擇特征

計算弱分類器在樣本集上的誤差在此作為特征子集Srt 有效性的判據(jù)，誤差越小則此特征子集作用越大，選取誤差最小(εt=min{εrt})的對應(yīng)的分類器為Ht與有效特征向量Srt計算本次迭代得到的分類器貢獻(xiàn)權(quán)值βt=εt/(1-εt)。

步驟3 更新權(quán)重

其中，βt為每次迭代的分類器貢獻(xiàn)權(quán)值，值由βt=εt/(1-εt)來確定;Dt(i)為每個訓(xùn)練例的分配權(quán)重，Zt為標(biāo)準(zhǔn)化常量。

輸出:有效特征子集Sr

增強分類器

通過改進(jìn)的Adaboost M1算法可以得到所選擇的特征子集Sr以及增強的分類器Hx。

分類時，只要將待分類醫(yī)學(xué)圖像根據(jù)有效特征子集Sr進(jìn)行特征提取，輸入增強的分類器集 Hx中，就可得到分類的結(jié)果。

4 實驗結(jié)果及結(jié)論

本實驗所采用的是醫(yī)學(xué)圖像中的CT、MRI和DDR圖像，根據(jù)醫(yī)學(xué)圖像的功能和用途，我們將這些醫(yī)學(xué)圖像分為頭部(包括中樞神經(jīng)和頭頸五官)、胸部(包括呼吸系統(tǒng)、循環(huán)系統(tǒng))、腹部(包括消化系統(tǒng))、骨盆(包括泌尿系統(tǒng))和其他等五大類標(biāo)簽，每類標(biāo)簽60幅(由于CT應(yīng)用比較廣泛，所以選用CT圖像40幅，MRI和DDR各20幅)，共計300幅圖像構(gòu)成圖像庫。在測試集和訓(xùn)練集的選擇上，采用10折交叉驗證的方法。通過訓(xùn)練集最終選取了36維特征向量中的分類性能較高的12維(詳細(xì)如表1所示)。

分類性能采用敏感度(sensitivity)、特異度(specificity)以及分類精度(precision)三個指標(biāo)率來衡量:敏感度也稱真正識別率，即正確識別該類元組的百分比;特異度是真負(fù)率，即正確拒絕不屬于該類元組的百分比;而精度就來標(biāo)記實際屬于該類的元組在已分配到該類的元組總數(shù)的百分比，表2是本實驗的分類結(jié)果。

從表2中可以看出，本實驗醫(yī)學(xué)圖像分類器算法的敏感度、特異性和分類精度都較高，分類識別率和精度平均在83%左右。

分類系統(tǒng)的速度主要取決于特征的提取以及進(jìn)行分類的運算量。如果將所有特征都運用于分類的話，由于有些特征向量維度對分類貢獻(xiàn)不高，對分類效率沒有明顯的提高，并且也大大增加了特征提取階段的時間負(fù)擔(dān)。在本系統(tǒng)中僅僅選擇了不到1/3的特征，去除了部分對分類效率貢獻(xiàn)不高的特征，因此在特征提取階段速度大大提高了，而且在分類階段也因為只在有效特征中進(jìn)行提取分類，速度也有較大提高，表3列出了在 Inter Core Duo processor T2450 2.0GHz、1G DDR內(nèi)存、VC++6.0環(huán)境下本分類系統(tǒng)與其他分類平均分類精度的比較。

本方法比最常見的綜合特征分類法在特征提取分類階段速度上有所提高，但是比起單個特征提取，速度還是比較慢的。但是從表3正確率相比，準(zhǔn)確率還是蠻高的，相對的犧牲時間還是值得的。

參考文獻(xiàn):

[1] Maria-Luiza Antonie，Osmar R.Z aiane and Alexandru Coman，Application of Data Mining Techniques for Medical Image[C]，Proceedings of the second international workshop on Multimedia Data Mining(MDM/KDD’2001)，in conjunction with ACM SIGKDD conference.

[2] Osmar R.Z aiane，Maria-Luiza Antonie and Alexandru Coman，Mammography Classification by Association Rule-based Clasifier[C]， MDM/KDD2002:International Workshop on Multimedia Data Mining(with ACM SIGKDD 2002).

[3] Zhou Z-H，Wu J-X，Tang W，Chen Z-Q.Combining regression estimators:GA-based selective neural network ensemble.International Joural of Computational Intelligence and Applications，2001，1(4):341-356.

[4] Zhou Z-H，Wu J-X，Tang W.Ensembling neural networks:many could be better than all.Artificial Intelligence，2002，137(1-2):239-263

[5] 夏順仁，莫偉榮，王小英，嚴(yán)勇. 基于特征融合和相關(guān)反饋的醫(yī)學(xué)圖像檢索技術(shù)[J].航天醫(yī)學(xué)與醫(yī)學(xué)工程，2004，17(231):429-433.

[6] 李丙春， 耿國華 ，周明全，等. 一個醫(yī)學(xué)圖像分類器的設(shè)計[J].計算機工程與應(yīng)用，2004(17):230-232.

[7] 顧志偉，吳秀清，荊浩.一種基于特征的醫(yī)學(xué)圖像檢索方法[J].中國生物醫(yī)學(xué)工程學(xué)報，F(xiàn)ebruary 2007，26(1).