機器學習中集成模型的應用問題研究

焦 嘉，劉 婷

(湖南信息職業技術學院，湖南 長沙 410203)

0 引言

機器學習的本質是學習計算機智能，并賦予計算機與人類相同的學習能力。利用糖尿病患者數據與機器學習的結合[1-2]，能夠達到對專業數據進行處理提供定制醫療咨詢的能力。

圖1 集成模型總體流程

1 集成模型定義及流程

將Logistic回歸得到的結果按照概率值劃分為3個區間，分別是[0-0.4][0.4-0.6][0.6-1]。然后根據概率值區間將樣本訓練集也劃分為3個區間，求出每個區間內樣本預測的準確率。將劃分的3個區間分別使用C4.5決策樹算法進行訓練，分別求出其預測準確率，然后分別比較兩種模型在3個區間的預測準確率，選擇準確率較高的作為最終判別標準。

如圖1所示為集成模型的總體流程，步驟包括原始數據收集、數據預處理、單因素分析、多因素Logistic回歸分析、樣本數據集劃分與處理、決策樹模型的形成、模型的集成比較、最終形成集成模型等。

2 模型及目標函數

2.1 單因素分析

單因素分析使用SPSS軟件進行，采用的是列鏈表x2檢驗，用于探討各因素與糖尿病的關系。糖尿病危險因素單因素分析結果如表1所示。

2.2 多因素Logistic回歸

多因素Logistic回歸分析根據表1中單因素分析的結果選擇出來的影響因素進行，Logistic回歸分析使用的是sigmoid函數，將線性回歸的結果變換后輸出到[0-1]區間，表達式如下：

(1)

其中，β和X為向量，Xi(i=1,2,…,7) 分別表示經過單因素分析的影響因素，而βi則表示每個Xi所對應的參數，也就是所要求解的回歸系數，β0為常數，而最終要求的是βi(i=0,1,2,…,7)值。

2.3 樣本數據集劃分與處理

將所有樣本按照sigmoid函數得到的概率進行區間劃分，其劃分標準如下：

H1=[0,0.4]，H2=[0.4,0.6] ，H3=[0.6,1]

將樣本數據集劃分區間后，發現數據集H1，H3的數據不平衡，為了解決這個問題方便下面的模型構建，本文采用的方法是Easy Ensemble：這是集成算法中最簡單的算法之一[3]，具體做法是從0類中(樣本多的類)中取出1類等量樣本，并且不重復地取多次，用于構建多個訓練集，最終使得0類樣本大部分都參與訓練一次。之后，根據得到的多個模型選擇其中預測準確率最好的模型作為最終模型。

2.4 決策樹生成

決策樹先選擇根節點屬性，只要有一個可能的屬性值，就產生一個分支。本文以收集到的醫療數據為例，以Y(是否患病)作為輸出變量，輸入變量以Ti(i=1,2,……13)表示，決策樹輸出變量Y的信息熵為：

(2)

其中，P(y2)代表不患糖尿病的概率，P(y1)代表患糖尿病的概率。

2.5 決策樹減枝

在決策樹生成的過程中，由于數據可能存在噪聲和決策樹算法本身存在的問題，也就是常說的過擬合現象。本文采用的是PEP (Pessimistic Error Pruning)(悲觀剪枝)[3]。其剪枝過程如下所示：

(1)計算剪枝前錯誤率e。

(2)計算剪之前誤判次數均值E，其中E=N×e(其中N是樣本總數)。

(4)計算剪枝后錯誤率e+。

(5)計算減值后誤判次數均值E+，其中E+=N×e+。

(6)判斷剪枝條件，若E-var>E+，則剪枝該子樹；若E-var≤E+,則不剪枝該子樹。

上述步驟中的錯誤率估計如下所示：

(3)

2.6 模型集成

本文將數據集劃分之后結合Easy Ensemble技術形成決策樹的訓練數據集，隨后生成多個決策樹模型，然后分別計算出各個模型決策樹的預測準確率，在3個分區H1=[0,0.4]，H2=[0.4,0.6] ，H3=[0.6,1] 分別選擇預測準確率最高的模型作為最終形成的決策樹模型，其預測準確率分別記為PJi(i=1,2,3)。同時結合之前生成的Logistic回歸模型在3個分區H1=[0,0.4]，H2=[0.4,0.6] ，H3=[0.6,1]的預測準確率PLi(i=1,2,3)，最終比較并選出分別在3個分區上的模型。其集成過程如下：

(1)選擇分區Hi(i=1,2,3) ，分別計算兩種模型預測準確率。

(2)若PLi>PJi(i=1,2,3)，在分區Hi上最終選擇Logistic回歸模型；若PLi≤PJi(i=1,2,3)，在分區Hi上最終選擇決策樹模型。

(3)重復步驟1，直到i=3。

3 實驗結果與分析

如圖2所示為3個分區內的兩個模型的預測準確率，在H2分區內，決策樹和Logistic回歸模型的預測準確率相差明顯，決策樹預測準確率明顯高于Logistic回歸模型，在H1，H3兩個分區內決策樹和Logistic回歸模型的預測準確率差別不大，最終在3個分區內分別選擇H1決策樹、H2決策樹、Logistic回歸模型作為最終的集成模型的判別標準。

由集成模型和實驗數據可知，其訓練集和測試集的預測準確率如表2所示。

表2 集成模型的預測準確率

由表2可知，集成模型的預測準確率在3個模型中最高，其中訓練集預測準確率為91.16%，測試集的預測準確率為88.28%，所有樣本的預測準確率為90.34%。由此可知該模型在3個模型中最具有參考意義，對糖尿病的風險預測作用最大。

4 結語

本文立足實際的醫療數據，采用機器學習技術中集成模型來建立糖尿病風險預測模型，改進之處如下：

(1)將機器學習的幾種分類算法結合起來應用到糖尿病的風險預測中，采用Logistic回歸算法和決策樹算法構建集成模型，結合了Logistic回歸模型的優點與決策樹模型的優點，在一定的程度上解決單分類模型預測結果不穩定的問題。

圖2 3個分區內兩種模型預測準確率對比

(2)使用集成模型進行實驗，通過對醫療數據的處理，最終證明了集成模型擁有較高的分類準確率和穩定性，適合于糖尿病的風險預測。