999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

XGBoost算法在二分類非平衡高維數據分析中的應用*

2021-03-16 10:18:32哈爾濱醫(yī)科大學衛(wèi)生統(tǒng)計學教研室150081
中國衛(wèi)生統(tǒng)計 2021年1期
關鍵詞:分類效果模型

哈爾濱醫(yī)科大學衛(wèi)生統(tǒng)計學教研室(150081)

盧婭欣 黃 月 李 康△

【提 要】 目的 探討XGBoost算法在二分類高維非平衡數據中的分類判別效果。方法 通過模擬實驗及真實代謝組學數據分析,對XGBoost、隨機森林、支持向量機、隨機欠采樣以及隨機梯度提升樹共五種方法進行比較。結果 模擬實驗顯示,XGBoost算法在數據非平衡較明顯時,在各種實驗條件下均優(yōu)于或不劣于其他四種算法,在數據類別趨于平衡的情況下也同樣具有較好的分類效果,且對噪聲變量具有一定的抗干擾能力。實例分析顯示,與其他四種算法相比,XGBoost算法的分類性能最優(yōu),且在保證分類效果的基礎上具有更快的運算速度。結論 XGBoost算法適用于非平衡高維數據的判別分析,值得研究。

在對高維數據進行分類或判別時,數據的類別間常存在非平衡的現象,而各類之間的例數相差較大常會對判別效果產生影響[1]。而如何對非平衡數據建立預測模型進行分類是一個較難解決的問題[2]。目前對非平衡數據的處理主要在數據及算法兩大層面。數據層面的基本思想是應用重采樣技術使各類別的分布達到平衡,再使用傳統(tǒng)分類器進行分類判別,常用的方法如隨機欠采樣、隨機過采樣以及Chawla等人[3]提出的合成少數類過采樣技術(SMOTE)等。算法層面以代價敏感學習(cost-sensitive learning)、一分類學習(one-class learning)以及集成學習(ensemble learning)為主,其中boosting作為一種強大的集成學習算法,以算法集合的思想將基礎弱分類器轉換為優(yōu)效分類器,已被證明可對各種不規(guī)則的數據類型顯示出良好的分類效果[4]。極端梯度提升算法(extreme gradient boosting,XGBoost)是近年來一種基于boosting的新算法,具有運算速度快、效果好等特點[5]。本文在介紹XGBoost算法原理的基礎上,通過模擬實驗及實例分析,比較并考察它與其他處理非平衡數據常用方法的分類效果。

原理與方法

1.XGBoost的目標函數

boosting是一種集成學習算法,其主要思想是將許多弱分類器集合在一起,形成一個強大的組合分類器以提高分類精度,主要算法有自適應增強(adaptive boosting,Adaboost)與梯度提升樹(gradient boosting decision tree,GBDT)[6]。XGBoost是GBDT的一種優(yōu)化算法,是將許多CART回歸樹模型集合在一起形成一個強分類器。其算法步驟如下:

(1)

其中,f(x)表示一棵CART回歸樹,wk是第k棵回歸樹的葉子權重,q(x)是葉節(jié)點的編號,即樣本x最后會落在樹的某個葉節(jié)點上,其值為wq(x)。

(2)

(3)對損失函數進行泰勒二階展開近似原函數并移除常數項,則:

(3)

(4)

(4)定義Ij={i|q(xi)=j}作為葉節(jié)點的實例集,將公式(1)代入公式(3)中,整理可得:

(5)

(6)

2.尋找最佳分裂點的近似算法

XGBoost使用近似分位點算法,通過對特征值進行排序[8],在既定誤差ε和序列大小N的情況下可以以εN的精度來計算任意分位,同時還可用原序列的一個子集代替全集以減少數據量。XGBoost通過對該算法增加權重,提出了加權分位數略圖(weighted quantile sketch),同樣是在訓練前對數據排序來列舉數個候選分裂點,同時將位于相鄰分位點間的樣本以“塊”的結構儲存到內存中,可在串聯(lián)進行的迭代過程中重復使用。在選擇增益最大的特征進行節(jié)點分裂時,也可使各特征的增益計算并聯(lián)進行。模擬實驗表明,該算法較傳統(tǒng)的boosting算法可提高計算速度10~50倍。

模擬實驗

本模擬實驗以基于樹的模型構建XGBoost算法模型,旨在考察XGBoost對非平衡數據的分類判別效果,并將其與典型的傳統(tǒng)分類器如隨機森林(RF)、支持向量機(SVM)以及處理非平衡數據常用的隨機欠采樣(random under-sampling)和隨機梯度提升樹(stochastic gradient boosting based trees,SGBT)算法[9]進行比較。

該模擬實驗考察二分類數據在不同非平衡率(imbalanced ratio,IR)、不同大小的真實區(qū)分度θ(ROC曲線下面積)及不同數量噪聲的情況下五種算法的判別能力。具體步驟如下:

(1)設定20個服從正態(tài)分布X~N(μ,1)的差異變量,訓練集和測試集樣本量各占50%,均為400例,分別設置非平衡率(IR)為1/19、1/9、1/4和2/3。

(2)設定兩類間的真實區(qū)分度θ為0.85和0.95兩個水平,并另設定500個噪聲(均數為0,方差為1);數據間的相關性均簡單設定為0。

(3)分別使用上述五種算法對訓練集建模100次,再用訓練好的模型對測試集做判別預測,最終各評價指標的結果取100次計算的均值(表1)。五種算法在各實驗條件下的AUC值分布見圖1和圖2。

表1 五種算法在不同情況下對模擬數據的分類效果AUC均值

圖1 真實區(qū)分度θ=0.85時各算法的分類效果AUC值

圖2 真實區(qū)分度θ=0.95時各算法的分類效果AUC值

由圖1和圖2可知,在各種不同的條件下,非平衡較嚴重時(非平衡率IR<2/3),XGBoost算法的分類效果均優(yōu)于其他算法,而在接近平衡的狀態(tài)時(IR=2/3),XGBoost的AUC值略低于效果最佳的RF算法。當噪聲數量由0增加到500時,XGBoost的分類效果仍優(yōu)于其他算法,說明該算法對噪聲變量具有一定的抗干擾能力。

實例分析

選取同一批次檢測的大腸癌(CRC)患者和炎性腸病患者的血漿代謝組學數據進行研究。該數據共包括662個代謝物和644例樣本,其中大腸癌組571例,炎性腸病組73例,非平衡率為12.8%。經過變量篩選后(取VIP>1.1且FDR校正后的P值<0.05),剩余68個代謝物。使用無放回的隨機抽樣,分層抽取每一類別的50%樣本作為訓練集,剩余50%作為測試集,并重復100次。使用XGBoost算法和其他四種算法對未篩變量及變量篩選后的組學數據分別建模訓練,得出各模型預測的AUC值以及靈敏度、特異度(根據約登指數最大選取診斷閾值)。各算法的分類判別結果分別見表2和表3。

表2 五種算法在662個變量時CRC的分類判別效果

表3 五種算法在篩選出68個變量時CRC的分類判別效果

分析結果顯示,XGBoost在無論變量篩選與否的情況下均具有良好的分類判別效果,證明其在高維數據判別領域廣泛應用的可行性,可為臨床疾病診斷與癌癥篩查提供一定幫助。

討 論

XGBoost是一種基于boosting思想的新算法。該算法在傳統(tǒng)梯度提升樹的基礎上,加入了正則項以控制模型復雜度,減少過擬合。同時XGBoost對損失函數進行泰勒二階展開以近似原函數,因此損失函數只需滿足函數二階可微。該算法中所使用的加權分位數略圖可快速生成可保證精度的候選分割點,且在模型訓練前預先保存了排序后的數據特征,以支持在迭代中高效反復利用,從而大大提高了運算效率。

模擬實驗結果顯示,在數據非平衡較嚴重的情況下(如IR<1/4),XGBoost算法在各種實驗情況下均可取得最優(yōu)的分類效果,并且對噪聲也具有一定的干擾能力。其他模擬實驗顯示,當訓練集兩個類別的樣本量由兩類均為100例的完全平衡狀態(tài)增加信息量至300例與100例的非平衡狀態(tài)時,相比其他分類器,XGBoost可以克服非平衡造成的影響從而表現出更好的分類效果。實際代謝組數據分析結果顯示,相比于其他四種算法,XGBoost在有無變量篩選的情況下判別效果均相對最優(yōu)。以上結果均說明XGBoost算法對處理非平衡數據具有明顯優(yōu)勢。

XGBoost算法的其他特點還包括可以進行特征選擇、自動學習缺失值的分裂方向以處理缺失值等。同時,本研究中該算法的損失函數使用的是機器學習常用的均方誤差(MSE),在實際應用中也可以根據數據的特點選取其他二階可微的函數。

猜你喜歡
分類效果模型
一半模型
按摩效果確有理論依據
分類算一算
重要模型『一線三等角』
重尾非線性自回歸模型自加權M-估計的漸近分布
分類討論求坐標
迅速制造慢門虛化效果
數據分析中的分類討論
抓住“瞬間性”效果
中華詩詞(2018年11期)2018-03-26 06:41:34
教你一招:數的分類
主站蜘蛛池模板: 午夜福利视频一区| 日本精品一在线观看视频| 成人午夜视频在线| 亚洲一区二区无码视频| 丁香综合在线| a级毛片免费网站| 欧洲成人免费视频| 色婷婷成人网| 色综合中文字幕| www.国产福利| 激情六月丁香婷婷| 热久久这里是精品6免费观看| 国产亚洲精久久久久久久91| 99这里只有精品免费视频| 亚洲第一黄色网址| 一级毛片免费播放视频| 亚洲精品欧美日本中文字幕| 青青草a国产免费观看| 蜜臀av性久久久久蜜臀aⅴ麻豆 | 中文字幕日韩视频欧美一区| 欧美三级视频在线播放| 欧美一区中文字幕| 激情综合网址| 伊人AV天堂| 亚洲资源站av无码网址| 国产一级片网址| 国产欧美精品午夜在线播放| 国产99视频免费精品是看6| 欧美日韩在线成人| hezyo加勒比一区二区三区| 久久久久免费精品国产| 国产一级视频久久| 狠狠色丁婷婷综合久久| 在线a视频免费观看| 国产AV毛片| 97狠狠操| 国产一区二区三区在线观看视频 | 天天色天天操综合网| 国产成人综合网| 精品亚洲国产成人AV| 国产黄色爱视频| 国产成人精品18| 91精品网站| 亚洲视频无码| 好吊妞欧美视频免费| 国产欧美网站| 午夜天堂视频| 亚洲男人的天堂在线观看| 欧美成人综合在线| 99re热精品视频中文字幕不卡| 高清不卡毛片| 日本精品视频一区二区| 成人在线不卡视频| 九色视频最新网址| 免费AV在线播放观看18禁强制| 日韩视频免费| 亚洲欧洲一区二区三区| 国产va在线观看免费| 中文字幕不卡免费高清视频| 无码精品福利一区二区三区| 久久毛片网| 免费看a毛片| 色婷婷在线影院| 欧美福利在线| 国产农村精品一级毛片视频| 色欲色欲久久综合网| 好吊妞欧美视频免费| 久久久久亚洲AV成人网站软件| av天堂最新版在线| 国产精品香蕉在线| 色窝窝免费一区二区三区| 国产99精品久久| 久久久久无码精品| 精品亚洲欧美中文字幕在线看| 国产微拍一区二区三区四区| 亚洲成a∧人片在线观看无码| 熟女成人国产精品视频| 欧美一级大片在线观看| 黄色三级网站免费| 男人天堂伊人网| 国产成人亚洲综合a∨婷婷| 国产真实乱子伦精品视手机观看 |