集成學(xué)習(xí)研究現(xiàn)狀及展望

羅常偉 王雙雙 尹峻松 朱思宇 林 波 曹 江

1.軍事科學(xué)院戰(zhàn)爭研究院 北京 100091 2.清華大學(xué)電子工程系 北京 100084

當(dāng)前人工智能技術(shù)在軍事領(lǐng)域的應(yīng)用日趨廣泛,在目標(biāo)偵察、航路規(guī)劃、輔助決策等方面已經(jīng)發(fā)揮重要作用[1-2]. 以目標(biāo)偵察為例,無人機、偵察衛(wèi)星獲取地面圖像后,傳統(tǒng)作業(yè)方式需要人工讀圖,確定地面目標(biāo)的位置和類型. 人工讀圖費時費力,使用智能目標(biāo)偵察手段后,可以由機器進行判讀,顯著提升作業(yè)效率. 在指揮控制領(lǐng)域,人工智能技術(shù)對威脅分析、態(tài)勢感知、火力籌劃、方案推演、打擊效果評估、物資調(diào)度、身份識別等方面也具有應(yīng)用價值.

機器學(xué)習(xí)是人工智能技術(shù)的重要基礎(chǔ),也是學(xué)術(shù)界和工業(yè)界的研究熱點. 常用的機器學(xué)習(xí)模型包括邏輯回歸、樸素貝葉斯、決策樹、支持向量機、多層感知器、深度神經(jīng)網(wǎng)絡(luò)等. 單個機器學(xué)習(xí)模型用于分類或回歸任務(wù)時,由于模型復(fù)雜度或訓(xùn)練數(shù)據(jù)的限制,其性能往往達不到要求. 集成學(xué)習(xí)則通過已有機器學(xué)習(xí)模型的集成組合,能夠進一步提升性能. 在機器學(xué)習(xí)競賽平臺Kaggle 上,集成模型也是研究人員最常用的競賽模型. 文獻[3]對傳統(tǒng)的集成學(xué)習(xí)方法進行了總結(jié). 隨著多核學(xué)習(xí)以及深度學(xué)習(xí)的發(fā)展,集成學(xué)習(xí)的研究有了很大進步. 本文結(jié)合集成學(xué)習(xí)的最新研究成果,對集成學(xué)習(xí)的理論和方法進行了全面總結(jié)分析,并對技術(shù)發(fā)展趨勢進行了展望.

1 集成學(xué)習(xí)的概念

人們在進行重大決策前（如選擇就業(yè)單位、進行重大投資等）,通常會多方咨詢專業(yè)人士的意見,并綜合這些意見作出最終的決策. 集成學(xué)習(xí)就是模仿這種行為,通過機器學(xué)習(xí)模型對同一個問題進行多次學(xué)習(xí),得到多個基模型（也稱為基學(xué)習(xí)器,base learner）,并通過一定的方法對這些基模型進行集成組合,得到集成模型. 集成模型在性能上超過其中的任何單個基模型.

HANSEN 等在1990年提出了集成學(xué)習(xí)的概念,通過組合多個相似的神經(jīng)網(wǎng)絡(luò),顯著降低了分類器的泛化誤差[4]. 此后,FREUND 等提出了Adaboost 算法[5],將多個弱分類器組合成強分類器,且不需要弱分類器的先驗知識.Adaboost 在機器學(xué)習(xí)領(lǐng)域得到很大關(guān)注. BREIMAN 提出了bagging 集成學(xué)習(xí)方法以及隨機森林算法[6-7],對集成學(xué)習(xí)的發(fā)展產(chǎn)生了深遠影響. 近年來,研究人員將集成學(xué)習(xí)的方法應(yīng)用于深度神經(jīng)網(wǎng)絡(luò),顯示了深度神經(jīng)網(wǎng)絡(luò)集成模型的良好性能[8-9].

2 集成學(xué)習(xí)的理論

集成學(xué)習(xí)的理論是確保集成學(xué)習(xí)有效性的前提.集成學(xué)習(xí)研究的問題包括集成回歸、集成分類這兩類問題. 回歸問題通常處理連續(xù)目標(biāo)變量,而分類問題則處理離散目標(biāo)變量. 研究人員分別對集成回歸模型、集成分類模型的有效性進行了理論分析.

2.1 集成回歸模型

bias-variance 分解[10]是一種解釋集成回歸模型有效性的理論,其基本思想是將泛化誤差分解為偏差和方差,通過考察集成學(xué)習(xí)降低偏差和方差的能力來解釋集成學(xué)習(xí)的有效性. 在bias-variance 分解的基礎(chǔ)上,對方差作進一步分解,可得到bias-variancecovariance 分解[11]. 在回歸模型中,通常使用均方誤差來評價模型的回歸精度. 令t 表示回歸目標(biāo)值,fi為第i 個基模型的輸出,為集成回歸模型的輸出,則均方誤差可分解為:

其中,N 為基模型的數(shù)量,E[fi]表示期望值. 從式（1）可以看到,bias2和var 為非負值,而covar 能夠取負值. 當(dāng)bias2和var 保持不變時,減小covar 能夠使得均方誤差減小. 同時,增大基本模型的數(shù)量N,能夠減小var 的權(quán)重,并提高covar 的權(quán)重. 可見,只要訓(xùn)練多個相關(guān)性較小的基模型,通過組合就能得到均方誤差更小的集成模型.

2.2 集成分類模型

bias-variance 分解也被應(yīng)用于解釋集成分類模型的有效性,但對于分類問題,由于類標(biāo)簽的離散型性,使得bias-variance 分解對于分類模型的解釋并不直觀[12]. 此外,研究人員還提出了margin 理論,能夠很好地解釋boosting 等集成算法的有效性[13-14]. margin 理論認為,在訓(xùn)練樣本的數(shù)量和基本模型的復(fù)雜度保持不變的情況下,集成模型在訓(xùn)練集上的margin 分布的平均值越大,方差越小,其泛化誤差越小.因此,可以通過最大化margin 分布的平均值、最小化margin 分布的方差設(shè)計集成模型.

以二分類問題為例,記樣本的特征為x,類標(biāo)簽為y,y∈[-1,+1]. 當(dāng)采用多數(shù)投票規(guī)則集成時,集成模型在第j 個樣本（xj,yj）上的margin 定義為

表1 給出了一個二分類集成模型的示例,其中集成模型包含3 個基分類器. 基分類器的分類準(zhǔn)確率均為60%,即對于5 個樣本,每個基分類器能對其中3 個樣本作出正確分類,具體分類結(jié)果如表1 所示. 使用多數(shù)投票規(guī)則集成,則可計算得到集成模型的準(zhǔn)確率為80%. 集成模型的margin 均值為0.6,方差為0.8. 如果其他條件不變,僅第3 個基分類器的分類結(jié)果發(fā)生變化,如表2 所示,則集成模型的準(zhǔn)確率變?yōu)?0%,與基模型一致,并沒有分類效果的提升.此時集成模型的margin 均值為0.6,方差為2.8. 可見,在margin 平均值相同情況下、margin 方差越小,集成模型的準(zhǔn)確率越高.

表1 二分類集成模型的margin 分布示例1Table 1 Example 1 of margin distribution for binary classification and integration model

表2 二分類集成模型的margin 分布示例2Table 2 Example 2 of margin distribution for binary classification and integration model

對于二分問題,如果N 個分類器互相獨立,每個基分類器的分類準(zhǔn)確率為p,采用多數(shù)投票法進行集成,則根據(jù)二項式分布可計算得到集成模型準(zhǔn)確率為

可以證明,p＞0.5 時,不論基分類器數(shù)量N 為奇數(shù)或偶數(shù),accuracy_rate 都是隨著N 增大而單調(diào)遞增[4],在極限情況下,集成模型的準(zhǔn)確率為100%. 在實際問題中,基分類器很難做到互相獨立,因此,準(zhǔn)確率低于理論值.

3 集成學(xué)習(xí)的多樣性

從上述理論可以看出,集成模型的性能取決于基模型的數(shù)量、基模型的性能、集成策略、基模型之間的關(guān)系. 基模型之間的關(guān)系主要是指基模型的多樣性（diversity）. 多樣性是影響集成模型性能的關(guān)鍵因素[15-16]. bias-variance-covariance 分解是在回歸問題的前提下推導(dǎo)出來的,不適合描述分類情況下的多樣性. margin 理論也未闡釋margin 分布與多樣性的關(guān)系. 目前多樣性沒有統(tǒng)一的定義. 文獻[15]比較了多樣性的幾種度量方法. 研究表明,直接優(yōu)化這些多樣性的度量指標(biāo)并不能保證集成模型獲得更好的性能. 現(xiàn)有集成學(xué)習(xí)主要采用啟發(fā)式方法,從數(shù)據(jù)的多樣性、模型參數(shù)的多樣性、模型結(jié)構(gòu)的多樣性等方面提升基模型之間的多樣性.

1）數(shù)據(jù)的多樣性. 主要采用以下幾種方式增加數(shù)據(jù)的多樣性: 一是在數(shù)據(jù)集中,通過有放回的重采樣,生成若干不同的訓(xùn)練集,分別用于訓(xùn)練不同的基模型. 二是通過在特征空間中選取不同的特征子空間,訓(xùn)練不同的基模型. 三是在樣本中增加隨機噪聲或使用人造數(shù)據(jù).

2）模型參數(shù)的多樣性. 在訓(xùn)練過程中,可設(shè)置不同的訓(xùn)練參數(shù),或者給定不同的初始值,從而訓(xùn)練得到不同的模型.

3）模型結(jié)構(gòu)的多樣性. 一是對于同類型的基模型,可以改變模型的復(fù)雜度. 二是直接集成不同類型的基模型.

4 集成學(xué)習(xí)的主要方法

集成學(xué)習(xí)的主要方法包括bagging、boosting、stacking、多核學(xué)習(xí)、集成深度學(xué)習(xí)等幾類方法.

4.1 bagging 方法

bagging 是bootstrap aggregating 的縮寫,該方法是最早提出的集成學(xué)習(xí)方法之一[6]. 該方法通過有放回的從數(shù)據(jù)集中采樣,形成不同的訓(xùn)練子集,用于訓(xùn)練相應(yīng)的基模型. 同一個樣本可能會出現(xiàn)在幾個不同的訓(xùn)練子集中. 基模型訓(xùn)練好之后,可以通過簡單求平均、加權(quán)求平均、絕對多數(shù)投票法、相對多數(shù)投票法等方式進行集成. bagging 方法的基本流程如圖1所示,其重要特點是能夠?qū)Ｐ瓦M行并行訓(xùn)練. 目前,已有很多針對bagging 的改進方法[16]. 文獻[17]針對訓(xùn)練子集選擇隨機性的問題,提出了增強的bagging,在決策樹、支持向量機、樸素貝葉斯等模型集成時,取得了較好的分類效果. 文獻[18]提出了鄰域均衡bagging 方法,顯著提高了非均衡數(shù)據(jù)的分類性能.

圖1 bagging 方法基本流程Fig.1 Basic flow of bagging method

隨機森林是bagging 方法的另一種重要的進改形式. 隨機森林不僅使用bagging 方法抽取樣本,還使用隨機特征子空間進行分類樹或回歸樹的訓(xùn)練. 隨機森林在很多機器學(xué)習(xí)方法中得到了很大關(guān)注,研究人員也提出了很多改進的隨機森林[19-26]. 文獻[20]提出基于旋轉(zhuǎn)的方法增加樹的多樣性,從而提高隨機森林的精度. 文獻[21]提出的概率隨機森林,能夠提升回歸結(jié)果的精度和穩(wěn)定性. 文獻[25]對隨機森林的參數(shù)對性能的影響進行了分析. 文獻[26]對收斂性進行了評估分析. 可見,關(guān)于隨機森林的研究仍然很活躍.

4.2 boosting 方法

boosting 是一類增強集成學(xué)習(xí)方法,每個基模型都在嘗試增強集成模型的效果. boosting 方法的基本流程如圖2 所示. 從初始訓(xùn)練集中訓(xùn)練一個基模型.基模型對不同的訓(xùn)練樣本有不同的預(yù)測結(jié)果. 對于預(yù)測錯誤的樣本,增加其權(quán)重后,再訓(xùn)練下一個基模型. 重復(fù)上述過程,直至基模型的數(shù)量達到上限. 最后將所有基模型進行加權(quán). 典型的boosting 方法是Adaboost[5].Adaboost 使用指數(shù)損失函數(shù)訓(xùn)練弱學(xué)習(xí)器,通過線性組合一組弱學(xué)習(xí)器得到強學(xué)習(xí)器,弱學(xué)習(xí)器通常是深度為1 的決策樹. Adaboost 已經(jīng)有很多改進的版本,如增加了空間推理的SpatialBoost[27],以及針對回歸問題的gradient boosting[28]. XGBoost、LightGBM都包含gradient boosting 的算法改進及工程實現(xiàn)[29-30],可用于分類和回歸問題,能有效應(yīng)對于大規(guī)模的訓(xùn)練數(shù)據(jù)和高維的特征,在數(shù)據(jù)挖掘和機器學(xué)習(xí)領(lǐng)域得到較為廣泛應(yīng)用.

圖2 Boosting 方法基本流程Fig.2 Basic flow of boosting method

4.3 stacking 方法

stacking 是一類堆疊集成算法[3,31]. 通常是先利用bagging 方法生成一組基模型,然后將基模型的輸出作為輸入,訓(xùn)練另一個機器學(xué)習(xí)模型（稱為元模型,meta model）,從而將基模型進行集成組合,如圖3 所示. 如果直接使用基模型的訓(xùn)練集來產(chǎn)生元模型的訓(xùn)練集,則很容易出現(xiàn)過擬合問題. 因此,通常采用交叉驗證的方法訓(xùn)練基模型,并由此生成元模型的訓(xùn)練集. 基模型可以是非同質(zhì)的,元模型通常選擇比基模型更為簡單的機器學(xué)習(xí)模型. 文獻[31]使用隨機森林、均衡bagging、支持向量機等作為基模型,邏輯回歸最為元模型進行集成. 由于人工選擇基模型、元模型難以達到最優(yōu)性能,文獻[32]提出一種遺傳算法優(yōu)化stacking 集成模型的結(jié)構(gòu). 文獻[33]使用蟻群算法來選擇基模型和元模型. 針對非均衡分類問題,文獻[34]提出一種基于鄰域欠采樣的堆疊集成算法,根據(jù)局部鄰域信息選擇大類的樣本形成數(shù)據(jù)子集.

圖3 stacking 方法基本流程Fig.3 Basic flow of stacking method

4.4 多核學(xué)習(xí)

多核學(xué)習(xí)是機器學(xué)習(xí)領(lǐng)域的一個新的熱點問題[35]. 核方法是解決非線性機器學(xué)習(xí)問題的有效方法. 由于數(shù)據(jù)異構(gòu),特征類型的差異、樣本分布不規(guī)則等原因,單個核函數(shù)構(gòu)成的機器學(xué)習(xí)模型并不能滿足應(yīng)用需求. 將多個核函數(shù)進行集成組合,能夠獲得更好的結(jié)果. 核函數(shù)的組合方式主要包括多核線性組合、多核擴展組合方法、非平穩(wěn)線性組合方法等[36-42]. 多核學(xué)習(xí)的基本流程如圖4 所示.

圖4 多核學(xué)習(xí)方法基本流程Fig.4 Basic flow of multiple kernel learning method

可以使用固定的權(quán)重對多個核函數(shù)進行加權(quán),得到組合的核函數(shù). 這種方式難以達到較好的性能,因此,研究人員通常使用基于優(yōu)化的方法求解核函數(shù)的權(quán)重. 例如,將組合的核函數(shù)與支持向量機結(jié)合起來,通過半正定規(guī)劃[37]等優(yōu)化方法進行求解核函數(shù)的權(quán)重. 文獻[38]提出一種自適應(yīng)二范數(shù)正則化方法求解核矩陣的權(quán)重. 為解決大規(guī)模的多核學(xué)習(xí)問題,文獻[39]提出EasyMKL,能夠有效集成大量核函數(shù),并顯著降低計算時間. 文獻[40]提出一種基于隨機方差減小的多核學(xué)習(xí)方法,實現(xiàn)對多種特征的最優(yōu)組合. 文獻[41]對傳統(tǒng)的多核學(xué)習(xí)方法進行了總結(jié). 文獻[43-44] 分別總結(jié)了高光譜圖像分類、視覺目標(biāo)識別中的多核學(xué)習(xí)方法. 此外,多核學(xué)習(xí)與深度學(xué)習(xí)進行結(jié)合也逐漸成為研究熱點[45-46].

4.5 集成深度學(xué)習(xí)

隨著深度學(xué)習(xí)的發(fā)展,集成學(xué)習(xí)的思想逐漸應(yīng)用于深度學(xué)習(xí). 深度學(xué)習(xí)通常采用隨機梯度下降方法進行訓(xùn)練,這使得深度學(xué)習(xí)模型對訓(xùn)練數(shù)據(jù)和初始參數(shù)較為敏感,從而導(dǎo)致模型在預(yù)測時可能具有較大的方差. 減小方差最直接的方法是,將深度學(xué)習(xí)模型作為基模型,并采用bagging 方法訓(xùn)練多個深度學(xué)習(xí)模型,然后使用投票法、加權(quán)平均等方法進行模型集成[47-48]. 文獻[47]使用5 種不同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)進行集成,包括ResNet,Inception-v3,DenseNet等[49-51],每個卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network,CNN）單獨進行訓(xùn)練. 最后將所有模型的輸出求平均,得到集成模型的輸出. 多列（multi-column）深度神經(jīng)網(wǎng)絡(luò)也是一種集成模型[48],每一列是一個卷積神經(jīng)網(wǎng)絡(luò). 通過平均法進行集成. 文獻[52]提出多列稀疏自編碼網(wǎng)絡(luò),能夠自動計算每列網(wǎng)絡(luò)的最優(yōu)權(quán)重.文獻[53]使用多個不同深度的ResNet 進行集成,并用于車輛類型的識別. 由于訓(xùn)練多個神經(jīng)網(wǎng)絡(luò)需要較大的訓(xùn)練成本,文獻[54]提出snapshot 集成方法. 該方法只需要訓(xùn)練一個神經(jīng)網(wǎng)絡(luò),通過采用循環(huán)學(xué)習(xí)率策略,使得神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中,快速收斂到多個局部最優(yōu)解,并保存這些神經(jīng)網(wǎng)絡(luò)模型的參數(shù). 在測試時,對這些模型的預(yù)測結(jié)果進行平均. 實驗表明該方法在不增加訓(xùn)練成本的情況下,仍能得到錯誤率較低的集成模型. 文獻[55]使用CNN 從圖像塊提取層次化的特征,然后根據(jù)這些特征使用Adaboost 方法判別圖像塊屬于前景還是背景. 這種方式僅僅是在Adaboost 中利用了深度特征訓(xùn)練決策樹. 文獻[56]提出Deepboost 方法. Deepboost 與Adaboost 類似,但能夠使用深度決策樹作為基學(xué)習(xí)器且不會導(dǎo)致過擬合,這在處理復(fù)雜的分類問題時更為有利. 文獻[57]對Deepboost進行了拓展,使其能夠處理多分類問題.

boosting 方法也能直接用于深度神經(jīng)網(wǎng)絡(luò)集成.文獻[58]使用gradient boosting 方法集成多個小型CNN,并將其應(yīng)用于對圖像進行目標(biāo)計數(shù). 該方法在訓(xùn)練第1 個CNN 之后,根據(jù)的預(yù)測誤差訓(xùn)練下一個CNN,依次類推. 實驗表明,該boosting 方法得到的集成模型在精度上優(yōu)于bagging 方法得到的集成模型.文獻[59]提出boosting CNN,boosting CNN 同樣使用CNN 作為基模型,通過GD-MCBoost[60]方法進行集成.其他基于boosting 的深度集成學(xué)習(xí)方法還包括boosted deep belief network（BDBN）[61]、deep boosting framework（DBF）[62]、DBDnet[63]等. 文獻[64]提出增量boosting CNN,用于減輕過擬合問題. 文獻[65]提出了snapshot boosting 方法,能夠在訓(xùn)練成本和集成模型的精度上取得較好的平衡.

文獻[66]將深度神經(jīng)網(wǎng)絡(luò)堆疊后用于對圖像去模糊,取得較好地效果. 將深度神經(jīng)網(wǎng)絡(luò)與其他機器學(xué)習(xí)模型進行堆疊,也是一種有效的集成學(xué)習(xí)策略.文獻[67]提出了深度神經(jīng)決策森林（deep neural decision forest,DNDF）,通過在決策樹的分裂節(jié)點引入可微分的決策函數(shù)及全局損失函數(shù),使得分裂節(jié)點的參數(shù)可以通過反向傳播的方式進行學(xué)習(xí),從而將決策樹與深度神經(jīng)網(wǎng)絡(luò)組合在一起進行學(xué)習(xí). 文獻[68]在上述方法的基礎(chǔ)上進一步提出了深度標(biāo)簽分布學(xué)習(xí)森林（deep label distribution learning forest,DLDLF）和深度回歸森林（deep regression forest,DRF）,分別用于分類和回歸問題. 這兩種集成模型都是將深度神經(jīng)網(wǎng)絡(luò)的全連接層連接到隨機森林,并可進行端到端的訓(xùn)練.

此外,模糊決策方法、多核學(xué)習(xí)的方法也用于深度神經(jīng)網(wǎng)絡(luò)的集成[46,69]. 文獻[46]對多核學(xué)習(xí)與深度學(xué)習(xí)相結(jié)合的方法進行了總結(jié).

深度學(xué)習(xí)模型的規(guī)模不斷增加,其訓(xùn)練也更加困難. 文獻[70]的研究結(jié)果表明,通過集成輕量級的神經(jīng)網(wǎng)絡(luò),其性能可以超過單一的大型神經(jīng)網(wǎng)絡(luò). 同時,將集成模型轉(zhuǎn)換為級聯(lián)的模型,能夠減少計算量并在很大程度上保持集成模型的精度.

5 集成學(xué)習(xí)需要關(guān)注的重點問題

集成學(xué)習(xí)的研究雖然取得了較大發(fā)展,但現(xiàn)有方法在精度、速度以及算法復(fù)雜度等方面都還存一定的不足. 未來集成學(xué)習(xí)需要重點關(guān)注以下幾個方面:

1）集成學(xué)習(xí)的理論還需進一步研究. 目前集成學(xué)習(xí)的理論對部分集成模型的有效性進行了闡釋,但對集成模型多樣性的定義、多樣性的度量還沒有形成共識. 特別是如何實現(xiàn)多樣性,還需要更明確的理論指導(dǎo).

2）集成學(xué)習(xí)需要更加注重多層次的信息融合.信息融合包括數(shù)據(jù)層、特征層、決策層等多個層次的融合. 現(xiàn)有的集成學(xué)習(xí)方法,主要是將多個基模型在決策層進行融合,忽視了數(shù)據(jù)層、特征層的融合.以圖像分類為例,現(xiàn)有方法主要根據(jù)可見光圖像進行目標(biāo)分類. 在軍事領(lǐng)域,除了可見光圖像,還有大量的紅外圖像、合成孔徑雷達圖像等,集成學(xué)習(xí)過程中應(yīng)充分融合這些圖像. 在智能人機交互領(lǐng)域,集成學(xué)習(xí)方法需要將語音、手勢、面部表情等多模態(tài)信息進行融合處理,才能實現(xiàn)更高水平的機器智能.

3）需要研究快速高效的集成深度學(xué)習(xí)方法. 深度學(xué)習(xí)需要的大量的訓(xùn)練數(shù)據(jù),訓(xùn)練時間長、訓(xùn)練成本高. 集成深度學(xué)習(xí)使用多個深度神經(jīng)網(wǎng)絡(luò)作為基模型,對訓(xùn)練數(shù)據(jù)、訓(xùn)練時間和成本有更高地要求. 研究如何確定基模型的類型和規(guī)模、如何快速訓(xùn)練和測試深度集成模型,對模型的應(yīng)用具有重要意義.