基于大數(shù)據(jù)的復(fù)雜超參數(shù)優(yōu)化組合方法仿真

李發(fā)陵，彭 娟

(重慶工程學(xué)院，重慶 400056)

1 引言

超參數(shù)的應(yīng)用已經(jīng)涉及到各個領(lǐng)域，在一般的機(jī)器學(xué)習(xí)技術(shù)中，超參數(shù)是必要的初始數(shù)據(jù)設(shè)置步驟。該參數(shù)是一種影響力較大的關(guān)鍵性系數(shù)，關(guān)系到學(xué)習(xí)效率及性能效果，所以很多學(xué)習(xí)方案及模型都會對超參數(shù)進(jìn)行預(yù)先優(yōu)化組合處理，提升激活函數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)以及學(xué)習(xí)效率的性能，同時優(yōu)化組合程度也將直接決定學(xué)習(xí)算法的各項(xiàng)性能及實(shí)際應(yīng)用的效果。適用性高的優(yōu)化技術(shù)欠缺，導(dǎo)致手動設(shè)置與調(diào)整超參數(shù)具有一定的困難性，需要通過大量的嘗試才能獲得最優(yōu)結(jié)果，難度系數(shù)較高且效率較低，引起了相關(guān)研究領(lǐng)域的高度重視。

其中，文獻(xiàn)[1]的研究學(xué)者提出一種基于改進(jìn)貝葉斯的超參數(shù)優(yōu)化算法，采集大量與超參數(shù)相關(guān)的負(fù)荷數(shù)據(jù)，分析權(quán)重梯度較低的超參數(shù)與正常超參數(shù)之間的變量關(guān)系，相互對應(yīng)組合，實(shí)現(xiàn)加速優(yōu)化。同時也對各項(xiàng)指標(biāo)的要求較高、整體實(shí)用性不強(qiáng)、算法實(shí)施較為困難；文獻(xiàn)[2]則是根據(jù)特定粒子，選擇結(jié)合高斯過程回歸函數(shù)，實(shí)現(xiàn)超參數(shù)的具體化，同時賦予所有參數(shù)同等粒子數(shù)，根據(jù)差分公式計(jì)算得出粒子表示較低的參數(shù)，再實(shí)行統(tǒng)一優(yōu)化。該方法雖然優(yōu)化效率較高，但過程中的影響因素過多，優(yōu)化后結(jié)果誤差較大。

綜合上述問題，針對優(yōu)化難度系數(shù)較高、數(shù)據(jù)基數(shù)過大的問題，提出基于大數(shù)據(jù)的復(fù)雜超參數(shù)優(yōu)化組合算法。利用超參數(shù)自身的學(xué)習(xí)特點(diǎn)，給出完整的三層優(yōu)化框架，實(shí)現(xiàn)精準(zhǔn)檢驗(yàn)，并層層分析推理最終得出，具有高精準(zhǔn)度的最大似然函數(shù)。滿足了參數(shù)優(yōu)化的高準(zhǔn)確率需求，同時算法過程計(jì)算簡單直觀，可實(shí)現(xiàn)高效優(yōu)化。

2 優(yōu)化函數(shù)數(shù)據(jù)采集過程

(1)

式中，φ(λ)和α(λ)分別為置信空間內(nèi)優(yōu)化函數(shù)的評估值；參數(shù)φ可以使空間內(nèi)的超參數(shù)數(shù)據(jù)保持平衡狀態(tài)。這樣就能在一定程度上減少優(yōu)化過程中出現(xiàn)絕對誤差，增加期望值[4]EI，計(jì)算公式為

EI(λ|φ，α)=E[max(0f(λ)-f(λbesl))]

(2)

式中，λbesl為準(zhǔn)確判定出置信空間匯總測試訓(xùn)練集的最優(yōu)函數(shù)解[5]，便于實(shí)現(xiàn)數(shù)據(jù)的觀察與分析。并且，通過該過程最優(yōu)函數(shù)采集，可以提高復(fù)雜超函數(shù)優(yōu)化的目標(biāo)搜索精度，提高優(yōu)化算法的性能。

3 基于大數(shù)據(jù)的復(fù)雜超參數(shù)優(yōu)化組合框架

以上述采集獲得超優(yōu)化參數(shù)Dn作為輸入值，進(jìn)行后續(xù)的優(yōu)化組合計(jì)算。一般情況下，超參數(shù)優(yōu)化組合的主要目的是使問題的似然函數(shù)呈現(xiàn)最大化，這樣就能更加直觀、便捷且清晰地理解數(shù)據(jù)呈現(xiàn)的信息。在優(yōu)化框架下，將似然函數(shù)[6]解為指標(biāo)，根據(jù)采集數(shù)據(jù)的屬性層次劃分為以下幾種形式。

第一層次為初始采集的超參數(shù)Dn，結(jié)合貝葉斯變換規(guī)則[7]計(jì)算推理該參數(shù)可得

(3)

式中，B和ξ分別為另外兩種對比參數(shù)，作為參考向量使用，P(B|a，Dn，ξ)為最大似然函數(shù)；P(a|B，Dn，ξ)為參數(shù)a的后檢驗(yàn)概率；P(a|Dn，ξ)則表示參數(shù)a的先檢驗(yàn)概率。數(shù)據(jù)分布形式一般是由超參數(shù)Dn進(jìn)行控制，那么P(B|Dn，ξ)可表示為歸一化處理后的參數(shù)因子[8]。

第二層次變換上述變換框架，超參數(shù)Dn的對應(yīng)推導(dǎo)為

(4)

式中，P(Dn|B，ξ)為第二層次最大似然函數(shù)；P(B|Dn，ξ)為超參數(shù)Dn的后檢驗(yàn)數(shù)據(jù)概率[9]；P(Dn|ξ)為超參數(shù)Dn的先檢驗(yàn)數(shù)據(jù)概率；P(B|ξ)為進(jìn)行歸一化處理后的第二層次參數(shù)因子。

第三層次根據(jù)第二層次框架基礎(chǔ)進(jìn)行推理，參考系數(shù)ξ推導(dǎo)處理為

(5)

式中，P(B|ξ)為第三層次最大似然函數(shù)；P(ξ|B)為超參數(shù)ξ的后檢驗(yàn)數(shù)據(jù)概率[10]；P(ξ)為超參數(shù)ξ的先檢驗(yàn)數(shù)據(jù)概率；P(B)為進(jìn)行歸一化處理后的第三層次參數(shù)因子。

基于上述的三種層次設(shè)計(jì)，給出具體的超參數(shù)組合優(yōu)化的執(zhí)行框架示意，該框架具體描述了三種層次的優(yōu)化實(shí)現(xiàn)步驟，如圖1所示。

圖1 超參數(shù)優(yōu)化組合執(zhí)行框架

4 復(fù)雜超參數(shù)優(yōu)化組合算法實(shí)現(xiàn)

經(jīng)過上述過程的推理計(jì)算，得到超參數(shù)Dn的后檢驗(yàn)概率范圍為P(Dn|B，ξ)∝P(B|Dn，ξ)。假設(shè)，先檢驗(yàn)數(shù)據(jù)概率P(Dn|，ξ)符合最大似然的函數(shù)分布，那么就能計(jì)算求出：經(jīng)過問題轉(zhuǎn)化后最大似然函數(shù)P(B|ξ)的值。超參數(shù)Dn最大化可以等效替代最小化，表示為M(a)，就能利用拉普拉斯變換法[11]展開對最小值M(a)系數(shù)的計(jì)算。當(dāng)超參數(shù)Dn的最小化函數(shù)amp處于一級階段時，M(a)可表示為

M(a)=M(aMP)+0.5(a-amp)TA(a-amp)

(6)

式中，A為優(yōu)化概率系數(shù)，表示公式為

A=?2M

(7)

超參數(shù)Dn的后檢驗(yàn)數(shù)據(jù)概率P(B|Dn，ξ)可以轉(zhuǎn)換為以下形式

(8)

為了能得到最優(yōu)化組合的超參數(shù)Dn，令lnP(B|Dn，ξ)對超參數(shù)Dn的計(jì)算導(dǎo)數(shù)取值為0，這樣得出最大后檢驗(yàn)數(shù)據(jù)概率Dn·mp為

(9)

其中，β代表最終的后檢驗(yàn)參考權(quán)重[13]，表示為

(10)

這時，就可利用Hessian黑塞矩陣[14]，重新表示優(yōu)化概率系數(shù)A，獲得矩陣為

(11)

獲得二階的優(yōu)化導(dǎo)數(shù)，其中zi、yi、bi分別為參考超參數(shù)z、y、b矩陣中i第行數(shù)據(jù)。利用最大似然函數(shù)P(B|ξ)替換計(jì)算該函數(shù)，得到階躍函數(shù)fst(u)

(12)

式中，ηu表示矩陣階躍函數(shù)[15]值，且ηu?0，將式(12)代入到式(11)中，推導(dǎo)出優(yōu)化概率系數(shù)A為

(13)

式中，μk為優(yōu)化矩陣參數(shù)，取值范圍μk=(μk，…，μk1)T，那么矩陣可重新表示為

(14)

(15)

式中，ρ′i和ρ′j則為第i行和第j列數(shù)據(jù)元素權(quán)重值，進(jìn)行逆求解就能得出

(16)

(17)

獲得超參數(shù)Dn具體優(yōu)化組合表達(dá)，那么關(guān)鍵迭代優(yōu)化因數(shù)δn的最終門限計(jì)算公式為

(18)

利用超參數(shù)Dn變化特點(diǎn)，計(jì)算得到最小化函數(shù)amp，再依據(jù)關(guān)鍵迭代優(yōu)化因數(shù)δn迭代計(jì)算出最小門限差值，達(dá)到優(yōu)化組合下的預(yù)設(shè)效果。該優(yōu)化因數(shù)決定了對超參數(shù)進(jìn)行組合優(yōu)化的具體性能效果，該數(shù)值越高表示優(yōu)化的最終數(shù)值越預(yù)設(shè)數(shù)值越為接近，算法表現(xiàn)越優(yōu)越；反之?dāng)?shù)值越低，就表示與預(yù)設(shè)數(shù)值相差越遠(yuǎn)，算法表現(xiàn)越差，優(yōu)化效果不理想。

5 仿真分析

5.1 仿真設(shè)置

通過仿真分析，證明本文算法對復(fù)雜超參數(shù)優(yōu)化組合的性能，為保證實(shí)驗(yàn)數(shù)據(jù)的真實(shí)性和直觀性，與改進(jìn)貝葉斯優(yōu)化算法和高斯過程回歸優(yōu)化算法進(jìn)行性能對比。

優(yōu)化組合目的，是為了更清晰準(zhǔn)確描述目標(biāo)問題解數(shù)據(jù)的信息，若優(yōu)化組合下解與預(yù)設(shè)值存在較大誤差，則證明方法優(yōu)化性能差。為此以平均求解誤差作為評價指標(biāo)，將超參數(shù)的函數(shù)求解次數(shù)作為參考變量。其中，平均求解誤差計(jì)算公式為

(19)

實(shí)驗(yàn)所使用的參考數(shù)據(jù)集：來自軟件開發(fā)的Access數(shù)據(jù)庫，其中包含287601條相關(guān)參數(shù)數(shù)據(jù)，分為500種不同的參數(shù)類別，每類數(shù)據(jù)共包含30個特征，可以解決數(shù)據(jù)分配不平衡問題。實(shí)驗(yàn)采用交叉驗(yàn)證方法，經(jīng)過多次訓(xùn)練，優(yōu)化測試集數(shù)據(jù)。表1中“class”表示抽樣數(shù)據(jù)的階級層數(shù)，這里使用了兩層階級數(shù)據(jù)讓訓(xùn)練集達(dá)到負(fù)載平衡。

5.2 超參數(shù)優(yōu)化組合求解誤差對比

為了能更加直觀準(zhǔn)確地判定超參數(shù)組合優(yōu)化的實(shí)驗(yàn)效果，將分別在一級、二級以及三級的不同復(fù)雜等級下，進(jìn)行誤差判定實(shí)驗(yàn)。其中一等級復(fù)雜程度較高，表現(xiàn)為超參數(shù)分解基數(shù)最大、特征分布最為混亂；二級復(fù)雜等級處于居中階段，表現(xiàn)為分解基數(shù)較多、部分特征點(diǎn)分布混亂；三級復(fù)雜等級，則為多數(shù)情況下正常等級，分解基數(shù)及目標(biāo)數(shù)量都為正常值，特征點(diǎn)分布均勻。將本文算法與改進(jìn)貝葉斯優(yōu)化算法、高斯過程回歸優(yōu)化法進(jìn)行求解誤差對比，得出3種復(fù)雜等級下求解誤差數(shù)值，具體實(shí)驗(yàn)結(jié)果如圖2～圖4所示。

圖2 改進(jìn)貝葉斯優(yōu)化算法的平均求解誤差

從圖2中可以看出，改進(jìn)貝葉斯優(yōu)化算法求解誤差較大，隨著優(yōu)化函數(shù)求解次數(shù)增加，誤差曲線在下降，但幅度變化不明顯。曲線波動性較強(qiáng)，穩(wěn)定性較差。同時復(fù)雜等級越高，誤差表現(xiàn)越強(qiáng)，數(shù)值變化幅度越大。這說明，該算法不具備很好地優(yōu)化性能，對復(fù)雜情況的包容性差。

從圖3可知，與改進(jìn)貝葉斯優(yōu)化算法相比該方法誤差結(jié)果明顯較低，整體曲線沒有出現(xiàn)較為突出的差值變化，但是對復(fù)雜等級較高的超參數(shù)，優(yōu)化效果不是很理想。這主要是因?yàn)?，該方法過于注重超參數(shù)優(yōu)化組合效率問題，反而忽略了復(fù)雜參數(shù)所影響的梯度變化，導(dǎo)致梯度變化影響優(yōu)化因數(shù)的計(jì)算與搜尋，最終使得整體優(yōu)化效果下降。

圖3 高斯過程回歸優(yōu)化法的平均求解誤差

由圖4可知，與上述兩種方法相比，本文算法的求解誤差數(shù)值是最小的，曲線變化基本保持一致，隨著優(yōu)函數(shù)求解次數(shù)不斷上升，曲線也沒出現(xiàn)大幅度下降，一致處于較為平穩(wěn)狀態(tài)。這說明本文優(yōu)化性能優(yōu)異，不需要多次迭代就能達(dá)到較為理想的水平。即使復(fù)雜等級高，也沒有影響到結(jié)果精度，整體的誤差變化都在可承受范圍以內(nèi)。主要是因?yàn)椴捎昧巳值燃壍臋z驗(yàn)，減少了超參數(shù)的不平衡性，提高了整體算法的性能。

圖4 本文優(yōu)化算法的平均求解誤差

5.3 參數(shù)顯著度對比

三種算法超參數(shù)優(yōu)化組合解的顯著度數(shù)值實(shí)驗(yàn)結(jié)果，如下圖5所示。顯著度越高表示優(yōu)化組合方法內(nèi)關(guān)鍵迭代優(yōu)化因數(shù)δn越優(yōu)，所能獲得的解與預(yù)設(shè)值越接近，優(yōu)化效果越好；反之則越為越差。

圖5 三種算法的超參數(shù)優(yōu)化組合顯著度

從圖5中可以看出，本文方法顯著度曲線是最高的，其它兩種方法顯著度明顯較低，這說明本文方法內(nèi)的關(guān)鍵迭代優(yōu)化因數(shù)δn最優(yōu)，且經(jīng)過多次求解次冪運(yùn)算依舊保持較高顯著度數(shù)值。這是因?yàn)楸疚脑诔跗诰筒杉司哂型癸@性的超參數(shù)，又通過多層次訓(xùn)練獲得降低組合中不確定性參數(shù)先、后驗(yàn)數(shù)據(jù)概率，實(shí)現(xiàn)最優(yōu)組合，提升對問題的描述能力。

6 結(jié)論

本文針對超參數(shù)求解準(zhǔn)確率低，結(jié)果顯著性差問題，給出了優(yōu)化組合解決方案，并通過分析超參數(shù)的梯度變化特征，建立分級層次計(jì)算框架。分層計(jì)算實(shí)現(xiàn)最優(yōu)超參數(shù)的表達(dá)理解。最后，仿真結(jié)果證明，所提優(yōu)化組合算法具有較高的準(zhǔn)確性、整體誤差變化較小，算法可高效達(dá)到期望的優(yōu)化數(shù)值。并且對于數(shù)值求解的顯著度較高，在保證優(yōu)化性能的前提下還能增強(qiáng)數(shù)據(jù)提取的準(zhǔn)確性和時效性。而如何提高對復(fù)雜超參數(shù)優(yōu)化組合的收斂速度將會是下一步的研究重點(diǎn)。