基于模型組合的網絡迭代識別法

丁霖澤，葸娟霞

（廣東東軟學院 信息管理與工程學院，廣東 佛山 528200）

0 引言

當前神經網絡的應用已涉及到各個領域［1］，在智能控制、模式識別、計算機識別［2］等方面取得了長足的發展［3］BP 算法具有非線性轉移函數的三層前饋網絡，體現了人工神經系統的最精華部分。

神經網絡在實際問題應用中，受自身梯度下降、步長規則等因素影響，在處理時會遇到4 種常見問題［4］：

（1）由于實際問題規模往往很大，因此理論上需要神經網絡與其相匹配，而網絡過大，將極大降低網絡的推廣能力，不能發現其合理規則，從問題中選取典型實例組合是困難的。

（2）神經網絡在執行梯度下降時，其所需的最小化目標過于復雜，因此必然會出現“鋸齒形現象”［4］。

（3）運行中往往可能陷入“局部最優陷阱”從而無法達到學習目的。

（4）在BP 網絡用于識別時，自身算法往往存在收斂速度緩慢、網絡性能較差、誤差平方和函數可能有局部極小點出現的可能性，以及學習率不穩定的問題［5］。

綜上所述，如采用自適應學習速率等不依賴梯度信息［6］，但是收斂精度可能不高［7］；采用進化算法，進行優化計算來確定，對大規模FNN，工作量大，耗時過長且無法保證效果；采用刪除冗余樣本信息的特征樣本［8］，驗證樣本誤差的下降趨勢決定何時結束訓練，一旦出現部分數據與目標關系較小，將會導致完全刪除。

針對單模型容易丟棄或無視數據潛在的影響因素，本文提出基于模型組合的網絡迭代法（LDKB），該方法基于多模型建立數據流循環模型，在保證主題結構完整的前提下，有效減少單模型的局限性，實現數據精確化展現。LDKB 法通過數據流循環過程，迭代模型組合，使其在現有機器學習模型下，通過模型優化數據，獲得較高精度結果，多次迭代后模型組合策略為總體精度提升帶來積極影響。

1 LDKB 算法實現

1.1 模型組合流程參數計算

LDKB 算法的組合流程如圖1 所示，其實現步驟如下：

（1）首次循環進入決策樹部分（剪枝詳見1.4節）分 別使 用Enter、Forward、Remove、Backward、Stepwise 5 種方法篩選變量優化回歸模型，并利用Chi-Square、-2 Log likelihood、BIC、AIC 作為衡量標準確立回歸部分的最優參數［9］。

（2）以0.1 為基礎，引用函數“cv”在每一次迭代中使用交叉驗證，并返回理想的樹數量，利用bagging 算法降低泛化誤差，計算基尼系數分割父子節點，獲取子節點的計算反饋數據模型迭代前最優化樹。

（3）選取目標中的一個樣本點作為第一個聚類中心，計算每個樣本點與當前已有聚類中心的最短距離，即

則樣本點被選為下一個簇中心的概率為

（4）在神經網絡階段，確定隱藏層中采用tanh函數作為激活函數，計算隱藏層神經元個數為

數據中共有11 個字段，分別計算其權重w與偏差b相對于損失的梯度，所有字段的權重w總和與偏差b的總和為：

（5）更新系統數據，以融合得到新的類別與數據。

（6）重復執行步驟（2）～步驟（5）直至循環的第N次輸出模型效果小于N -1，保存最佳輸出結果。

1.2 組循環判斷實現

（1）原理：取最優組合權重向量，利用精度法判斷最優模型組合。

（2）實現：當c為真實值，b為使用LDKB 法輸出其中一節得到的預測值數，a為使用LDKB 法另一節得到的預測值，那么利用精度法有：

即可由公式（7）、（8）得到輸出預測值x。

（3）利用結果構造損失函數，用來估量模型的預測值f（x）與真實值Y的不一致程度：

（4）利用拉格朗日乘數法得最優組合權重向量，以預測誤差平方最小為最優構架優化模型，獲取最優組合：

由式（10）～式（12）可得組合預測平方和最小值j。

1.3 BP 模型損失函數

在LDKB 法的BP 網絡部分進行識別類時，使用softmax 模型利用權重參數w，偏差b（即上文提到的預測輸出值個數），將輸出值作為對該類別的置信度，通過softmax 模型將其轉化為正且為1 的概率分布［10］。對于訓練集樣本，構造向量y∈Rq，其屬于哪個類別，就將那個類別的值置為1。使用交叉熵函數訓練：

訓練BP 網絡時，由于輸入數據標簽已經確定（分布率P（x）已經確定），因此信息熵為常量［11］。KL 散度等于交叉熵-信息熵，因此需要最小化KL散度，所以選用交叉熵損失函數計算loss 即可。

1.4 特征分箱與WOE 編碼

LDKB 法進入循環前，需將連續變量離散化或將多狀態的離散變量組合并成少狀態的變量，易于LDKB 模型的快速迭代。根據向導變量，將現有的連續變量按照導向變量間差異最大化的原則離散化為分類變量。

在LDKB 法的邏輯回歸部分，由于數據流中數據難以判斷線性相關關系，數據存在極大偶然性，因此需要WOE 編碼將回歸系數“正則化”。WOE 法公式如下：

公式（14）利用審批中的good 與bad 比例作為條件，分別計算數據流分箱各項的WOE 值。通常情況下，可以通過建立較少的分箱提高數據的平滑性，WOE 重新編碼后可以很容易的建立自變量與目標變量間的單調關系。

1.5 決策剪枝

在LDKB 法的決策樹部分，最容易出現的問題是過擬合［12］。剪枝過程需針對i層的計算，其關鍵需要獲得等于n +1 循環操作的FLOPS，即

用權重因素的剪枝算法運行中，第i層保留的FLOPS為

因此，在LDKB 算法下的FLOPS計算量差異為

通過式（14）的推導，在相同的剪枝策略下，LDKB 法的剪枝不但沒有增加計算，反而降低了訓練時間。

2 實驗結果分析

2.1 實驗設置

文章采用LDKB 法，利用銀行中的個人信用評級數據作為測試數據流進行循環處理，分別記錄循環中輸出的模型概況與模型準確率等提升情況，比較LDKB 法與單模型訓練差距，用以驗證LDKB 法的優勢。

2.1.1 簡介與預處理

本文使用數據是來自銀行對于客戶的申請信息表、匯總信息表，消費記錄表與拖欠記錄表構成，數據總量1 萬條。摘除重復的字段，將缺失率超過50%的數據字段舍去。無法簡單歸一化變量，利用隨機森林算法進行數值填充。加入WOE 編碼將分箱后的字段分別計算其WOE 值，將回歸系數“正則化”（詳見1.4 節）。

2.1.2 回歸部分

回歸階段使用部分差量較大的字段，利用WOE編碼（詳見1.4 節）平滑數據，顯示good 與bad 的差異。利用Forward、Remove、Backward、Stepwise 優化回歸模型，以及Chi-Square、-2 Log likelihood、BIC、AIC 作為衡量標準，確立回歸部分的最優參數。

2.1.3 決策樹部分

利用拉格朗日乘數法得LDKB 循環最優組合中含有決策樹模型結果輸出見表1。LDKB 法循環中數據流會逐步通過選用模型調整與完善，因此不會受到原數據反向Acc 的質量影響。

循環中的總數據流經過LDKB 算法優化，驗證對于識別目標的影響程度，僅用作數據增強后的字段篩選，輸出終止n -1 次最優效果。

由表1 可看出，決策樹模型被選中循環6 次，從Acc、AUC、Gini 系數看出其中第1，2 次循環數據雜冗嚴重且準確率低，在循環過程中數據流逐步被優化，在第6 次調用時準確率下降循環終止，輸出影響因素字段。

2.1.4 聚類部分

表2，利用LDKB 法循環中，聚類被選用3 次，同時LDKB 法報出amount 為2 或3 時，quality 值相等的特殊情況。因此，LDKB 法在循環運行時首先在BP 網絡識別階段驗證首類中是否存在A 與B 完全分開互補影響的情況，再進行下一類迭代。

表2 聚類迭代節點Tab.2 Clustering iteration node

2.1.5 類神經網絡部分

本研究在BP 網絡循環節點中準確率于2 簇網絡起并于4 簇網絡開始回弱，見表3。

表3 BP 網絡迭代節點Tab.3 BP network iteration node

表3 利用LDKB 法在BP 網絡節點經過迭代輸出最優結果。顯而易見，聚類循環過程中特殊類1?中為因素完全分開互補，可使用其判斷好壞，無法用作因素識別。因目標中存在完全互補的量，因此網絡識別中總存在存儲該效果的簇。輸出最優結果如圖2 所示。

圖2 識別結果輸出Fig.2 Identification result output

2.2 實驗分析

通過采用LDKB 法識別信用等級，得到以下研究成果：

LDKB 循環回歸模型初步判定環節中，通過調整分別使用Forward、Remove、Backward、Stepwise 4種方法優化，利用Chi-Square、-2 Log likelihood、BIC、AIC 4 種因素衡量模型狀態，并在循環中利用決策樹判定效果，通過公式計算父、子樹的最優最小記錄數進行優化模型，并在LDKB 循環法中不斷驗證數據流，輸出變量因素同比優化232.54%，達72.13%。

LDKB 循環聚類環節共計調用3 次，測試出特殊聚類質量數并驗證，數據存在2 類為因素完全分開互補情況，同步輸出正常聚類效果結果并作為BP網絡識別因素。

LDKB 循環BP 網絡環節中，采用構建的BP 模型，利用計算得到隱藏層最小單位為23，最大單位為102，同時計算最初學習率為0.43，在保證誤差精確度為0.001 0的前提下，利用參數參與迭代優化后的BP 模型收斂速度提高37.29%。

采用基于模型組合的網絡迭代法對目標進行識別，總體Acc 達97.3%，ROC 總體檢測效果優于任意單個模型或單個調參后模型。

綜上，LDKB 法有效實現了客戶信用等級因素的評估，并有效根據歷史記錄識別信用等級。

3 結束語

本文提出的基于模型組合的網絡迭代法（LDKB），使用拉格朗日乘數法取得最優組合權重向量，并作為選用模型組合的依據。實驗證明，利用回歸、聚類加以輔助，提高了LDKB 的容錯性；迭代優化數據流用于識別與多種單模型算法識別相比，LDKB 法得到的信息有著更少的精度損失，在決策識別時可以利用更小的決策成本得到更好的模型壓縮效果。

根據實例分析可知，結合了LDKB 算法的信用等級識別系統性能提升較高，輸出也更接近實際值，可達到評定需求。

進一步探索在循環迭代過程中同步迭代模型最優參數［13］，實現實時調優；當前迭代過程中無法實現實時了解模型間的相互影響因素，其中決策樹模型剪枝效果是對于預訓練權重的數據環境敏感，因此迭代終止前可能產生當前迭代環境整體優化，而調參后的單模型效果并非最優。因此，未來可以嘗試調整實現單模型最優，以查看模型間的潛在影響因素［14］。