基于屬性核特征選擇與隱含層節點數動態確定的BP神經網絡模型

張俊虎,劉赟玥,王玲玲,袁棟梁

(青島科技大學 信息科學技術學院,山東 青島 266061)

目前確定神經網絡[1]隱含層節點數的方法主要有試湊法[2]、經驗公式法[3]、以及引入超平面、動態全參數自調整[4]、區間增長法[5]。試湊法對于同一樣本集分別設置不同隱含層節點數進行網絡訓練,選取誤差值最小時對應的節點數值作為最終結果。此種計算方式沒有科學的判斷,只能盲目的憑借經驗計算,這不僅會導致計算量的增大。特別的,對于存在較多節點的網絡結構,最終的計算效率也會降低;經驗公式法的提出沒有建立在相關理論基礎的前提下,只能從以往的項目經驗得出對應的計算公式,以此獲取隱含層節點數可能存在的區間范圍,經網絡訓練選擇誤差達到最小值時對應的節點數。所以這種方法只針對特定的數據集取值效果較為顯著,不具備算法的通用性;而動態全參數調整是通過一個事先給定先驗知識的網絡,動態調節另一個BP神經網絡中隱含層節點數。該算法的復雜性甚至超過BP神經網絡算法本身,消耗過大。增長法的計算方式首先通過經驗公式獲得隱含層節點數的取值范圍,從最小單元數開始訓練網絡,不斷增加隱含層節點數,選取訓練誤差和收斂速度性能達到最優值對應的隱含層節點數。此種算法的缺陷在于,沒有一種確切的方法解決何時停止增長的問題。

常見的約簡算法有:主成分分析法[6]、奇異值分解法[7]、以及基于粗糙集的屬性約簡[8]。……