基于改進量子免疫算法的神經網絡集成

曹 林，王之騰，陳 亮，，李洪順，高 申，張自立

1.解放軍陸軍工程大學，南京210007

2.軍事交通學院 汽車士官學校，安徽 蚌埠233011

3.中國人民解放軍31697部隊

4.中國人民解放軍65370部隊

1 引言

單個神經網絡往往都有魯棒性差和泛化能力弱的缺陷，多網絡集成可以克服缺陷，逼近完美。1990 年，Hansen和Salamon提出通過訓練多個神經網絡，并將其結論進行簡單合成，就能明顯提高神經網絡模型的泛化能力[1]。由于神經網絡集成操作簡單，效果明顯，在分類[2]、識別[3-5]、預測[6-10]、診斷[11-12]、評估[13-14]等很多領域得到成功應用。隨著神經網絡集成的廣泛應用，對集成性能的要求也越來越高。目前主要有三個改進性能的方向：一是采用選擇方法構建高格群體；二是建立多層集成結構；三是改進集成結論生成方法。其中，改進集成結論生成方法是相對有效且容易實現的方法。

線性組合是最直接最易使用的結論生成方法，但在實際問題中，神經網絡集成中的個體網絡可能存在“共線性”“過擬合”等問題，常用的線性組合方法很難求得合適的組合權值[14]。神經網絡集成結論生成方法研究的目的就是尋找合適的權值，降低風險泛函，提高神經網絡集成的泛化能力。一些學者將貪心算法、粒子群算法、遺傳算法等智能優化算法引入神經網絡集成，取得了不錯的效果[15-21]。但在算法迭代過程中，隨著種群多樣性降低，經常出現“早熟”現象，以致得不到最優的組合權值。

量子免疫算法（Quantum Immune Algorithm，QIA）是基于群體智能的優化計算技術。其基本流程是：首先初始化得到一個隨機種群，然后通過免疫克隆和量子旋轉更新種群，以個體適應度為進化目標，最終得到全局最優解。每一次種群更新，算法通過追蹤最優抗體完成自我更新，最后一代種群的最優抗體即是整個種群目前找到的全局最優解。量子免疫算法是量子遺傳算法和免疫算法相結合的產物，因其較優的收斂性能受到國內外很多學者的廣泛關注[22-26]。但是，仿真實驗結果表明，量子免疫算法在神經網絡集成結論的權值優化時存在精英損失和過早收斂的問題，因此，本文采用精英策略和反轉策略，改進量子免疫算法，進一步提高算法的收斂效率和全局尋優能力。

2 改進量子免疫算法

2.1 改進量子免疫算法的基本原理

改進量子免疫算法（Improved Quantum Immune Algorithm，IQIA）的核心思想是將精英策略和反轉策略引入量子免疫算法。精英策略可保留優秀抗體，有效提高算法的尋優效率；反轉策略可增加個體多樣性，防止出現“早熟”現象，有利于提高算法的全局搜索能力。

精英策略是在免疫選擇過程中選取最優的個體組合，儲存到抗體精英庫中，并在交叉變異和反轉操作后，進一步更新抗體精英庫，在下次迭代時，將精英庫中的抗體直接添加到新一代種群中。精英策略因抗體精英庫容量s 的不同，可分為靜態策略和動態策略，靜態策略時s 為常量，動態策略時s 為變量。依據s 的調整方式，動態策略又可細分為線性遞增、線性遞減、非線性遞增和非線性遞減四種情況。為方便研究，在不影響結論的情況下，非線性遞增以正弦函數為例，非線性遞減以余弦函數為例。精英庫容量可由下式計算：

其中，s0為精英庫容量初始值，k 為精英庫容量調整速率，t 為迭代次數，T 為最大迭代次數，表示向上取整。為確保精英庫容量有效，當s ≤0 時，令s=1。

如果將5個子策略稱為純策略，那么將純策略混合使用就是混合策略。混合策略的基本思想是為每個子策略分配一定的比例，共同完成精英群體的保留操作。混合策略最佳分配比例的計算如圖1所示，設初始比例n 次迭代后各子策略所得最優個體的適應度為可根據式（2）調整分配比例，適應度較大的子策略增加分配比例，適應度較小的子策略減小分配比例，得到

其中，i 表示分配比例調整次數，j 表示純策略序號。然后再進行n 次迭代，再次調整分配比例，直到比例不再變化，最終得到就是混合策略的最佳分配比例。n 一般取值5～10，m 表示分配比例調整最大次數。

圖1 混合策略最佳比例計算示意圖

反轉策略的核心思想是最差的反面可能最好，具體操作是在免疫選擇過程中選擇親和度最差的個體組合，反轉生成可能的優秀群體。反轉策略分位置反轉和大小反轉兩類，而每一類又有整體反轉和局部反轉兩種方式。如圖2所示，依據位置整體反轉是指第一位置和最末位置的基因位數值對調，第二位置與倒數第二位置的基因位數值對調，以此類推，直至完全反轉；依據位置局部反轉只對部分位置的基因位數值對調，比如只對調首末位置的數值。如圖3所示，依據大小整體反轉是指基因位數值最大和最小的對調，次大和次小的對調，直至完全反轉；依據大小局部反轉只對部分基因位數值對調，比如只對調最大數值和最小數值。

圖2 依據位置整體反轉

圖3 依據大小整體反轉

2.2 改進量子免疫算法的基本流程

改進量子免疫算法的基本流程如圖4所示，與量子免疫算法的主要區別有二：一是由于精英策略的影響，使得算法結構由單循環結構轉變為并行雙循環結構，增加了精英策略向新一代種群添加精英個體的循環操作，即在免疫選擇時增加精英保留，根據適應度進行精英更新，在不滿足終止條件時，則將精英個體添加到新一代種群中；二是在主體結構中增加了最差個體反轉的關鍵環節。

圖4 量子免疫算法的基本流程

改進量子免疫算法的具體步驟如下：

步驟1 初始化種群。

步驟2 計算親和度。

對種群個體進行測量：隨機產生0到1之間的數，若大于概率幅的平方，測量結果取1，否則取0。于是，得到一組確定的解為種群中第i 個體的測量值，形式為長度為I 的二進制數。然后根據約束條件轉換為十進制形式的種群1,2,…,I;j=1,2,…,J)。假設其他參數均為已知，根據適應度函數f(w)求出抗體的親和度[22]。

步驟3 計算抗體濃度和繁殖概率。

抗體濃度是與抗體i 相似度大于φ 的抗體在種群中所占的數量比例，可由下式計算：

其中，con(i)表示第i 個抗體的濃度，n 表示與抗體i 相似度大于φ 的抗體數，N 為抗體總數。φ 為相似度常數，取值范圍為［0，1］，通過比較抗體基因位獲取相同基因位數與染色體基因總數比較所得，φ 越大則兩條抗體越相似[26]。

第i 個抗體的繁殖概率為：

其中，a 為相似度系數，取值范圍一般為[0.1，0.9]，pf為親和度概率，pd為濃度概率。

步驟4 免疫選擇。

首先選取親和度最大的s 個抗體，直接保存在抗體精英庫中；然后選取親和度最小的v 個抗體，反轉生成可能優秀的抗體；最后根據繁殖概率對剩余抗體進行克隆，優先繁殖概率大的抗體，抑制濃度過高的抗體，淘汰親和力過低的抗體。

步驟5 交叉變異。

根據交叉概率pc 選取若干個體進行交叉組合，生成新的個體。根據變異概率pm 選取若干個體進行變異操作，將其量子比特位隨機重新排序。

步驟6 抗體精英更新。

計算反轉、交叉和變異得到新生抗體的親和度，以更優抗體更新抗體精英庫。

步驟7 終止判斷。

若達到最大迭代次數則停止迭代并輸出結果，否則采用量子旋轉門更新種群，并將精英庫中抗體添加到新種群中繼續進行迭代計算。

步驟8 量子旋轉更新種群[27]。

使用量子旋轉門更新種群的具體步驟如下：

假設第t 代種群第i 個個體為：

其中，θj為旋轉角，其大小和方向的調整策略見表1[22]。

3 基于改進量子免疫算法的集成結論優化

3.1 問題描述

線性組合是神經網絡集成結論生成的常用方法，其權值分配是典型的組合優化問題。假設在輸入x 下的目標輸出為y，輸入輸出之間存在函數關系g。給定數據集D(xi,yi)(i=1,2,…,N)，獨立訓練出Q 個神經網絡，構成集合H={hq}(q=1,2,…,Q),H 中的每個元素hq都是函數g 的一個近似[14]。權值優化的目的是提高神經網絡集成的泛化能力，即降低集成的泛化誤差。泛化誤差反映了神經網絡集成的泛化能力，如果一個集成具有更小的泛化誤差，這個集成就更優。事實上泛化誤差就是集成優化的期望風險，神經網絡集成在給定數據集上的均方誤差可以作為其泛化誤差的一個估計。因此，依據神經網絡集成的泛化誤差最小原則，權值優化的目標函數為泛化誤差的倒數，即：

表1 量子旋轉門更新策略

其中，wq表示第q 個個體網絡的權值，w=[w1,w2,…,wq]表示權值組合。在利用量子免疫算法進行權值優化的過程中，為了減輕共線性和噪聲的影響，通常將權值的取值范圍限制在[0，1]之間，并設定權值和為1。

3.2 模型設計

將一個權值組合w 看作一條染色體，每一個權值代表一個基因位。第t 代種群包含的I 條染色體，就是I 個權值組合，即，每條染色體包含的J 個基因位對應組合中的J 個權值，即與(j=1,2,…,J)對應的權值是以權值優化的目標函數max f(w)為適應度函數，于是權值優化的過程就轉變為量子免疫算法搜索最優個體的過程。

3.3 仿真實驗

為驗證改進量子免疫算法的性能，本文以Bostonhousing 實例[15]進行仿真實驗。Boston-housing 是來自UCI數據庫的一個實際問題，共有506組數據，輸入數據13維，為基礎設施、社會環境等一些預測房價的基本指標，輸出數據1維，為該地區的房價，目的是根據基本指標預測房價。通過設置不同的隱藏層數量獨立訓練優選出10個BP神經網絡，以均方差估計權值優化風險泛函，求解最優權值分配方案，使得神經網絡集成的泛化能力最好。

由式（9）可得適應度函數如下：

約束條件為：

參數設置如下：種群規模I=50 ，最大迭代次數T=200，量子計算時染色體長度為200，交叉概率pc=0.5，變異概率pm=0.1，免疫計算時抗體長度J=10，相似度常數φ=0.7，相似度系數a=0.9，精英庫初始容量s0為5。

3.3.1 精英策略對算法的影響

在[0，0.5]區間內間隔0.05 取值作為抗體精英庫容量占種群數量的比例，對每個比例分別進行10 次仿真實驗。全局收斂的平均代數如圖5所示，當精英庫容量占種群比例為10%左右時，算法迭代35 次就能實現全局收斂，其他比例算法實現全局收斂的迭代次數都有不同程度的增長，充分說明精英庫容量比例設置為10%是合理的，算法可以在較小的迭代次數后實現全局收斂。

圖5 精英庫容量占種群比例與算法收斂的關系

進一步研究動態策略對算法的影響，首先考慮線性遞減調整精英庫容量的情況。令精英庫初始容量s0分別為5、10、15 時，精英庫容量調整速率k 在[0,1]區間內間隔0.1 取值，對每個速率分別進行10 次仿真實驗。全局收斂的平均代數如圖6 所示，當精英庫初始容量為10，調整速率為0.1時，算法能較早實現全局收斂。

圖6 精英庫容量線性遞減速率與算法收斂的關系

混合策略是精英策略的一個特殊子策略，6 個子策略的全局收斂性能如圖7 所示，與純策略相比，混合策略具有更好的全局收斂性能。在只考慮純策略的情況下，非線性遞減策略和線性遞減策略都具有較好的全局收斂性能，非線性遞減策略略優于線性遞減策略。

圖7 精英策略6種子策略與算法收斂的關系

3.3.2 反轉策略對算法的影響

將反轉比例在[0，0.1]區間內間隔0.01取值，對每個比例分別進行10次仿真實驗。全局收斂的平均代數如圖8 所示，當反轉比例為2%時算法最優。固定反轉比例為2%，分別依據大小整體反轉、依據大小局部反轉、依據位置整體反轉、依據位置局部反轉4種情況進行10次仿真實驗，全局收斂的平均代數依次為5.5、8.3、11.2、15.8。總體來看，大小反轉優于位置反轉，整體反轉優于局部反轉，因此反轉操作時通常依據大小整體反轉。

圖8 反轉比例與算法收斂的關系

3.3.3 與其他算法對比分析

使用簡單平均方法（Basic Ensemble Method，BEM）[14]、推廣集成方法（Generalization Ensemble Method，GEM）[14]、粒子群算法（Particle Swarm Optimization，PSO）[15]、量子遺傳算法（Quantum Genetic Algorithm，QGA）[28]、量子免疫算法（Quantum Immune Algorithm，QIA）[26]、改進量子免疫算法（Improved Quantum Immune Algorithm，IQIA）分別對目標函數進行優化，仿真實驗10次，結果如表2、圖9所示。結果表明，在進行神經網絡集成結論優化時，改進量子免疫算法的泛化誤差明顯小于簡單平均、推廣集成等傳統方法，比起粒子群、量子遺傳、量子免疫等智能優化算法，雖然運算時間略有增加，但其泛化性能卻有一定程度的改善。

表2 不同算法優化結果的比較

圖9 不同算法優化結果的比較

4 結束語

本文引入精英策略和反轉策略，提出了一種改進的量子免疫算法，并將其應用于神經網絡集成結論生成時的權值優化。仿真實驗結果表明，精英策略和反轉策略能夠明顯改善算法的全局收斂性能，改進算法能夠顯著提高神經網絡集成的泛化能力。