神經網絡敏感性分析及其在遙感影像分類中的應用

邢海花，余先川

(1.北京師范大學信息科學與技術學院，北京 100875;2.海南師范大學信息科學與技術學院，海南海口 571158)

0 引言

敏感性分析是一種定量描述模型輸入變量對輸出變量的重要性程度的方法，假設模型表示為y=f(x1，x2，…，xn)(xi為模型的第i個屬性值)，令每個屬性在可能的取值范圍內變動，研究和預測這些屬性的變動對模型輸出值的影響程度(蔡毅等，2008)。將影響程度的大小稱為該屬性的敏感性系數，敏感性系數越大，說明該屬性對模型輸出的影響越大。敏感性分析的核心目的就是通過對模型的屬性進行分析，篩選出重要屬性，約簡模型。經典的人工神經網絡敏感性分析方法主要有:(1)基于連接權的敏感性分析方法，如 Garson算法(Garson，1991)、Tchaban 方法(Tchaban et al，1998)等;(2)基于輸出對輸入變量的求偏導的敏感性分析方法，如Dimoponlos方法(Dimoponlos et al，1995)、Ruck 方法(Ruck et al，1990)等;(3)與統計方法結合的敏感性分析方法(Olden et al，2002);(4)基于輸入變量擾動的敏感性分析方法(Scardi et al，1999)。

然而，神經網絡結構、初始連接權值和閾值的選擇對網絡的訓練結果和敏感性分析有很大的影響，針對基于連接權的神經網絡敏感性分析方法中求取敏感性系數的不穩定性，提出一種遺傳算法優化連接權的神經網絡敏感性分析方法。

1 基于連接權的神經網絡敏感性分析

神經網絡經過訓練可以獲得輸出變量大于輸入變量的數值函數關系及各層神經元間的連接權值，敏感性分析利用這個關系及連接權值可以得到輸入變量對輸出變量的重要性。以下提到的神經網絡都假定為3層前向網絡，輸入層、隱含層、輸出層神經元個數分別為N、L、M，(x1，…，xN)為輸入變量，(y1，…，yM)為輸出變量，w=wijNL為輸入層與隱含層間連接權重，v=vjkLM為隱含層與輸出層間的連接權重。f(netj)和f(netk)分別表示隱層神經元j的激活函數、輸出神經元k的激活函數，隱層各神經元激活函數一致，輸出層各神經元激活函數一致。網絡有m個訓練樣本，n個測試樣本。

1.1 Garson方法

Garson算法(Garson，1991)是基于連接權的神經網絡敏感性分析方法的一個代表，用連接權值的乘積來計算輸入變量對輸出變量的影響程度或稱相對貢獻值。輸入變量xi對輸出變量yk的影響程度(貢獻值)為:

式(1)中，由于連接權wij和vjk的值有正有負，在累加的過程中會弱化xi對yk的影響，導致結果不正確。在對神經網絡學習算法研究和反復實驗過程中發現，將公式(1)改造為公式(2)更能真實客觀地反映輸入對輸出的重要性。

經過分析和公式推算，發現公式(2)可化簡為:

1.2 Tchaban 方法

2 遺傳算法及改進策略

遺傳算法(GA)是一種借鑒自然界自然選擇和進化機制發展起來的自適應搜索算法。它使用了群體搜索技術，將種群代表一組問題解，通過對當前種群進行選擇、交叉和變異等一系列遺傳操作，產生新一代的種群，并逐步使種群進化到包含近似最優解的狀態。由于其思想簡單、易于實現及其健壯性，已廣泛應用在問題求解、優化和搜索、機器學習、智能控制、模式識別和人工生命等領域(Lam et al，2001)。

根據預測樣本的預測值與期望值的誤差最小原則，使用遺傳算法優化BP神經網絡的連接權值和閾值，使得優化后的神經網絡能夠更好地進行樣本預測和分類，并在優化的神經網絡基礎上進行敏感性分析。改進策略和步驟如下。

步驟2:對神經網絡的權值和閾值編碼，得到初始種群。遺傳算法不能直接處理問題空間的參數，必須通過編碼把要求問題的可行解表示成遺傳空間的染色體或個體。常用的編碼方法有位串編碼、Grey編碼、實數編碼等。筆者采用10位的二進制編碼。

步驟5:通過選擇，交叉，變異算子操作產生新種群。采用輪盤賭法以0.9的概率選擇優良個體組成新種群;隨機選擇種群中2個個體進行單點交叉以產生新的優秀個體，交叉概率設為0.7;為了維持種群的多樣性，以0.01的概率產生變異基因數。

步驟6:產生的新種群滿足要求或者達到遺傳迭代次數則解碼得到最佳神經網絡的權值和閾值，否則轉步驟3。

步驟7:在最優化并且穩定的神經網絡權值基礎上進行敏感性分析。應用遺傳算法優化后的連接權值作為BP神經網絡的連接權，應用上述基于連接權的敏感性分析公式(3)、公式(4)求出各輸入變量的敏感系數，根據敏感系數篩選出主要輸入變量，去掉對輸出貢獻不大(敏感系數較小)的輸入變量，約簡神經網絡的模型。

3 實驗與結果分析

3.1 實驗一:多元線性函數擬合及各輸入重要性

函數中輸入、輸出的關系已經很明確，各個輸入變量對輸出的影響也已知。設計本實驗的目的是測試在能實現函數高精度擬合的遺傳算法優化后的神經網絡模型上，所求取的敏感性系數是否穩定并能真實反映個輸入變量的重要性程度。對于每個變量隨機產生1 000個0～1之間的隨機數，800個作為訓練數據，100個作為校驗數據，100個作為測試數據。應用筆者提出的遺傳算法優化連接權的神經網絡敏感性分析方法(SA-GA-BP)求取各個輸入變量的敏感系數，實驗重復進行10次，結果如圖1所示。

圖1 函數中各變量的敏感性系數

從圖1中可以看到優化后的連接權敏感性分析，所求得的敏感系數基本穩定，敏感系數的大小反映了輸入變量的重要程度，跟函數關系中所表示的一致。

3.2 實驗二:遙感影像分類及波段篩選

實驗數據選用HYDICE光譜儀所獲取的華盛頓廣場地區的公共測試圖像，191個波段，該圖像中包含草地、屋頂以及道路等7種類別地物(Landgrebe，2003)，如圖2所示。使用ENVI 4.6選擇標準差最大的10個波段作為輸入屬性，分別是波段55，75，103，133，141，155，168，181，184，190。實驗目的是為了測試所提優化連接權的敏感性分析方法篩選對分類貢獻大的主要波段的穩定性，以及此方法篩選主要波段對提高遙感影像地物分類精度的有效性。實驗中分別選用各類地物的500個像素點作為訓練樣本，整幅圖像的全部像素點作為測試。應用遺傳算法優化的神經網絡敏感性分析方法(SA-GA-BP)篩選出5重要波段，與傳統的BP神經網絡(使用以上10個波段)，與用遺傳算法優化的BP神經網絡方法(GA-BP，使用以上10個波段)進行遙感影像分類實驗比較，分類精度見表1。

圖2 華盛頓廣場地區圖像及各類地物參考圖

表1 3種方法的分類精度

從表1中可以看出，GA-BP方法對水體、樹木，街道等各類地物識別有明顯的優勢，分類精度比標準的BP有明顯的提高。SA-GA-BP方法只使用篩選出的5個重要波段進行分類，有效地約簡了模型，并且分類精度也有所提高，說明基于優化的神經網絡進行敏感性分析能有效地篩選出對分類貢獻較大的波段，約簡模型提高效率，并提高了模型的分類精度。

4 結論

人工神經網絡有很好地預測和分析非線性關系的能力，但容易陷入局部極值且收斂速度慢，而遺傳算法有很強的全局尋優能力。因此將兩者結合，針對基于連接權的神經網絡敏感性分析方法的不穩定性，提出遺傳算法優化連接權的神經網絡敏感性分析方法。優化后的人工神經網絡測試誤差有明顯的改善，連接權穩定，從而得到穩定的敏感性系數，根據敏感系數大小能有效地篩選出對輸出貢獻大的屬性。應用此敏感性分析方法可以較客觀地篩選出對地物分類貢獻較大的主要波段。

蔡毅，邢巖，胡丹.2008.敏感性分析綜述［J］.北京師范大學學報:自然科學版，44(1):9－16.

李方，閆永慧.2012.BP小波神經網絡在邊坡位移預測中的應用［J］.地質學刊，36(2):134－137.

余先川，代莎，胡丹，等.2011.基于Lasso函數的分層混合模糊－神經網絡及其在遙感影像分類中的應用［J］.地球物理學報，54(6):1672－1678.

DIMOPOULOS Y，BOURRET P，LEK S.1995.Use of some sensitivity criteria for choosing networks with good generalization ability［J］.Neural Processing Letters，2(6):1 － 4.

GARSON G D.1991.Interpreting neural network connection weights［J］.Artificial Intelligence Expert，6(4):47 － 51.

GEVREY M，DIMOPOULOS I，LEK S.2003.Review and comparison of methods to study the contribution of variables in Artificial Neural Network models［J］.Ecological Modeling，160(3):249－264.

GEVREY M，DIMOPOULOS I，LEK S.2006.Two-way interaction of input variables in the sensitivity analysis of neural network models［J］.Ecological Modeling，195(1/2):43－50.

LAM H K，LING S H，LEUNG F H F，et al.2001.Tuning of the Structure and Parameters of Neural Network Using an Improved Genetic Algorithm［C］//IECON'01:the 27th annual conference of the IEEE Industrial Electronics Society.Denver，Colorado，USA:IEEE，25 －30.

LANDGREBE D A.2003.Signal theory methods in multispectral remote sensing［M］.Hoboken，New Jersey，USA:Wiley Interscience.

OLDEN J D，JACKSON D A.2002.Illuminating the“black box”:a randomization approach for understanding variable contributions in artificial neural networks［J］.Ecological Modeling，154(1/2):135 －150.

RUCK D W，ROGERS S K，KABRISKY M.1990.Feature selection using a multilayer perceptron［J］.Journal of Neural Network Computing，2(2):40 －48.

SCARDI M，HARDING L W.1999.Developing an empirical model of phytoplankton primary production:a neural network case study［J］.Ecological Modeling，120(2/3):213－223.

TCHABAN T，TAYLOR M J，GRIFFIN A.1998.Establishing impacts of the inputs in a feedforward neural network［J］.Neural Compute Application，7(4):309 －317.