基于深度學(xué)習(xí)的智能全局靈敏度分析

靈敏度分析根據(jù)輸入?yún)?shù)對(duì)輸出影響的大小來(lái)評(píng)估模型輸入?yún)?shù)的重要性.通過(guò)研究靈敏度分析結(jié)果，研究員可以將重要性較小的輸入因素設(shè)為定值或者直接去掉, 大幅減少模型和問(wèn)題的復(fù)雜性；研究員還可以通過(guò)靈敏度結(jié)果，優(yōu)先利用有限的資源來(lái)改進(jìn)重要性較大的輸入因素, 有針對(duì)性地提升模型表現(xiàn)，并得到針對(duì)模型輸出的歸因分析結(jié)果.

靈敏度分析包括全局靈敏度分析和局部靈敏度分析.其中, 局部靈敏度分析實(shí)現(xiàn)簡(jiǎn)單、計(jì)算量少, 但只能反映局部點(diǎn)的單項(xiàng)不確定因素的靈敏度信息, 一般適用于線性模型.全局靈敏度分析方法可以反映不確定因素在整個(gè)變化空間內(nèi)對(duì)輸出的影響, 適用于非線性、非單調(diào)的復(fù)雜系統(tǒng).

Sobol’ 法是一種基于方差的全局靈敏度計(jì)算方法, 其將系統(tǒng)輸出方差分解為由各輸入變量所決定的方差之和, 從而定量分析輸入變量對(duì)系統(tǒng)輸出的影響.文獻(xiàn)[6]對(duì)比分析了Sobol’法和其他全局靈敏度分析法，發(fā)現(xiàn)Sobol’法是評(píng)價(jià)集總式系統(tǒng)單個(gè)參數(shù)靈敏度和多參數(shù)相互作用靈敏度的最有效方法之一.但是, Sobol’全局靈敏度分析法需要另外構(gòu)建系統(tǒng)模型, 因此靈敏度的計(jì)算精度和準(zhǔn)確性很大程度上受到系統(tǒng)模型的影響.由于Sobol’法的計(jì)算核心是Monte Carlo方法, 假設(shè)參數(shù)在定義域內(nèi)均勻分布, 這導(dǎo)致Sobol’ 法的局限性很強(qiáng)，定義區(qū)間如果受到臟數(shù)據(jù)或者離散點(diǎn)的影響, 準(zhǔn)確率將大大下降, 在實(shí)際問(wèn)題中平均分布的假設(shè)很難滿足, 計(jì)算準(zhǔn)確性難以保證, 并且無(wú)法處理未知模型.文獻(xiàn)[9]在Sobol’法的基礎(chǔ)上提出使用多維Fourier變換來(lái)降低計(jì)算成本的Fourier幅度靈敏度檢驗(yàn)(FAST)法. 文獻(xiàn)[10]提出了一種結(jié)合FAST和隨機(jī)平衡設(shè)計(jì)的方法.文獻(xiàn)[11]對(duì)這些方法進(jìn)行了整合和改進(jìn).但是這些方法并沒(méi)有從根本上解決Sobol’ 法存在的問(wèn)題，計(jì)算量依然很大且有和Sobol’法一樣的局限和缺點(diǎn).文獻(xiàn)[12-13]提出基于人工神經(jīng)網(wǎng)絡(luò)的靈敏度分析方法，通過(guò)把人工神經(jīng)網(wǎng)絡(luò)與靈敏度分析結(jié)合，計(jì)算不同氣象條件下蒸發(fā)過(guò)程的靈敏度.文獻(xiàn)[14]提出使用神經(jīng)網(wǎng)絡(luò)結(jié)合數(shù)據(jù)處理(GMDH)組合方法計(jì)算Sobol’靈敏度.使用神經(jīng)網(wǎng)絡(luò)在解決復(fù)雜非線性系統(tǒng)的模擬問(wèn)題的同時(shí)，計(jì)算出系統(tǒng)全局靈敏度的方法在當(dāng)下得到了比較多的關(guān)注, 由于不需Monte Carlo 采樣, 這種方法計(jì)算效率更高.但是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)本身存在訓(xùn)練參數(shù)太多、無(wú)法提取高維深度相關(guān)特征和局部特征以及網(wǎng)絡(luò)層數(shù)不宜過(guò)深的問(wèn)題, 而且傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在建模的時(shí)候并沒(méi)有考慮后續(xù)求靈敏度這一步驟，二者存在割裂，導(dǎo)致求得的靈敏度區(qū)分度低，該方法實(shí)現(xiàn)效果并不理想.

教學(xué)評(píng)價(jià)是教學(xué)體系中一個(gè)重要的環(huán)節(jié)，對(duì)教學(xué)效果有直接的影響。有效的教學(xué)評(píng)價(jià)可以讓學(xué)生認(rèn)識(shí)到自身的不足，從而有針對(duì)性地改善學(xué)習(xí)方法。在傳統(tǒng)的小學(xué)語(yǔ)文課堂教學(xué)中，語(yǔ)文教師通常只評(píng)價(jià)學(xué)生的學(xué)習(xí)結(jié)果，很少去關(guān)注和評(píng)價(jià)學(xué)生的學(xué)習(xí)過(guò)程。這種情況下，學(xué)生只知道自己做得不好，但是卻不知道自己哪里做得不好。新形勢(shì)下，語(yǔ)文教師可以利用信息化教學(xué)改善這一現(xiàn)狀。例如：在寫(xiě)作教學(xué)中，當(dāng)學(xué)生完成作品之后，語(yǔ)文教師可以通過(guò)多媒體將學(xué)生的作品展示出來(lái)，然后讓學(xué)生進(jìn)行自我評(píng)價(jià)，接著讓其他學(xué)生進(jìn)行評(píng)價(jià)。這樣就能豐富評(píng)價(jià)主體，讓評(píng)價(jià)內(nèi)容更加全面、客觀，學(xué)生對(duì)自身的不足有一個(gè)全方位的認(rèn)識(shí)，從而有針對(duì)性地改善自己，提升自己。

針對(duì)上述問(wèn)題，將深度學(xué)習(xí)方法引入全局靈敏度的計(jì)算中, 利用深度學(xué)習(xí)方法對(duì)交叉特征的提取能力同時(shí)提升模型的表現(xiàn)和全局靈敏度分析的準(zhǔn)確性，創(chuàng)新性地提出SInception-卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型.該模型的創(chuàng)新點(diǎn)包括：① 通過(guò)針對(duì)靈敏度分析設(shè)計(jì)的特征打散機(jī)制和SInception網(wǎng)絡(luò)結(jié)構(gòu)增加模型的局部特征組合能力；② 提出串行修正線性單元(CReLU)激活函數(shù)增加靈敏度計(jì)算結(jié)果的稀疏性；③ 在訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)時(shí)額外引入L1正則化，以增加網(wǎng)絡(luò)參數(shù)的稀疏性，提升后續(xù)靈敏度計(jì)算的區(qū)分度和準(zhǔn)確性.考慮到研究者多希望利用樣本靈敏度有計(jì)劃、有效率地調(diào)節(jié)模型輸出, 所以提出利用訓(xùn)練好的深度學(xué)習(xí)模型求得每個(gè)樣本的參數(shù)靈敏度，建立系統(tǒng)輸出與輸入?yún)?shù)的近似函數(shù)關(guān)系方程以優(yōu)化系統(tǒng)輸出.在Kaggle波士頓房?jī)r(jià)數(shù)據(jù)集、工業(yè)航跡融合評(píng)估數(shù)據(jù)集和函數(shù)3個(gè)公開(kāi)數(shù)據(jù)集中進(jìn)行測(cè)試并與Sobol’ 法和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)法對(duì)比, 證明了所提方法的有效性和魯棒性，得到了準(zhǔn)確性指標(biāo).

1 Sobol’法

Sobol’法基于Monte Carlo抽樣技術(shù)和模型分解思想，能夠定量計(jì)算系統(tǒng)各輸入?yún)?shù)的1階靈敏度和高階靈敏度以及總靈敏度.假設(shè)模型可以表示為

=()=(,, …,)

(1)

式中：為模型輸出；={,, …,}為輸入?yún)?shù)；為模型輸入?yún)?shù)個(gè)數(shù).Sobol’法將函數(shù)()分解為單個(gè)參數(shù)或幾個(gè)參數(shù)相互結(jié)合的子項(xiàng)之和設(shè)各參數(shù)的空間域?yàn)椤蔥0, 1], 則有

(,, …,)=

1, 2, …, (,, …,)

(2)

式中：,,1, 2，…，為分解后的子項(xiàng)函數(shù)，如果輸入?yún)?shù)獨(dú)立，且每項(xiàng)按0均值選擇、平方可積，那么式中為常量，等于輸出的期望值.Sobol證明上式的分解唯一且相互正交，可以通過(guò)多重積分求得：

(3)

(4)

(5)

1.4統(tǒng)計(jì)學(xué)處理:數(shù)據(jù)采用SPSS13.0統(tǒng)計(jì)軟件分析處理,計(jì)數(shù)資料采用χ2檢驗(yàn),計(jì)量資料采用t檢驗(yàn)。P<0.05則差異存在統(tǒng)計(jì)學(xué)意義。

“我用親土1號(hào)已經(jīng)是第三年了，效果非常好，用了以后樹(shù)的葉片濃綠，根系發(fā)達(dá)，蘋(píng)果長(zhǎng)得美得很！今年蘋(píng)果賣(mài)得早，不然還能多賣(mài)點(diǎn)錢(qián)。”王建云表示，“果樹(shù)就是我的根基，不會(huì)因?yàn)槭芰藶?zāi)就舍不得投入。親土1號(hào)好產(chǎn)品加上我的經(jīng)驗(yàn)技術(shù)，讓我獲得親土狀元，我相信也一定會(huì)給我?guī)?lái)好收成！”

(6)

其子項(xiàng)方差可以通過(guò)()的每一子項(xiàng)計(jì)算得出：

也許有人問(wèn)，不懂“國(guó)語(yǔ)”的音樂(lè)家把Chopin翻譯成了“雪盆”不對(duì)，但為什么不翻譯成“肖盆”（這個(gè)不是發(fā)音和外文更接近嗎）？而作為經(jīng)典中的人物David為什么可以翻譯成“大衛(wèi)”而不是“戴維”？Peter為什么翻譯成“彼得”而不是“皮特”？這些都源于漢語(yǔ)的特殊之處，屬于表意文字，而且同音字較多。同音字既然多，就有選擇的余地，并且選擇不同的字可以體現(xiàn)不同的內(nèi)涵，這一點(diǎn)就不是漢語(yǔ)姓名翻譯成外文（純粹音譯）所能比擬的。如何選音譯的用字，這個(gè)是外文姓名漢譯的一個(gè)關(guān)鍵，它要考慮的方面非常之多，和整個(gè)的中西文化語(yǔ)境都有關(guān)系。

, , …, =

(7)

式中：1≤<…<≤，=1, 2, …，由于,,1, 2，…，子項(xiàng)相互正交，對(duì)式(2)兩邊平方，并移項(xiàng)合并可得到下式：

1, 2, …,

(8)

通過(guò)方差比可以求得Sobol’靈敏度為

(9)

當(dāng)=時(shí)，計(jì)算結(jié)果為參數(shù)的1階靈敏度系數(shù)，表示對(duì)輸出的主要影響.

在實(shí)際工程中，系統(tǒng)模型函數(shù)()往往難以獲得，Sobol’法利用Monte Carlo法的思想，通過(guò)采樣并利用估算式求積分.具體估算式如下式所示：

(10)

(11)

式中：“^”表示此變量為估計(jì)值；c為采樣個(gè)數(shù)；(～)=[12…(-1)(+1)…]；為第個(gè)采樣點(diǎn)；上標(biāo)1, 2為不同采樣組數(shù).

Sobol’法有十分明顯的缺點(diǎn)，當(dāng)模型輸入?yún)?shù)個(gè)數(shù)為時(shí)，每個(gè)參數(shù)都需要計(jì)算2個(gè)Monte Carlo積分，當(dāng)模型較大、參數(shù)較多時(shí)，參數(shù)分布不平均導(dǎo)致需要的采樣次數(shù)較多，Sobol’法的計(jì)算量十分龐大.由于Sobol’法求得的值為基于采樣的估計(jì)值，所以求得的靈敏度精度在很大程度上受到采樣精度和樣本數(shù)量的影響，尤其在模型樣本數(shù)量較小時(shí), Sobol’法無(wú)法取得理想效果.

2 基于SInception-CNN的特征提取和全局靈敏度分析

2.1 SInception-CNN模型

SInception-CNN與傳統(tǒng)CNN一樣包含卷積層、池化層和全連接層3種模塊.卷積層通過(guò)不同的核函數(shù)實(shí)現(xiàn)對(duì)輸入特征的提取；池化層的作用是減少維度，對(duì)特征進(jìn)行壓縮并提取主要特征；全連接層進(jìn)行最終的特征組合.本文提出通過(guò)打散特征的方法，將輸入特征組合為不同的輸入特征矩陣，通過(guò)這種方法把結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)換為“圖”，從而為不同特征組合在一起輸入同一個(gè)卷積核提供了機(jī)會(huì).一個(gè)樣本的處理過(guò)程如圖1所示.其中：為一個(gè)大小為2×2的卷積核提取局部特征后進(jìn)行非線性變換的函數(shù).

神經(jīng)網(wǎng)絡(luò)(NN)作為全連接層受限于不能獨(dú)立處理局部特征，CNN的卷積核受限于只能處理輸入?yún)?shù)周?chē)臻g的局部特征.對(duì)結(jié)構(gòu)化數(shù)據(jù)的回歸問(wèn)題和靈敏度分析問(wèn)題來(lái)說(shuō)，考慮特征間的相互作用十分重要，通過(guò)引入這種打散輸入樣本的方式，引入了特征的多種鄰居組合，為后面的CNN卷積核帶來(lái)多種組合的可能，引入更多特征間的相互作用.

SInception-CNN參考了文獻(xiàn)[18]的并行卷積核設(shè)計(jì)，并使用了豐富的卷積核尺寸，考慮了不同數(shù)量、不同空間關(guān)系的特征相互作用.SInception-CNN的模型結(jié)構(gòu)如圖2所示.其中：卷積核1×1、2×2等卷積核后的數(shù)字為卷積后的輸出維度；CReLU 為本次卷積操作使用的激活函數(shù).

對(duì)模型進(jìn)行方差分析，結(jié)果見(jiàn)表3。由表3可知，模型的P值<0.0001，說(shuō)明該數(shù)學(xué)模型極為顯著；失擬項(xiàng)值為0.6757，差異不顯著，表明該方程對(duì)試驗(yàn)的擬合度較好，可用來(lái)確定羊肚菌SDF制備的最佳工藝。對(duì)表2中數(shù)據(jù)進(jìn)行回歸分析，建立回歸方程：Y=31.77-1.60X1-1.55X2-2.06X3-0.43X4-1.06X1X2+0.18X1X3-0.83X1X4-0.17X2X3+2.44X2X4+0.25X3X4-3.18X12-1.83X22-1.47X32-0.51X42。

2.2 CReLU激活函數(shù)

目前, 使用最為廣泛的ReLU激活函數(shù)如圖3所示.其中：為上一層輸出；為激活函數(shù).

如果對(duì)使用ReLU激活函數(shù)的網(wǎng)絡(luò)進(jìn)行靈敏度分析，會(huì)導(dǎo)致靈敏度結(jié)果區(qū)分度低，影響準(zhǔn)確性.因?yàn)镽eLU在設(shè)計(jì)之初的考慮是在引入非線性能力的同時(shí)減少計(jì)算量、減少梯度消失，并未考慮后續(xù)的靈敏度計(jì)算.所以，本文參考文獻(xiàn)[19]設(shè)計(jì)了一種新的激活函數(shù)CReLU，可以自適應(yīng)殺死小權(quán)值的權(quán)重，達(dá)到特征篩選的目的，從而增加靈敏度計(jì)算的區(qū)分度.CReLU的激活函數(shù)如圖4所示.自適應(yīng)閾值計(jì)算公式如下式所示：

(12)

式中：為上一層節(jié)點(diǎn)數(shù)量；為激活函數(shù)的自適應(yīng)閾值；為上一層第個(gè)神經(jīng)元的輸出后續(xù)實(shí)驗(yàn)表明這種激活函數(shù)達(dá)到了預(yù)期效果且沒(méi)有減少模型的擬合能力.

在44個(gè)核設(shè)施國(guó)家和地區(qū)中，78%國(guó)家和地區(qū)的“蓄意破壞”(Sabotage Ranking)得分上升，主要是因?yàn)樗鼈兊陌踩降玫搅孙@著提升，包括加強(qiáng)了核場(chǎng)區(qū)的實(shí)物保護(hù)，增加了內(nèi)部威脅防御措施，并改進(jìn)了響應(yīng)能力。但應(yīng)注意的是，一半以上國(guó)家和地區(qū)的“蓄意破壞”得分低于80(總分為100)，這表明相關(guān)國(guó)家和地區(qū)的提升空間仍然很大。

2.3 SInception-CNN模型與全局靈敏度分析的結(jié)合

總的來(lái)說(shuō)，全局靈敏度的計(jì)算可以分為3類方法：基于回歸的方法、基于方差的方法和基于矩獨(dú)立的方法.Sobol’法是基于方差的方法，而神經(jīng)網(wǎng)絡(luò)和 SInception-CNN 是基于回歸的方法.基于回歸方法的原理是通過(guò)建立輸入與輸出的近似映射，得到輸入因子的標(biāo)準(zhǔn)回歸系數(shù)作為靈敏度指數(shù).

SInception-CNN是一種深度學(xué)習(xí)建模方法, 全局靈敏度分析是一種數(shù)據(jù)或者模型的分析方法.通過(guò)兩者的結(jié)合, 既使得深度學(xué)習(xí)方法可以得到其對(duì)輸入?yún)?shù)的靈敏度信息, 不再是一個(gè)完全的“黑盒”, 又把深度學(xué)習(xí)很強(qiáng)的特征提取能力賦予了全局靈敏度分析.通過(guò)引入深度學(xué)習(xí), 全局靈敏度分析具有了智能, 不再需要人工對(duì)特征進(jìn)行組合提取, 不再需要對(duì)參數(shù)的定義域進(jìn)行人為選定.基于深度學(xué)習(xí)的全局靈敏度分析是一種智能的端到端的分析方法.

基于深度學(xué)習(xí)的智能全局靈敏度分析方法先通過(guò)數(shù)據(jù)訓(xùn)練深度學(xué)習(xí)模型SInception-CNN, 再利用其權(quán)重信息的反向傳播求模型的全局靈敏度.本方法既可以看作是一種對(duì)深度學(xué)習(xí)模型的分析方法, 又是一種新的分析全局靈敏度的思路.雖然本方法對(duì)靈敏度的計(jì)算模式類似于局部靈敏度方法中的求導(dǎo)法, 但是得益于卷積和神經(jīng)網(wǎng)絡(luò)的參數(shù)共享和全連接結(jié)構(gòu), 本方法所求得的結(jié)果為全局靈敏度，即包含了各個(gè)特征之間相互作用的計(jì)算結(jié)果.特征參數(shù)在卷積特征圖中輸入, 經(jīng)過(guò)卷積結(jié)構(gòu)和全連接層, 在輸出神經(jīng)元輸出, 這個(gè)過(guò)程中包含了大量的共用權(quán)重計(jì)算, 而這些權(quán)重值是由所有樣本的所有特征參數(shù)訓(xùn)練而得出的，因此用本方法求得的靈敏度結(jié)果包含了全局信息，更符合全局靈敏度的定義.

3 SInception-CNN網(wǎng)絡(luò)計(jì)算靈敏度

3.1 全連接層神經(jīng)元靈敏度的計(jì)算

全連接層一般置于整個(gè)網(wǎng)絡(luò)的末尾，因此在反向傳播算法中先計(jì)算全連接層神經(jīng)元的靈敏度.典型的3層全連接層如圖5所示.其中：為輸入層的第個(gè)神經(jīng)元；為隱含層的第個(gè)神經(jīng)元；為輸出層的第個(gè)神經(jīng)元；、為偏置系數(shù)；為與之間的連接權(quán)重；為與的連接權(quán)重.

從圖7中可以看出，在加減速路段與勻速路段交接的位置加速度變化率很大，影響了乘車(chē)的舒適性。圖7中雖然將超高修正段的數(shù)據(jù)設(shè)為0，但是由于車(chē)輛行駛過(guò)程中，相鄰的曲線段之間存在耦合的特點(diǎn)，受修正段的影響，其相鄰段內(nèi)的加速度變化率也是比較大的。而在路段尾端由圓曲線進(jìn)入緩和曲線、由緩和曲線進(jìn)入直線時(shí)，加速度變化率雖然比較小，但是波動(dòng)還是比較密集的。另外，由于路段一在中間兩段緩和曲線之間沒(méi)有加入直線段，從圖7中可以發(fā)現(xiàn)拐點(diǎn)之后的加速度變化率波動(dòng)很大，直接影響了乘車(chē)的舒適性。

前兩層間的前向傳播公式如下所示：

屋里很暗，葉曉曉半天還適應(yīng)不了。可夏天不一樣，黑暗對(duì)他沒(méi)有影響，他很快摸到茶杯，給葉曉曉倒了杯涼白開(kāi)，遞到她面前。

(13)

（3）化學(xué)成分分析 在剝落塊的低倍試片上從表面、中部、內(nèi)部分別取樣進(jìn)行化學(xué)成分分析，分析結(jié)果及70Cr3Mo鋼的標(biāo)準(zhǔn)成分如表3所示。

對(duì)如圖5所示的全連接層模型，應(yīng)用BP算法的思想，如果想知道輸入層的每個(gè)神經(jīng)元對(duì)輸出層的神經(jīng)元產(chǎn)生了多少影響，可以用對(duì)求導(dǎo)得出，類似于局部靈敏度分析中的直接求導(dǎo)法，具體如下式所示：

(14)

(15)

式中：(=1,2)為第層的激活函數(shù)的導(dǎo)數(shù)矩陣，每個(gè)神經(jīng)元輸出對(duì)輸入的導(dǎo)數(shù)為1項(xiàng)； 符號(hào)⊙為矩陣對(duì)應(yīng)項(xiàng)相乘；?/?為輸入層對(duì)輸出層的靈敏度；?/?為輸入層對(duì)隱含層的靈敏度；?/?為隱含層對(duì)輸入層的靈敏度輸入層的每個(gè)神經(jīng)元對(duì)模型輸出(輸出層的下一層，只有1個(gè)輸出神經(jīng)元)的靈敏度計(jì)算公式如下式所示：

(16)

式中：°為輸出層對(duì)模型輸出的靈敏度.

3.2 CNN靈敏度的計(jì)算

CNN網(wǎng)絡(luò)包含卷積層和池化層，卷積層和池化層結(jié)構(gòu)，如圖6所示，其中：為通道總數(shù).

(,)=

(17)

第卷積層的前向傳播公式的矩陣形式如下：

=(+)

(18)

式中：為第個(gè)卷積層的輸出結(jié)果；為第個(gè)卷積層的輸入；為相應(yīng)卷積核參數(shù)；為第個(gè)卷積層的偏置系數(shù).

則求得當(dāng)前卷積層輸入神經(jīng)元對(duì)模型輸出的靈敏度的矩陣形式為

(19)

數(shù)據(jù)集包含37個(gè)特征和1個(gè)標(biāo)簽，其特征包括房屋的大小、位置、層數(shù)等信息，標(biāo)簽是房屋價(jià)格，將數(shù)據(jù)集輸入模型.

3.3 池化層靈敏度的計(jì)算

池化方法分為均值池化和最大池化.池化的目的是通過(guò)減少計(jì)算圖的大小減少計(jì)算參數(shù)，并再次提取有價(jià)值特征.最大池化因?yàn)檫m合分離稀疏特征被更廣泛的使用, 并且它可以減少卷積層參數(shù)誤差造成均值的偏移, 提取出紋理特征.最大池化的前向傳播是把計(jì)算圖中的最大的特征變量傳遞給下一層.反向傳播是把梯度直接傳給前一層最大特征的位置.所以通過(guò)保存的池化層輸入中對(duì)應(yīng)尺寸的最大值位置即可建立池化層梯度矩陣.池化層輸入對(duì)模型輸出的靈敏度如下式所示：

(20)

式中：為池化層輸出；為池化層輸出對(duì)模型輸出的靈敏度；函數(shù)根據(jù)正向傳播的池化邏輯為靈敏度重新分配權(quán)重導(dǎo)數(shù).

3.4 標(biāo)準(zhǔn)化對(duì)靈敏度的影響

神經(jīng)網(wǎng)絡(luò)方法和SInception-CNN方法靈敏度分析結(jié)果如圖7所示，其中：為輸入特征的靈敏度計(jì)算值.由圖7可以看出，由于SInception-CNN特殊的激活函數(shù)設(shè)計(jì)，以及加入L1正則化，得到的靈敏度結(jié)果更具有稀疏性，篩選掉無(wú)效特征.

(21)

與Sobol’法的魯棒性對(duì)比中，在加入臟數(shù)據(jù)(使參數(shù)區(qū)間產(chǎn)生變化)后Sobol’ 法的計(jì)算結(jié)果變動(dòng)非常大, 除了第1位靈敏度參數(shù)，排序都發(fā)生了變化, 而SInception-CNN法所受到的影響很小, 排序結(jié)果沒(méi)有發(fā)生變化, 這是由于SInception-CNN法通過(guò)學(xué)習(xí)輸入與輸入?yún)?shù)的非線性關(guān)系即模型結(jié)構(gòu)計(jì)算靈敏度, 少量樣本不會(huì)影響基本非線性映射, 所以魯棒性高.而Sobol’ 法依賴于參數(shù)區(qū)間提供采樣范圍, 當(dāng)臟數(shù)據(jù)影響采樣范圍時(shí), 計(jì)算結(jié)果將產(chǎn)生很大偏差.

用上述方法可以求出所有項(xiàng).()的總方差為

(22)

式中：為標(biāo)準(zhǔn)化后輸入對(duì)模型輸出的靈敏度.

4 實(shí)驗(yàn)結(jié)果和分析

在一個(gè)工業(yè)數(shù)據(jù)集、一個(gè)公開(kāi)的真實(shí)數(shù)據(jù)集和用函數(shù)生成的仿真數(shù)據(jù)分別進(jìn)行了實(shí)驗(yàn), 以驗(yàn)證本方法的有效性. 工業(yè)數(shù)據(jù)集為工業(yè)航跡融合結(jié)果評(píng)估數(shù)據(jù)集；真實(shí)數(shù)據(jù)集為Kaggle波士頓房?jī)r(jià)數(shù)據(jù)集.本文通過(guò)真實(shí)數(shù)據(jù)集的對(duì)比Sobol’法和神經(jīng)網(wǎng)絡(luò)法驗(yàn)證本方法的魯棒性和有效性, 通過(guò)函數(shù)生成數(shù)據(jù)集量化本方法的準(zhǔn)確性和廣泛適用性.

4.1 Kaggle波士頓房?jī)r(jià)數(shù)據(jù)集進(jìn)行靈敏度分析

式中：為下一層對(duì)模型輸出的靈敏度；rot180為將卷積參數(shù)矩陣翻轉(zhuǎn)180°；為第個(gè)卷積層激活函數(shù)的導(dǎo)數(shù)矩陣.

在對(duì)比試驗(yàn)中, NN、CNN和SInception-CNN使用了相同的訓(xùn)練參數(shù)數(shù)量，模型評(píng)價(jià)指標(biāo)體系如表1所示，使用了均方誤差(MSE)，平均絕對(duì)誤差(MAE)和平均誤差率3個(gè)指標(biāo).由表1可以看出，SInception-CNN模型在測(cè)試集的效果最優(yōu).

神經(jīng)網(wǎng)絡(luò)模型在輸入時(shí)需要進(jìn)行標(biāo)準(zhǔn)化處理，設(shè)標(biāo)準(zhǔn)化過(guò)程為

靈敏度計(jì)算結(jié)果魯棒性對(duì)比如表2所示，其中：括號(hào)內(nèi)的值為當(dāng)前特征的靈敏度排序，本方法在多維特征數(shù)據(jù)集中可以取得與神經(jīng)網(wǎng)絡(luò)方法相近的結(jié)果但更具稀疏性.在數(shù)據(jù)集中引入一個(gè)臟樣本，這個(gè)人工生成樣本的特征3取值為正常值的3倍，改變了特征3的參數(shù)區(qū)間.

式中：()為原始輸入的平均值；std()為的原始輸入的標(biāo)準(zhǔn)差；為標(biāo)準(zhǔn)化后的模型輸入層.則對(duì)模型輸出的靈敏度為

4.2 工業(yè)航跡信息融合結(jié)果評(píng)估數(shù)據(jù)集的靈敏度分析

工業(yè)航跡信息融合結(jié)果評(píng)估數(shù)據(jù)集包含25個(gè)特征和一個(gè)標(biāo)簽.這個(gè)數(shù)據(jù)集的內(nèi)容是對(duì)一套中航工業(yè)的航跡融合算法的評(píng)估數(shù)據(jù).Sobol’法、神經(jīng)網(wǎng)絡(luò)法和SInception-CNN法求得的靈敏度結(jié)果如圖8所示.

由圖8可知，Sobol’法在21、22、23這3個(gè)特征上獲得了較大的靈敏度，這是因?yàn)檫@3個(gè)變量的取值范圍很大，但分布非常不平衡，90%的樣本都在取值范圍的右端，這顯然對(duì)依靠變量取值范圍進(jìn)行采樣的Sobol’法造成了很大的影響.但是SInception-CNN方法和NN方法不會(huì)產(chǎn)生這種問(wèn)題，而且 SInception-CNN 方法又在結(jié)果的稀疏性上強(qiáng)于NN法.

4.3 G函數(shù)的靈敏度分析

針對(duì)SInception-CNN法的準(zhǔn)確性問(wèn)題，使用函數(shù)進(jìn)行測(cè)試.函數(shù)被廣泛應(yīng)用于各種數(shù)值統(tǒng)計(jì)方法(靈敏度分析方法)，因?yàn)槠湎喈?dāng)復(fù)雜，且參數(shù)靈敏度可以計(jì)算.函數(shù)形式如下所示：

(23)

式中：為模型輸入?yún)?shù)；為決定參數(shù)靈敏度的調(diào)整項(xiàng)；為輸入?yún)?shù)個(gè)數(shù)，且=1,2,…,；為輸入?yún)?shù)總數(shù)，則可以表示為

袁紹覺(jué)著自己兵多糧足，準(zhǔn)能把曹操滅了。曹操也準(zhǔn)備跟袁紹決戰(zhàn)，但他的人馬少，打了幾仗沒(méi)得勝。他就下令修筑土壘（），堅(jiān)守營(yíng)寨。袁紹看到曹軍不敢出戰(zhàn)，就讓士兵們?cè)诓軤I(yíng)外面堆起一個(gè)一個(gè)的小土山，土山上再搭起高臺(tái)子，叫士兵們站在高臺(tái)上向曹營(yíng)里射箭。曹操的將士只好用擋箭牌遮住身子，在地上慢慢地爬來(lái)爬去。袁紹的士兵看了，都得意地哈哈大笑。曹操忙跟謀士們商量對(duì)付的辦法。他們?cè)炝艘粋€(gè)發(fā)石機(jī)，能把十幾斤重的大石頭打出去。這種發(fā)石機(jī)投射大石頭的時(shí)候，還“轟隆隆”地發(fā)出響聲，挺嚇人的，所以大伙兒又叫它“霹靂車(chē)”。結(jié)果，袁軍的高臺(tái)讓石頭打得塌的塌，垮的垮，士兵們頭破血流，逃回營(yíng)里去了。

(24)

函數(shù)的真實(shí)靈敏度在文獻(xiàn)[23]中求出，計(jì)算方法在文獻(xiàn)[24]中有詳細(xì)介紹.本實(shí)驗(yàn)中使用6個(gè)輸入?yún)?shù)，={0, 0.5, 3, 6, 9, 99，99}，假設(shè)所有參數(shù)的空間域?yàn)閇0, 1].

實(shí)驗(yàn)使用Sobol’序列生成隨機(jī)數(shù)，并構(gòu)造關(guān)于函數(shù)的數(shù)據(jù)集.分別使用Sobol’法和 SInception 法計(jì)算模型靈敏度，并與真實(shí)值對(duì)比，求二者的平均誤差可以表示為

(25)

傳統(tǒng)的數(shù)據(jù)處理方式過(guò)于單一，存在局限性，在進(jìn)行管理系統(tǒng)的儲(chǔ)存工作時(shí)，多在數(shù)據(jù)庫(kù)內(nèi)部進(jìn)行，此現(xiàn)象直接增加了人們獲取數(shù)據(jù)內(nèi)容的難度，導(dǎo)致獲取方式過(guò)于煩瑣。但隨著我國(guó)科技的發(fā)展，網(wǎng)絡(luò)技術(shù)也發(fā)生著改變，互聯(lián)網(wǎng)技術(shù)開(kāi)始普及，此現(xiàn)象直接為數(shù)據(jù)庫(kù)的信息獲取提供了較大便捷，實(shí)現(xiàn)人們對(duì)數(shù)據(jù)內(nèi)容的高效獲取。

NN法和SInception-CNN法作為基于回歸的方法，數(shù)據(jù)來(lái)源于數(shù)據(jù)集，因此不需要額外采樣.由圖9可以看出, 針對(duì)函數(shù)，當(dāng)Sobol’法的采樣次數(shù)小于 3 644 時(shí), NN 靈敏度分析方法的精確度大于Sobol’法； 當(dāng)Sobol’法的采樣次數(shù)小于 3 973 時(shí), SInception-CNN 法的精確度大于Sobol’法.因?yàn)樯疃葘W(xué)習(xí)模型是一個(gè)黑盒系統(tǒng)，其內(nèi)部存在一些噪聲，所以根據(jù)深度學(xué)習(xí)模型來(lái)求靈敏度時(shí)計(jì)算結(jié)果不可避免地包含了一些噪聲.基于深度學(xué)習(xí)的全局靈敏度分析方法在理想生成數(shù)據(jù)中的準(zhǔn)確性低于Sobol’法. SInception-CNN方法更適用于模型未知、參數(shù)分布不均勻或者無(wú)法進(jìn)行大量采樣的情況.

加強(qiáng)領(lǐng)退料的管理，控制材料的用量.一是要嚴(yán)格按照施工圖紙編制材料使用計(jì)劃；二是要嚴(yán)格按照工程進(jìn)度實(shí)行限額領(lǐng)料制度；三是要加強(qiáng)工程現(xiàn)場(chǎng)管理，做到合理堆放，減少搬運(yùn)，充分利用廢舊材料，并防止材料被盜情況發(fā)生，確保工完場(chǎng)清，減少材料損失；四是完工后及時(shí)做好工程決算，認(rèn)真核對(duì)甲供材料使用量，及時(shí)回收周轉(zhuǎn)材料，對(duì)決算退料靈活處理，防止出現(xiàn)材料一經(jīng)退回即成廢品積壓在倉(cāng)庫(kù)的現(xiàn)象.

5 對(duì)模型輸出的組合提升

輸入特征與輸出之間的關(guān)系以SInception-CNN卷積網(wǎng)絡(luò)權(quán)重的形式保存了下來(lái).因此使用SInception-CNN方法可以求得每個(gè)樣本的參數(shù)靈敏度.針對(duì)單個(gè)樣本的參數(shù)靈敏度相當(dāng)于輸入?yún)?shù)對(duì)系統(tǒng)輸出的近似梯度.使用參數(shù)靈敏度可以得到輸入與輸出間的自適應(yīng)線性關(guān)系方程，繼而選擇最有效的參數(shù)組合來(lái)提升輸出.

數(shù)據(jù)集使用的Sklearn波士頓房?jī)r(jià)數(shù)據(jù)集，有13個(gè)輸入變量，1個(gè)輸出變量.各個(gè)參數(shù)的實(shí)際意義如表3所示.

將69號(hào)樣本輸入訓(xùn)練好的SInception-CNN模型，并根據(jù)輸入對(duì)模型進(jìn)行反向傳播求梯度，結(jié)果如圖10所示.

印刷行業(yè)現(xiàn)在最缺的可能就是，數(shù)字化的人才，這類人才，不單要熟練操作數(shù)字化設(shè)備，還應(yīng)嫻熟運(yùn)用各類數(shù)字化軟件，李新立坦陳自己的憂慮。誠(chéng)如他所說(shuō)，傳統(tǒng)印刷在國(guó)內(nèi)經(jīng)過(guò)這二十多年的大發(fā)展，已經(jīng)儲(chǔ)備了大量的人才，但在數(shù)字化的時(shí)代，一切應(yīng)用都跟數(shù)據(jù)有關(guān)，行業(yè)及企業(yè)要想贏得未來(lái)，精通數(shù)字語(yǔ)言的人才就是關(guān)鍵。而如何破局，還需群策群力。

經(jīng)驗(yàn)證，求得結(jié)果可以真實(shí)反映參數(shù)的實(shí)際意義.例如，參數(shù)1(人均犯罪率)，其值越高則房?jī)r(jià)越低，那么求得的近似梯度為負(fù)，其他參數(shù)都可合理解釋.

以其中第69號(hào)樣本為例，選取梯度為正的幾個(gè)參數(shù)將其均提高0.1(標(biāo)準(zhǔn)化后)，輸入SInception-CNN 模型， 輸出從20.18提高到20.46，提升了0.28，依據(jù)靈敏度對(duì)預(yù)測(cè)差值的計(jì)算為0.253，誤差為0.14%.利用SInception-CNN 法計(jì)算的樣本參數(shù)靈敏度可以得到最優(yōu)調(diào)整策略，并得到預(yù)期變化量.

6 結(jié)語(yǔ)

本文結(jié)合深度學(xué)習(xí)和全局靈敏度分析提出了一種智能全局靈敏度分析方法.使用SInception-CNN 以模型權(quán)重的形式學(xué)習(xí)輸入與輸出間的復(fù)雜關(guān)系, 通過(guò)梯度反向傳播計(jì)算系統(tǒng)參數(shù)靈敏度和全局靈敏度, 在建模的同時(shí)完成全局靈敏度的計(jì)算.這種新穎的結(jié)合既使得深度學(xué)習(xí)方法可以得到其對(duì)輸入?yún)?shù)的靈敏度信息, 不再是一個(gè)完全的“黑盒”, 又把深度學(xué)習(xí)很強(qiáng)的特征提取能力賦予了全局靈敏度分析.全局靈敏度分析不再需要人工對(duì)特征進(jìn)行組合提取, 不再需要對(duì)參數(shù)的定義域進(jìn)行人為選定, 可以直接根據(jù)數(shù)據(jù)得出結(jié)果, 成為了一種端到端的智能方法.

在兩個(gè)真實(shí)世界數(shù)據(jù)集中，證明了SInception-CNN相比于經(jīng)典方法Sobol’法有更強(qiáng)的魯棒性且不依賴已有模型，相比于NN法有更強(qiáng)的準(zhǔn)確性和稀疏性.通過(guò)對(duì)函數(shù)進(jìn)行靈敏度分析，得到了SInception-CNN在理想生成數(shù)據(jù)中的準(zhǔn)確性指標(biāo).此外, 本文還提供了一種根據(jù)智能全局靈敏度分析方法優(yōu)化模型輸出的方法.