隱層
- 修正的線性和冪函數(shù)的神經(jīng)網(wǎng)絡(luò)算子的構(gòu)造與逼近
的一種模型就是單隱層前向神經(jīng)網(wǎng)絡(luò),其數(shù)學(xué)表達(dá)式為其中aj是連接隱層與輸出層之間的權(quán)值(也稱外權(quán)),x∈Rd是網(wǎng)絡(luò)的輸入,ωj∈Rd是連接輸入層與隱層之間的權(quán)值(也稱內(nèi)權(quán)),bj是閾值或偏置, 而φ是定義在R上的激活函數(shù),n是隱層神經(jīng)元的個(gè)數(shù). 第二種是近年來(lái)引起人們極大興趣的, 在計(jì)算機(jī)視覺、自然語(yǔ)言處理及模式識(shí)別等領(lǐng)域取得突破性成功應(yīng)用的深度網(wǎng)絡(luò)或多隱層神經(jīng)網(wǎng)絡(luò). 由于深度網(wǎng)絡(luò)有多個(gè)隱層, 從而其網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)就較單隱層而言更復(fù)雜, 且網(wǎng)絡(luò)隱層數(shù)越多,
- 基于GABP神經(jīng)網(wǎng)絡(luò)的供應(yīng)鏈合作伙伴評(píng)價(jià)方法
三層，即輸入層、隱層以及輸出層，輸入層和輸出層節(jié)點(diǎn)個(gè)數(shù)根據(jù)任務(wù)確定，重要的是隱層節(jié)點(diǎn)個(gè)數(shù)的確定。過(guò)多的隱層節(jié)點(diǎn)數(shù)會(huì)使新的輸入集難以適應(yīng)該網(wǎng)絡(luò)，而過(guò)少的隱層節(jié)點(diǎn)數(shù)會(huì)使網(wǎng)絡(luò)的精度受到影響，因此合理選擇隱層節(jié)點(diǎn)數(shù)是BP神經(jīng)網(wǎng)絡(luò)應(yīng)用必須解決的問(wèn)題之一。文獻(xiàn)[11]中提出設(shè)置隱層節(jié)點(diǎn)數(shù)為ab，其中a、b為輸入和輸出的節(jié)點(diǎn)個(gè)數(shù)。但是固定的隱層節(jié)點(diǎn)數(shù)會(huì)降低神經(jīng)網(wǎng)絡(luò)的自適應(yīng)性。另一方面，BP神經(jīng)網(wǎng)絡(luò)可將網(wǎng)絡(luò)誤差逆向傳輸從而優(yōu)化節(jié)點(diǎn)間的權(quán)重和閾值，直到誤差滿足要求為止。因此
物流技術(shù) 2022年10期2022-11-05
- 基于RTD可編程邏輯門的n變量函數(shù)實(shí)現(xiàn)算法
經(jīng)網(wǎng)絡(luò)由輸入層、隱層和輸出層三層網(wǎng)絡(luò)結(jié)構(gòu)組成[16]。文獻(xiàn)[9]和文獻(xiàn)[17]均基于三層網(wǎng)絡(luò)結(jié)構(gòu)，提出RTD可編程邏輯門的函數(shù)綜合算法，且文獻(xiàn)[17]算法較文獻(xiàn)[9]算法的效率更高、設(shè)計(jì)的電路更簡(jiǎn)單，但仍存在不足。本文將基于新的定理，提出一種n變量函數(shù)實(shí)現(xiàn)算法，能有效解決文獻(xiàn)[17]算法的不足，且算法準(zhǔn)確性更高、設(shè)計(jì)的電路更簡(jiǎn)單。1 相關(guān)理論及RTD可編程邏輯門1.1 相關(guān)理論1.2 RTD可編程邏輯門基于RTD的閾值電路結(jié)構(gòu)通常由MOBILE和輸入分支組
浙江大學(xué)學(xué)報(bào)（理學(xué)版） 2022年4期2022-07-25
- 一種自適應(yīng)確定隱層節(jié)點(diǎn)數(shù)的增量半監(jiān)督超限學(xué)習(xí)機(jī)算法
自適應(yīng)確定合理的隱層節(jié)點(diǎn)個(gè)數(shù)；2) 當(dāng)隱層節(jié)點(diǎn)數(shù)增加后，如何重新訓(xùn)練網(wǎng)絡(luò)。本文基于流形正則化，在半監(jiān)督超限學(xué)習(xí)機(jī)的基礎(chǔ)上，提出了一種增量半監(jiān)督超限學(xué)習(xí)機(jī)(Incremental SS-ELM, ISS-ELM)算法。對(duì)于給定的學(xué)習(xí)精度，該算法能夠逐個(gè)或者成批地增加隱層節(jié)點(diǎn)，并自適應(yīng)確定隱層節(jié)點(diǎn)數(shù)量。在此過(guò)程當(dāng)中，網(wǎng)絡(luò)的外權(quán)矩陣不需要重新訓(xùn)練，只需逐步更新，當(dāng)隱層節(jié)點(diǎn)數(shù)較大時(shí)，能大幅減少半監(jiān)督超限學(xué)習(xí)機(jī)的訓(xùn)練時(shí)間。2 相關(guān)工作本文在超限學(xué)習(xí)機(jī)和半監(jiān)督超限學(xué)習(xí)
復(fù)旦學(xué)報(bào)（自然科學(xué)版） 2022年1期2022-06-16
- 基于原型學(xué)習(xí)與深度特征融合的腦功能連接分類方法研究
征跨越模型中間的隱層直接與全連接層連接起來(lái),最后使用該特征來(lái)預(yù)測(cè)樣本類別.該方法可以有效地將高層次特征和低層次特征結(jié)合起來(lái),在人臉性別分類任務(wù)中獲得了比傳統(tǒng)CNN更高的準(zhǔn)確率.李勇等[10]針對(duì)LeNet-5 在表情識(shí)別中識(shí)別率不高的問(wèn)題提出了一種基于跨連接LeNet-5 網(wǎng)絡(luò)的面部表情識(shí)別方法,該方法能夠?qū)⑸窠?jīng)網(wǎng)絡(luò)提取的低層次特征和高層次特征融合,提高了表情識(shí)別率.最近,又有研究表明,將原型學(xué)習(xí)與深度學(xué)習(xí)結(jié)合能夠提取到類內(nèi)差異小,類間差異大的鑒別性特征.
自動(dòng)化學(xué)報(bào) 2022年2期2022-03-10
- 基于雙層GRU神經(jīng)網(wǎng)絡(luò)的油田注水預(yù)測(cè)方法研究
據(jù)，分別建立了單隱層和雙隱層兩種不同隱層的人工神經(jīng)網(wǎng)絡(luò)（ANN）模型對(duì)葉綠素a （Chl-a） 濃度進(jìn)行了預(yù)測(cè)； 文獻(xiàn)［12］ 基于雙層GRU神經(jīng)網(wǎng)絡(luò)和飛蛾火焰優(yōu)化（MFO） 算法提出了一種新型自動(dòng)駕駛行為決策方法，實(shí)驗(yàn)表明，該方法在汽車自動(dòng)駕駛的行為決策方面比現(xiàn)有的方法準(zhǔn)確性更高。由于注水流量數(shù)據(jù)具有一定的周期性，且當(dāng)前注水量受上一時(shí)刻注水量的影響，為了充分利用該特性，提高注水流量預(yù)測(cè)精度，筆者考慮采用GRU神經(jīng)網(wǎng)絡(luò)模型進(jìn)行注水流量預(yù)測(cè)。 但是以往采用G
化工自動(dòng)化及儀表 2022年1期2022-02-15
- 基于多視圖自編碼器及高斯模糊的缺陷檢測(cè)方法
的每個(gè)維度與所有隱層特征相連，每個(gè)隱層特征與重構(gòu)的每個(gè)維度相連，導(dǎo)致模型無(wú)法有效地分離缺陷、背景和噪聲信息。雖然AE已經(jīng)有了各種改進(jìn)，比如稀疏自編碼器[6]、降噪自編碼器[7]、堆棧降噪自編碼器[8]等，但都無(wú)法有效提取深層缺陷信息。多視圖學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)分支，因其處理高維數(shù)據(jù)不會(huì)引起過(guò)擬合而受到歡迎[9-10]。Jia等[11]將多視圖學(xué)習(xí)的所有視圖(輸入數(shù)據(jù))映射到一個(gè)公共空間和幾個(gè)私有空間。在多視圖學(xué)習(xí)方法中，基于子空間學(xué)習(xí)的方法旨在獲取比輸入
湖北理工學(xué)院學(xué)報(bào) 2021年4期2021-08-04
- 充油電氣設(shè)備油色譜故障診斷ANN方法的性能優(yōu)化
；②有文獻(xiàn)給出了隱層神經(jīng)元數(shù)量的選擇方法[23-24]，但不確定對(duì)基于油色譜的ANN方法是否適用，關(guān)于隱層神經(jīng)元數(shù)量、隱層和輸出層神經(jīng)元激活函數(shù)選擇和訓(xùn)練目標(biāo)選擇對(duì)基于油色譜的ANN訓(xùn)練速度和診斷準(zhǔn)確率的影響未見文獻(xiàn)公開報(bào)道。以上問(wèn)題可能會(huì)影響網(wǎng)絡(luò)診斷的準(zhǔn)確性，非常有必要進(jìn)行研究。為了解決這個(gè)問(wèn)題，本文基于搜集得到的470個(gè)典型故障特征氣體樣本，構(gòu)建單隱層多層前饋ANN系統(tǒng)，研究訓(xùn)練算法、隱層神經(jīng)元數(shù)量、網(wǎng)絡(luò)輸入和訓(xùn)練目標(biāo)、隱層和輸出層神經(jīng)元激活函數(shù)對(duì)訓(xùn)練
廣東電力 2021年6期2021-07-02
- 卷積神經(jīng)網(wǎng)絡(luò)模型信息的深層安全控制方法及其優(yōu)化
度神經(jīng)網(wǎng)絡(luò)的單一隱層的偏置加入變異因子，只有授權(quán)用戶能夠解耦受控神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)用戶的訪問(wèn)控制。本文在上述文獻(xiàn)的基礎(chǔ)上，提出卷積神經(jīng)網(wǎng)絡(luò)深層控制方法。當(dāng)目標(biāo)模型訓(xùn)練完成，通過(guò)在目標(biāo)神經(jīng)網(wǎng)絡(luò)多個(gè)隱層的眾多參數(shù)處加入控制因子，使未授權(quán)用戶無(wú)法訪問(wèn)目標(biāo)模型。授權(quán)用戶輸入用戶ID使用目標(biāo)深度神經(jīng)網(wǎng)絡(luò)模型時(shí)，目標(biāo)模型可以對(duì)用戶輸入做出正確預(yù)測(cè)。2 深度神經(jīng)網(wǎng)絡(luò)多層控制方法2.1 基本思想在人工智能即服務(wù)模式下，用戶能夠通過(guò)授權(quán)訪問(wèn)的方式使用云環(huán)境下深度神經(jīng)網(wǎng)絡(luò)模型，
計(jì)算機(jī)應(yīng)用與軟件 2021年6期2021-06-21
- 基于多隱層小波卷積極限學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的滾動(dòng)軸承故障識(shí)別
征提取較困難。多隱層自動(dòng)編碼網(wǎng)絡(luò)[2]能自動(dòng)地從滾動(dòng)軸承振動(dòng)信號(hào)中學(xué)習(xí)有價(jià)值的特征，克服了傳統(tǒng)基于“人工特征提取+模式識(shí)別”方法受主觀影響大的缺陷[3]，在滾動(dòng)軸承故障識(shí)別領(lǐng)域取得了較大突破。文獻(xiàn)[4]在缺少滾動(dòng)軸承故障信息的情況下，利用多隱層玻爾茲曼網(wǎng)絡(luò)取得了較高的識(shí)別準(zhǔn)確率；文獻(xiàn)[5]提出的融合多隱層自動(dòng)編碼網(wǎng)絡(luò)能更有效、更穩(wěn)健地對(duì)滾動(dòng)軸承的多種故障進(jìn)行識(shí)別。自動(dòng)編碼網(wǎng)絡(luò)[6]不需要標(biāo)記數(shù)據(jù)，其訓(xùn)練過(guò)程為非監(jiān)督過(guò)程，因此，可將自動(dòng)編碼網(wǎng)絡(luò)的思想應(yīng)用到極
工礦自動(dòng)化 2021年5期2021-06-02
- 基于粒子群優(yōu)化極限學(xué)習(xí)機(jī)及電容層析成像的兩相流流型及其參數(shù)預(yù)測(cè)
∈Rm,定義一個(gè)隱層節(jié)點(diǎn)數(shù)為,激活函數(shù)為g(x)的SLFNs的數(shù)學(xué)模型為[6～7]:(1)式中:j=1,…,N;wi=[wi1,wi2,…,win]T為連接輸入層和第i個(gè)隱層節(jié)點(diǎn)的權(quán)重;βi=[βi1,βi2,…,βim]T為連接輸出層和第i個(gè)隱層節(jié)點(diǎn)的權(quán)重;bi為第i個(gè)隱層節(jié)點(diǎn)的閾值;wi·xj為wi和xj的內(nèi)積;oj為前饋神經(jīng)網(wǎng)絡(luò)的輸出值;g(x)可選為Sigmoid函數(shù)或徑向基函數(shù)等。(2)將式(2)簡(jiǎn)寫為:Hβ=T(3)式中:H為神經(jīng)網(wǎng)絡(luò)隱層的輸出
計(jì)量學(xué)報(bào) 2020年12期2021-01-19
- 基于棧式降噪稀疏自編碼器的極限學(xué)習(xí)機(jī)
一種簡(jiǎn)單高效的單隱層前饋神經(jīng)網(wǎng)絡(luò)(Single Hidden Layer Feedforward Neural Network,SLFN)算法。ELM網(wǎng)絡(luò)的輸入權(quán)重和隱層偏置均為隨機(jī)生成,輸出權(quán)值則通過(guò)求解最小化平方損失函數(shù)得到,能夠有效解決傳統(tǒng)SLFN算法收斂速度慢、容易產(chǎn)生局部最優(yōu)解的問(wèn)題。ELM因?qū)崿F(xiàn)簡(jiǎn)單、訓(xùn)練速度快和泛化性能好等特點(diǎn),現(xiàn)已被廣泛應(yīng)用于語(yǔ)音識(shí)別[2]、故障診斷[3-4]、生物醫(yī)學(xué)[5-6]、計(jì)算機(jī)視覺[7-8]等多個(gè)領(lǐng)域。大量研究表明
計(jì)算機(jī)工程 2020年9期2020-09-18
- 一種深度梯度提升回歸預(yù)測(cè)模型
習(xí)，分為輸入層、隱層和輸出層。輸入層(L1)包括若干學(xué)習(xí)器(R11,R12,…,R1m)進(jìn)行初級(jí)特征學(xué)習(xí)，每個(gè)學(xué)習(xí)器使用隨機(jī)子空間方法隨機(jī)選擇相同大小的不同特征組合的子空間作為輸入。隱層中含有隱層學(xué)習(xí)器進(jìn)行高層特征抽象。為保持?jǐn)?shù)據(jù)集原始特征信息，第一層隱層(L2)的輸入為原始特征和輸入層若干學(xué)習(xí)器的輸出。從第二層隱層開始(L3)，每一層的輸入包含原始數(shù)據(jù)集中的所有特征和所有隱層學(xué)習(xí)器的輸出作為下一層隱層學(xué)習(xí)器的輸入。根據(jù)學(xué)習(xí)結(jié)果，隱層層數(shù)自適應(yīng)確定，當(dāng)上一
計(jì)算機(jī)應(yīng)用與軟件 2020年9期2020-09-09
- 基于BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的圖像壓縮技術(shù)研究
傳播是由輸入層到隱層的一個(gè)過(guò)程，反向傳播是輸出層到隱層的一個(gè)誤差反傳過(guò)程[5]。1.1 BP神經(jīng)網(wǎng)絡(luò)模型BP算法的多層前饋網(wǎng)絡(luò)可以看作是目前最廣泛的神經(jīng)網(wǎng)絡(luò)，以較大的比率應(yīng)用于生活中，當(dāng)然單隱層網(wǎng)絡(luò)更為普遍地應(yīng)用于語(yǔ)言神經(jīng)網(wǎng)絡(luò)中。BP神經(jīng)網(wǎng)絡(luò)模型如圖1所示，主要由輸入層、隱層和輸出層三部分組成[6]。圖1 三層BP網(wǎng)絡(luò)模型三層的網(wǎng)絡(luò)中，輸入向量X=(x1,x2,…,xi,…,xn)T，比如加入x0=-1，此時(shí)，可以為隱層引入閾值；隱層輸出向量為Y=(y1,
商洛學(xué)院學(xué)報(bào) 2020年4期2020-07-08
- 基于改進(jìn)煙花算法的ELM 分類模型*
一種快速學(xué)習(xí)的單隱層前饋神經(jīng)網(wǎng)絡(luò)，隱層輸入權(quán)值和偏置根據(jù)輸入節(jié)點(diǎn)和隱層節(jié)點(diǎn)數(shù)隨機(jī)生成，根據(jù)隱層輸入權(quán)值和偏置求得隱層輸出矩陣。盡管極限學(xué)習(xí)機(jī)與標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)相比有很多的優(yōu)點(diǎn)，但是并不能滿足人們對(duì)精度更高和速度更快的需要，因此，很多優(yōu)化的ELM 算法出現(xiàn)。例如小波核極限學(xué)習(xí)機(jī)、粒子群極限學(xué)習(xí)機(jī)、蟻群優(yōu)化極限學(xué)習(xí)機(jī)、人工蜂群算法優(yōu)化極限學(xué)習(xí)機(jī)等［2］，優(yōu)化了極限學(xué)習(xí)機(jī)的分類性能或極限學(xué)習(xí)機(jī)的隱層節(jié)點(diǎn)。受煙花在空中爆炸產(chǎn)生火花，照亮臨近的天空并構(gòu)造出美麗的圖案這
火力與指揮控制 2020年2期2020-04-02
- 基于粒子群優(yōu)化的深度隨機(jī)神經(jīng)網(wǎng)絡(luò)
LM)[1]為單隱層前饋隨機(jī)神經(jīng)網(wǎng)絡(luò)的一類有效學(xué)習(xí)算法．該算法隨機(jī)選擇輸入層權(quán)值和隱單元閾值,并通過(guò)摩爾-彭若斯廣義逆解析，確定網(wǎng)絡(luò)輸出層權(quán)值．相對(duì)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)梯度學(xué)習(xí)算法,超限學(xué)習(xí)機(jī)能夠以極快的速度獲得更優(yōu)的泛化性能;同時(shí),超限學(xué)習(xí)機(jī)中隱單元激活函數(shù)不需要一定可微,在學(xué)習(xí)過(guò)程中不用考慮停止規(guī)則、學(xué)習(xí)率和迭代次數(shù)等問(wèn)題．相對(duì)于支持向量機(jī)，超限學(xué)習(xí)機(jī)僅需確定隱層節(jié)點(diǎn)數(shù),不需要進(jìn)行復(fù)雜的參數(shù)選擇,在多類別分類問(wèn)題和回歸問(wèn)題上均能獲得良好性能．因此,近十年來(lái)
- 基于深度架構(gòu)網(wǎng)絡(luò)的矮新星自動(dòng)分類研究
E)是僅包含一個(gè)隱層的經(jīng)典神經(jīng)網(wǎng)絡(luò)模型， 能夠自動(dòng)挖掘樣本數(shù)據(jù)的低層次特征。 然而一層AE編碼能力有限， 數(shù)據(jù)表征學(xué)習(xí)能力不足。 具有多層次分布式架構(gòu)的網(wǎng)絡(luò)可彌補(bǔ)淺層模型在數(shù)據(jù)表征學(xué)習(xí)方面的欠缺， 對(duì)混亂無(wú)序的海量原始數(shù)據(jù)進(jìn)行抽象， 挖掘隱藏在數(shù)據(jù)內(nèi)部具有區(qū)分度的潛在特征[10]。 本文結(jié)合AE算法在參數(shù)估計(jì)上的計(jì)算優(yōu)勢(shì)， 以AE為基礎(chǔ)構(gòu)建了基于多層感知器架構(gòu)的深度前饋堆棧式自編碼器網(wǎng)絡(luò)， 其深度分布式結(jié)構(gòu)能夠提供有效的數(shù)據(jù)抽象和表征學(xué)習(xí)能力， 特征檢測(cè)層
光譜學(xué)與光譜分析 2020年2期2020-02-25
- 基于噪聲數(shù)據(jù)與干凈數(shù)據(jù)的深度置信網(wǎng)絡(luò)?
.pgRBM 把隱層節(jié)點(diǎn)分為與分類有關(guān)的和與分類無(wú)關(guān)的兩個(gè)部分,其連接權(quán)值的初值是用特征選擇的方法對(duì)RBM 學(xué)習(xí)的權(quán)值處理得到的.pgrncRBM 就是在傳統(tǒng)的pgRBM 基礎(chǔ)上對(duì)pgRBM 學(xué)習(xí)到的數(shù)據(jù)二次去噪,其與分類無(wú)關(guān)的隱層節(jié)點(diǎn)相連權(quán)值的初值是用特征選擇的方法對(duì)RBM 對(duì)一次降噪的數(shù)據(jù)學(xué)習(xí)到的權(quán)值處理得到的,但是其與分類有關(guān)的隱層節(jié)點(diǎn)相連權(quán)值的初值是用RBM 對(duì)不含噪聲的數(shù)據(jù)學(xué)習(xí)得到的.這樣,pgrncRBM 在處理隨機(jī)噪聲數(shù)據(jù)時(shí)可以學(xué)習(xí)到更為“干
軟件學(xué)報(bào) 2019年11期2019-12-11
- 基于深度學(xué)習(xí)的金融衍生品RSI指標(biāo)預(yù)測(cè)模型
時(shí)刻的50 個(gè)隱層輸出，故有(30+50+1)*50=4050 個(gè)參數(shù);RNN2: 100 個(gè)節(jié)點(diǎn)，接受dense1 的100 個(gè)隱層輸出，以及自身的偏置值，故有(100+1)*100=10100 個(gè)參數(shù);2RNN2: 50 個(gè)節(jié)點(diǎn)，接受2RNN1 的50 個(gè)隱層的輸出、自身t-1 隱層的輸出，以及自身的偏置值，故有(50+50+1)*50=5050 個(gè)參數(shù);output: 3 個(gè)節(jié)點(diǎn)，接受RNN2 的100 個(gè)隱層的輸出、rnn2 的50 個(gè)隱層的輸出
電子技術(shù)與軟件工程 2019年12期2019-08-22
- 基于多隱層Gibbs采樣的深度信念網(wǎng)絡(luò)訓(xùn)練方法
反向傳播算法在多隱層神經(jīng)網(wǎng)絡(luò)上存在著梯度消失的問(wèn)題,使得深度網(wǎng)絡(luò)的性能甚至還不如淺層網(wǎng)絡(luò)[1].這兩個(gè)關(guān)鍵問(wèn)題在2006年Hinton提出的文獻(xiàn)[2]中得到了很大程度上的解決.在文獻(xiàn)[2]中提出的多層限制玻爾茲曼機(jī)(Restrict Boltzmann machine,RBM)堆疊降維的方法,在無(wú)監(jiān)督的情況下實(shí)現(xiàn)了自動(dòng)化的特征學(xué)習(xí),實(shí)驗(yàn)表明效果比傳統(tǒng)的PCA方法要好得多.在此基礎(chǔ)上增加分類器就構(gòu)成了深度信念網(wǎng)絡(luò)模型(Deep belief network,
自動(dòng)化學(xué)報(bào) 2019年5期2019-06-11
- 基于RDPSO結(jié)構(gòu)優(yōu)化的三隱層BP神經(jīng)網(wǎng)絡(luò)水質(zhì)預(yù)測(cè)模型及應(yīng)用
際應(yīng)用中，由于單隱層BP神經(jīng)網(wǎng)絡(luò)初始權(quán)值閾值等參數(shù)通過(guò)隨機(jī)確定，致使BP神經(jīng)網(wǎng)絡(luò)收斂速度慢、易陷入局部最優(yōu)而不能獲得較好的預(yù)測(cè)效果。目前，普遍采用遺傳算法[5-6]、粒子群算法[7-8]等智能算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)權(quán)值及閾值或增加BP神經(jīng)網(wǎng)絡(luò)隱層數(shù)來(lái)改善BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)性能。研究表明，同單隱層相比，多隱層BP神經(jīng)網(wǎng)絡(luò)泛化能力強(qiáng)，預(yù)測(cè)精度高，是提高BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)性能的重要途徑之一。目前已在徑流預(yù)測(cè)[9]、水質(zhì)預(yù)測(cè)[10]、風(fēng)電功率預(yù)測(cè)[11]以及水安全評(píng)價(jià)
人民珠江 2019年4期2019-04-20
- 連續(xù)音素的改進(jìn)深信度網(wǎng)絡(luò)的識(shí)別算法?
包含一個(gè)由隨機(jī)的隱層單元構(gòu)成的隱層和一個(gè)由隨機(jī)的可見單元構(gòu)成的顯層，其中隱層一般為伯努利分布，顯層一般是高斯分布或伯努利分布[9]。RBM可以表示成雙向圖，只有不同層之間的單元才會(huì)存在邊，同層單元之間都不會(huì)有邊連接，即層間全連接，層內(nèi)無(wú)連接。RBM是一種基于能量的模型，其可見矢量v和隱層矢量h的聯(lián)合配置能量由公式(1)給出。其中，vi是可見單元的二值狀態(tài)，hj是隱層單元的二值狀態(tài)，ai和bj分別是可見單元i和隱層單元j的偏置值，wij是鏈接權(quán)值。通過(guò)E可以
應(yīng)用聲學(xué) 2019年1期2019-04-02
- BP網(wǎng)絡(luò)結(jié)構(gòu)和算法對(duì)非線性系統(tǒng)進(jìn)行辨識(shí)
網(wǎng)絡(luò)輸入、輸出、隱層節(jié)點(diǎn)的個(gè)數(shù)，BP網(wǎng)絡(luò)還是具有相當(dāng)高的精度,對(duì)非線性系統(tǒng)辨識(shí)也是一種切實(shí)可行的方法[2]。1 BP網(wǎng)絡(luò)設(shè)計(jì)BP網(wǎng)絡(luò)主要包含輸出輸入層和隱層，建立BP網(wǎng)絡(luò)首先要選擇好網(wǎng)絡(luò)的層數(shù)和每層的節(jié)點(diǎn)數(shù)。輸入輸出層的節(jié)點(diǎn)數(shù)是根據(jù)要分析的變量數(shù)而定，當(dāng)要分析非線性模擬信號(hào)量時(shí)，一般采用按時(shí)序采樣的方式選取數(shù)點(diǎn)作為輸入層節(jié)點(diǎn)數(shù)。輸出層節(jié)點(diǎn)數(shù)要根據(jù)實(shí)際需要考慮輸出數(shù)據(jù)的類型和數(shù)據(jù)大小來(lái)決定。網(wǎng)絡(luò)的層數(shù)一般時(shí)預(yù)先設(shè)定的，確定網(wǎng)絡(luò)層數(shù)就是確定有幾個(gè)隱層，理論上，
山東化工 2019年2期2019-02-21
- 改進(jìn)磷蝦群算法優(yōu)化ELM的入侵檢測(cè)*
改進(jìn)，在極大減少隱層節(jié)點(diǎn)數(shù)的同時(shí)提高了節(jié)點(diǎn)的學(xué)習(xí)質(zhì)量，使得精簡(jiǎn)的IKH-ELM的泛化性能明顯提高，且超過(guò)需要眾多隱層節(jié)點(diǎn)的原始ELM的性能。同時(shí)，本文將IKH-ELM應(yīng)用到入侵檢測(cè)中，通過(guò)實(shí)驗(yàn)驗(yàn)證其效果，并與原始ELM、BP、SVM等算法進(jìn)行比較，結(jié)果表明IKH-ELM具有更好的綜合性能。1 極限學(xué)習(xí)機(jī)極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）是單隱層前饋神經(jīng)網(wǎng)絡(luò)（Single-hidden Layer feed-Forward
火力與指揮控制 2018年12期2019-01-14
- 基于局部自動(dòng)編碼器的手寫數(shù)字分類
C2ELM在不同隱層結(jié)點(diǎn)數(shù)下的訓(xùn)練時(shí)間，接著將C2ELM和RF-C2ELM擴(kuò)展為多層神經(jīng)網(wǎng)絡(luò)，并與ML-ELM(Multi Layer Extreme Learning Machine)作比較.2 相關(guān)知識(shí)2.1 ELM對(duì)于任意N個(gè)互不相同的訓(xùn)練樣本與對(duì)應(yīng)標(biāo)簽的集合，數(shù)據(jù)組織形式為(xi，ti)，其中xi=[xi1，xi2，…，xin]T∈Rn是模型的輸入，ti=[ti1，ti2，…，tim]T∈Rm是整個(gè)模型的期望輸出，i=1，2，…，N.假設(shè)SLFNs
小型微型計(jì)算機(jī)系統(tǒng) 2018年11期2018-11-15
- 集成自編碼與PCA的高爐多元鐵水質(zhì)量隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)建模
度,但是存在最優(yōu)隱層節(jié)點(diǎn)數(shù)的選擇問(wèn)題,且易出現(xiàn)過(guò)擬合問(wèn)題;文獻(xiàn)[17]進(jìn)一步采用在線序貫學(xué)習(xí)型RVFLNs實(shí)現(xiàn)多元鐵水質(zhì)量的在線軟測(cè)量建模,但是當(dāng)隱層節(jié)點(diǎn)選擇不當(dāng)時(shí),會(huì)出現(xiàn)過(guò)擬合現(xiàn)象;文獻(xiàn)[18]提出的增量型RVFLNs一定程度解決隱層節(jié)點(diǎn)的選擇問(wèn)題和過(guò)擬合問(wèn)題,但是該方法中隱層節(jié)點(diǎn)數(shù)較多,網(wǎng)絡(luò)結(jié)構(gòu)過(guò)于復(fù)雜,計(jì)算效率低.毫無(wú)疑問(wèn),RVFLNs比BP等常規(guī)神經(jīng)網(wǎng)絡(luò)具有更高的計(jì)算效率,且RVFLNs及其改進(jìn)算法都具有較高的模型精度,但這些算法仍然存在如下兩方面
自動(dòng)化學(xué)報(bào) 2018年10期2018-11-01
- 基于BP神經(jīng)網(wǎng)絡(luò)的鐵路軌道幾何不平順預(yù)測(cè)方法
計(jì)算結(jié)果顯示，雙隱層神經(jīng)網(wǎng)絡(luò)具有較高的預(yù)測(cè)精度，能夠用于重載鐵路軌道質(zhì)量預(yù)測(cè)。1 理論模型1.1 多元多重回歸模型多元回歸模型是用來(lái)對(duì)多變量進(jìn)行回歸分析的數(shù)學(xué)模型，通常含有多個(gè)自變量與一個(gè)因變量。當(dāng)該模型用于分析多個(gè)因變量與多個(gè)自變量的依賴關(guān)系時(shí)，則稱為多元多重回歸模型，其模型結(jié)構(gòu)為( 1 )式中：x1,x2,…,xm為自變量；y1,y2,…,yp為因變量；β為模型參數(shù)；ε～N(0,σ2)為隨機(jī)誤差。該模型的矩陣表示形式為( 2 )利用拉直法及矩陣四塊求逆
鐵道學(xué)報(bào) 2018年9期2018-09-28
- 循環(huán)流化床鍋爐燃燒系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型研究
一種性能出色的單隱層前饋神經(jīng)網(wǎng)絡(luò)，稱為極限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)。ELM的模型和理論[14-15]被成功應(yīng)用于函數(shù)逼近[16-17]、模式分類[18]和系統(tǒng)辨識(shí)等許多領(lǐng)域。ELM的核心內(nèi)容是將單隱層模糊神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為求解線性最小二乘問(wèn)題，然后通過(guò)Moore Penrose(MP)廣義逆計(jì)算輸出權(quán)值。2013年，Li等[19]提出了一種基于ELM的新型人工神經(jīng)網(wǎng)絡(luò)——快速學(xué)習(xí)網(wǎng)(Fast Learning Netw
動(dòng)力工程學(xué)報(bào) 2018年6期2018-06-27
- 代價(jià)敏感正則化有限記憶多隱層在線序列極限學(xué)習(xí)機(jī)及圖像識(shí)別應(yīng)用
正則化有限記憶多隱層在線序列極限學(xué)習(xí)機(jī)（CSR-FMML-OSELM）算法。極限學(xué)習(xí)機(jī)（ELM）[4]是一種新型的單隱層前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法，近年來(lái)針對(duì)該算法進(jìn)行了不少研究和拓展。Yang等人[5]提出了一種雙端增量型極限學(xué)習(xí)機(jī)，這是一種通過(guò)網(wǎng)絡(luò)余差反向傳遞的方式直接計(jì)算部分隱層神經(jīng)元參數(shù)的算法，擺脫了隱層神經(jīng)元完全隨機(jī)選取的任意性對(duì)算法性能造成的不利影響。Cao等人[6]借鑒Learn++思想提出了一種基于投票機(jī)制的集成ELM算法，也屬于一種ELM隱層參
鐵路計(jì)算機(jī)應(yīng)用 2018年5期2018-06-01
- 深度學(xué)習(xí)的研究進(jìn)展與發(fā)展
一個(gè)可視層和一個(gè)隱層組成[2]，如圖1所示，其中v和h分別表示可視層和隱層，可視單元和隱單元間均存在連接，而同層單元間無(wú)連接。記可視層和隱層的神經(jīng)元個(gè)數(shù)分別為I和J，可視單元vi∈{0,1}和隱單元hj∈{0,1}之間的連接權(quán)值為wij，ai和bj分別為可視層和隱層的偏置，θ={wij,ai,bj}。圖1 RBM的網(wǎng)絡(luò)結(jié)構(gòu)通常假設(shè)RBM的隱單元服從伯努利分布，可視單元服從伯努利分布或高斯分布。為了學(xué)習(xí)模型參數(shù)θ，先定義可視單元不同分布下的兩種能量函數(shù)[2]
計(jì)算機(jī)工程與應(yīng)用 2018年10期2018-05-21
- 一種基于共軛梯度法的廣義單隱層神經(jīng)網(wǎng)絡(luò)
提出了一種針對(duì)單隱層前饋神經(jīng)網(wǎng)絡(luò)的快速構(gòu)建與學(xué)習(xí)算法[4]，因其快速特性而稱之為超限學(xué)習(xí)機(jī)(extreme learning machine, ELM)．ELM算法的整個(gè)學(xué)習(xí)過(guò)程一次完成，使得網(wǎng)絡(luò)訓(xùn)練大大簡(jiǎn)化，運(yùn)算速度幾十倍甚至幾千倍于BP算法[5-6]，ELM在許多領(lǐng)域都取得了突出成果[7-9]．雖然網(wǎng)絡(luò)訓(xùn)練效果很好，但ELM相對(duì)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，需要更多的隱層節(jié)點(diǎn)才能達(dá)到同樣的訓(xùn)練精度[10]．由于使用大量隱層節(jié)點(diǎn)，計(jì)算工作量會(huì)大大增加，特別是樣本超高
鄭州大學(xué)學(xué)報(bào)（工學(xué)版） 2018年2期2018-04-13
- 基于ADS的KBNN在帶通濾波器優(yōu)化設(shè)計(jì)中的應(yīng)用
作為先驗(yàn)知識(shí)構(gòu)成隱層的知識(shí)神經(jīng)元,并對(duì)微帶發(fā)夾型帶通濾波器進(jìn)行建模,以驗(yàn)證該方法的參考價(jià)值．1 知識(shí)神經(jīng)網(wǎng)絡(luò)模型1.1 網(wǎng)絡(luò)構(gòu)造方法KBNN自提出以來(lái),國(guó)內(nèi)外有許多學(xué)者研究知識(shí)神經(jīng)網(wǎng)絡(luò),提出了多種模型,例如差值模型[7]、先驗(yàn)知識(shí)注入模型[8]、知識(shí)基神經(jīng)網(wǎng)絡(luò)模型[9]等．文中在差值模型和知識(shí)基神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上,提出了一種新的構(gòu)建方法,如圖1．圖1 知識(shí)神經(jīng)網(wǎng)絡(luò)構(gòu)造方法圖1中,該網(wǎng)絡(luò)與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)具有相同的輸入層和輸出層,不同點(diǎn)在于隱層的構(gòu)造方法．在
- 基于混沌優(yōu)化極限學(xué)習(xí)機(jī)的庫(kù)岸邊坡變形預(yù)測(cè)
數(shù)；βi為第i個(gè)隱層神經(jīng)元與輸出層間的連接權(quán)值；g(x)為激勵(lì)函數(shù)；wi為輸入層與第i個(gè)隱層神經(jīng)元間的連接權(quán)值；xj為第j個(gè)輸入樣本；bi為第i個(gè)隱藏層神經(jīng)元處的閾值。根據(jù)網(wǎng)絡(luò)訓(xùn)練，可得訓(xùn)練誤差E，即式中，N為訓(xùn)練樣本個(gè)數(shù)；tj為第j個(gè)期望值。若訓(xùn)練參數(shù)設(shè)置得當(dāng)，訓(xùn)練值可零誤差趨近于期望值，即根據(jù)變換，可將上式轉(zhuǎn)變?yōu)榫仃囆问剑碮=Hβ式中，Y為輸出矩陣；H為輸入矩陣；β為權(quán)值矩陣。在訓(xùn)練過(guò)程中，連接權(quán)值和閾值可隨機(jī)給定，加之輸入、輸出矩陣為常數(shù)矩陣，進(jìn)而
水力發(fā)電 2018年12期2018-03-25
- 矩陣輸入的多層前向神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法
入.又因?yàn)樗菃?span id="g0gggggg" class="hl">隱層的,故稱之為單隱層矩陣輸入的神經(jīng)網(wǎng)絡(luò).通過(guò)與向量形式輸入的單隱層神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)對(duì)比,單隱層矩陣輸入的神經(jīng)網(wǎng)絡(luò)取得了很好的效果.但是由于單隱層矩陣輸入神經(jīng)網(wǎng)絡(luò)的客觀局限性,它不能足夠好地表達(dá)樣本特征信息.基于多層神經(jīng)網(wǎng)絡(luò)具有更好的特征提取能力和泛化能力,本文在文獻(xiàn)[18]的基礎(chǔ)上提出了多層矩陣輸入的神經(jīng)網(wǎng)絡(luò)算法,并將此算法應(yīng)用于圖像分類中.通過(guò)實(shí)驗(yàn)對(duì)比,本文算法取得了良好的效果.本文章節(jié)結(jié)構(gòu)如下：第一節(jié)介紹向量輸入和矩陣輸入的單隱層神經(jīng)網(wǎng)
中國(guó)計(jì)量大學(xué)學(xué)報(bào) 2017年4期2018-01-23
- 訓(xùn)練樣本數(shù)量選擇對(duì)圖像特征提取的影響分析
時(shí)，增加RBM的隱層神經(jīng)元個(gè)數(shù)并不總是有價(jià)值的。圖像特征提??；受限玻爾茲曼機(jī)；CD算法1 背景圖像特征提取是圖像處理過(guò)程中非常重要的環(huán)節(jié)，特征提取的質(zhì)量直接影響后續(xù)工作的開展。圖像特征提取方法包括Fourier變換法[1]、小波變換法[2]、最小二乘法[3]、直方圖法[4]、信號(hào)處理法[5]和模型法[6]等。模型法是用模型參數(shù)作為圖像特征，典型方法有卷積神經(jīng)網(wǎng)絡(luò)[6]、馬爾科夫隨機(jī)場(chǎng)[7]、受限玻爾茲曼機(jī)[8]等。其中，受限玻爾茲曼機(jī)作為特征提取器被廣泛研
- 基于微分同胚優(yōu)化極端學(xué)習(xí)機(jī)的人臉識(shí)別
并沒(méi)有充分考慮到隱層節(jié)點(diǎn)輸出矩陣對(duì)極端學(xué)習(xí)機(jī)泛化能力的影響。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)激活函數(shù)選取不當(dāng)及數(shù)據(jù)維數(shù)過(guò)高將導(dǎo)致隱層節(jié)點(diǎn)輸出值趨于零，使得輸出權(quán)值矩陣求解不準(zhǔn)，降低ELM的分類性能。為此，提出一種微分同胚優(yōu)化的極端學(xué)習(xí)機(jī)算法。該算法結(jié)合降維和微分同胚技術(shù)提高激活函數(shù)的魯棒性，克服隱層節(jié)點(diǎn)輸出值趨于零的問(wèn)題。為驗(yàn)證所提算法的有效性使用人臉數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明所提算法具有良好的泛化性能。極端學(xué)習(xí)機(jī) 激活函數(shù) 微分同胚0 引 言近來(lái)Huang等人[1-3]基于
計(jì)算機(jī)應(yīng)用與軟件 2017年4期2017-04-24
- 深度自編碼觀測(cè)器飛機(jī)操縱面快速故障診斷
于基礎(chǔ)自編碼器的隱層節(jié)點(diǎn)數(shù)選取經(jīng)驗(yàn)公式,推導(dǎo)了兩種深度自編碼器的隱層節(jié)點(diǎn)數(shù)選取的遞推公式。仿真結(jié)果表明,該方法無(wú)需精確的飛機(jī)模型,故障診斷速度快、精度高。飛機(jī)操縱面故障; 狀態(tài)估計(jì); 深度學(xué)習(xí); 故障診斷0 引言操縱面是飛行控制系統(tǒng)中最重要的組成部分之一。飛機(jī)在飛行過(guò)程中會(huì)受到外界環(huán)境的影響,尤其是戰(zhàn)斗機(jī)在戰(zhàn)斗過(guò)程中將不可避免地產(chǎn)生各種操縱面故障,嚴(yán)重威脅飛行安全。因此,飛機(jī)操縱面故障診斷至關(guān)重要[1]。在能夠獲得系統(tǒng)精確數(shù)學(xué)模型的情況下,多模型自適應(yīng)估計(jì)
飛行力學(xué) 2016年6期2016-12-21
- 基于改進(jìn)仿電磁學(xué)ELM在相機(jī)標(biāo)定中的應(yīng)用
習(xí)機(jī)(ELM)在隱層節(jié)點(diǎn)數(shù)少時(shí)逼近精度低的問(wèn)題，提出了基于改進(jìn)仿電磁學(xué)(EM)優(yōu)化ELM的雙目視覺相機(jī)標(biāo)定方法。在標(biāo)定過(guò)程中，采用極限學(xué)習(xí)機(jī)精確逼近圖像坐標(biāo)與世界坐標(biāo)間的非線性關(guān)系，利用改進(jìn)EM策略，包括使用自適應(yīng)步長(zhǎng)以及空間解收縮，優(yōu)化ELM的輸入權(quán)重和隱層偏置，提高ELM的收斂速度和泛化能力。實(shí)驗(yàn)結(jié)果表明，改進(jìn)EM-ELM優(yōu)化算法的收斂速度快于PSO的，且用更少的隱層節(jié)點(diǎn)數(shù)取得較高的標(biāo)定精度。相機(jī)標(biāo)定；仿電磁學(xué)；極限學(xué)習(xí)機(jī)0 引 言相機(jī)標(biāo)定是機(jī)器視覺中
- 帶后續(xù)迭代的雙極S函數(shù)激勵(lì)的WASD神經(jīng)網(wǎng)絡(luò)*
moid)函數(shù)為隱層神經(jīng)元激勵(lì)函數(shù)的三層前向神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)對(duì)任何連續(xù)函數(shù)的任意精度的逼近。學(xué)習(xí)能力和泛化能力是神經(jīng)網(wǎng)絡(luò)性能的重要反映，沒(méi)有學(xué)習(xí)能力和泛化能力的神經(jīng)網(wǎng)絡(luò)是沒(méi)有使用價(jià)值的[13]。值得指出的是，影響神經(jīng)網(wǎng)絡(luò)這兩種能力的因素主要包括激勵(lì)函數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)學(xué)習(xí)算法等。因此，如何選擇較優(yōu)的激勵(lì)函數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)以及網(wǎng)絡(luò)學(xué)習(xí)算法來(lái)保證神經(jīng)網(wǎng)絡(luò)的優(yōu)良性能顯得非常重要[14-15]。針對(duì)前向神經(jīng)網(wǎng)絡(luò)，一些學(xué)者已進(jìn)行了深入研究，并取得諸多成果[2,16-20
- 基于BP神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別跟蹤技術(shù)
;j 為第j 層隱層;k 為第k 層輸出;輸入節(jié)點(diǎn)為圖像每個(gè)特征值所對(duì)應(yīng)的特征向量;輸出節(jié)點(diǎn)為經(jīng)過(guò)分類器分類后所屬于的類別。圖3 BP神經(jīng)網(wǎng)絡(luò)Fig.3 BP neural network利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識(shí)別跟蹤實(shí)質(zhì)上是信號(hào)的傳播，類似于人體神經(jīng)的工作進(jìn)程，信號(hào)的傳遞歸納如圖4所示。圖4 BP神經(jīng)網(wǎng)絡(luò)正反信號(hào)傳播Fig.4 Positive and negative signal propagation of BP neural network設(shè)B
艦船科學(xué)技術(shù) 2015年4期2015-12-04
- 神經(jīng)網(wǎng)絡(luò)在自適應(yīng)船舶操作系統(tǒng)中的應(yīng)用
神經(jīng)網(wǎng)絡(luò)輸入層、隱層和輸出層外，還有一個(gè)包含反饋聯(lián)接層，RBF-Elman神經(jīng)網(wǎng)絡(luò)的輸出是隱層的輸出和，表示如下:式中:i=1，…，m;j=1，…，n;q=1，…，r;wij為隱層和輸出層的連接權(quán);Yi為輸出層的輸出值，xj為隱層的輸出值;xCj為中間聯(lián)結(jié)層輸出;α 為聯(lián)接層的自反饋增益;I 為隱層總的輸入;k 為計(jì)算次數(shù)。實(shí)驗(yàn)表明，此種方式學(xué)習(xí)速度較慢，在自適應(yīng)學(xué)習(xí)過(guò)程中目標(biāo)函數(shù)的收斂有極值，且不穩(wěn)定，難以達(dá)到預(yù)期的精確度。為了更好地進(jìn)行自適應(yīng)學(xué)習(xí)，本文
艦船科學(xué)技術(shù) 2015年5期2015-12-04
- 一種ELM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法及在衛(wèi)星鐘差預(yù)報(bào)中的應(yīng)用1
ELM）神經(jīng)網(wǎng)絡(luò)隱層結(jié)構(gòu)難以確定的問(wèn)題，基于自適應(yīng)共振理論（adaptive resonance theory，ART）網(wǎng)絡(luò)良好的自組織分類功能，提出一種基于ART網(wǎng)絡(luò)思想的ELM網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法。該方法將ART網(wǎng)絡(luò)的自組織聚類特性用于ELM網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)中，通過(guò)對(duì)輸入向量與已存模式的相似度比較將輸入向量進(jìn)行分類，確定隱層節(jié)點(diǎn)規(guī)模。仿真實(shí)驗(yàn)表明，與其他網(wǎng)絡(luò)相比，ART-ELM網(wǎng)絡(luò)具有更精簡(jiǎn)的結(jié)構(gòu)、更快的學(xué)習(xí)速度以及更好的映射能力。通過(guò)用于GPS衛(wèi)星鐘差預(yù)報(bào)的
時(shí)間頻率學(xué)報(bào) 2015年4期2015-09-07
- 基于極限學(xué)習(xí)的深度學(xué)習(xí)算法
習(xí)算法，特別是單隱層前饋神經(jīng)網(wǎng)絡(luò) （singlehidden layer feedforward networks，SLFNs）。ELM 隨機(jī)初始化SLFNs的輸入權(quán)重和隱層的偏置，并能夠得到對(duì)應(yīng)的輸出權(quán)重。ELM能保證輸出權(quán)重的范數(shù)最小，而且輸出權(quán)重是唯一的。隨著ELM的發(fā)展，出現(xiàn)了一些對(duì)基本ELM的改進(jìn)的算法［13－15］，又進(jìn)一步提高了基本ELM的性能。為了加快DBN的訓(xùn)練準(zhǔn)確性，并提高分類的準(zhǔn)確性，受到ELM思想的啟發(fā)，本文提出來(lái)一種基于ELM改進(jìn)
計(jì)算機(jī)工程與設(shè)計(jì) 2015年4期2015-05-04
- Linex損失下兩種信用評(píng)分模型的比較
網(wǎng)絡(luò)，其輸入層、隱層和輸出層的神經(jīng)元個(gè)數(shù)分別為 p，q和1，記 w0=(w01，w02，…，w0q)T∈Rq為隱層與輸出層之間的權(quán)向量，wi=(wi1，wi2，…，wip)T∈Rp為輸入層與隱層第i個(gè)節(jié)點(diǎn)之間的連接權(quán)向量，其中 i=1，2，…，q。記。隱層、輸出層的激活函數(shù)為 g:R→ R。對(duì)任意x=(x1，x2，…，xq)∈Rq，記 G(x)=(g(x1)，g(x2)，…，g(xq))T:Rq→Rq。對(duì)輸入樣本ξ∈RP，隱層的輸出為G(Vξ)，網(wǎng)絡(luò)輸出層
長(zhǎng)春大學(xué)學(xué)報(bào) 2014年4期2014-12-05
- 基寬靈敏度分析的徑向基神經(jīng)網(wǎng)絡(luò)代理模型
，分別為輸入層、隱層和輸出層，輸入層神經(jīng)元的個(gè)數(shù)同輸入樣本點(diǎn)維數(shù)相同，即輸入層對(duì)應(yīng)著N維輸入矢量x=[x1x2…xN]，隱層由K個(gè)神經(jīng)元組成，其與輸入層神經(jīng)元全相連，其是通過(guò)隱層的激活函數(shù)將線性輸入空間映射到非線性隱層空間，每一個(gè)隱層神經(jīng)元的激活函數(shù)有高斯型函數(shù)、多二次型函數(shù)、逆多二次型函數(shù)、薄板樣條函數(shù)組成，常取高斯型基函數(shù)[9-12]。(1)(2)式中:h=[h1h2…h(huán)K]為隱層的輸出矢量，wij為隱層的第j個(gè)神經(jīng)元與輸出層的第i個(gè)神經(jīng)元的連接權(quán)。2
智能系統(tǒng)學(xué)報(bào) 2014年2期2014-09-13
- 基于近似結(jié)構(gòu)風(fēng)險(xiǎn)的ELM隱層節(jié)點(diǎn)數(shù)優(yōu)化
結(jié)構(gòu)風(fēng)險(xiǎn)的ELM隱層節(jié)點(diǎn)數(shù)優(yōu)化黃重慶,徐哲壯,黃宴委,賴大虎(福州大學(xué)電氣工程與自動(dòng)化學(xué)院,福州350108)隱層節(jié)點(diǎn)數(shù)是影響極端學(xué)習(xí)機(jī)(ELM)泛化性能的關(guān)鍵參數(shù),針對(duì)傳統(tǒng)的ELM隱層節(jié)點(diǎn)數(shù)確定算法中優(yōu)化過(guò)程復(fù)雜、容易過(guò)學(xué)習(xí)或陷入局部最優(yōu)的問(wèn)題,提出結(jié)構(gòu)風(fēng)險(xiǎn)最小化-極端學(xué)習(xí)機(jī)(SRM-ELM)算法。通過(guò)分析VC維與隱層節(jié)點(diǎn)數(shù)量之間的關(guān)聯(lián),對(duì)VC信任函數(shù)進(jìn)行近似改進(jìn),使其為凹函數(shù),并結(jié)合經(jīng)驗(yàn)風(fēng)險(xiǎn)重構(gòu)近似的SRM。在此基礎(chǔ)上,將粒子群優(yōu)化的位置值直接作為EL
計(jì)算機(jī)工程 2014年9期2014-06-06
- 基于BP神經(jīng)網(wǎng)絡(luò)的非結(jié)構(gòu)化道路識(shí)別
和輸出層中間的為隱層，有m個(gè)元素，傳遞函數(shù)選用非線性Sig moid函數(shù)。圖1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖2 BP神經(jīng)網(wǎng)絡(luò)算法神經(jīng)網(wǎng)絡(luò)的輸入量為x1，x2，…，xn，則隱層的輸入量為：其中：wij為隱層的元素i與輸入層的元素j的連接權(quán)值；θi為隱層各元素的閥值。我們?nèi)?span id="g0gggggg" class="hl">隱層的輸入量與輸出量之間的傳遞函數(shù)為Sig moid函數(shù)，即：其中：vki為輸出層的元素k與隱層的元素i的連接權(quán)值；βk為輸出層各元素的閥值；yk就是整個(gè)神經(jīng)網(wǎng)絡(luò)的輸出量。3 隱層節(jié)點(diǎn)數(shù)的影響恰當(dāng)
機(jī)械工程與自動(dòng)化 2014年3期2014-05-15
- 最優(yōu)隱層BP神經(jīng)網(wǎng)絡(luò)的滾動(dòng)軸承故障診斷
1－4］，但是對(duì)隱層神經(jīng)元個(gè)數(shù)的確定主要還是依靠經(jīng)驗(yàn)公式，不容易得到最優(yōu)個(gè)數(shù)。本文以某石油鉆井的絞車及傳動(dòng)機(jī)組滾動(dòng)軸承為例，設(shè)計(jì)了一種基于BP神經(jīng)網(wǎng)絡(luò)的故障自動(dòng)識(shí)別方法，通過(guò)計(jì)算平均迭代次數(shù)和均方誤差的近似值來(lái)確定最優(yōu)隱層單元數(shù)。仿真結(jié)果表明，診斷效率和準(zhǔn)確度都很高。1 滾動(dòng)軸承特征參數(shù)的提取選取某型減速器的主動(dòng)軸滾動(dòng)軸承的4個(gè)特征參數(shù)：均方根植、峭度、諧波指標(biāo)和SQ參數(shù)［5］組成BP神經(jīng)網(wǎng)絡(luò)的輸入樣本向量。軸承狀態(tài)主要分為正常、保持架損壞、滾珠點(diǎn)蝕、內(nèi)圈
機(jī)械工程與自動(dòng)化 2014年3期2014-05-07
- 基于環(huán)形BP神經(jīng)網(wǎng)絡(luò)的指紋匹配算法
呈n層環(huán)狀結(jié)構(gòu)，隱層中的第n個(gè)神經(jīng)元接受輸入層第n環(huán)所有神經(jīng)元的數(shù)據(jù)，對(duì)于每個(gè)輸入層的神經(jīng)元，僅采用一個(gè)權(quán)值連接至對(duì)應(yīng)的隱層神經(jīng)元；輸出層的唯一一個(gè)神經(jīng)元接受隱層中所有神經(jīng)元的數(shù)據(jù)，對(duì)于每個(gè)隱層神經(jīng)元，僅采用一個(gè)權(quán)值連接至輸出層神經(jīng)元。試驗(yàn)結(jié)果表明，單權(quán)值連接方式提高了網(wǎng)絡(luò)的收斂速度，環(huán)狀結(jié)構(gòu)的設(shè)計(jì)具有較好的抗旋轉(zhuǎn)畸變的性能，使得匹配速度和匹配精度均有所提高。指紋匹配；圖像處理；BP神經(jīng)網(wǎng)絡(luò)1 BP神經(jīng)網(wǎng)絡(luò)分析目前的基于神經(jīng)網(wǎng)絡(luò)的指紋匹配算法，主要的思想是
- 一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)相關(guān)性剪枝算法
點(diǎn)（輸入節(jié)點(diǎn)以及隱層節(jié)點(diǎn)）或連接權(quán)對(duì)網(wǎng)絡(luò)誤差的貢獻(xiàn)（靈敏度），刪除那些貢獻(xiàn)最小的節(jié)點(diǎn)或權(quán)。3）相關(guān)性剪枝方法[5]：根據(jù)節(jié)點(diǎn)間相關(guān)性或相互作用進(jìn)行剪枝，也是一種很重要的剪枝方法，最常見的做法是先判斷隱節(jié)點(diǎn)輸出之間的相關(guān)性，然后合并具有較大相關(guān)性的隱節(jié)點(diǎn)。文中主要是對(duì)相關(guān)性剪枝算法進(jìn)行研究，首先介紹相關(guān)性剪枝算法的思想和計(jì)算方法，然后提出新的基于誤差傳遞的改進(jìn)方案，最后通過(guò)實(shí)驗(yàn)建立神經(jīng)網(wǎng)絡(luò)，并對(duì)網(wǎng)絡(luò)進(jìn)行剪枝。將新的剪枝算法獲得的網(wǎng)絡(luò)與標(biāo)準(zhǔn)算法剪枝得到的網(wǎng)絡(luò)進(jìn)
電子設(shè)計(jì)工程 2013年8期2013-09-25
- 權(quán)值直接確定的三角型模糊前向神經(jīng)網(wǎng)絡(luò)*
從網(wǎng)絡(luò)結(jié)構(gòu)來(lái)講，隱層神經(jīng)元數(shù)過(guò)少將無(wú)法達(dá)到學(xué)習(xí)和逼近的效果，隱層神經(jīng)元數(shù)過(guò)多又將使網(wǎng)絡(luò)出現(xiàn)過(guò)擬合等不良現(xiàn)象，同時(shí)在硬件實(shí)現(xiàn)上也將難以完成。文獻(xiàn)［5］利用逼近論對(duì)單一隱層前向神經(jīng)網(wǎng)絡(luò)進(jìn)行了研究，在理論層面上闡述了神經(jīng)網(wǎng)絡(luò)的本質(zhì)逼近階既與隱層神經(jīng)元個(gè)數(shù)有關(guān)，又與被逼近函數(shù)的光滑性有關(guān);隨后，曹飛龍等在文獻(xiàn) ［6］中使用構(gòu)造法得出了單隱層神經(jīng)網(wǎng)絡(luò)逼近定義在緊集上的任意連續(xù)函數(shù)的逼近速度不超過(guò)該網(wǎng)絡(luò)的最佳多項(xiàng)式逼近的二倍的結(jié)論。最近幾年關(guān)于神經(jīng)網(wǎng)絡(luò)的插值性問(wèn)題研究
- BP神經(jīng)網(wǎng)絡(luò)分步賦初值算法的研究
。輸入到最后一級(jí)隱層的權(quán)值矩陣對(duì)網(wǎng)絡(luò)的影響不是很大，只要保證網(wǎng)絡(luò)的抗干擾性和容錯(cuò)性，使網(wǎng)絡(luò)處于一個(gè)很好的狀態(tài)即可，本研究采用敏感區(qū)賦值，通過(guò)矩陣相乘來(lái)計(jì)算各級(jí)的權(quán)值。最后一層的輸出權(quán)值直接作用于輸出，對(duì)算法的影響最大，筆者進(jìn)行單獨(dú)賦值，利用期望值作為實(shí)際輸出構(gòu)成線性方程組，以方程組的解作為輸出層的權(quán)矩陣的初始值，這樣不僅可以避免陷入局部最小點(diǎn)，同時(shí)也可大大地縮短訓(xùn)練的時(shí)間。1 BP神經(jīng)網(wǎng)絡(luò)傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的思想是：學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與誤差的反向傳播兩
機(jī)電工程 2013年2期2013-03-29
- 綜合優(yōu)化神經(jīng)網(wǎng)絡(luò)算法*
v定理，含有一個(gè)隱層的3層BP神經(jīng)網(wǎng)絡(luò)在隱節(jié)點(diǎn)數(shù)足夠多的情況下能以任意精度逼近有界區(qū)域上的任意連續(xù)函數(shù)[1]。由于網(wǎng)絡(luò)參數(shù)隨機(jī)性的影響，隱層神經(jīng)元數(shù)的選擇，至今還沒(méi)有一個(gè)明確的方法。大量的實(shí)驗(yàn)表明，如果隱層神經(jīng)元的數(shù)目偏少，網(wǎng)絡(luò)的學(xué)習(xí)能力和處理信息的能力較差，學(xué)習(xí)誤差下降緩慢，甚至出現(xiàn)達(dá)不到目標(biāo)精度的現(xiàn)象；若隱層神經(jīng)元數(shù)目過(guò)多，一些隱層神經(jīng)元輸出存在著線性相關(guān)性，就造成網(wǎng)絡(luò)結(jié)構(gòu)龐大、網(wǎng)絡(luò)泛化能力低等問(wèn)題。因此，不能完全按照kolmogorov公式或者經(jīng)驗(yàn)公
網(wǎng)絡(luò)安全與數(shù)據(jù)管理 2012年5期2012-08-20
- 基于ELM 學(xué)習(xí)算法的混沌時(shí)間序列預(yù)測(cè)
一類性能優(yōu)良的單隱層前向神經(jīng)網(wǎng)絡(luò)(single-hidden layer feed forward neural networks，SLFNs)學(xué)習(xí)算法，稱為極端學(xué)習(xí)機(jī)(extreme learning machine，ELM)學(xué)習(xí)算法，與一般的BP 神經(jīng)網(wǎng)絡(luò)、RBF 神經(jīng)網(wǎng)絡(luò)相比，性能較好．該算法可以隨機(jī)地選擇網(wǎng)絡(luò)中隱層神經(jīng)元個(gè)數(shù)和類型，構(gòu)造不同的學(xué)習(xí)算法，且在隨機(jī)選擇輸入層權(quán)值和隱層神經(jīng)元偏差(閾值)前提下，可以解析獲得隱層輸出權(quán)值，該方法具有許多優(yōu)良
天津大學(xué)學(xué)報(bào)(自然科學(xué)與工程技術(shù)版) 2011年8期2011-12-06
- BP原理及其在林木胸徑模擬中的實(shí)現(xiàn)
函數(shù)作激活函數(shù)，隱層采用非線性激活函數(shù)才可以實(shí)現(xiàn)非線性映射功能。2 BP的拓?fù)浣Y(jié)構(gòu)BP拓?fù)浣Y(jié)構(gòu)由大量神經(jīng)元連接構(gòu)成的一個(gè)層次型網(wǎng)絡(luò)(如圖2)，包括：①含節(jié)點(diǎn)的輸入層：用來(lái)描述問(wèn)題的自變量;②具有節(jié)點(diǎn)的輸出層：描述因變量;③一個(gè)或多個(gè)包含節(jié)點(diǎn)的隱層：幫助捕獲數(shù)據(jù)中的非線性特征。圖2 BP類屋次型網(wǎng)絡(luò)結(jié)構(gòu)前一層的輸出為下一層的輸入，各神經(jīng)元僅接受前一層的輸入，無(wú)反饋;輸入層節(jié)點(diǎn)不具有計(jì)算功能，單單接受外來(lái)信號(hào)，并傳遞給各隱層節(jié)點(diǎn);隱層是神經(jīng)網(wǎng)絡(luò)的內(nèi)部信息處理層
東北林業(yè)大學(xué)學(xué)報(bào) 2011年8期2011-08-09
- 改進(jìn)的遺傳算法在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化中的應(yīng)用
解決人工神經(jīng)網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)目難以確定的問(wèn)題，針對(duì)三層BP神經(jīng)網(wǎng)絡(luò)提出了一種最大上限隱層節(jié)點(diǎn)數(shù)模型，并用改進(jìn)的遺傳算法對(duì)其優(yōu)化。最后，將優(yōu)化的神經(jīng)網(wǎng)絡(luò)對(duì)語(yǔ)音特征信號(hào)進(jìn)行分類。仿真結(jié)果表明優(yōu)化后的神經(jīng)網(wǎng)絡(luò)具有很好的泛化能力，驗(yàn)證了該方法的有效性。遺傳算法；神經(jīng)網(wǎng)絡(luò)；結(jié)構(gòu)優(yōu)化人工神經(jīng)網(wǎng)絡(luò)[1]（ANN）和遺傳算法[2]（GA）都是將生物學(xué)原理運(yùn)用到智能計(jì)算研究中。人工神經(jīng)網(wǎng)絡(luò)是對(duì)人腦和動(dòng)物神經(jīng)的若干特點(diǎn)的人工模擬[3]，具有一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)就能逼近任意復(fù)雜的
網(wǎng)絡(luò)安全與數(shù)據(jù)管理 2011年3期2011-01-22
- 船舶阻力計(jì)算BP神經(jīng)網(wǎng)絡(luò)的研究*
為1個(gè)神經(jīng)元,設(shè)隱層神經(jīng)元數(shù)為R,則其結(jié)構(gòu)如圖1所示.為選取合適的隱層神經(jīng)元數(shù)R,傳遞函數(shù)g1(·),g2(·),性能函數(shù)E(·)和訓(xùn)練函數(shù),分別對(duì)之進(jìn)行試驗(yàn).圖1 船舶阻力計(jì)算3層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖2.1 訓(xùn)練函數(shù)和性能函數(shù)的確定為確定該神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù),經(jīng)初步試驗(yàn)決定采用15個(gè)神經(jīng)元的隱層,隱層傳遞函數(shù)g1(·)采用 tansig,輸出層傳遞函數(shù)g2(·)采用purelin,最大訓(xùn)練次數(shù)采用1 000,由于數(shù)據(jù)量較大,采用批處量訓(xùn)練方式,用網(wǎng)絡(luò)輸出數(shù)
- 基于BP神經(jīng)網(wǎng)絡(luò)的紙病分類器設(shè)計(jì)
點(diǎn)、輸出層節(jié)點(diǎn)和隱層節(jié)點(diǎn)。隱層節(jié)點(diǎn)與外界沒(méi)有直接聯(lián)系,但其狀態(tài)的改變,能影響輸入與輸出的關(guān)系。圖1 BP神經(jīng)網(wǎng)絡(luò)2 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)2.1 輸入層和輸出層的設(shè)計(jì)BP網(wǎng)絡(luò)的輸入/輸出層尾數(shù)完全根據(jù)使用者的要求來(lái)設(shè)計(jì)。本課題研究對(duì)象為紙病圖像,輸入為表征紙病圖像特征的特征向量,在特征提取過(guò)程中,提取了紙病圖像的10個(gè)特征量,如果把它們作為網(wǎng)絡(luò)的輸入,則網(wǎng)絡(luò)輸入層的神經(jīng)元個(gè)數(shù)一般等于每個(gè)樣本的特征量個(gè)數(shù),因此輸入層神經(jīng)元個(gè)數(shù)為10個(gè)[2]。根據(jù)所達(dá)到的識(shí)別
中國(guó)造紙學(xué)報(bào) 2010年2期2010-09-08
- 重軌矯直參數(shù)控制模型的自學(xué)習(xí)功能研究*
，也是由輸入層、隱層和輸出層組成的前饋網(wǎng)絡(luò)，其結(jié)構(gòu)如圖3所示。對(duì)于從X→Y的映射，RBFNN可寫為：圖3 RBFNN結(jié)構(gòu)式中，qi為第 i個(gè)隱層節(jié)點(diǎn)的輸出，X=(x1，x2，…，xn)為輸入樣本，ci為第 i個(gè)隱層節(jié)點(diǎn)的中心，m為隱層節(jié)點(diǎn)的個(gè)數(shù) ，||·||為歐式范數(shù)，p為輸出層的節(jié)點(diǎn)數(shù)，wki為第 i個(gè)隱層節(jié)點(diǎn)到第k個(gè)輸出層節(jié)點(diǎn)的連接權(quán)，R為徑向基函數(shù)。徑向基函數(shù)通常采用高斯核函數(shù)：式中，σi為第 i個(gè)隱層節(jié)點(diǎn)的寬度。由式(4)可知，隱層節(jié)點(diǎn)對(duì)輸入信號(hào)在
網(wǎng)絡(luò)安全與數(shù)據(jù)管理 2010年18期2010-05-18