李正鵬,潘承毅,鄔陽陽
(1.云南工商學院智能科學與工程學院,云南 昆明 650000;2.麗江文化旅游學院信息學院,云南 麗江 674100)
科學決策制定的前提是預測,但影響預測結果精確度的因素眾多,在預測中不可避免地會出現預測結果不精確的情況。影響預測結果精確性的一個重要因素是預測方法,為了提高預測結果的精確度,一些學者不斷改進和提出新的預測方法。這些預測方法大致可以分為定性預測方法和定量預測方法兩大類,常見的定量預測方法有:時間序列分析法、回歸分析法、灰色預測法、人工神經網絡法以及組合預測法等[1]。其中,基于人工神經網絡的預測方法不僅適用于處理大批量數據,還具有一定的魯棒性和容錯性,能更好地進行預測,在各個領域的預測中得到了廣泛應用。伴隨著人工智能的發展,新的神經網絡算法也不斷被提出,經典的人工神經網絡模型也不斷得到擴展和優化,基于不同類型神經網絡的預測方法也不斷地應用到預測中。一些研究學者對人工神經網絡在預測中的應用現狀進行了歸納總結。
彭顯剛等[2]指出,徑向基函數(RadialBasisFunction,RBF) 神經網絡比傳統的神經網絡學習能力更強,預測結果的精確度也更高,在短期負荷預測中的應用更為廣泛,并對短期負荷預測中的RBF神經網絡應用進行了系統概述,從模型改進、負荷數據的篩選以及結合實際對神經網絡進行優化這3 個方面對RBF 神經網絡在短期負荷預測中的應用進行了探討。張為夢[3]對短時道路交通流預測中的神經網絡方法進行了總結,文獻主要介紹了4 種神經網絡的應用,即:基于誤差反向傳播(Back Propagation,BP) 神經網絡模型、小波神經網絡(Wavelet Neural Network,WNN)、RBF 神經網絡、廣義回歸神經網絡(Generalized Regression Neural Network,GRNN) 的預測方法在短時道路交通預測中的應用,提出了研究過程中存在的問題。主成分分析(Principal Component Analysis,PCA) 又稱主分量分析,何慧等[4]以PCA-BP 神經網絡預測方法、RBF 神經網絡預測方法、WNN 神經網絡預測方法、基于遺傳算法的BP 網絡預測方法、粒子群優化算法(Particle Swarm Optimization,PSO) 為分類標準,對人工神經網絡在月降水量預測業務中應用進行概述,并重點總結和分析了神經網絡在廣西月降水量預測的應用。上述文獻綜述總結和分析了人工神經網絡預測方法在某個具體領域中的應用,而關于人工神經網絡預測方法的應用總結還不太全面,本文對常用的基于人工神經網絡的預測方法和應用進行總結和分析,以期為研究者繼續深入研究提供有益借鑒。
1986 年,BP 神經網絡這一模型被提出,該模型不僅具有較強的容錯能力,同時還有比較好的非線性映射能力,在許多領域都得到了廣泛應用。BP神經網絡模型具體的學習過程是,輸入的信號先經過隱含層處理,最后到輸出層,輸出的結果如果誤差不符合要求,則將誤差進行反向傳播,并據此修改網絡的閾值和權值,直到達到設定的標準或達到最大訓練次數[5]。
周佳俊等[6]經研究發現,在農藥殘留預測中,預測模型的限制導致無法考慮多種因素(溫度、降水量、施藥時間等) 對農藥降解的影響,針對這一問題,將BP 神經網絡算法應用到農藥殘留的預測中,并結合主成分分析法對影響因子進行分析,得到的預測結果總擬合優度判定系數為0.962 05,有著較好的預測精度。蘇顏等[7]認為,電力調度機構對短期負荷預測的精度要求越來越高,于是使用基于BP 神經網絡的預測方法對電力負荷進行了短期預測,為進一步驗證該方法的有效性和準確性,將預測結果同基于自適應算法、基于L-M 算法的預測結果進行對比,發現使用BP 神經網絡方法進行預測能夠得到更準確的預測結果。曾麗芳等[8]指出,股票數據同時具有時變性和非線性兩個特征,而傳統的時間序列預測方法無法較好地處理非線性數據,基于此,建立了BP 神經網絡預測模型、ARI-MA(6,1,6) 預測模型對股票價格進行預測,將預測結果和使用PCA-BP 神經網絡預測模型、GA-BP神經網絡預測模型的預測結果進行對比,發現使用GA-BP 神經網絡預測模型得到的結果具有更小的誤差。
1988 年,Moody 和Darken 兩位研究者設計了RBF 神經網絡。RBF 神經網絡性不僅有著很強的非線性擬合能力,同時學習收斂速度快,是一種性能良好的前向網絡。RBF 神經網絡包括輸入層、隱含層和輸出層3 層結構,隱含層將向量從低維度映射到高緯度,從而解決低維度線性不可分的問題。RBF 神經網絡中,輸入層到隱含層的空間映射是非線性的,從隱含層到輸出層空間映射是線性的[9]。
劉銀波等[10]對國內外船舶電力負荷預測進行了研究,發現早期的預測主要使用的是回歸分析法與時間序列法這兩種方法,于是設計了基于RBF 神經網絡的預測方法,對選取研究對象的歷史負荷數據進行分析,并通過仿真實驗驗證該方法的可靠性,發現相對誤差在0.1~-0.2 之間,預測效果較好。王瑞等[11]考慮到積溫效應對相似日的選擇也有一定的影響,通過計算綜合相似度來選擇相似日,同時對RBF 神經網絡在電力負荷預測中的應用進行了研究,發現以往的模型都是針對大樣本數據,于是使用模糊C-means 算法對相似日樣本進行處理,以此來優化RBF 神經網絡的隱含層參數,將預測結果與其他預測結果進行對比,結果顯示該方法提高了預測精確度。高磊等[12]指出,普通的PSORBF 神經網絡算法比RBF 神經網絡算法在處理數據時表現更好,但是無法避免出現局部最優的狀況,基于此,將模擬退火算法、粒子群算法和RBF神經網絡相結合,提出了一種混合PSO-RBF 神經網絡預測模型,并對巖爆進行預測,將得到的預測結果和使用RBF 神經網絡預測方法、普通的PSORBF 神經網絡預測方法得到的預測結果進行對比,結果顯示,基于混合PSO-RBF 神經網絡預測模型的預測結果更為可靠。
1992 年,Zhang Qinghua 等正式提出了WNN 的概念,此神經網絡是將小波分析理論和人工神經網絡相結合的一種前饋神經網絡。小波理論和人工神經網絡的結合有兩種方式,一是輔助性結合,二是緊密型結合[13]。WNN 和BP 神經網絡相比,可以簡化訓練,在人工智能、機器人、統計學等很多領域都有著廣泛的應用。
李明柱等[14]對暖通空調系統短期熱負荷預測進行了研究,發現BP 模型在建筑負荷預測中已有廣泛應用,但效果不理想,結合暖通空調負荷數據呈現的隨機性和非線性,提出小波神經網絡預測方法,通過小波分解與重構來提高擬合度,通過對比,WNN 預測方法的預測精度和穩定性都高于BP神經網絡預測方法。鄭方圓等[15]指出,傳統機器學習算法進行回歸訓練時未考慮到突發情況對飛行到達時刻的影響,導致信息預測不準確,所以考慮采用ADS-B 數據來替換傳統雷達數據,并采用WNN預測模型來進行模擬仿真,通過對預測值和實際值比較發現,WNN 預測模型能對突變數據做出快速反應,得到更準確預測數據。鄺先驗等[16]在進行公交到站時間預測的研究時發現,傳統統計學方法、機器學習方法抗干擾能力差,無法對復雜多變的交通情況做出快速響應,因此提出天牛須(Beetle Antennae Search,BAS) 小波神經網絡預測模型,該預測模型結合天牛須搜索算法,提高了尋優速度,對仿真實驗結果進行比較發現,BAS-WNN 預測模型的預測精度和穩定性均強于WNN 預測模型和Elman 神經網絡預測模型。
長短時記憶網絡(Long Short Term Memory Network,LSTM) 是一種特殊的RNN 模型,是Hochreiter 和Schmidhuber 在1997 年設計出來的,主要是解決RNN 模型中存在的梯度消失或梯度爆炸問題,提高解決長期依賴關系的能力[17]。
班文超等[18]指出,經典潮汐調和分析預測方法需要大量的數據支撐,在短期潮位預測中表現不好,針對這個問題,提出了深層神經網絡LSTM 預測模型,并對長短期預測結果進行對此,結果顯示,神經網絡LSTM 預測模型在長短期預測中的精確度都很高,可以有效克服經典潮汐調和分析預測方法在短期預測中預測結果不準確的問題。李麗萍等[19]指出,無論是傳統的時間序列方法還是傳統的機器學習方法在股票加個預測中表現效果都不理想,同時考慮到股票數據的特性,建立了基于LSTM 神經網絡的預測模型,將預測結果和BP 神經網絡和Elman 神經網絡的預測結果相比較,結果表明,基于LSTM 神經網絡的預測模型預測結果更接近真實值。曹文治等[20]認為,傳統預測方法計算簡單,但計算結果的精確度不高,人工智能預測方法可以提高預測精度,同時考慮到水質指標濃度數據具有時序相關性,構建了EEMD-LSTM-SVR 組合預測模型,預測結果同單一的LSTM 神經網絡預測方法的預測結果相比,具有更高的精確度。
1998 年,YannLecun 等人提出了Let Net 模型,標志著卷積神經網絡(Convolutional Neural Networks,CNN) 的形成。CNN 成功的關鍵原因是采用了局部連接和權值共享方式,這種方式減少了權值的數量,降低了復雜度,同時還減少了過擬合的風險[21]。
陳建平等[22]指出,煤層底板突水受含水層、隔水層、開采條件等多種因素影響,并采用卷積神經網絡模型對煤層底板突水進行預測,并將預測結果與基于BP 神經網絡模型預測方法和基于LeNet-5模型預測方法得到的結果進行對比,可以看出,卷積神經網絡預測模型的準確率和誤差率都優于BP神經網絡模型和LeNet-5 模型。王安義等[23]指出,以往對礦井巷道場強預測模型,包括三維射線跟蹤法、單斜率和雙斜率模型、基于支持向量機模型等預測效果都不理想,提出一種改進的CNN 場強預測模型,該模型在傳統CNN 的卷積層后加入BN 層代替池化層,從而避免了網絡的過度擬合,實現網絡快速收斂,結果顯示,改進的CNN 預測模型有效提高了預測精度。李珊珊等[24]經過研究得出,潛在蒸散量的準確性對灌溉決策起著關鍵作用,以往計算潛在蒸散量的P-M 方法、隨機森林、廣義回歸神經網絡估算等都存在一定局限性,針對這個問題,提出CNN-BiLSTM 融合模型,該模型結合了卷積神經網絡在局部結構特征提取方面的優勢以及雙向長短期記憶網絡對非線性時序優秀的處理能力,有效提高了蒸散量的預測精度。
通過對幾類神經網絡的特點或優點進行概述,重點對基于BP 神經網絡、RBF 神經網絡、WNN、LSTM 神經網絡、CNN 預測方法的應用進行了歸納總結。通過總結和分析可以發現,很多神經網絡模型都應用在了預測中,并取得了很好的預測效果。神經網絡算法應用到預測中一般可以分為3 種類型:一是將神經網絡模型直接應用到一種新的場景;二是將優化算法和神經網絡結合進行預測;三是將神經網絡模型和其它類型的評價模型結合,進行組合預測。
人工神經網絡模型應用到預測中可以建立新的預測模型,得到的預測結果也更為準確。同時,神經網絡可以處理大規模數據,這個特點使得神經網絡在大數據時代中進行預測的應用更為廣泛。深度學習理論還在不斷發展,不斷有學者對神經網絡進行優化和改進,也不斷有新的模型被提出,將這些模型及時引入到預測應用中可以創新預測方法,有時還可以得到更好的預測結果。另外,組合預測也是一個重要的研究方向,將神經網絡和其他預測模型相結合,可以提高預測結果的精確度。