小波神經網絡

左東廣，周 帥，張欣豫

(第二炮兵工程大學 一系，西安 710025)

小波分析是20 世紀80年代中期發展起來的一門新的數學理論和方法，是時間―頻率分析領域的一種新技術。小波分析的基本思想類似于傅里葉變換，用信號在一簇基函數張成的空間上的投影表征該函數。神經網絡起源于20 世紀40年代，是由大量的、簡單的處理單元(神經元)廣泛地互相連接形成的復雜網絡系統，它反映了人腦功能的許多基本特征，是一個高度復雜的非線性動力學系統［1］。由于小波變換能夠反映信號的時頻局部特性和聚焦特性，而神經網絡在信號處理方面具有自學習、自適應、魯棒性、容錯性等能力。如何把二者的優勢結合起來一直是人們所關心的問題，而小波神經網絡就是小波分析和神經網絡相結合的產物。

1 小波神經網絡的基本結構

小波變換被認為是傅里葉發展史上一個新的里程碑，它克服了傅里葉分析不能作局部分析的缺點，是傅里葉分析劃時代發展的結果［2］。隨著小波理論日益成熟，其應用領域也變得十分廣泛，特別是在信號處理、數值計算、模式識別、圖像處理、語音分析、量子物理、生物醫學工程、計算機視覺、故障診斷及眾多非線性領域等，小波變換都在不斷發展之中。

神經網絡是在現代神經學的研究基礎上發展起來的一種模仿人腦信息處理機制的網絡系統，它具有自組織、自學習和極強的非線性處理能力，能夠完成學習、記憶、識別和推理等功能［3］。神經網絡的崛起，對認知和智力本質的基礎研究乃至計算機產業都產生了空前的刺激和極大的推動作用。

目前，小波分析與神經網絡主要有2 種結合方式［4］:一種是“松散型”，如圖1 所示，即先用小波分析對信號進行預處理，然后再送入神經網絡處理;另一種是“緊致型”，如圖2所示，即小波神經網絡(wavelet neural network)或小波網絡，它是結合小波變換理論與神經網絡的思想而構造的一種新的神經網路模型。其方法是將神經網絡隱含層中神經元的傳遞激發函數用小波函數來代替，充分繼承了小波變換良好的時頻局部化性質及神經網絡的自學習功能的特點，被廣泛運用于信號處理、數據壓縮、模式識別和故障診斷等領域?！熬o致型”小波神經網絡具有更好的數據處理能力，是小波神經網絡的研究方向。在圖2 中，有輸入層、隱含層和輸出層，輸出層采用線性輸出，輸入層有m(m =1，2，…，M)個神經元，隱含層有k(k=1，2，…，K)個神經元，輸出層有n(n =1，2，…，N)個神經元。

根據基函數gk(x)和學習參數的不同，圖2 中小波神經網絡結構可分3 種形式［5］:

1)連續參數的小波神經網絡。這是小波最初被提出采用的一種形式。令圖2 中基函數為

則網絡輸出為

2)由框架作為基函數的小波神經網絡。由于不考慮正交性，小波函數的選取有很大自由度。令圖2 中的基函數為

則網絡輸出為

根據函數f 的時頻特性確定j、k 的取值范圍后，網絡的可調參數只有權值，其與輸出呈線性關系，可通過最小二乘法或其他優化法修正權值，使網絡能充分逼近f(x)。

這種形式的網絡雖然基函數選取靈活，但由于框架可以是線性相關的，使得網絡函數的個數有可能存在冗余，對過于龐大的網絡需考慮優化結構算法。

3)基于多分辨分析的正交基小波網絡。網絡隱節點由小波節點Ψ 和尺度函數節點φ 構成，網絡輸出為

當尺度L 足夠大時，忽略式(5)右端第2 項表示的小波細節分量，這種形式的小波網絡的主要依據是Daubechies 的緊支撐正交小波及Mallat 的多分辨分析理論［6］。

盡管正交小波網絡在理論上研究較為方便，但正交基函數的構造復雜，不如一般的基于框架的小波網絡實用。

2 小波神經網絡的訓練算法

小波神經網絡最早是由法國著名的信息科學機構IRISA的Zhang Qinghua 等［7］于1992年提出的，是在小波分析的基礎上提出的一種多層前饋模型網絡，可以使網絡從根本上避免局部最優并且加快了收斂速度，具有很強的學習和泛化能力。小波神經網絡是用非線性小波基取代通常的非線性sigmoid 函數，其信號表述是通過將所選取的小波基進行線性疊加來表現的［8］。

設小波神經網絡有m 個輸入節點、N 個輸出節點、n 個隱層節點。網絡的輸入和輸出數據分別用向量X 和Y 來表示，即:

若設xk為輸入層的第k 個輸入樣本，yi為輸出層的第i個輸出值，wij為聯接輸出層節點i 和隱含層節點j 的權值，wjk為連接隱含層節點j 和輸入層節點k 的權值。令wi0是第j 個輸出層節點閾值，wj0是第j 個隱含層節點閾值(相應的輸入x0= -1)，aj為第j 個隱含層節點的伸縮因子，bj為第j 個隱含層節點的平移因子，則小波神經網絡模型［9］為

式中:di為網絡的輸出向量;W 為網絡中所有權值組成的權向量，W∈Rt。網絡的學習可以歸結為如下的無約束最優化問題:

小波神經網絡采用梯度法，即最快下降法來求解該問題，那么小波網絡的權值的調整規則處理過程分為2 個階段:一是從網絡的輸入層開始逐層向前計算，根據輸入樣本計算各層的輸出，最終求出網絡輸出層的輸出，這是前向傳播過程;二是對權值的修正，從網絡的輸出層開始逐層向后進行計算和修正，這是反向傳播過程。2 個過程反復交替，直到收斂為止。通過不斷修正權值W，使E(W)達到最小值。

則可以計算得到下列偏導數:

為了加快算法的收斂速度，引入動量因子α，因此，權向量的迭代公式為:

在網絡權值的調整過程中，往往是在學習的初始階段，學習步長選擇大一些，以使學習速度加快;當接近最佳點時，學習速率選擇小一些，否則連接權值將產生振蕩而難以收斂。學習步長調整的一般規則是:在連續迭代幾步過程中，若新誤差大于舊誤差，則學習速率減小;若新誤差小于舊誤差，則增大學習步長。

3 小波神經網絡結構設計

3.1 小波函數的選擇

小波的選擇具有相對的靈活性，對不同的數據信號，需要選擇恰當的小波作為分解基。小波變換不像傅里葉變換是由正弦函數唯一決定的，小波基可以有很多種，不同的小波適合不同的信號。

1)Mexican hat 和Morlet 小波基沒有尺度函數，是非正交小波基。其優點是函數對稱且表達式清楚簡單，缺點是無法對分解后的信號進行重構。采用Morlet 小波(r 通常取值為1.75)構造的小波網絡已經被用于各種領域。

2)Daubechies 是一種具有緊支撐的正交小波，隨著N 的增加，dbN 小波的時域支撐長度變長;矩陣階數增加;特征正則性增加，幅頻特性也越接近理想。當選取N 值越大的高階db 小波時，其構成可近似看成一個理想的低通濾波器和理想的帶通濾波器，且具有能量無損性。

通常在信號的近似和估計作用中，小波函數選擇應與信號的特征匹配，應考慮小波的波形、支撐大小和消失矩陣的數目。連續小波基函數都在有效支撐區域之外快速衰減。有效支撐區域越長，頻率分辨率越好;有效支撐區域越短，時間分辨率越好。如果進行時頻分析，則要選擇光滑的連續小波，因為時域越光滑的基函數，在頻域的局部化特性越好。如果進行信號檢測，則應盡量選擇與信號波形相近似［10］的小波。

3.2 隱含層節點的選取

隱含層節點的作用是從樣本中提取并存儲其內在規律，每個隱含層節點有若干個權值，而每個權值都是增強網絡映射能力的參數。隱含層節點數量太少，網絡從樣本中獲取信息的能力就差，不足以概括和體現訓練集中的樣本規律;隱含層節點數量太多，又可能把樣本中非規律性的內容也會牢記，從而出現所謂的“過擬合”問題，反而降低了網絡的泛化能力。此外，隱含層節點數過多會增加神經網絡的訓練時間。

4 仿真與結果分析

采用指數函數驗證小波神經網絡的數據擬合能力，自變量范圍為［-5，5］，采樣間隔為0.1，共101 個樣本點，其中前70 個樣本點作為訓練樣本，后31 個樣本點作為檢驗樣本。小波神經網絡采用“緊致型”結構，將神經網絡隱含層中的神經元傳遞函數用小波函數來代替，采用通常用于信號分類的小波基函數Morlet 小波函數(r 通常取值為1.75)作為網絡隱含層的激勵函數，即:

式中t 為函數的輸入，其小波函數的圖形如圖3。

圖3 Morlet 小波函數

經過Mablab 編程仿真得到的指數函數的逼近結果如圖4。從預測結果來看，小波神經網絡具有擬合能力較強、計算速度較快、精度高等優點，具有廣泛的應用前景，但是該算法還存在著網絡權值、尺度因子和平移因子的初值選取困難等缺點，有待于進一步研究。

圖4 小波神經網絡的預測結果

5 結束語

小波神經網絡是小波分析和神經網絡理論相結合的產物，繼承了小波變換良好的時頻局部化性質及神經網絡的自學習功能的特點，它最初應用于函數逼近和語音識別，隨后應用領域逐漸推廣到非參數估計、天氣預報、多屬性決策、故障診斷與檢測、系統辨識、數據壓縮等。雖然小波分析理論和神經網絡理論為小波網絡的研究應用提供了堅實的理論基礎，但小波網絡的理論研究畢竟剛剛起步，迄今還存在許很大的發展空間。

［1］董長虹.Matlab 神經網絡與應用［M］.北京:國防工業出版社，2007:6-13.

［2］張紅英，吳斌.小波神經網絡的研究及其展望［J］.西南工學院學報，2002(2):8-10.

［3］王永慶.人工智能原理與方法［M］.西安:西安交通大學出版社，1998:412-419.

［4］虞和濟.基于神經網絡的智能診斷［M］.北京:冶金工業出版社，2000.

［5］李洋.小波過程神經網絡相關理論及其應用研究［D］.哈爾濱:哈爾濱工業大學，2008.

［6］秦前清，楊宗凱.實用小波分析［M］.西安:西安電子科技大學出版社，1998.

［7］Zhang Qinghua，Bmvenlste A.Wavelet networks［J］.IEEE Trans.On Nellml Networks，1992，3(6):889-898.

［8］王鴻斌，陳惠明.一種小波神經網絡的優化算法［J］.忻州師范學院學報，2006(3):40-42.

［9］許慧，申東日.一種用于非線性函數逼近的小波神經網絡［J］.自動化與儀器儀表，2003(4):4-6.

［10］侯木舟.基于構造型前饋神經網絡的函數逼近與應用［D］.長沙:中南大學，2009.

［11］高雋.人工神經網絡原理及仿真實例［M］.北京:機械工業出版社，2003.