基于Mackey-Glass混沌儲備池計算的多波形識別

包 秀 榮， 岳 荷 荷， 殷 洪 璽*， 秦 杰

( 1.大連理工大學 信息與通信工程學院, 遼寧 大連 116024； 2.內蒙古師范大學 物理與電子信息學院， 內蒙古 呼和浩特 010022 )

0 引 言

波形識別技術已經在醫療、智能故障檢測、數字通信、工業自動控制等領域得到廣泛應用[1-5]．因此研究一種實時性好、可靠性高、結構簡單的波形識別技術至關重要．現今應用最多的波形識別算法是對波形進行非常好的特征提取，從而實現識別性能．但是由于針對多種不同波形，其算法比較耗時．實現波形識別的技術主要有離散小波變換、自組織映射網絡、BP神經網絡、支持向量機等[6-11]．這些技術中神經網絡結構復雜且訓練耗時，數字化處理過程需要模數轉換，使功耗增大且速率降低．

本文給出的方法僅需要對波形進行簡單的預處理，之后經快速的算法實現實時波形識別．本文使用近年來新興的一種機器學習系統，即儲備池計算系統．儲備池計算系統由輸入層、儲備池和輸出層3個部分構成[12]．儲備池計算中間層用一個非線性節點附加反饋回路構成儲備池結構．該系統也叫非線性時滯系統，隨著反饋強度的增加系統工作狀態可以從穩定的固定點到倍周期狀態，再到混沌狀態，能產生豐富的動力特性．儲備池計算模擬了大腦處理信息的過程，能產生信號的瞬時神經響應，快速處理信號[13]．根據儲備池計算中所用器件特性不同，儲備池結構分為電儲備池、光電儲備池和全光儲備池等類型[14-16]．

已有的研究中分別用全光儲備池、光電儲備池和電儲備池實現了兩種波形的識別．全光儲備池計算中用耦合的半導體光放大器構成網絡進行儲備池計算，實現了方波和三角波兩種波形的識別，識別錯誤率為2.5%[17]．用馬赫增德爾調制器附加光電反饋構成的光電儲備池計算實現了方波和正弦波兩種波形的識別，其歸一化均方誤差為1.5×10-3[18]．本文的科研團隊用電儲備池計算系統成功實現了方波和正弦波兩種不同波形的識別，歸一化均方根誤差最小達到0.22[19]．總之，目前儲備池計算系統的識別應用中所識別波形數量少，且其中全光儲備池計算和光電儲備池計算難于集成．本文利用結構簡單的Mackey-Glass電路混沌系統構建儲備池計算系統的中間層，仿真研究多個波形的識別應用，并分析系統中主要參數，如反饋線上的虛擬節點個數、反饋強度和輸入增益等參數的變化對波形識別效果的影響．

1 模型與原理

下面介紹由單個非線性節點附加反饋回路構成的儲備池模型的計算原理．這種方法類似于環形遞歸神經網絡的拓撲結構．如圖1所示，輸入信號只需輸入到非線性節點上，接著讀取延遲線上不同時刻的瞬時狀態，即虛擬節點狀態，瞬時模擬了經典儲備池內的處理節點．將不同時刻的瞬時狀態加權求和輸出，得到識別結果．計算步驟概括如下：

(1)對每個波形進行抽樣，使其在一個延遲時間τ內保持恒定，并乘以只有+1和-1值且隨機變化的模板，得到輸入信號J．輸入信號J是M×N矩陣，M為要處理信號的抽樣點個數，N為延遲線上虛擬節點的個數．

(2)輸入矩陣J串行注入到非線性時滯系統，延遲線上產生瞬時響應狀態．輸入矩陣J的每一行的響應就是時間長度為τ的延遲向量．

(3)當輸入矩陣J的所有元素注入到儲備池，在虛擬節點上得到輸入信號的瞬時響應，構成狀態矩陣S．

(4)每個輸入波形得到一個狀態矩陣，利用這些狀態矩陣訓練輸出權值完成分類．

圖1 Mackey-Glass混沌儲備池計算結構Fig.1 Structure of reservoir computing based on the Mackey-Glass chaos

這里輸出權值訓練采用的嶺回歸估計算法，是有偏估計回歸算法．該算法與最小二乘估計算法相比較，更適合對病態數據的擬合[20]．這里的病態矩陣是指對某些矩陣中某個元素的很小的變動會使計算結果誤差很大，而混沌信號具有這種特性，所以本文利用嶺回歸估計訓練混沌儲備池計算的輸出權值．嶺回歸估計算法通過損失無偏性，換取較高的數值穩定性，從而獲得較高的計算精度．

設多重線性回歸模型y=Xα+ε，回歸參數α的嶺估計定義為[20]

(k)=(X′X+kI)-1X′y

(1)

式中：I為單位矩陣；k為嶺參數，且k>0．設X已標準化，X′X為自變量樣本的相關陣，則式(1)是標準化的嶺回歸估計．式中k不是唯一值，所以計算得到的嶺回歸估計是回歸參數α的一個估計族．最后得到的回歸參數α就是輸出層的連接權值．

由單個非線性節點附加反饋回路構成的儲備池數學模型為[21]

(t)=-x(t)+f(x(t-τ),J(t))

(2)

式中：x為非線性節點的狀態變量，

x．

為x的一階導數，τ是歸一化延遲時間，f代表非線性函數，J(t) 為預處理后的輸入信號．這里選用Mackey-Glass混沌方程作為非線性函數，則其儲備池的動力學方程為

x．(t)=-x(t)+η[x(t-τ)+γ·J(t)]1+[x(t-τ)+γ·J(t)]p

(3)

式中：參數η為反饋強度，γ為輸入增益，p為非線性指數．指數p用來調節系統非線性程度．該動力系統的分岔圖如圖2所示．當沒有輸入信號時，系統工作在倍周期和混沌的臨界狀態；有輸入信號后，系統顯示出更復雜的動力特性，特別是在相同的輸入信號下，系統應有一致的瞬時響應．當然系統也可以用其他非線性方程作為非線性節點，例如半導體激光器或光電調制器等，同樣能完成任務[22]．

如上所述，虛擬節點等間隔地分布在延遲線上，延遲時間τ=Nθ，θ為虛擬節點之間的時間間隔．事實上，輸入信號的采樣周期即為τ，二進制隨機模板的周期也為τ，模板隨機值之間的間隔為虛擬節點之間的時間間隔θ．根據經驗，θ為0.2時能得到最優計算結果．

圖2 無輸入信號時Mackey-Glass混沌儲備池分岔圖

Fig.2 Bifurcation diagram of Mackey-Glass chaotic reservoir under no input

2 波形識別仿真實驗及其結果分析

將上述儲備池計算動力學系統應用于多種類型的波形識別，檢驗其識別效果．先建立要處理信號的數據庫，由正弦波、方波和三角波3種波形隨機構成，共有2 000組數據．串行輸入到儲備池之前，每個輸入波形每周期采樣16點，再與預處理模板進行相乘，模板由隨機分布的+1、-1值序列構成．儲備池內，Mackey-Glass方程的非線性指數p選為8，這樣高的非線性有利于分類．輸出端采用10折交叉驗證方法計算歸一化均方根誤差(Enrms)：

(4)

其中s(t)為儲備池計算系統的實際輸出值，y(t)為儲備池計算系統的期望輸出值[3]．儲備池計算系統的波形識別效果越好，Enrms越小．仿真實驗中采用1 800組數據進行訓練，200組數據用于測試．

研究了反饋環上虛擬節點個數N的變化對波形識別性能的影響，從而確定虛擬節點個數的最佳值．歸一化均方根誤差和虛擬節點個數之間的關系如圖3所示，圖中虛線為訓練結果，實線為測試結果．由圖可看出，虛擬節點個數N=100時，Enrms最小，識別效果最好．虛擬節點個數較少時，儲備池狀態值過于單一，很難訓練得到期望輸出值，所以Enrms都很高．相反，虛擬節點個數較多時，能得到很多不同儲備池狀態值，但有很多重復或接近的各種狀態，過度擬合了數據，Enrms沒有明顯下降，反而有小幅度增加，且處理數據量增大使計算量變大．因此，在接下來的波形識別實驗中采用的儲備池計算虛擬節點個數為100．

圖3 Enrms與虛擬節點個數之間的關系Fig.3 Relationship between the Enrms and the number of virtual nodes

反饋強度η和輸入增益γ是儲備池模型的兩個重要參數，參數η和γ的變化對測試得到的Enrms的影響如圖4所示．圖中識別效果越好，顯示越接近藍色．由圖可看出反饋強度為2.2且輸入增益為0.8時，儲備池計算系統識別性能最佳，歸一化均方根誤差Enrms達到0.11．不同參數下的訓練得到的歸一化均方根誤差也同時算出，最佳參數與之相同．反饋強度η<1時，儲備池工作在穩定的固定點上，當η慢慢增大時，儲備池輸出狀態由周期態演變為混沌狀態．反饋強度為2.2時，儲備池狀態處在倍周期狀態和混沌狀態之間的臨界狀態，是儲備池計算系統的最佳狀態[23-24]．同樣由圖可看出，輸入增益γ從0.1增加到0.7時，識別效果一直不好，但有改善的趨勢．γ為0.8時，識別效果最好．γ>0.9時識別效果又有下降趨勢．儲備池計算系統的波形識別結果如圖5所示．

圖4 Enrms與參數η和γ之間的三維色圖關系Fig.4 Color graph of three dimensions for the Enrms with parameters η and γ

圖5(a)是隨機輸入的3種不同波形；圖5(b)是儲備池計算系統識別的輸出信號，圖中虛線為濾波輸出信號，實線為采樣判決后的最終輸出信號．由圖可看出，3種波形得到正確識別．判決輸出信號為+1時，輸入為正弦波；判決輸出為0時，輸入為方波；判決輸出為-1時，輸入為三角波．

接著對更多的波，即對3種不同頻率f、2f、5f的方波、正弦波和三角波共9個不同的波進行了識別仿真實驗．同樣建立了隨機構成的波形數據庫，共2 000組數據．由于識別波種類較多，每個波每個周期內采樣25個點，儲備池內設置400個虛擬節點，并設置了9個輸出端．其余參數不變的情況下，測試得到的Enrms達到0.22，識別結果如圖6所示．

圖6(a)為期望的輸出信號，圖6(b)為實際濾波輸出信號，圖中縱軸分為9行，每一行表示一種識別波形，紅色條表示輸出信號接近+1，即得到識別波形種類．隨機選取了部分結果展示，可以看到識別效果較好．

(a) 隨機輸入的3種不同波形

(b) 識別的輸出信號

圖5 3種不同波形的識別結果Fig.5 Recognition results for three kinds of different waveforms

(a) 期望的輸出信號

(b) 實際濾波輸出信號

圖6 對頻率分別為f、2f、5f的方波、正弦波和三角波共9個波識別的結果

Fig.6 Recognition results for square waves, sine waves and triangle waves with three different frequencies off, 2fand 5frespectively

3 結 語

采用單個非線性節點附加反饋環結構的儲備池計算，相較于傳統的儲備池計算，具有系統結構簡單、訓練速度快等優點[25-26]，與現有的光電儲備池和全光儲備池比較，則有硬件上容易實現、易于集成、性價比高等優點．本文采用電路混沌儲備池實現了多種不同波形的識別任務，通過仿真計算儲備池輸出端的歸一化均方根誤差確定了系統的虛擬節點個數、輸入增益、反饋強度等參數最佳值，通過仿真實驗得到了3種不同波形和對應3種不同頻率的共9個不同波的識別結果，計算得到的歸一化均方根誤差分別為0.11和0.22，達到了較好的識別效果．

[1] FRANK J, MANNOR S, PINEAU J,etal. Time series analysis using geometric template matching[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2013,35(3):740-754.

[2]LI Hongqiang, FENG Xiuli, CAO Lu,etal. Heartbeat classification using different classifiers with non-linear feature extraction [J].TransactionsoftheInstituteofMeasurementandControl, 2016,38(9):1033-1040.

[3]QIN Jie, ZHAO Qingchun, XU Dongjiao,etal. Optical packet header identification utilizing an all-optical feedback chaotic reservoir computing [J].ModernPhysicsLettersB, 2016,30(16):1650199.

[4]JAFFE M B. Using the features of the time and volumetric capnogram for classification and prediction [J].JournalofClinicalMonitoringandComputing, 2017,31(1):19-41.

[5]CHAUDHARY A, BASU S, KUMAR R,etal. Shape classification of AltiKa 40-Hz waveforms using linear discriminant analysis and Bayes decision rule in the Gujarat coastal region [J].MarineGeodesy, 2015,38(s1):62-72.

[6]ZHAO Bendong, CHEN Shangfeng, LIU Junliang,etal. Classification of waveforms using unsupervised feature learning and artificial neural network [C] //Proceedingsof2015IEEEAdvancedInformationTechnology,ElectronicandAutomationControlConference,IAEAC2015. Piscataway: IEEE, 2015:192-196.

[7]PEREIRA T, PAIVA J S, CORREIA C,etal. An automatic method for arterial pulse waveform recognition using KNN and SVM classifiers [J].Medical&BiologicalEngineering&Computing, 2016,54(7):1049-1059.

[8]CHAOU A K, MEKHALDI A, MOULA B,etal. Classification of leakage current waveforms using wavelet packet transform on high voltage insulator [C] //ICHVE2014—2014InternationalConferenceonHighVoltageEngineeringandApplication. Piscataway: IEEE, 2014:7035489.

[10]LI Shuo, YANG Lin, YANG Yimin,etal. A model of recognition for human pulse wave types by the BP neural network [J].WITTransactionsonBiomedicineandHealth, 2014,18:375-380.

[11]MASET E, CARNIEL R, CROSILLA F. Unsupervised classification of raw full-waveform airborne lidar data by self organizing maps [J].LectureNotesinComputerScience, 2015,9279:62-72.

[12]PAQUOT Y, DAMBRE J, SCHRAUWEN B,etal. Reservoir computing:A photonic neural network for information processing [J].ProceedingsofSPIE—TheInternationalSocietyforOpticalEngineering, 2010,7728:77280B.

[14]NGUIMDO R M, DANCKAERT J, VERSCHAFFELT G,etal. Delay-based reservoir computing using semiconductor ring lasers [J].ProceedingsofSPIE—TheInternationalSocietyforOpticalEngineering, 2014,9136:91361S.

[15]LARGER L, SORIANO M C, BRUNNER D,etal. Photonic information processing beyond Turing:an optoelectronic implementation of reservoir computing [J].OpticsExpress, 2012,20(3):3241-3249.

[16]APPELTANT L, SORIANO M C, VAN DER SANDE G,etal. Information processing using a single dynamical node as complex system [J].NatureCommunications, 2011,2:468.

[17]VANDOORNE K, DIERCKX W, SCHRAUWEN B A,etal. Toward optical signal processing using photonic reservoir computing [J].OpticsExpress, 2008,16(15):11182-11192.

[18]PAQUOT Y, DUPORT F, SMERIERI A,etal. Optoelectronic reservoir computing [J].ScientificReports, 2012,2:287.

[19]岳荷荷. 基于混沌的保密通信和波形識別的應用研究[D]. 大連:大連理工大學, 2015.

YUE Hehe. Investigation of secure communication and waveform recognition based on chaos [D]. Dalian: Dalian University of Technology, 2015. (in Chinese)

[20]HOERL A E, KENNARD R W. Ridge regression:Biased estimation for nonorthogonal problems [J].Technometrics, 2000,42(1):80-86.

[21]SORIANO M C, BRUNNER D, ESCALONA-MORN M,etal. Minimal approach to neuro-inspired information processing [J].FrontiersinComputationalNeuroscience, 2015,9:68.

[22]DAMBRE J, VERSTRAETEN D, SCHRAUWEN B,etal. Information processing capacity of dynamical systems [J].ScientificReports, 2012,2:514.

[23]BUESING L, SCHRAUWEN B, LEGENSTEIN R. Connectivity, dynamics, and memory in reservoir computing with binary and analog neurons [J].NeuralComputation, 2010,22(5):1272-1311.

[24]MANEVITZ L, HAZAN H. Stability and topology in reservoir computing [J].LectureNotesinComputerScience, 2010,6438:245-256.