基于Hopfield神經網絡和PSO的線性系統辨識方法

摘要：研究了一種基于連續型Hopfield神經網絡和粒子群優化（PSO）的線性系統辨識方法。首先建立了系統的預測模型以及辨識誤差函數，然后將誤差函數近似為連續型Hopfield神經網絡的能量函數。利用神經網絡的自我演化，得到近似的辨識參數。通過引入PSO機制，緩解了Hopfield神經網絡在辨識過程可能陷入局部極小值的缺陷，增強了辨識的效果。最后，仿真研究驗證了所提方法的有效性。

關鍵詞：Hopfield神經網絡；系統辨識；粒子群優化算法

一、 前言

在現代復雜控制系統中，系統通常具有規模大、階次高和數學模型未知等特點，給控制器的設計帶來了挑戰。系統辨識是一種基于數據驅動的方法，只需利用系統的輸入輸出數據便可以得到系統的近似模型，是一種重要的系統分析方法[1]。文獻[2]針對離散型線性系統，提出了基于粒子群優化（Particle Swarm Optimization， PSO） 的參數精確辨識方法，相比傳統的最小二乘遺傳遞推算法，具有更高的辨識精確度。文獻[3]提出了一種基于人工蜂群算法的線性系統辨識方法，算法具有實現簡單、尋優能力較強和辨識精度較高等特點。

近年來，得益于人工智能的發展，人工神經網絡引起了學者們的關注。其中，反向傳播（Back Propagation， BP）神經網絡的應用最為廣泛。文獻[4]利用BP神經網絡對壓電泵系統進行參數辨識，實驗表明了基于BP神經網絡的方法具有良好的辨識能力，泛化能力高的優點。然而，BP神經網絡是全局逼近網絡，結構相對復雜，具有訓練效率不高，訓練容易陷入局部極小值，學習速度難以滿足實時性要求等缺點。文獻[5]針對BP網絡的上述缺點，提出了基于降低網絡靈敏度的改進方法，動態地將全局傳播轉換為局部傳播，提高了學習速率。此外還結合了小波變換方法，繼承了小波變換和神經網絡兩者的優點，提高了識別精度。

為了探究更優的神經架構，一些新的神經網絡也被提出。Hopfield神經網絡是一種單層反饋型非線性神經網絡，它是由美國物理學家Hopfield于1982年首先提出的[6]。不同于多層前饋神經網絡，Hopfield神經網絡由一組互相連接的神經元組成，每個神經元的輸出都通過連接權重傳遞給其他神經元作為輸入，由此組成了一個動態反饋系統。應用連續型Hopfield神經網絡求解優化問題，需要把待優化的目標函數轉換為神經網絡的能量函數，進而把待優化的變量作為神經元的輸出，即Hopfield神經網絡的狀態。用Hopfield神經網絡完成動態系統參數的辨識是利用其自身的動力學機制，使網絡的狀態即神經元的輸出對應待辨識的系統參數，那么神經網絡趨于穩定的過程，就是完成參數辨識的過程。

PSO算法是一種群體智能優化算法，是一種結構簡單、參數少且高效的方法，是解決復雜函數優化問題的強有力工具[7]。為了緩解Hopfield神經網絡可能陷入局部極小值的缺陷，本文提出了一種基于粒子群優化和連續型Hopfield神經網絡（PSOCHNN）方法，用于解決線性系統的參數辨識問題。

二、 基于PSOCHNN的線性系統參數辨識

（一）連續型Hopfield神經網絡

對于連續型Hopfield神經網絡（CHNN），采用微分方程建立其輸入輸出關系，可得

其中是CHNN的內部動態變量，是神經元反饋連接的權重矩陣，通常為實對稱矩陣的形式，是神經元的輸入偏置量。是激活函數，通常取為雙曲正切函數，即，其具體的形式如下：

其中是超參數，需依照專家經驗提前指定。

為了描述CHNN的動態穩定性，需要定義能量函數

當CHNN的演化過程穩定時，CHNN的狀態總是朝著能量函數減小的方向轉移。由系統動力學性質可知，只要證明神經網絡的能量函數隨著時間單調遞減就可以證明CHNN的系統狀態是趨于穩定的，也就可以得到一個穩定的系統狀態和輸出。CHNN自身的演化過程需要一定的時間，當動態系統的參數變化劇烈時，Hopfield神經網絡的變化幅度和頻率可能很大，此時能量函數可能不會收斂。文獻[8]討論了Hopfield神經網絡的穩定性，并給出了全局穩定性和全局指數穩定的充分條件。

值得注意的是， CHNN在學習的過程不需要調整自身的權重和偏置量，而前饋型神經網絡一般是通過誤差反向傳播對參數進行更新。

（二）系統描述以及預測模型的建立

考慮一類線性系統，其狀態方程如下：

至此，完成了系統參數辨識到CHNN模型之間的映射。當CHNN的能量函數的導數小于零時，能量函數是單調遞減的，即辨識得到的參數估計與真實系統的誤差也是單調遞減的，因此最終得到的輸出就是參數辨識的結果。

然而該方法需要忽略中的項，這會給辨識帶來一定的剩余誤差。此外，CHNN的演化仍然是局部優化的過程，因此不可避免地會陷入局部最優。基于以上的原因，本文將粒子群優化算法和CHNN有機結合以緩解上述缺陷。

（三） PSO算法

PSO算法中包含大量粒子的隨機向量，并且是在全局解空間里進行優化。利用PSO算法時，需要構造一個包含K個粒子的種群。每個粒子表示為一個二元組，其中為粒子的位置向量。為每個粒子的速度向量。粒子根據自身的位置以及速度進行演化，每個粒子的演化不僅利用了自身的歷史信息，而且也考慮了整個種群的共享信息。粒子速度向量的更新由個體最佳位置和全局最佳位置決定。粒子通過如下公式迭代地更新位置和速度

其中是迭代索引，最大迭代次數。

粒子位置的好壞通過適應度函數衡量，適應度函數應該選取單調且同符號的函數，例如平方損失函數。為了盡量讓辨識的估計值接近于實際值，選取辨識誤差函數作為適應度函數。當粒子的位置和速度得到更新后，相應的個體最佳位置和全局最佳位置也需要進行更新。

值得注意的是，PSO的動態特性和最終搜索效果取決于參數的選取。例如，如果粒子速度太快，錯過更好位置的概率將增大，因此難以搜尋到更好的位置。反之，如果粒子的速度太慢，種群的搜索空間可能十分受限，算法不能得到充分的探索，因此也容易陷入局部最優當中。

（四）基于PSOCHNN的系統辨識方法

本文在CHNN模型的基礎上，引入了PSO算法，用于提高系統辨識優化算法的全局搜索能力，避免CHNN網絡陷入局部極小值。所提的基于PSOCHNN的系統辨識方法流程歸納如下：

1. 初始化：選取CHNN的超參數和，選取粒子數，慣性因子，以及學習因子，，設定算法的精度，迭代索引。

2. CHNN搜索過程：根據（1），（10）和（11）搜索出一個可行解。

3. PSO搜索過程：根據更新每一個粒子的位置和速度向量，并通過更新慣性因子。

4. 若，停止，獲得預測模型的近似最優參數；否則，令，回到2。

三、實驗與分析

本節通過仿真實驗來驗證所提方法的有效性。數值仿真基于MATLAB和Simulink平臺進行設計和實驗。

考慮如所示的一類二階線性定常系統，其中

選取正弦持續激勵信號作為控制輸入，系統的初始狀態為，剩余的參數設置如表1所示。為了盡可能利用PSO的特性，在PSO優化的初始時刻，希望粒子種群具有更強的全局搜尋能力，因此設定相對較大的慣性因子。隨后，慣性因子通過式進行遞減，使得算法具有更強的局部搜索能力，以此獲得更精確的解。在本例中，和依照經驗值進行選取。為了進一步驗證PSO算法對于尋找更優參數的效果，分別針對不同參數的系統，采用了普通CHNN優化算法以及所提的PSOCHNN方法進行對比實驗，兩種方法的所有參數設置均與表1相同。實驗結果如表2所示，可以看出，所提的PSOCHNN方法在一定程度上緩解了CHNN容易陷入局部極小值的缺陷。值得注意的是，超參數和分別影響激活函數的幅值和斜率，為了滿足CHNN的穩定性要求[8]，要大于待辨識的最大參數的絕對值，同時的取值不能太小，否則會導致某些時刻能量函數對時間的導數大于0，使得最終的結果不收斂。

根據上述的結果及分析，所提基于PSOCHNN的辨識方法有效。未來可以將此方法運用到更為復雜的仿射型或非仿射型非線性系統。

四、結語

隨著人工智能和計算機技術的快速發展，基于神經網絡的系統辨識方法得到了廣泛的研究。其中，由于Hopfield神經網絡在學習的過程不需要調整自身的權重和偏置量，因此采用Hopfield神經網絡進行系統辨識是一種結構簡單且效率高的方法。然而，Hopfield神經網絡的動態演化過程可能陷入局部極小值。論文提出了一種基于連續型Hopfield神經網絡和粒子群優化方法（PSOCHNN） 的系統辨識方法。通過給出了線性系統參數辨識的仿真例子，驗證了算法的可行性。從結果可以看出，所提的PSOCHNN能更好地完成參數的辨識。未來可以引入更加高效的群體智能算法，并且把該方法運用到非線性系統的參數辨識和最優控制中。

參考文獻

[1] 李昱， 袁磊. 線性系統的系統辨識綜述[J]. 探測與控制學報，2021，43（3）：22-29.

[2] 李珍， 魏利勝， 程運昌. 基于PSO 的一類線性系統參數辨識方法研究[J]. 重慶工商大學學報（ 自然科學版），2016，33（2）：8-13.

[3] 林振敏. 基于人工蜂群算法的線性系統辨識[J]. 儀器儀表用戶，2020，27（9）：95-98.

[4] 程光明， 朱志偉， 孟凡玉， 等. 基于BP 神經網絡壓電泵輸入輸出系統的辨識[J]. 機床與液壓，2010，38（7）：95-98.

[5] 陳君， 郭玉兵， 曹惠芳， 等. 基于改進的 BP 神經網絡算法的控制系統在線辨識方法[J]. 科技導報，2012，30（6）：62-65.

[6]HOPFIELD J. Neural networks and physical systems with emergent collective computational abilities [J]. Proceedings of National Academy of Science， 1982， 79： 2554-2558.

[7] 張天佳， 楊永勝. 基于并行結構的多種群粒子群優化算法[J]. 傳感器與微系統，2020，39（9）：119-121.

[8]LIU X， CHEN T. A new result on the global convergence of Hopfield neural networks [J]. IEEE Transactions on Circuits and Systems I： Fundamental Theory and Applications， 2002，49（10）：1514-1516.

（作者單位：廣東工業大學自動化學院）