梯度神經網絡在求解矩陣平方根中的應用

嚴慧玲，肖 林，周文輝

(1.吉首大學 數學與統計學院，湖南 吉首 416000; 2.吉首大學 信息科學與工程學院，湖南 吉首 416000)

梯度神經網絡在求解矩陣平方根中的應用

嚴慧玲1，肖 林2，周文輝2

(1.吉首大學 數學與統計學院，湖南 吉首 416000; 2.吉首大學 信息科學與工程學院，湖南 吉首 416000)

矩陣的平方根問題是關于求解矩陣問題的一種特殊情況，在科學與工程領域中應用是極其廣泛的。不同于用數值方法求解，采用梯度神經網絡對矩陣平方根問題進行求解。為了求解一般矩陣的平方根，定義了一個基于范數的標量取值的能量函數，然后根據梯度下降法，設計了一個演化公式，從而推導出了求解矩陣平方根的梯度神經網絡模型。借助MATLAB進行計算機模擬仿真，仿真結果證實了梯度神經網絡在求解矩陣平方根的可行性和有效性。而且，通過選取不同的設計參數取值，可以大大加快梯度神經網絡求解矩陣平方根的收斂速度。結果說明，設計參數的取值在梯度神經網絡求解矩陣平方根當中有著至關重要的作用。

梯度神經網絡；梯度下降法；矩陣平方根；MATLAB仿真

0 引 言

神經網絡包括兩個主要方面,即人工神經網絡(Artificial Neural Network,ANN)和由真正的生物神經元組成的網絡(Biological Neural Network,BNN)[1]。人工神經網絡由神經元模型構成,這種由許多神經元組成的信息處理網絡具有并行分布結構。每個神經元具有單一輸出,并且能夠與其他神經元連接;存在許多(多重)輸出連接方法,每種連接方法對應一個權系數[2]。人工神經網絡是由大量簡單的處理單元組成的非線性、自適應、自組織系統，是在現代神經科學研究成果的基礎上，試圖通過模擬人類神經系統對信息進行加工、記憶和處理的方式，設計出的一種具有人腦風格的信息處理系統[3-4]。當前，神經網絡已經成為許多學科十分青睞的研究話題。

梯度下降法也叫最優下降法，是一種最優化算法，顧名思義，就是在計算過程中使目標函數沿梯度下降速度最快或上升最快的方向進行。最速下降法以負梯度方向為搜索方向，其越接近目標值，步長越小，前進越慢[4]。

矩陣是高等代數學中的常用工具，也常見于統計分析等應用數學學科中。在物理學中，矩陣在電路學、力學、光學和量子物理學中都有應用，在計算機科學、三維制作等領域也頻繁使用。顧傳青等提出了改進的方法來計算矩陣A的平方根,也就是應用一些牛頓法的變形來解決二次矩陣方程。研究表明,改進的方法比牛頓算法和一些已有的牛頓算法的變形效果要好[5]。黃德超利用矩陣分塊逐次降階的方法,給出了一種快速算法,用來計算r循環矩陣的同型平方根矩陣(平方根矩陣也為r循環矩陣)[6]。楊雁等討論了布爾矩陣平方根問題及其與圖著色問題的關系，得到了有平方根的布爾矩陣具有的一些性質[7]。Stewart等研究表明，運用矩陣平方根算法實現的卡爾曼濾波器比不要求矩陣平方根的算法相對要快，也相對穩定[8]。關于矩陣平方根的研究以及算法在各行各業的應用，這里主要介紹怎樣運用梯度下降法求解矩陣的平方根。假若給定一個矩陣A,有X2-A=0成立，則稱X為矩陣A的平方根。文中主要借助Matlab軟件和梯度神經下降法求解矩陣平方根[9-14]。

設計了一個能量函數，利用梯度神經的方法，結合MATLAB仿真軟件進行建模、仿真并加以驗證。給出不同參數，觀察函數的收斂速度。最后，通過對MATLAB得到的數據進行分析，肯定了該神經網絡在求解矩陣平方根中的可行性和準確性。

1 梯度神經網絡設計

1.1 問題描述

首先，對于i行i列的矩陣可以用A∈Ri×i表示。通常，任何的矩陣方程求解都應該有一個等式成立。為了不失一般性，設置一個一般的求解矩陣方程的方程式。

先考慮下面這個一般的等式問題：

X2(t)-A=0

(1)

其中，A就是要求解的矩陣X(t)的平方。

文中就是要找到一個確定的X(t)，使得方程(1)在t>0都能成立。因此，主要對式(1)進行研究，設計出一個梯度神經網絡：這個梯度神經網絡可以求解任何時域X(t)∈R問題的解。

1.2 梯度神經網絡模型

關于閱讀理念，《小學語文課程標準》中指出，教師在閱讀教學中使學生獲得一定的情感體驗，即要求教師應引導學生有感情地閱讀課文內容。在閱讀中，教師不應把自己的思維方式強加給學生，限制住學生的想象力，而應該讓學生自由發揮想象，對課文的內容形成獨特的理解和感悟。另外，應教導學生注重積累，培養學生對語言文字的感知能力。并將多種閱讀方法教給學生，讓學生使用探究性的閱讀方式進行閱讀，摒棄接受型閱讀方式，增強學生獨立閱讀的欲望。就本人的教學經驗，我歸納了一下幾點策略：

根據神經網絡思維的設計方法，推理出具有一般性的梯度神經網絡模型來解決像式(1)的問題，具體的設計流程如下：

(1)為了求解矩陣A的解，即求出方程(1)的解，可以自定義一個基于范數的標準取值的能量函數ε(X)，用于監控式(1)的求解過程：

ε(X)=‖X2(t)-A‖/2

(2)

很明顯，求解的問題是要方程(1)成立，故當方程(2)等于零時，相對應的X就是所要求的理論解。那么，只要求出能量函數ε(X)=0時對應的X就行了。

(2)為了使能量函數(2)能夠收斂到零，應用梯度下降法的思想，可以使它沿著負梯度方向下降，于是對其求導：

(3)

(3)基于梯度神經網絡設計方法，根據負梯度方向，可以得到如下的求解矩陣平方根的梯度神經網絡模型：

(4)

其中，設計參數λ>0，為自定義設計，主要作用是調節模型(4)的收斂速度；函數X(t)從初始值X(0)出發，對應于一般等式方程(1)的解。

2 計算機仿真驗證

該小節將挑選幾個不同階次的矩陣進行驗證。

例1：3階矩陣的平方根。

這里，取A=[6 -0.75 6.5;-7 5.25 -15.5;4 -3 11]，λ取20，得到的圖形如圖1和圖2所示。

圖1 梯度神經網絡的狀態解(1)

由圖形可以看出，X(t)的取值隨著時間的增加，比較快地收斂到了一個定值，這個定值就是想要的X(t)的值。同時，從能量函數圖可以看出，能量函數在0.5s左右收斂到了0，這里λ的取值為20，如果λ取值更大些，收斂效果會更理想。

圖2 λ=20的能量函數收斂情況

在保證其他條件不變的情況下把λ的取值設為70，再來觀察其收斂性，如圖3和圖4所示。

圖3 梯度神經網絡的狀態解(2)

圖4 λ=70的能量函數收斂情況

可以清楚地看出，當λ=70時，即隨著λ的增大，能量函數收斂到0的時間縮短到0.2s以內，由此可見λ取值對能量函數收斂速度的重要性。

例2：下面計算一下2階矩陣的平方根，這里取A=[5 2;6 8],λ=5,得到的圖形如圖5和圖6所示。

很顯然，無法手動計算該2階矩陣的平方根的理論解。圖6顯示了梯度神經網絡求解該2階矩陣的平方根的能量函數收斂情況。可以從中看到,λ=5時誤差函數在1s內就能收斂到零,同樣也說明了梯度神經網絡的有效性。而且,也給出了該能量函數所對應的狀態解，在[0,3]區域內的神經狀態解都收斂到某一特定值。這一仿真實例再次說明了提出的梯度神經網絡的正確性和實用性。

圖5 梯度神經網絡的狀態解(3)

圖6 λ=5的能量函數收斂情況

3 結束語

為了求解矩陣平方根，定義了一個基于平方的標量取值的能量函數，并且基于該能量函數設計了一個演化公式，由此得到求解矩陣平方根的梯度神經網絡模型。借助Matlab軟件進行了計算機仿真模擬，仿真結果證實了梯度神經網絡的有效性。并且可以通過設置不同的λ的值，來調節能量函數的收斂速度。

[1] 陳惟昌.生物神經元網絡與人工神經網絡[J].科技導報,1991(3):41-44.

[2] 湯素麗,羅宇鋒.人工神經網絡技術的發展與應用[J].電腦開發與應用,2009,22(10):59-61.

[3] 蔣宗禮.人工神經網絡導論[M].北京:高等教育出版社，2001：10-13.

[4] 陳海波,呂咸青,喬彥松.梯度下降法在沉積物粒度分布擬合中的應用[J].數學的實踐與認識,2011,41(13):78-87.

[5] 顧傳青,劉 強.一類變形的牛頓法求解矩陣平方根(英文)[J].應用數學與計算數學學報,2012,26(2):136-142.

[6] 黃德超.2k階r-循環矩陣開平方的快速算法[J].杭州師范學院學報:自然科學版,2004,3(1):17-21.

[7] 楊 雁,賈堰林,王學平.布爾矩陣平方根問題及其與圖著色問題的關系[J].高校應用數學學報,2013,28(2):222-228.

[8] Larin V B,Aliev F A.Construction of square root factor for solution of the Lyapunov matrix equation[J].Systems & Control Letters,1993,20(2):109-112.

[9] 張雨濃,張禹珩,陳 軻,等.線性矩陣方程的梯度法神經網絡求解及其仿真驗證[J].中山大學學報:自然科學版,2008,47(3):26-32.

[10] Xiao L,Zhang Y.Two new types of Zhang neural networks solving systems of time-varying nonlinear inequalities[J].IEEE Transactions on Circuits Systems I Regular Papers,2012,59(10):2363-2373.

[11] Xiao L,Zhang Y.From different Zhang functions to various ZNN models accelerated to finite-time convergence for time-varying linear matrix equation[J].Neural Processing Letters,2014,39(3):309-326.

[12] Xiao L.A finite-time convergent neural dynamics for online solution of time-varying linear complex matrix equation[J].Neurocomputing,2015,167:254-259.

[13] Xiao L.A nonlinearly-activated neurodynamic model and its finite-time solution to equality-constrained quadratic optimization with nonstationary coefficients[J].Applied Soft Computing,2016,40:252-259.

[14] Xiao L,Lu R.Finite-time solution to nonlinear equation using recurrent neural dynamics with a specially-constructed activation function[J].Neurocomputing,2015,151:246-251.

Application of Gradient Neural Network in Matrix Square Root Solving

YAN Hui-ling1,XIAO Lin2,ZHOU Wen-hui2

(1.College of Mathematics and Statistic,Jishou University,Jishou 416000,China; 2.College of Information Science and Engineering,Jishou University,Jishou 416000,China)

Matrix square root problem can be regarded as a special case of matrix problems,and has a wide application in scientific and engineering fields.Different from the conventional numerical methods,the gradient neural network is adopted to solve matrix square root problem.In order to solve the square root of a matrix,a norm-based scalar-valued energy function is defined.Then,according to the gradient descent method,an evolution formula is designed.Thus,the gradient neural network is derived for finding the square root of a matrix by expanding the evolution formula.With the aid of computer simulation based on MATLAB,the simulation results confirm the accuracy and validity of the gradient neural network for finding matrix square root.Furthermore,by choosing different values of the design parameter,the convergence speed of the gradient neural network for matrix square root solving has been improved greatly.The results show that design parameter plays an important role in the gradient neural network for solving matrix square root.

gradient neural network;gradient descent method;matrix square root;MATLAB simulation

2015-12-07

2016-04-20

時間：2017-01-10

國家自然科學基金資助項目(61503152)；湖南省自然科學基金(2016JJ2101)；湖南省教育廳優秀青年項目(15B192)；吉首大學2015年實驗教學改革研究項目(2015SYJG034)；吉首大學2016年研究生科研創新項目(JGY201643)；吉首大學2016年校級課題(Jdy2016009)；吉首大學2016年大學生研究性學習和創新性實驗計劃項目資助(教通[2016]13號)

嚴慧玲(1995-)，女，研究方向為神經網絡；肖 林，講師，博士，通訊作者，從事信息類課程教學和人工神經網絡方面的科學研究工作。

http://www.cnki.net/kcms/detail/61.1450.TP.20170110.0941.008.html

TP39

A

1673-629X(2017)02-0155-03

10.3969/j.issn.1673-629X.2017.02.035