解最小一乘問題的遞歸神經網絡

李智勇

（集美大學理學院，福建廈門 361021）

解最小一乘問題的遞歸神經網絡

李智勇

（集美大學理學院，福建廈門 361021）

應用鞍點理論和投影算子的性質，給出了一種遞歸神經網絡求解具有線性約束的最小一乘問題，證明了此神經網絡全局收斂于一個最優解.數值實驗表明，用本文的方法求解最小一乘問題是切實可行的.

遞歸神經網絡；最小一乘問題；線性約束

0 引言

本文主要討論具有線性約束的最小一乘問題：

在線性回歸模型中，經常用最小二乘估計來估計參數的值.但是，當個別異常點有較大偏離時，其誤差的平方比其誤差的絕對值要大得多.所以最小二乘估計的魯棒性不如最小一乘估計.因此最小一乘估計被廣泛地應用到線性回歸和工程領域，尤其是信號和圖像處理領域［1-4］.但是，由于最小一乘問題的目標函數不是光滑的，所以求解最小一乘問題是比較復雜的.因此研究求解它的算法是有必要和有意義的.有時人們需要實時求解最小一乘問題，但是經典的數值算法如下降算法［5］、線性規劃方法［6］都很難做到這一點.由于神經網絡計算具有并行計算和實時求解的特點，因此，文獻［3-4］、［7-9］提出用神經網絡的方法來求解，它們的主要內容都是用遞歸神經網絡的方法求解一些具有線性約束的最小一乘問題，都是問題（1）的特殊情況，所以問題（1）具有一般性.文獻［3］、［7］不能求解問題（1）.必須對問題（1）進行轉化后，文獻［4］、［8-9］才能求解問題（1），但是，這將導致問……