隨機逼近算法簡介

摘要:尋找帶誤差的量測到的未知回歸函數的零點或極值，是系統辨識、適應控制、模式識別、適應濾波和神經元網絡等領域中都要遇到的問題。隨機逼近提供了解決這一問題的遞推方法。本文對隨機逼近算法作了較為深入的研究。其主要內容為:①概括的介紹了隨機逼近算法的研究目的和發展方向;②概括介紹了隨機逼近理論的發展史;③研究分析隨機逼近理論主要算法;④概括的介紹隨機逼近的某些實際應用。

關鍵詞:隨機逼近算法;發展方向;實際應用

中圖分類號:O174.41 文獻標識碼:A 文章編號:1000-8136(2009)33-0051-03

1隨機逼近的研究目的

在許多理論課題或實際應用中，經常要求一個函數的零點或極值，如果函數有已知的解析表達式，那么在理論上解決這個問題并不困難;如果雖不知函數的表達式，但它在任一點的取值可以無誤差的測量到，那么有不少行之有效的數值方法可供選用;當既不知函數的表達式，又不能無誤差的測量到函數值時，如何求函數的零點或極值，正是隨機逼近要解決的問題。

2隨機逼近理論的發展

隨機逼近創始于50年代初，Robbins-Monrn[1]首先提出了求未知函數f(#8226;)零點x0的一個遞推算法。在Robbins-Monro的奠基性工作后，隨機逼近取得蓬勃發展。主要的研究目標是考察各種相關的測量噪聲[2]及拓廣可適用的回歸函數范圍，[3]而收斂類型，除了最初的均方收斂，更多的是研究概率1收斂及弱收斂。從研究方法講，文獻[2]是用鞅收斂方法研究隨機逼近算法概率1收斂……