基于乘性噪聲的隨機線性二次型最優控制

摘 要： 本文研究了基于乘性噪聲的隨機線性二次型最優控制。由于參數的不確定性，此類問題很難求得解析的最優控制策略。然而，利用動態規劃方法，此類問題的解析解被成功地求解。得到的最優控制策略是一個線性狀態反饋策略，其系數可以通過一個擴展黎卡提方程離線計算求得。

關鍵詞： 隨機線性二次型；動態規劃；乘性噪聲

基金項目：基金項目1全稱（基金項目號）；

0 引言

本文致力于研究基于乘性噪聲的隨機線性二次型最優控制（Linear-Quadratic，簡稱LQ）。近年來，由于線性二次型最優控制問題具有非常廣泛的應用，此類問題吸引了國內外學者大量的研究，例如，金融衍生品定價，人口模型，動態投資組合管理。

Kalman[1]最先提出了經典的確定性線性二次型最優控制問題。此后，Wonham[2] 和Bismut[3] 分別將此類問題擴展到確定性參數的和隨機性參數的隨機線性二次型最優控制問題。從此，關于確定性和隨機性的LQ最優控制問題被大量的研究，特別是由Chen等人[4] 提出來的所謂的不定隨機LQ控制，其關于控制量和狀態量的懲罰矩陣是不定的，此類問題在某些特定條件下仍然是適定的，引起廣大學者的研究興趣[5][6]。

目前研究隨機LQ最優控制問題的文獻中，其不同階段的參數是被假設為獨立的，但是實際應用中，不同階段的系統參數可能是相關的。Costa等[5] 研究了參數是帶Markov跳躍的隨機LQ控制問題并得到了最優控制策略和最優目標值的解析表達式。Chen等[7] 提出了一類參數服從Markov鏈的隨機LQ最優控制問題，并提出有效算法以求得此類問題的最優控制。在實際應用中，不同階段參數相關性具有多樣性的特點，例如，Markov鏈、二叉樹模型、布朗運動及其它時間序列模型。這要求研究者能提出對大部分時間序列模型都能適用的隨機LQ控制模型，并尋找有效的理論和算法得到此類問題最優控制策略的解析解或數值解。然而，此類隨機LQ控制模型一直還未能得到突破。

本文的主要貢獻在于以下：基于不同階段參數相關性具有多樣性的特點，提出了一類基于乘性噪聲的隨機線性二次型最優控制問題，其參數具有一般相關性且適用大部分的隨機過程。利用著名的動態規劃求得此類問題的最優控制策略和最優目標值的解析表達式。

1 建立模型

本文中，考慮如下的離散時間隨機線性動態系統：

為了對問題P（LQ）進行求解，我們需要以下假設。

2模型求解

本節中，我們應用動態規劃的方法來求解問題P（LQ）。

定理1 問題（LQ）在t時刻的最優控制策略是一個線性狀態反饋策略，

其中，Lt被定義為Lt，對于t=0，1，...，T-1，

而且，問題P（LQ）的最優目標值為

其中，Kt被定義為，對于t=0，1，...，T-1，

最后，根據假設1，我們可以得到最優控制策略如公式（1.3）。而且，我們還可以得到t時刻的值函數為公式（1.5）。

結束語

本文研究了基于乘性噪聲的隨機線性二次型最優控制問題。與現有的文獻相比，本文中的參數是序列相關的，造成了此類問題很難求得相應的解析解。然而，利用動態規劃方法，此類問題的解析解被成功地求解。得到的最優控制策略是一個線性狀態反饋策略。

參考文獻

[1] R. E. Kalman. Contribution to the theory of optimal control [J]. Bol. Soc. Mat. Mexicana， 1960， 5（63） ： 102-119.

[2] W. M. Wonham. On a matrix riccati equation of stochastic control [J]. SIAM J. Control， 1969， 6（4）： 681-697.

[3] J. M. Bismut. Linear quadratic optimal stochastic control with random coefficients[J]. SIAM J. Control Optim， 1976， 14（3）： 419-444.

[4] S. P. Chen， X. J. Li， and X. Y. Zhou. Stochastic linear quadratic regulators with indefinite control weight costs. SIAM J. Control Optim.， 1998， 36（5）： 1685-1702.

[5] O. L. V. Costa and W. L. Paulo. Indefinite quadratic with linear cost optimal control of markovian jump with multiplicative noise systems. Automatica， 2007， 43（4）： 587-597.

[6] D. D. Yao， S. Z. Zhang， and X. Y. Zhou. Stochastic linear quadratic control via semidefinite programming. SIAM J. Control Optim.， 2001， 40（3）： 801-823.

[7] N. Y. Chen， S. Kou， and C. Wang. A partitioning algorithm for markov decision processes with applications to market microstructure[J]. Management Science， 2017.

[8] J. A. Primbs and C. H. Sung. Stochastic receding horizon control of constrained linear systems with state and control multiplicative noise[J]. IEEE Transactions on Automatic Control， 2009， 54（2）： 221-230.

[9] O. L. V. Costa and M. V. Araujo. A generalized multi-period mean-variance portfolio with markov switching parameters[J]. Automatica， 2008， 44： 2487-2497.

作者簡介： 龐珊 （1989-），女（漢族），陜西西安人，助教，碩士，主要研究方向為優化理論，隨機最優控制在金融與刑事科學中的應用.