隨機系統穩態概率密度函數控制算法

楊恒占，張曉倩，畢雪琴

(西安工業大學 電子信息工程學院，陜西 西安 710021)

隨機系統穩態概率密度函數控制算法

楊恒占，張曉倩，畢雪琴

(西安工業大學 電子信息工程學院，陜西 西安 710021)

對于非線性隨機系統，以均值、方差為控制目標的傳統控制方法難以達到滿意的控制效果，而概率密度函數控制能夠反映非線性隨機系統的各階統計特征，可實現較為理想的控制效果。為此，針對非線性隨機系統，提出了一種對系統狀態穩態響應的概率密度函數進行控制的算法。該算法將概率密度函數展開為多項式形式，以FPK方程為工具，分析并得出多項式系數和控制多項式增益的關系方程組，以該方程組的解為控制增益的函數，通過進一步構造一個優化問題來解決該方程組存在的超定問題。根據目標概率密度函數的要求，確定出控制多項式的各項增益，給出并實現該算法的計算機實施步驟。仿真結果表明，所提出的算法有效可行，可離線計算且計算效率較高，能夠實現概率密度函數的良好控制。

隨機系統；概率密度函數；多項式；非線性

1 概 述

隨機控制的基本理念就是處理系統中的不確定性，通過對被控對象施加特定的輸入信號，驅動被控系統朝著期望的目標運行。隨著計算機技術的快速發展，隨機控制理論也得到了深入研究與應用。由于在隨機環境下對系統進行分析非常困難，因此，對于具有特殊結構的動態系統，以均值、方差等低階統計特征為目標的分析與調節方法得到了深入研究和快速發展[1]。這些方法大都以某個目標函數的最優化為出發點，能夠有效解決線性系統的控制問題，典型代表如最小方差控制[2]、線性二次型高斯控制理論[3-6]。

對于確定性系統來說，狀態是系統歷史行為的總結，包含過往施加于系統的控制和系統所處的初始狀態，完全刻畫了系統的全部行為。而對于隨機系統來說，即使系統能夠準確地從同一個初始狀態出發，并且在每個時刻用完全精確的同一控制律進行控制，由于測量和狀態受到隨機擾動，系統每次運行到同樣時刻的狀態仍然各不相同，狀態以概率轉移的方式運作。因此，與確定性情況下的狀態不同，隨機情況下的狀態對系統行為的描述是不完全的。而概率密度函數則包含了系統的動態信息、擾動信息，尤其是非線性的所有統計特征信息。

一旦概率密度函數確定下來，傳統方法中的均值、方差等低階統計特征信息都能夠很容易地計算出來。而且，概率密度函數相比傳統的均值、方差等低階統計特征包含了更多的系統過程信息，更能揭示出隨機系統運行過程中的豐富信息。例如控制過程中經常需要確定系統動態過程結束后的穩態情況，就對應于概率密度函數的末端形狀。在傳統以均值、方差為指標的方法中，這些信息都無法顧及到，從而出現信息丟失情況，只有高斯對稱形狀的概率密度函數才可以使用隨機變量的低階統計特征來度量。線性隨機系統之所以使用傳統方法控制就能取得良好效果，原因就在于系統狀態的概率密度函數是高斯型形狀，除了均值和方差外，其余高階統計特征都無實際意義。

而對于非線性系統，其性能指標除了均值、方差外，還需要顧及更高階的統計特征，例如峭度、陡度等。在控制指標上，某些工業生產過程常常以安全、質量、環保等為控制指標。這些指標往往不需要達到最優，只需要約束在某個允許的范圍內。這類控制問題使用概率密度函數形狀作為控制目標就更為合適，控制器設計的目的是讓系統在要求的指標范圍內運行[7]。在這種情況下，以完全統計特征為目的的分析與控制方法在近年來應運而生，受到越來越多的重視[8-10]。概率密度函數控制方法是對隨機過程統計特征的完整刻畫，遠遠優于以低階矩近似的統計量的控制方法，也因此表現出了優秀的控制性能和研究價值[11-14]。

針對非線性隨機系統，為克服FPK方程求解的固有難題，在分析概率密度函數跟蹤問題的基礎上，提出了一種對系統狀態穩態響應的概率密度函數進行控制的算法。該算法通過將概率密度函數展開為多項式，以FPK方程組為工具，成功推導出穩態概率密度函數和隨機系統的關系，將方程組的解為控制增益的函數。同時，為使被控概率密度函數形狀具有期望的形式，構造了一個優化問題，并搜索出了最優控制增益，實現了概率密度函數的良好跟蹤。

2 問題描述

考慮處于隨機環境中的如下標量非線性系統：

(1)

其中，z(t)∈為系統狀態；z0為初始狀態；w(t)∈為高斯白噪聲，其均值為零，譜密度為S0；φ(·)∈為非線性函數，表示系統模型。

假定φ(z)為如下多項式形式：

φ(z)=α0+α1z+α2z2+…+αmzm

其中，m為多項式階數。

如果φ(z)不具備多項式形式，可以將φ(z)關于z進行Taylor級數展開，用Taylor級數展開的前m+1項逼近φ(z)。

希望確定一個狀態反饋函數μ(t)=u(z)，在該函數的控制下，z(t)到達穩態時對應的概率密度函數ρ(z)能夠跟蹤期望的形狀ρd(z)。

一般來說，非線性系統的控制需要使用非線性控制律，如果使用線性控制律則很難達到控制目的。因此，采用的u(z)形式如下：

u(z)=β0+β1z+β2z2+…+βnzn

其中，n為多項式階數。

因此，問題描述如下：

確定u(z)的參數β0,β1,…,βn，使系統

(2)

穩態時對應的概率密度函數ρ(z)能夠跟蹤期望的形狀ρd(z)。其中h(z)=φ(z)+u(z)=b0+b1z+b2z2+…+bxzx。bi和αi、βi關系如下：

(3)

其中，x取值為max(m,n)。顯然，如果m較大，則βn+1到βm都為0；如果n較大，那么αm+1到αn則都為0。

3 多項式展開概率密度函數控制方法

系統(2)對應的FPK方程為[15]：

(4)

其中，D=πS0。

假設FPK方程具有如下v次多項式形式的近似解：

(5)

(6)

因為ρv(z)僅為方程(4)的近似解，也即為方程(6)的近似解。這樣，將式(5)直接代入方程(6)不會使得該方程成立。不過，可以采用如下方法確定待定的常數si。

首先固定常數v，然后將式(5)代入式(6)的左邊，則有：

(7)

求解y(z)的具體形式，有：

R{[(s0b1+s1b0)+2(s0b2+s1b1+s2b0)z+…+

(v+x)svbxzv+x-1]+D[2s0+6s3z+…+

v(v-1)zv-2]}=R[(s0b1+s1b0+2Ds0)+

2(s0b2+s1b1+s2b0+3Ds3)z+…+

(v+x)svbxzv+x-1]=R[c0+2c1z+…+

(v+x)cv+x-1zv+x-1]

(8)

可見，y(z)也具有多項式形式。如果ρv(z)是方程(6)的精確解，則y(z)=0。如果ρv(z)不是方程(6)的精確解，則y(z)≠0，此時y(z)可以認為是用近似解ρv(z)代替精確解ρ(z)所引起的誤差。該誤差越小，ρv(z)越精確。為使誤差盡可能小，令y(z)多項式各階系數c0,c1,…,cv+x-1都為0，得到如下線性方程組：

(9)

可見，隨機系統(2)中多項式h(z)的各項系數b0,b1,…,bx和該系統的穩態概率密度函數ρ(z)的多項式形式的各項系數s0,s1,…,sv之間存在式(9)所蘊含的關系。如果h(z)形式已知，解該方程組，可以求出s0,s1,…,sv，進而得到隨機系統(2)的穩態概率密度函數ρ(z)。

反之，如果ρ(z)已知，解該方程組，則可以求出b0,b1,…,bx，進而通過式(10)得到β0,β1,…,βn的值，從而確定出控制器u(z)的具體形式：

(10)

研究目的為根據期望的密度函數ρd(z)來確定控制器u(z)的結構形式。結合該方法，s0,s1,…,sv可由ρd(z)求出，代入方程組(9)，求出b0,b1,…,bx，就可以實現研究的目的。

遺憾的是，一般情況下，方程組(9)中的方程個數都超過了變量b0,b1,…,bx的個數，即出現超定現象，導致方程組的求解出現困難，甚至解不存在。

為解決上述超定問題，構造如下優化問題：

(11)

(12)

通過該方法，能夠確定出u(z)的參數，使得在u(z)的作用下，系統(2)穩態時對應的概率密度函數ρ(z)能夠跟蹤期望的概率密度函數ρd(z)，從而達到研究目的。

4 仿真分析

綜合上述分析，隨機系統概率密度函數算法的計算機實現步驟如下：

Step1：約束ρd(z)具備多項式展開形式，指定多項式最高次數為x；

Step3：判斷e是否滿足精度要求。如果滿足要求進入Step4，否則增大x的值并返回Step2；

Step4：按照式(10)計算βi的值；

Step5：根據式(12)確定控制器u(z)的結構。

下面給出實例仿真。

考慮如下白噪聲激勵的非線性系統：

(13)

其中，w(t)是均值為0的高斯白噪聲，其譜密度為1/π。

期望的概率密度函數為：

(14)

ρe(z)形狀上是一個半圓。容易得到其θe0,θe1,…,θen分別為：θe0=0.798，θe1=0，θe2=-1.253，θe3=0，θe4=-5.906，θe5=0

取u(z)最高階數和φ(z)最高階數一致,按照所提出的方法，調節后的概率密度函數為：

(15)

對應的調節函數為：

u(z)=-0.941z+0.182z2+2.392z3

(16)

用u(z)調節目標系統，狀態z穩態時的概率密度函數的形狀如圖1所示。可見，調節后的概率密度函數對目標概率密度函數跟蹤較好。

圖1 u(z)控制下的概率密度函數

5 結束語

針對非線性隨機系統，通過對概率密度函數展開為多項式的方法，以FPK方程為工具得到了控制增益和概率密度函數多項式系統的關系，并進一步實現了概率密度函數的良好控制。針對普通的非線性隨機系統，通過把概率密度函數表述為多項式方式，一般能夠解決概率密度函數的控制問題，線性方程組計算盡管存在超定問題，但通過優化問題計算起來也比較簡單。從仿真實例可以發現，針對一般的非線性隨機系統，該算法達到了理想的控制效果。但若被控概率密度函數過于復雜，可能出現解出的概率密度函數出現負值的情況，會影響系統的控制效果。這個問題是后續進一步研究解決的重點。

[1] 郭尚來.隨機系統[M].北京:清華大學出版社,1999.

[2] Guo X Y,Li J M. Stochastic adaptive synchronization for time-varying complex delayed dynamical networks with heterogeneous nodes[J].Applied Mathematics and Computation，2013,222(5):381-390.

[3] Li D,Qian F C,Gao J J.Performance-first control for discrete-time LQG problems[J].IEEE Transactions on Automatic Control,2009,54(9):2225-2230.

[4] 錢富才,李 江,趙 平.雙重不確定性系統的跟蹤與辨識[J].系統工程理論與實踐,2012,32(4):839-846.

[5] Qian F C,Gao J J,Li D.Complete statistical characterization of discrete-time LQG and cumulant control[J].IEEE Transactions on Automatic Control,2012,57(8):2110-2115.

[6] Yue H,Wang H.Minimum entropy control of closed-loop tracking errors for dynamic stochastic systems[J].IEEE Transactions on Automatic Control,2003,48(1):118-122.

[7] Yang H Z,Qian F C,Gao S,et al.The shape control of probability density function for a class of stochastic systems[J].System s Engineering - Theory & Practice,2016,36(9):2424-2431.

[8] 姜文濤,劉萬軍,袁 姮.基于軟特征理論的目標跟蹤研究[J].計算機學報,2016,39(7):1334-1355.

[9] Amineh A,Teh Y W,Hadi S.On density-based data streams clustering algorithms:a survey[J].Journal of Computer Science & Technology,2014,29(1):116-141.

[10] 王法勝,魯明羽,趙清杰,等.粒子濾波算法[J].計算機學報,2014,37(8):1679-1694.

[11] 楊恒占,錢富才,黃姣茹,等.一類隨機系統完全統計特征控制[J].控制理論與應用,2016,33(5):669-675.

[12] 欒小麗,劉 飛.隨機系統輸出概率密度函數的有限時間鎮定[J].控制與決策,2009,24(8):1161-1166.

[13] Guo L,Wang H.Stochastic distribution control system design[M].London:Springer,2010.

[14] 黃錦旺,李廣明,馮久超,等.一種無線傳感器網絡中的混沌信號重構算法[J].物理學報,2014,63(14):77-83.

[15] Wagner U V,Wedig W V.On the calculation of stationary solutions of multi-dimensional Fokker-Planck equations by orthogonal functions[J].Nonlinear Dynamics,2000,21(3):289-306.

Dual Control Algorithm for Stochastic System with Parameters Drifting

YANG Heng-zhan，ZHANG Xiao-qian，BI Xue-qin

(School of Electronic and Information Engineering,Xi’an Technological University,Xi’an 710021,China)

For nonlinear stochastic systems，the traditional control methods with the mean or variance as control target are difficult to achieve good control effect.The probability density function could express the complete characterization of the system,therefore it can reach an ideal performance.A novel algorithm of probability density function control is proposed for the nonlinear stochastic systems in the stationary case.The relationship between steady-state probability density function and stochastic system is successfully deduced with the method of expanding the probability density function into polynomial according to the FPK equations.An optimization problem is further constructed to solve the over-determined problem of the equations.Thus the gain control of polynomials is calculated according to the requirements of the target probability density function.Its computer implementation steps are given eventually.Simulation illustrates it is effective and feasible,which can be offline computation wwith high efficiency and good control effect.

stochastic system;probability density function;polynomial;nonlinear

2016-11-01

2017-02-21 網絡出版時間：2017-07-05

陜西省教育專項科研計劃項目(16JK1364)

楊恒占(1976-)，男，講師，碩士，研究方向為嵌入式系統、隨機控制、最優控制。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170705.1653.090.html

TP301.6

A

1673-629X(2017)08-0102-04

10.3969/j.issn.1673-629X.2017.08.021