多目標(biāo)執(zhí)行依賴(lài)啟發(fā)式動(dòng)態(tài)規(guī)劃勵(lì)磁控制

林小峰，謝樹(shù)平

（廣西大學(xué)電氣工程學(xué)院，南寧 530004）

在工程實(shí)際中，大多數(shù)最優(yōu)控制問(wèn)題是通過(guò)多個(gè)性能指標(biāo)來(lái)描述的，而往往各個(gè)性能指標(biāo)之間會(huì)出現(xiàn)不相容或者沖突的情況。另外這些性能指標(biāo)之間由于表示的物理意義不一致，它們的單位和標(biāo)度也是不一致的。以上情況就為多目標(biāo)最優(yōu)控制問(wèn)題的求解帶來(lái)了困難。

基于Bellman最優(yōu)性原理，多目標(biāo)動(dòng)態(tài)規(guī)劃是解決多目標(biāo)最優(yōu)控制問(wèn)題非常有效的工具。在過(guò)去的幾十年中，多目標(biāo)最優(yōu)控制取得了一些成果。Khargonekar和Liao等研究了線性系統(tǒng)的多目標(biāo)最優(yōu)控制問(wèn)題。Liao提出了一種微分動(dòng)態(tài)規(guī)劃方法來(lái)解決多目標(biāo)最優(yōu)控制問(wèn)題。然而這些方法要求性能指標(biāo)函數(shù)必須具有二階連續(xù)導(dǎo)數(shù)，并且仍然按照傳統(tǒng)動(dòng)態(tài)規(guī)劃在時(shí)間上由后往前的逆時(shí)序求解方法，這就為實(shí)時(shí)控制帶來(lái)了很大的局限性。另外動(dòng)態(tài)規(guī)劃方法隨著系統(tǒng)狀態(tài)和動(dòng)作空間的增大存在維數(shù)災(zāi)問(wèn)題。多目標(biāo)最優(yōu)化問(wèn)題中，向量值型性能指標(biāo)函數(shù)使得維數(shù)災(zāi)更加嚴(yán)重。

自適應(yīng)動(dòng)態(tài)規(guī)劃ADP（adaptive dynamic programming）是Werbos在動(dòng)態(tài)規(guī)劃基礎(chǔ)上結(jié)合神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)提出的一種自適應(yīng)評(píng)價(jià)設(shè)計(jì)方法。自適應(yīng)動(dòng)態(tài)規(guī)劃方法有四種基本結(jié)構(gòu)，分別為：?jiǎn)l(fā)式動(dòng)態(tài)規(guī)劃HDP（heuristic dynamic programming）、二次啟發(fā)式動(dòng)態(tài)規(guī)劃DHP（dual heuristic dynamic programming）、執(zhí)行依賴(lài)啟發(fā)式動(dòng)態(tài)規(guī)劃ADHDP（action－dependent heuristic dynamic programming）、執(zhí)行依賴(lài)二次啟發(fā)式動(dòng)態(tài)規(guī)劃ADDHP（action－dependent dual heuristic dynamic programming）。它可以解決以上提到的維數(shù)災(zāi)問(wèn)題；并且在時(shí)間上是由前往后順時(shí)序計(jì)算，可以遞推優(yōu)化運(yùn)行，適合實(shí)時(shí)控制的要求。本文基于自適應(yīng)動(dòng)態(tài)規(guī)劃提出一種多目標(biāo)ADHDP算法來(lái)解決多目標(biāo)最優(yōu)控制問(wèn)題。

勵(lì)磁系統(tǒng)對(duì)于同步發(fā)電機(jī)的安全運(yùn)行及其所在電力系統(tǒng)的穩(wěn)定性有重要作用。勵(lì)磁控制通常有兩個(gè)主要目的，其一是維持發(fā)電機(jī)端電壓在設(shè)定值上無(wú)靜差穩(wěn)定運(yùn)行；其二則是為系統(tǒng)提供正阻尼電磁力矩。即既要準(zhǔn)確跟蹤端電壓參考值，又要快速使系統(tǒng)穩(wěn)定，同時(shí)發(fā)揮電壓自動(dòng)調(diào)節(jié)器AVR（automatic voltage regulator）和電力系統(tǒng)穩(wěn)定器PSS（power system stabilizer）的功能。同步發(fā)電機(jī)勵(lì)磁控制在同時(shí)考慮AVR和PSS兩項(xiàng)性能指標(biāo)的情況下可以用多目標(biāo)最優(yōu)控制問(wèn)題來(lái)描述。傳統(tǒng)最優(yōu)控制求解都是基于電力系統(tǒng)局部線性化模型來(lái)設(shè)計(jì)的，只能保證在運(yùn)行點(diǎn)附近具有良好性能。鑒于多目標(biāo)ADHDP無(wú)需對(duì)象模型，可自適應(yīng)優(yōu)化控制性能等特點(diǎn)，本文將其應(yīng)用在同步發(fā)電機(jī)的勵(lì)磁控制系統(tǒng)中，取得了較好的效果。

1 多目標(biāo)最優(yōu)控制的原理

本文考慮的多目標(biāo)最優(yōu)控制問(wèn)題形如

其中x0給定，控制集合U＝（u′0，u′1，…）′，狀態(tài)集合X＝（x′0，x′1，…）′，狀態(tài)變量xt∈Rn，控制變量ut∈Rm，有界可測(cè)噪聲ξi∈Rp。

在多目標(biāo)最優(yōu)控制問(wèn)題（P）中，有k個(gè)性能指標(biāo)函數(shù)，每一個(gè)性能指標(biāo)函數(shù)滿(mǎn)足

使得向量型性能指標(biāo)函數(shù)最小化，對(duì)應(yīng)的狀態(tài)為

定義 解組合（X＊，U＊）為最優(yōu)，如果不存在其他可行解（X，U）使得對(duì)于所有i，J［i］（X，U）≤J［i］（X＊，U＊）。

此處，定義

令U＊∈EZ，X＊為相應(yīng)的狀態(tài)序列。那么對(duì)于任意時(shí)刻t，控制序列（u＊t＋1，u＊t＋2，…）重構(gòu)出以下問(wèn)題的最優(yōu)解。

2 多目標(biāo)ADHDP

2.1 原理及推導(dǎo)過(guò)程

基于以上最優(yōu)性必要條件定義，提出一種新型的遞推算法——多目標(biāo)執(zhí)行依賴(lài)啟發(fā)式動(dòng)態(tài)規(guī)劃。對(duì)于多目標(biāo)性能指標(biāo)函數(shù)而言，由于各個(gè)性能指標(biāo)函數(shù)之間可能存在著相互沖突或者互為代價(jià)的情況，并且更為嚴(yán)重的是在非線性系統(tǒng)中存在隨機(jī)干擾ξt，因此動(dòng)態(tài)規(guī)劃方法難于對(duì)其求解。為能夠使用動(dòng)態(tài)規(guī)劃算法來(lái)求解這類(lèi)向量型性能函數(shù)的最優(yōu)化問(wèn)題，引入向量的歐幾里德范數(shù)（Euclid－norm），將向量型性能指標(biāo)函數(shù)轉(zhuǎn)化為適合動(dòng)態(tài)規(guī)劃求解的標(biāo)量型性能指標(biāo)函數(shù)。向量型函數(shù)的2－范數(shù)（2－norm）表示為

由于上面假設(shè)yt≥0，問(wèn)題（P1（t））的向量型最小形式可以轉(zhuǎn)化為

據(jù)此定義效用函數(shù)

因此上面最優(yōu)化問(wèn)題又可以重寫(xiě)成

上述性能指標(biāo)函數(shù)可以變形為

根據(jù)Bellman最優(yōu)性原理

即假設(shè)時(shí)間t＋1以后的最優(yōu)代價(jià)函數(shù)J＊（t＋1）已知。因此，在t時(shí)刻的最優(yōu)控制u＊（t）可以表示為

以上推導(dǎo)過(guò)程即為動(dòng)態(tài)規(guī)劃的求解思路，它要求知道t＋1以后的最優(yōu)代價(jià)J＊（t＋1）。動(dòng)態(tài)規(guī)劃的求解是一種由后往前的逆時(shí)序求解，需要大量的存儲(chǔ)空間和計(jì)算時(shí)間，這必然會(huì)出現(xiàn)前言所述的維數(shù)災(zāi)問(wèn)題，也無(wú)法達(dá)到實(shí)時(shí)性的要求。因此本文針對(duì)此多目標(biāo)最優(yōu)控制問(wèn)題提出了一種遞推形式的多目標(biāo)ADHDP。該方法根據(jù)自適應(yīng)評(píng)價(jià)設(shè)計(jì)的思想，用一種帶參數(shù)的函數(shù)結(jié)構(gòu)來(lái)近似事先未知的代價(jià)函數(shù)J＊（t＋1）。它通過(guò)遞推更新的方法在控制過(guò)程中不斷更新和逼近最優(yōu)代價(jià)函數(shù)和求解最優(yōu)控制。

圖1為自適應(yīng)評(píng)價(jià)設(shè)計(jì)原理，其中評(píng)價(jià)模塊為帶參數(shù)函數(shù)近似結(jié)構(gòu)，用來(lái)獲得代價(jià)函數(shù)；執(zhí)行模塊也是帶參數(shù)函數(shù)結(jié)構(gòu)，用于求解如式（13）所示的最小化問(wèn)題。自適應(yīng)評(píng)價(jià)設(shè)計(jì)的機(jī)理就是通過(guò)不斷的調(diào)整兩個(gè)模塊函數(shù)近似結(jié)構(gòu)的內(nèi)部參數(shù)來(lái)逼近最優(yōu)控制量u＊（t）。

圖1 自適應(yīng)評(píng)價(jià)設(shè)計(jì)原理Fig.1 Adaptive critic design principle

評(píng)價(jià)模塊的逼近過(guò)程是通過(guò)最小化誤差函數(shù)，即

當(dāng)EC趨近于0的時(shí)有

這與式（11）表示的代價(jià)函數(shù)相同。實(shí)現(xiàn)了用函數(shù)結(jié)構(gòu)逼近代價(jià)函數(shù)的任務(wù)。

對(duì)于執(zhí)行模塊，也可以通過(guò)函數(shù)近似結(jié)構(gòu)逼近的方法來(lái)獲取最優(yōu)控制u＊（t）。即通過(guò)最小化代價(jià)函數(shù)來(lái)調(diào)整參數(shù)獲取u＊（t）。由于代價(jià)函數(shù)為正數(shù)值，所以設(shè)定其目標(biāo)值為0。

2.2 基于人工神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)

人工神經(jīng)網(wǎng)絡(luò)是一種可以無(wú)限逼近任意非線性函數(shù)的一種函數(shù)映射結(jié)構(gòu)。本文即通過(guò)逐次調(diào)整人工神經(jīng)網(wǎng)絡(luò)的權(quán)重來(lái)逼近代價(jià)函數(shù)J＊（t＋1）和求解最優(yōu)控制u＊（t）。本文采用三層前饋神經(jīng)網(wǎng)絡(luò)，其中隱含層神經(jīng)元個(gè)數(shù)為l，輸入層到隱含層的連接權(quán)矩陣為υ，隱含層到輸出層的連接矩陣為W，則其輸出可以表示為

其中σ（υTχ）∈Rl，［σ（z）］i為激活函數(shù)，［σ（z）］i＝由此該多目標(biāo)ADHDP方法可以用圖2表示。

圖2 ADHDP結(jié)構(gòu)Fig.2 ADHDP structure

（1）評(píng)價(jià)網(wǎng)絡(luò)

評(píng)價(jià)網(wǎng)絡(luò)是對(duì)性能指標(biāo)函數(shù)（12）的近似，其輸出可以表示為

其目標(biāo)為U（x（t），u（t））＋J（x（t＋1）），則評(píng)價(jià)網(wǎng)絡(luò)的誤差可以表示為

使用梯度下降法來(lái)調(diào)整權(quán)重，則評(píng)價(jià)網(wǎng)絡(luò)的更新規(guī)律表示為

式中：lC＞0為評(píng)價(jià)網(wǎng)絡(luò)的學(xué)習(xí)率；wC（t）是評(píng)價(jià)網(wǎng)絡(luò)t時(shí)刻的權(quán)矩陣。

（2）執(zhí)行網(wǎng)絡(luò)

執(zhí)行網(wǎng)絡(luò)的輸入為狀態(tài)x（t），輸出為最優(yōu)控制u（t）。網(wǎng)絡(luò)輸出u（t）可以表示為

執(zhí)行網(wǎng)絡(luò)的輸出目標(biāo)定義為0，因此其誤差函數(shù)定義為

同樣應(yīng)用梯度下降法，與評(píng)價(jià)網(wǎng)絡(luò)類(lèi)似，可以得到類(lèi)似的權(quán)值更新規(guī)律，

2.3 多目標(biāo)ADHDP動(dòng)態(tài)規(guī)劃參數(shù)訓(xùn)練過(guò)程

以上可以看出需要對(duì)兩個(gè)網(wǎng)絡(luò)權(quán)重進(jìn)行調(diào)整使之得到理想的可接受的性能。本文給出的訓(xùn)練方法是執(zhí)行網(wǎng)絡(luò)和評(píng)價(jià)網(wǎng)絡(luò)交替進(jìn)行的遞進(jìn)方式。

步驟1 初始化網(wǎng)絡(luò)權(quán)重，給出精度ε。

步驟2 計(jì)算u（t），J（t），U（t）。

步驟3 計(jì)算u（t＋1），進(jìn)而計(jì)算J（t＋1）。

步驟4 根據(jù)式（19）和式（24）定義的誤差，按照上述權(quán)值調(diào)整規(guī)律調(diào)整評(píng)價(jià)網(wǎng)絡(luò)權(quán)重。

步驟5 轉(zhuǎn)步驟2。

3 同步發(fā)電機(jī)的勵(lì)磁控制

同步發(fā)電機(jī)系統(tǒng)是一個(gè)典型的非線性系統(tǒng)，包含很強(qiáng)的非線性特性和隨機(jī)干擾。在工程上通常考慮如圖3所示的單機(jī)無(wú)窮大電力系統(tǒng)模型來(lái)研究同步發(fā)電機(jī)的控制問(wèn)題。

圖3 單機(jī)－無(wú)窮大電力系統(tǒng)模型Fig.3 Single machine infinite－bus power system

同步電機(jī)的電氣部分采用六階模型。該模型考慮了定子、磁場(chǎng)及轉(zhuǎn)子繞組的動(dòng)態(tài)特性。使用隨轉(zhuǎn)子轉(zhuǎn)動(dòng)的d－q坐標(biāo)系。

其電壓方程組為

式中：Vd為定子d軸端電壓；Vq為定子q軸端電壓；V′f，d為勵(lì)磁繞組端電壓相對(duì)定子繞組的等效值；V′k，d為阻尼繞組d軸端電壓相對(duì)于定子繞組的等效值；V′k，q1、V′k，q2為阻尼繞組q軸端電壓相對(duì)于定子繞組的等效值；id、iq分別為定子繞組d、q軸電流；i′f，d為勵(lì)磁繞組相對(duì)于定子繞組的等效電流值；i′k，d為阻尼繞組d軸電流相對(duì)于定子繞組的等效值；i′k，q1、i′k，q2為阻尼繞組q軸電流相對(duì)于定子繞組的等效值；Rs為定子每相繞組電阻；R′k，d、R′k，q1、R′k，q2為阻尼繞組電阻相對(duì)于定子繞組的等效值；φd為定子d軸端總磁鏈；φq為定子q軸總磁鏈；φ′f，d為勵(lì)磁繞組總磁鏈相對(duì)定子繞組的等效值；φ′k，d為阻尼繞組d軸總磁鏈相對(duì)于定子繞組的等效值；φ′k，q1、φ′k，q2為阻尼繞組q軸總磁鏈相對(duì)于定子繞組的等效值。

本文考慮勵(lì)磁功率系統(tǒng)為快速勵(lì)磁系統(tǒng)，由于這種系統(tǒng)的勵(lì)磁時(shí)間常數(shù)基本接近為零，勵(lì)磁電壓與調(diào)節(jié)器輸出可以視為線性關(guān)系，即

首先要定義多目標(biāo)問(wèn)題的性能指標(biāo)函數(shù)，而對(duì)于同步發(fā)電機(jī)來(lái)說(shuō)，首先要考慮的是端電壓的跟蹤穩(wěn)定，然后考慮的是頻率的穩(wěn)定。因此，可將性能指標(biāo)函數(shù)定義為

式中：ΔV（t）是t時(shí)刻端電壓與參考端電壓之間的差值；Δω（t）為相對(duì)于同步轉(zhuǎn)速的偏差；uR為控制器的輸出；ue則為對(duì)uR的一個(gè)穩(wěn)態(tài)估計(jì)值，即其理想值。這里需要說(shuō)明的是，uR也是通過(guò)一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)估算的；而如果系統(tǒng)是一個(gè)仿射系統(tǒng)并且其模型已知的情況下，可以直接求得。本文使用神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。

按照式（8）所示方法獲得性能指標(biāo)函數(shù)為

執(zhí)行網(wǎng)絡(luò)的輸入選取了參考電壓和同步轉(zhuǎn)速。另外還選取了三個(gè)時(shí)間拍的端電壓跟蹤偏差及同步轉(zhuǎn)速的偏差，在其中引入各自的誤差及誤差的差分，可以保證系統(tǒng)跟蹤的同時(shí)還能有一定的趨勢(shì)預(yù)測(cè)作用，保證系統(tǒng)的穩(wěn)定。因此執(zhí)行網(wǎng)絡(luò)輸入為Vr（t），ΔV（t），ΔV（t－1），ΔV（t－2），ω0Δω（t），Δω（t－1），Δω（t－2），其輸出為uR。評(píng)價(jià)網(wǎng)絡(luò)輸入為ΔV（t），Δω（t），uR（t）－ue（t），輸出為J。

評(píng)價(jià)網(wǎng)絡(luò)采用BP調(diào)整算法的三層前饋網(wǎng)絡(luò)，其拓?fù)浣Y(jié)構(gòu)為3－8－1，如圖4所示。

圖4 評(píng)價(jià)網(wǎng)絡(luò)Fig.4 Critic network

評(píng)價(jià)網(wǎng)絡(luò)的正向計(jì)算過(guò)程為

式中：Cin（t）＝［uR（t）－ue（t）］ΔV（t）Δω（t）］′，Ch1j和Ch2j分別表示隱藏層第j個(gè)神經(jīng)元的輸入和輸出；Wc1輸入層到隱藏層的權(quán)值矩陣；Wc2隱藏層到輸出層的權(quán)值矩陣。

根據(jù)式（20）定義的誤差，評(píng)價(jià)網(wǎng)絡(luò)采用梯度下降法進(jìn)行訓(xùn)練，其權(quán)值更新過(guò)程見(jiàn)如下推導(dǎo)：

（1）隱藏層到輸出層的權(quán)值矩陣Wc2。

（2）輸入層到隱藏層的權(quán)值矩陣Wc1。

執(zhí)行網(wǎng)絡(luò)也是采用BP調(diào)整算法的三層前饋網(wǎng)絡(luò)，其拓?fù)浣Y(jié)構(gòu)為8－30－1。類(lèi)似地

執(zhí)行網(wǎng)絡(luò)的前向計(jì)算過(guò)程為

式中：Ah1j（t）、Ah2j（t）分別為執(zhí)行網(wǎng)絡(luò)隱藏層第個(gè)神經(jīng)元的輸入和輸出；Wa1為執(zhí)行網(wǎng)絡(luò)輸入層到隱藏層的權(quán)值矩陣；Wa2為執(zhí)行網(wǎng)絡(luò)隱藏層到輸出層的權(quán)值矩陣。

通過(guò)最小化式（24）定義的誤差的，同樣采用梯度下降法。

（1）執(zhí)行網(wǎng)絡(luò)隱藏層到輸出層的權(quán)值矩陣Wa2。類(lèi)似地，可以得到

（2）執(zhí)行網(wǎng)絡(luò)輸入層到隱藏層的權(quán)值矩陣Wa1。

4 數(shù)值仿真

根據(jù)以上所描述的多目標(biāo)自適應(yīng)動(dòng)態(tài)規(guī)劃方法，在單機(jī)無(wú)窮大系統(tǒng)上進(jìn)行仿真研究。單機(jī)無(wú)窮大系統(tǒng)中，發(fā)電機(jī)參數(shù)為Pn＝200 MVA，Vn＝16.8 k V（rms），fn＝50 Hz，其仿真結(jié)果見(jiàn)圖5～圖7。

（1）初始運(yùn)行學(xué)習(xí)過(guò)程 多目標(biāo)自適應(yīng)動(dòng)態(tài)規(guī)劃方法是在沒(méi)有先驗(yàn)知識(shí)的情況下投入運(yùn)行的，主動(dòng)學(xué)習(xí)系統(tǒng)動(dòng)態(tài)特性，自適應(yīng)學(xué)習(xí)控制律。下面是在初始條件全部為零的情況下的投入運(yùn)行到穩(wěn)定狀態(tài)的系統(tǒng)曲線，見(jiàn)圖5。

圖5 初始運(yùn)行與學(xué)習(xí)Fig.5 Initial running and learning

圖6 階躍擾動(dòng)Fig.6 Step disturbance

圖7 三相短路擾動(dòng)Fig.7 Three phase short circuit disturbance

（2）端電壓階躍擾動(dòng) 此項(xiàng)實(shí)驗(yàn)主要考察在發(fā)電機(jī)參考電壓發(fā)生變化時(shí)，發(fā)電機(jī)端電壓Vt的跟蹤特性和穩(wěn)態(tài)精度。同時(shí)也考察轉(zhuǎn)速偏差Δω的變化。實(shí)驗(yàn)給出10%的階躍，通過(guò)圖6可以看出，系統(tǒng)能夠快速無(wú)靜差跟蹤參考值，并且具有較好的動(dòng)態(tài)特性。

（3）三相短路擾動(dòng) 在線路側(cè)發(fā)生三相短路0.1 s后，切除短路重新合閘成功后的機(jī)端電壓和轉(zhuǎn)速偏差的變化響應(yīng)，見(jiàn)圖7，系統(tǒng)很快地恢復(fù)機(jī)端電壓并且具有很好的動(dòng)態(tài)穩(wěn)定性，系統(tǒng)動(dòng)態(tài)響應(yīng)特性較好。

5 結(jié)語(yǔ)

多目標(biāo)執(zhí)行依賴(lài)啟發(fā)式動(dòng)態(tài)規(guī)劃方法無(wú)需被控對(duì)象數(shù)學(xué)模型，通過(guò)遞推方式逐步優(yōu)化系統(tǒng)性能，并且隨著對(duì)象特性的改變自適應(yīng)調(diào)整控制器參數(shù)。在多目標(biāo)的處理方面成功地應(yīng)用2－范數(shù)形式重新推導(dǎo)了ADHDP算法，為帶向量型性能指標(biāo)函數(shù)的最優(yōu)控制問(wèn)題的求解提供了一種可行方法。最后，該方法在同步發(fā)電機(jī)勵(lì)磁控制系統(tǒng)的仿真中取得了良好的性能，驗(yàn)證了其有效性。

［1］ 李志民，盧曦，孫勇，等（Li Zhimin，Lu Xi，Sun Yong，et al）.同步發(fā)電機(jī)云模型勵(lì)磁控制器的設(shè)計(jì)（Design of cloud model excitation controller for synchronous generator）［J］.電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)（Proceedings of the CSU－EPSA），2010，22（3）：91－95.

［2］ 王興貴，黃忠良（Wang Xinggui，Huang Zhongliang）.同步發(fā)電機(jī)勵(lì)磁系統(tǒng)的智能變結(jié)構(gòu)控制（Intelligent sliding mode variable structure control for synchronous generator excitation system）［J］.電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)（Proceedings of the CSU－EPSA），2006，18（6）：79－82.

［3］ 楊偉，趙虎，劉俊（Yang Wei，Zhao Hu，Liu Jun）.發(fā)電機(jī)組勵(lì)磁與汽門(mén)協(xié)調(diào)控制器的設(shè)計(jì)（Design of coordinated controller of generators＇excitation and valve）［J］.電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)（Proceedings of the CSU－EPSA），2010，22（4）：107－112.

［4］ Wei Qinglai，Zhang Huaguang，Dai Jing.Model－free multiobjective approximate dynamic programming for discrete time nonlinear systems with general performance index functions［J］.Neurocomputing，2009，72（7／8／9）：1839－1848.

［5］ 姚舜才，潘宏俠（Yao Shuncai，Pan Hongxia）.粒子群優(yōu)化同步電機(jī)分?jǐn)?shù)階魯棒勵(lì)磁控制器（Fractional order PID controller for synchronous machine excitation using particle swarm optimization）［J］.中國(guó)電機(jī)工程學(xué)報(bào)（Proceedings of the CSEE），2010，30（21）：91－97.

［6］ 陳前，毛承雄，陸繼明，等（Chen Qian，Mao Chengxiong，Lu Jiming，et al）.基于改進(jìn)Elman網(wǎng)絡(luò)的最優(yōu)勵(lì)磁控制器（Linear optimal excitation controller based on modified Elman neural network）［J］.大電機(jī)技術(shù)（Large Electric Machine and Hydraulic Turbine），2007，（3）：51－55.

［7］ 李嘯驄，郭棟，韋化，等（Li Xiaocong，Guo Dong，Wei Hua，et al）.超導(dǎo)磁儲(chǔ)能與發(fā)電機(jī)勵(lì)磁的多指標(biāo)非線性協(xié)調(diào)控制（Multi－index nonlinear coordinated control for SMES and generator excitation）［J］.中國(guó)電機(jī)工程學(xué)報(bào)（Proceedings of the CSEE），2007，27（28）：29－33.

［8］ Liao L－Z，Shoemaker C A.Convergence in unconstrained discrete－time differential dynamic programming［J］.IEEE Trans on Automatic Control，1991，36（6）：692－706.

［9］ Liao L－Z，Li D.Adaptive differential dynamic programming for multiobjective optimal control［J］.Automatica，2002，38（6）：1003－1015.

［10］Al－Tamimi A，Lewis F L，Abu－Khalaf M.Discretetime nonlinear HJB solution using approximate dynamic programming：Convergence proof［J］.IEEE Trans on Systems，Man and Cybernetics，2008，38（4）：943－949.