遞推的貝葉斯估計方法

寧永成，侯代文

(91439 部隊460 所，遼寧 大連 116041)

概率推理，研究如何利用帶有噪聲的觀測信息，給出系統隱含的狀態或者參數的最優一致估計的問題，是人工智能、自動控制、信號處理等領域的核心內容之一，在目標跟蹤、語音識別、無線通信、慣性導航、神經網絡訓練以及經濟預測等方面有著廣泛的應用［1］。

遞推的貝葉斯估計方法給出了解決這一問題的最佳方案，該方法每接收到一個新的觀測量，就會遞歸地更新系統狀態的后驗概率密度函數(posteriori density function，pdf)，這一函數包含了概率推理問題的完整解決方案，能夠給出系統狀態的最優估計。然而，貝葉斯估計方法僅僅提供了狀態估計的理論框架，在實際應用中，具體算法的選擇依賴于系統狀態、系統模型以及描述后驗概率密度函數方法的具體形式。本文在簡要介紹貝葉斯估計理論的基礎上，在統一的框架之下，對各種狀態估計算法進行歸納和總結，并對各自的使用方法、使用范圍以及相互間的聯系與區別，作了較為詳細地闡述。

1 動態系統中的貝葉斯估計

本文將主要討論離散時間的動態隨機系統。用k=1，2，…，表示時間序列，k 時刻的系統狀態用xk表示，假定系統狀態是隱含的，無法直接得到，而只能在每個時刻得到含有噪聲的觀測值zk，目標是從觀測序列中推導出系統狀態中所需要的信息。以下部分，將用xn:m表示變量序列xn，xn+1，…，xn+m。

在貝葉斯框架下，系統狀態及觀測量之間的關系被融入概率密度函數p(x1:k，z1:k)中，由于p(x1:k，z1:k)= p(x1:k)p(z1:k|x1:k)，p(x1:k，z1:k)被進一步簡化為2 部分，其中p(x1:k)表示系統的內部動態特性，p(z1:k|x1:k)表示測量噪聲模型。這樣，在給定觀測序列z1:k后，利用系統的動態特性及測量噪聲特性，就能夠計算出系統狀態的pdf p(x1:l|z1:k)，從而得到關于系統狀態的有用信息。習慣上，當l ＞k 時，對應的問題稱為預測問題;l=k 時，對應于濾波問題;l ＜k 時，對應于平滑問題。本文主要研究用于實時處理的濾波問題，對于平滑問題，可參閱文獻［2-4］。

1.1 系統動態特性

對系統動態特性的描述，最簡單的情況是作馬爾科夫(Markov)假定，即系統狀態xk僅與狀態xk-1有關，而與k-1時刻之前的狀態無關。此時

其中，p(x1)表示狀態的先驗概率密度函數。通常情況下，p(xi|xi-1)用系統狀態方程來表示:

其中，vk-1表示k-1 時刻的過程噪聲。隱馬爾科夫模型(hidden markov model，HMM)［5-7］和卡爾曼濾波模型(kalman filter model，KFM)［8］是這一類模型的典型代表。

然而，有些系統并不遵循Markov 假定，即k 時刻的狀態xk不僅與xk-1有關，還跟k-1 時刻前的狀態有關。Neal［9］對這種比較復雜的系統進行了研究，這里不作詳細討論。

1.2 觀測模型

一般情況下，觀測量zk只跟當前狀態xk有關，即

對于zk依賴于過去的觀測序列z1:k-1的情況，從應用的角度講，由于p(zk|xk)與p(zk|z1:k-1，xk)中都只有xk是自變量，二者沒有實質性的差異［10］，不失一般性，僅討論p(zk|xk)一種情況。

類似地，關系式p(zk|xk)用觀測方程來表示:

其中，wk表示測量噪聲。

1.3 遞推的貝葉斯估計

貝葉斯估計是各種計算系統狀態pdf p(x1:k|z1:k)方法的總稱。p(x1:k|z1:k)描述了由觀測序列z1:k推導的系統狀態在狀態空間上的分布情況，通過它可以精確求解系統狀態在各種意義下的最優估計。利用貝葉斯法則，易知

由于p(x1:k|z1:k)不能分解成更簡單的形式，只能用非常復雜的模型來描述［11］;另一方面，對于實時處理問題，往往希望基于當前觀測序列，得到當前狀態的估計值，因此，一般情況下，更多地關注概率密度函數p(xk|z1:k)，而不是p(x1:k|z1:k)。

對滿足式(1)的Markov 動態系統，求解p(xk|z1:k)可以利用上一時刻的估計結果，分2 步遞歸進行。首先，在獲得觀測量zk之前，利用k-1 時刻的觀測序列z1:k-1以及狀態估計值xk-1，預測狀態xk的分布函數:

獲得觀測量以后，利用貝葉斯法則:

其中常數因子p(zk| z1:k-1)=∫p(zk| xk)p(xk| z1:k-1)dxk。當k=1 時，指定狀態的預測分布等于先驗概率分布p(x1)。利用式(6)、式(7)可以實現遞推的貝葉斯估計。

然而，對大多數概率分布，式(6)、式(7)中的多維積分值都不能解析地求出，必須尋求pdf 的簡單描述方式，才能使貝葉斯估計理論具有實際的應用價值。以下將根據對pdf 描述方式的不同，把貝葉斯估計方法分為參數化估計方法和非參數化估計方法兩種類型，并分別介紹。

2 參數化估計方法

在理想條件下，pdf 可以用一組固定的參數集合λ 表示，即p(xk|z1:k)=p(xk，λk)，這時，濾波過程簡化為由參數λk-1及觀測量zk估計參數λk，KFM、HMM 就是2 種典型的參數化估計方法。

2.1 卡爾曼濾波(Kalman Filter，KF)［12］

由于均值和方差2 個參數概括了高斯分布的全部特性，如果濾波過程中，每一時刻的pdf 都是高斯型的，可以用參數集合λ={m，P}完整地表示該函數。這樣，對pdf 的描述大大簡化，使貝葉斯估計成為可能，KF 就是這一類估計方法。可以證明，若p(xk-1|z1:k-1)服從高斯分布，如果系統方程(2)、(4)滿足以下條件，則p(xk|z1:k)也服從高斯分布:vk-1、wk也服從高斯分布，分別對應于方差Qk-1、Rk-1;函數fk(xk-1，vk-1)是xk-1、vk-1的線性函數;函數hk(xk，wk)是xk、wk的線性函數。

此時，動態方程(2)和觀測方程(4)簡化為

KF 算法的遞推過程可描述為:

其中:

N(x;m，P)表示變量x 服從均值為m，方差為P 的高斯分布。

上述KF 方法對于滿足條件的系統，能在最小均方誤差意義下得到系統狀態的最優估計。但是，在實際情況下，狀態方程和觀測方程往往是非線性的。對于f 和h 為非線性函數的情況，式(2)、式(4)不能再由式(8)、式(9)簡單表示，只能用一些近似的線性化方法，把非線性函數轉換為線型函數，然后利用線型濾波理論來處理。根據線性化方法的不同，這一類方法大致可分為擴展的卡爾曼濾波方法(extended KF，EKF)和sigma 點卡爾曼濾波(sigma-point KF，SPKF)方法2 種。

2.1.1 擴展的卡爾曼濾波

EKF 方法利用多維泰勒級數展開的一階截短，對非線性函數圍繞狀態的當前估計值進行線性化，即對于非線性函數y=g(x)，作如下處理:

對于式(2)、(4)中f 和h 為非線性函數的情況，應用截短的泰勒級數展開，用代替KF 算法中的Fk，Hk，則非線性濾波問題轉化為線性濾波問題，對應的算法就稱為EKF 算法。

顯然，式(18)中對高階項的忽略，只有在零階項、一階項之和遠大于其他高階項時才能成立;而且，EKF 方法在線性化過程中，僅僅在狀態的當前估計值這一點上作泰勒展開，而完全或略了隨機變量x 的概率分布特性，這會對估計結果的一致性與準確性帶來很大的影響，甚至導致濾波發散［13］。

2.1.2 sigma 點卡爾曼濾波

針對EKF 存在的缺陷，最近出現了一系列新的非線性濾波算法［14-17］，這些算法無論是理論基礎還是實現形式，都顯示出很大的優越性。Merwe［1］在統一的加權統計線性回歸(weighted statistical linear regression，WSLR)［18］理論基礎上，把它們歸結為SPKF 方法。

WSLR 提供了一種對隨機變量的非線性函數作線性化處理的有效方法，它通過在隨機變量的先驗分布上抽取r 個采樣點，對每一個采樣點作非線性轉換，再對r 個轉換值作線性回歸，從而求得所需的均值和方差。由于WSLR 考慮了隨機變量的概率分布特性，因而比泰勒展開方法誤差更小。

對非線性函數y=g(x)，WSLR 需要在變量x 的分布上抽取r 個采樣點χi，i=1，…，r，并作變換γi=g(χi)，定義:其中{wi}是r 個回歸權值，滿足

對應一個非線性函數，如何在隨機變量的先驗分布上選取采樣點，也稱sigma 點，以及如何確定各點對應的權值，成為一個關鍵問題。正是對這一問題的不同回答，導致產生無軌跡卡爾曼濾波(unscented kalman filter，UKF)［14］和中心差分卡爾曼濾波(central difference kalman filter，CDKF)［15，16］兩種不同的濾波方法。

UKF 方法對sigma 點及對應權值的選取遵循以下原則:選取的sigma 點能夠捕獲隨機變量x 最重要的統計特性，并把sigma 點的選取問題轉化為以下的優化問題:

其中〈χi，wi〉是全部的sigma 點及其權值集合。函數ξ(·)表示約束條件，C(·)是代價函數，代價函數包含期望的統計特性，ξ(·)是必須滿足的條件。在UKF 中，由于一階、二階矩是必須捕獲得統計特性，約束條件可表示為

代價函數C(·)的確定視需要而定。如果要降低高階矩的估計誤差，則C(·)可選為ξ3(·)或ξ4(·);如果要盡可能減少sigma 點的數目，則C(·)=r。

基本的UKF 濾波方法常選取以下的sigma 點及其對應權值:

其中λ=α2( L+K)-L 是標度因子。α 決定sigma 點在周圍的散布情況，β 為表明狀態x 概率分布先驗知識的參數。詳細說明可參閱文獻［19］。

由Ito 等提出的CDKF 方法，基于斯特靈(stirling)內插公式，利用中心插分代替式(18)中泰勒展開中的一階、二階級數。即令

當狀態x 是多維向量時，通過線性變換作隨機解耦，使各狀態分量之間互不相關，從而把式(30)，式(31)擴展到多維的情況。

利用中心差分方法進行線性化時，sigma 點集及對應權值為

其中h 為區間長度參數，選擇合適的h 能減少非線性變換后均值與方差的估計誤差。可以證明［16］，當狀態x 服從高斯分布時，

確 定 了 sigma 點 集 及 其 對 應 權 值 S ={( χi，wi)，i=1，…，r }以后，就得到SPKF 算法，由式(10)～式(12)及以下各式構成:

2.2 分布擬合濾波(Assumed-density Filter)［20］

除非特殊情況，如高斯分布、泊松分布，一般的概率密度函數難以用一組簡單的參數準確表達。這時，常把真正的pdf p(xk|z1:k)投影到易于處理的概率分布q(x)上，即令p(xk|z1:k)=q(xk，λk)，其中λk為函數q(x)的參數，λk的選取應該使兩函數p(x)、q(x)之間的Kullback-Leibler 距離最小，即

函數q(x)一般選作指數分布函數或者高斯分布函數，當q(x)選作一簇高斯分布函數的和，即選取λk= {(ai，mxk，i，Pxk，i)|i=1，…，M}時，對應的分布擬合算法就是高斯求和算法。此時

參數ai、mxk，i和Pxk，i確定以后，就可以通過M 個基本的卡爾曼濾波器并行濾波，對各自的狀態估計加權求和，得到所需的狀態估計值。在高斯求和濾波方法中，一個重要的問題是濾波過程中高斯混合項的個數隨時間呈指數增長，如何有效地減少混合項的個數，使之保持在合理的數目內，成為該濾波方法的核心內容。基本方法包括舍棄混合項中權值較小的項;合并相似項等［3，23］。

2.3 隱馬爾可夫模型［3，25，26］

當系統狀態變量是離散值時，觀測量與狀態并不總是一一對應，而是通過一組概率分布相聯系，這時需要用HMM 來描述該系統。HMM 是一個雙重隨機過程，包括描述狀態轉移的基本的Markov 鏈隨機過程以及描述狀態和觀測量之間統計關系的隨機過程。它可以由以下參數描述:N 為Markov鏈中狀態的數目;M 為每個狀態所對應的可能的觀測量的數目;π 為初始狀態概率向量，其中πi=P(x1=i)，1≤i≤N;A為狀態轉移概率矩陣，A = (aij)N×N，其中a ij = P(xi+1=j|xi=i)，1≤i，j≤N;B 為觀測值概率矩陣，B=(bjk)N×M，其中bjl=P(zk=l|xk=j)，1≤j≤N，1≤k≤M。這樣，可以記一個HMM 為η={N，M，π，A，B}。

同樣，HMM 對pdf 的求解也可以進行參數化處理，即令p(x1:k|z1:k)=p(x1:k，λk)，其中λk=P(x1:k|z1:k，η)為隨機向量，表示狀態的離散分布。對HMM，在使用中需要解決以下3 個問題:

1)給定一個觀測序列z1:k和模型η，在最佳意義上確定一個狀態序列x1:k的問題，一般由遞推的Viterbi 算法［27］解決。

2)給定一個觀測序列z1:k和模型η，計算由模型η 產生出z1:k的概率，一般由前向—后向算法［28］求得。

3)給定一個觀測序列z1:k時，確定模型參數η，使得P(z1:k|η)最大的問題。Baum-Welch 算法［26］利用遞歸的思想，使P(z1:k|η)局部最大，最后得到模型參數η。另外，用梯度方法也能達到類似目的。

3 非參數化估計方法—序貫蒙特卡羅(sequential monte carlo，SMC)

實際應用中，不是所有的pdf 都能用一組參數近似表示［24］;在某些情況下，特別是當狀態x 維數較高時，難以得到積分式(5)的閉式解，這時需要尋求pdf 的其他表示方法。以SMC 為代表的新方法，不再尋求參數集合λ，而是用狀態空間中的一組隨機采樣點，又稱粒子，逼近pdf，這一類方法被稱為非參數化方法。

SMC 基于隨機模擬技術近似Markov 過程中難以處理的概率分布，尤其適用于狀態連續且維數較高的系統。其核心思想是在任一時刻k，用N 個粒子及其相應重要性權值表示連續的pdf p(xk|z1:k)，并通過粒子及其權值計算狀態估計值。當粒子個數趨于無窮大時，Monte Carlo 模擬的概率密度函數等價于pdf，相應的狀態估計值接近于最優的貝葉斯估計。

設在k-1 時刻，pdf 近似為

其中δ(·)為沖激響應函數。利用上面的表達式，積分式(5)可以表示為

這樣，貝葉斯估計中所有的連續函數的積分運算都由容易處理的離散求和形式代替，從而得到pdf 的估計為

SMC 方法在濾波過程中，粒子重要性權值的方差隨時間持續增加，這使得濾波性能降低。經過幾次遞推后，將導致粒子集合中只有一個狀態粒子的重要性權值較大，其余粒子權值為零，這種現象稱為粒子多樣性的喪失［1］。當有效粒子數目太小時，對pdf 的描述就不準確，甚至導致濾波發散。選取合適的重要性概率密度函數(importance density)或重采樣方法，都能夠降低由于粒子多樣性喪失產生的粒子匱乏現象所造成的影響。

3.1 重要性概率密度函數的選取

實際應用中，先驗性概率密度函數p(xk|xk-1)是使用最多的重要性概率密度函數，但它沒有融入最新的觀測量所包含的信息，導致重要性權值方差太大，從而不能準確描述pdf。Doucet 等［29］證明了最優的重要性概率密度函數能使重要性權值的方差最小，并指出其形式為

但是，在實際應用中，p(xk|xk-1，zk)的獲取與直接從pdf 中抽取樣本具有同樣的難度，因而只能尋求次優的重要性概率密度函數。

擴展的卡爾曼粒子濾波器［30］(extended kalman particle filter，EKPF)，在k 時刻的觀測量到達后，利用EKF 計算k-1時刻每一個粒子的在k 時刻對應的均值和方差，然后，以此均值和方差為基礎，構造高斯分布函數作為新的重要性概率密度函數，并從這一函數中抽取相應的粒子。大量的應用［31］顯示，該方法能改善粒子濾波器的性能。由于前面所述EKF 的缺陷，用SPKF 代替EKF 形成的新算法sigma 點粒子濾波器［17，32］(sigma-point particle filter，SPPF)具有更好的性能。

3.2 重采樣

重采樣方法提供了解決SMC 中，狀態估計性能急劇下降問題的另外一種途徑。它通過對粒子及其相應權值表示的概率密度函數選擇性地重新采樣，消除權值較低的粒子，增加權值較高的粒子個數。經常使用的重采樣方法包括殘差重采樣(residual resampling)、系統重采樣(systematic resampling)等［33，2］。

雖然重采樣過程能在一定程度上降低濾波性能退化的問題，它同時也帶來粒子來源路徑的多樣性降低，高權值粒子過分聚集的問題。平滑采樣方法［34］(sampling smoothing method)通過給重采樣后的粒子附加獨立的偏差，以及增加采樣前粒子的個數來緩解這一問題。其他的采樣方法，也能改善濾波性能降低的問題，這些技術包括局部線性化方法、拒絕采樣方法、輔助粒子濾波、內核平滑以及采用MCMC 等［30，33-37］。

3.3 計算量降低

SMC 的另外一個缺陷是當系統狀態維數較高時，所需采樣的粒子個數迅速增加，加大了濾波代價，同時降低了粒子的采樣效率［38］。在有些情況下，狀態變量可以分割為兩部分，即xk=)，其中可以被解析地邊緣化。這時，可以使用普通的濾波方法，如KF、HMM，對濾波，同時利用PF 對濾波，這一技術稱為Rao-Blackwellisation［39］，它能夠降低采樣空間的維數，同時減少所需采樣粒子的個數。

自適應粒子濾波器(adaptive particle filter，APF)［40］通過適時調整濾波中的粒子個數，也達到降低計算量的目的。APF 在濾波中，適時地計算粒子集合所表示的pdf 與真實的pdf 之間的Kullback-Leibler 距離，自適應地調整用于逼近pdf的粒子個數，在同樣的濾波效果下，能夠降低計算代價。

無論是Rao-Blackwellisation 方法還是APF 方法，在減少計算量的同時，都能夠改善PF 中粒子枯竭的現象。

4 結束語

本文介紹了一系列概率推理方法的理論基礎、應用條件及特點，并把它們統一于貝葉斯估計的框架之下。概括地講，對于Markov 條件下的濾波問題，HMM 是離散狀態估計的有效方法，KF 對線性、高斯條件下的連續狀態估計提供了最優的解決方案，SMC 對非線性、非高斯問題的處理，顯示出良好的應用前景。由于SMC 對問題的描述更接近問題的本源，它代表了貝葉斯估計未來的發展方向。

由于在認識、改造自然的過程中，經常會遇到隱含的、不確定性的問題，而概率推理方法，尤其是貝葉斯估計，提供了一部分問題的解決方案，貝葉斯估計方法正受到越來越廣泛地關注，一系列重要的研究成果也在最近幾年涌現出來。關于貝葉斯估計方法近期內可能的發展，主要有以下幾個方向:

1)KF 框架在非線性較弱的條件下，仍不失為處理非線性問題的一種簡潔、有效的方法。在線性化方法的選擇上，除了傳統的泰勒展開，最近發展的斯特靈插值，也可以考慮巴德(Padé)逼近方法，形成基于巴德逼近的新的SPKF 方法，因為對于相同階數的多項式，巴德逼近具有更高的精度。

2)粒子濾波方法是當前研究的熱點，結合其他濾波方法，提供更優的重要性概率密度函數;設計更優的重采樣方法，減少重要性權值的方差，將繼續成為今后的研究重點。

3)基于隨機集合(Random set)理論的有限集合統計理論(finite set statistics，FISST)［41-44］，是貝葉斯估計理論的自然擴展，能夠處理系統狀態的維數隨時間發生變化的貝葉斯估計問題，適用于處理多目標跟蹤、定位與識別問題。特別是FISST 與SMC 方法的結合，是一個值得注意的研究方向。

［1］Merwe R V.Sigma-Point Kalman filters for probabilistic inference in dynamic state-space models［D］.USA:School of Science ＆ Engineering at Oregon Health ＆ Science University，2004.

［2］Kitagawa G.Monte Carlo filter and smoother for non-Gaussian nonlinear state space models［J］. Journal of Computational and Graphical Statistics，1996（5）:1-25.

［3］Kitagawa G.The two-filter formula for smoothing and an implementation of the Gaussian-sum smoother［J］.Annals Institute of Statistical Mathematics，1994，46（4）:605-623.

［4］Fong W，Doucet A，West M. Monte Carlo smoothing with application to audio signal enhancement［J］.IEEE Transactions on Signal Processing，2001.

［5］Martinerie F and Forster P.Data association and tracking using hidden Markov models and dynamic programming［C］//Proceedings of IEEE International Conference on Acoustic，Speech and Signal Processing.San Francisco，USA:IEEE，1992.

［6］Rabiner L R.A tutorial on hidden Markov models and selected applications in speech recognition［J］. Proc. IEEE，1989，77（2）:257-285.

［7］Rabiner L R，Juang B H.An introduction to hidden Markov models［J］.IEEE Acoustic，Speech，Signal Processing Magazine，1986:4-16.

［8］Kalman R E.A new approach to linear filtering and prediction problems［J］. Transactions of the ASME-Journal of Basic Engineering，1960:82（D）:35-45.

［9］Neal R. Markov chain sampling methods for Dirichlet process mixture models［J］. Journal of Computational and Graphical Statistics，2000:249-265.

［10］Saul L K，Jordan M I.Mixed memory Markov models: Decomposing complex stochastic processes as mixtures of simpler ones［J］.Machine Learning，1999，37（1）:75-87.

［11］Lerner U，Parr R.Inference in hybrid networks:Theoretical limits and practical algorithms［C］//Proc.of Uncertainty in Artificial Intelligence（UAI）.［S.l.］:［s.n.］，2001:310-318.

［12］Arulampalam M S，Maskell S.A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking［J］.IEEE Transactions on Signal Processing，2002，50（2）:174-188.

［13］Wan E A，Merwe R.The unscented Kalman filter for nonlinear estimation［C］//In Proceedings of IEEE Symposium on Adaptive Systems for Signal Processing Communications and Control.Lake Louise Canada:IEEE，2000:153-158.

［14］Julier S J，Uhlmann J K.Unscented filtering and nonlinear estimation［J］. Proceeding of the IEEE，2004，92（3）:401-422.

［15］Ito K，Xiong K.Gaussian filters for nonlinear filtering problems［J］.IEEE Transactions on Automatic Control，2000，45（5）:910-927.

［16］N?rgaard M，Poulsen N，Ravn O.New developments in state estimation for nonlinear systems［J］. Automatica，2000（36）:1627-1638.

［17］Merwe R，Wan E A.Sigma-point Kalman filters for probabilistic inference in dynamic state-space models［C］//Proceedings of the Workshop on Advances in Machine Learning.Montreal，Canada，2003.

［18］Schei T S. A Finite-difference method for linearization in nonlinear estimation algorithms［J］. Automatica，1997，33（11）:2051-2058.

［19］西蒙·赫金.自適應濾波器原理［M］.鄭寶玉，譯.北京:電子工業出版社，2003:613-617.

［20］Minka T. A family of algorithms for approximate Bayesian inference［D］.USA:MIT Media Lab，MIT，2001.

［21］Alspach D L，Sorenson H W.Nonlinear Bayesian estimation using Gaussian sum approximations［J］.IEEE Transactions on Automatic Control，1972，17（4）:439-448.

［22］Sorenson H W，Alspach D L.Recursive Bayesian estimation using Gaussian sums［J］.Automatica，1971（7）:465-479.

［23］Cowell R G，Dawid A P，Sebastiani P.A comparison of sequential learning methods for incomplete data［J］.Bayesian Statistics，1996（5）:581-588.

［24］Murphy K.Dynamic Bayesian networks:Representation，inference and learning［D］. USA: University of California，Berkeley，CA，July 2002.

［25］Streit R L and Barrett R F. Frequency line tracking using hidden Markov models［J］.IEEE Transactions on Acoustic，Speech and Signal Processing，1990（38）:586-598.

［26］楊行峻 遲惠生.語音信號數字處理［M］.北京:電子工業出版社，1995:129-162.

［27］Forney G D. The Viterbi algorithm［J］. Proceeding IEEE，1973（61）:268-278.

［28］Baum L E，Egon J A.An inequality with applications to statistical estimation for probabilistic functions of a Markov process and to a model for ecology［J］.Bull.America Meteorol.Society，1967，73:360-363.

［29］Doucet A，Godsill S，Andrieu C.On sequential Monte Carlo sampling methods for Bayesian filtering［J］.Statistical Computation，2000，10（3）:197-208.

［30］de Freitas N，Niranjan M.Sequential Monte Carlo methods for optimization of neural network models［R］.CUED/F-INFENG/TR328，Department of Engineering，University of Cambridge，1998.

［31］Doucet A，Freitas N，Gordon N. Sequential Monte-Carlo methods in practice［M］.Springer-Verlag，2001.

［32］Liu J S，Chen R. Sequential Monte Carlo methods for dynamical systems［J］.Journal of American Statistics Association，1998（93）:1032-1044.

［33］Oudjane N，Musso C.Progressive correction for regularized particle filters information fusion［C］//Proceedings of the Third International Conference. FUSION 2000. Page（s）:THB2/10-THB2/17.

［34］Gordon N，Salmond D，Smith A F M. Novel approach to nonlinear and non-Gaussian Bayesian state estimation［C］//IEE Proceedings on Radar and Signal Processing.UK:IEE，1993，140:107-113.

［35］Doucet A，Gordon N. Efficient particle filters for tracking manoeuvering targets in clutter target tracking: Algorithms and applications［J］.IEE Colloquium，1999，11:4/1-4/5.

［36］Pitt M，Shephard Neil. Filtering via simulation: Auxiliary particle filters［J］.Journal of the American statistical Association，1999，94（446）:590-599.

［37］Andrieu Cand，Doucet A. Joint Bayesian model selection and estimation of noisy sinusoids via reversible jump MCMC Signal Processing［J］. IEEE Transactions on Acoustics，Speech，and Signal Processing，1999，47（10）:2667-2676.

［38］Arnaud Doucet_ Murphy N.Rao-Blackwellised particle filtering for dynamic Bayesian networks［C］//Proceedings of the 16th Conference on Uncertainty in Artificial Intelligence.［S.l.］:［s.n.］，176-183.

［39］Casella G. Rao-Blackwellisation of sampling schemes［J］.Biometrica，1996，83（1）:81-94.

［40］Fox D.KLD-sampling:Adaptive particle filters［J］.In Advances in Neural Information Processing Systems，2001（14）:713-720.

［41］Mahler R.Random sets:Unification and computation for information fusion—a retrospective assessment［C］//7th International Conference on Information Fusion. Stockholm，Sweden:FUSION，2004.

［42］Ba-Ngu Vo，Singh S，Doucet A. Sequential Monte Carlo methods for multi-target filtering with random finite sets［J］.IEEE Transactions on Aerospace and Electronic Systems，2005.

［43］Mahler R. Multitarget Bayes filtering via first-order multitarget moments［J］.IEEE Transactions on Aerospace and Electronic Systems，2003，39（4）:1152-1178.

［44］Vihola M.Random Set Particle Filter for Bearings-only multitarget tracking［C］//Proceedings of SPIE in Signal Processing，Sensor Fusion，and Target Recognition XIV.Orlando，Florida:Ivan Kadar，2005，301-312.