基于近似貝葉斯計算的ARMA模型參數(shù)估計

索文莉，李長國

基于近似貝葉斯計算的ARMA模型參數(shù)估計

索文莉，李長國

（陸軍軍事交通學(xué)院 基礎(chǔ)部，天津 300161）

將近似貝葉斯計算（ABC）方法應(yīng)用于ARMA模型的參數(shù)估計，并結(jié)合實例分析，與其他方法的估計結(jié)果相比較，結(jié)果表明ABC算法確實較大提高了估計精度。

ARMA模型；近似貝葉斯計算；參數(shù)估計

時間序列分析已經(jīng)廣泛應(yīng)用于工程、科學(xué)、社會學(xué)和經(jīng)濟學(xué)領(lǐng)域中。分析一個時間序列，首先是對所給數(shù)據(jù)選擇一個合適的數(shù)學(xué)模型，其中自回歸移動平均（ARMA）模型是時間序列中最經(jīng)典的模型，也是最為重要的研究對象之一。ARMA模型的參數(shù)估計問題更是在模型建立中一直都占據(jù)著重要地位。

極大似然估計和最小二乘估計是最常用的參數(shù)估計方法[1]，對于相對復(fù)雜的ARMA模型，似然函數(shù)也會相應(yīng)更加復(fù)雜，很難得到有效的數(shù)值計算結(jié)果，誤差較大，估計的精確度不夠高；朱慧明等[2]提出運用基于Gibbs抽樣的Markov Chain Monte Carlo貝葉斯方法，王紅軍[3]也運用貝葉斯方法分析了穩(wěn)定分布噪聲的ARMA模型，但均需要寫出似然函數(shù)，并要求必須寫出后驗分布的條件分布，對于似然函數(shù)冗繁的情況同樣存在困難；為了提高精確度，鄧自立[4]提出兩階段的最小二乘方法，但是收斂率相對較低；黃艷勇等[5]提出了一種非線性估計方法，通過DFP算法實現(xiàn)ARMA模型的參數(shù)估計，但精度還有待提高。

本文提出將近似貝葉斯計算（Approximate Bayesian Computation，簡寫為ABC）方法的拓展算法ABC-SMC（Sequential Monte Carlo）算法應(yīng)用于ARMA模型的參數(shù)估計，并結(jié)合文獻[5]中的實例，比較兩種方法的估計結(jié)果表明ABC算法得到的估計精度更高。

1 近似貝葉斯計算方法

近似貝葉斯計算是一類新的似然自由方法，基于拒絕方法產(chǎn)生參數(shù)的近似后驗分布樣本。ABC方法將似然函數(shù)的數(shù)值計算轉(zhuǎn)化為觀測數(shù)據(jù)與一定參數(shù)條件下模型產(chǎn)生的模擬數(shù)據(jù)之間的相似度，這樣只需要了解模型的內(nèi)在構(gòu)造和數(shù)據(jù)的生成機理即可。

此時ABC算法得到的結(jié)果就是真實的后驗分布。由式(1)可以看出，值越大，ABC后驗分布距離真實后驗分布越遠；值越小，ABC后驗分布越接近真實后驗分布，但隨著取值的減小，接受率也會逐漸迅速下降。因此最基礎(chǔ)的ABC算法接受率普遍較低，給實際應(yīng)用造成了困擾。

Beaumont[8]提出將回歸方法應(yīng)用于ABC參數(shù)估計中，考慮參數(shù)與充分統(tǒng)計量之間的回歸關(guān)系，從而弱化了的取值要求。Toni[9]將序列蒙特卡洛（SMC）思想與ABC算法結(jié)合，稱為ABC-SMC算法。在該算法中，定義閾值為一個序列，滿足

每一次迭代都利用上次的結(jié)果，大大提高了效率，且能夠保證估計精度。

依次下去，最終得到第次迭代參數(shù)的后驗樣本

則以其加權(quán)平均作為參數(shù)的后驗估計。綜上所述，ABC-SMC算法流程如下：

2 實例分析

為驗證ABC算法是否能提高ARMA模型參數(shù)估計精度，引用文獻[5]中給出的ARMA(2,2)模型

給定初始值1=0，2=0，誤差s=0.01，對上述模型采用蒙特卡洛方法模擬生成一組容量為的數(shù)據(jù)作為觀測值，本文取=500。

設(shè)ARMA(2,2)模型（3）中參數(shù)依次為a,b,c,d，各參數(shù)先驗分布均為(-5,5)，每次迭代生成個粒子，此例中取=100，定義模擬數(shù)據(jù)與觀測數(shù)據(jù)的距離函數(shù)為

閾值序列為

根據(jù)ABC-SMC算法編程計算，可得各參數(shù)的后驗直方圖，如圖1所示。

考慮到模型的隨機性，將ABC-SMC算法重復(fù)100次，每次均取后驗樣本的加權(quán)均值作為參數(shù)估計值，則可得到100組估計結(jié)果，再取其平均作為最后的參數(shù)估計值。與文獻[5]中的參數(shù)估計結(jié)果進行比較，如表1所示，可見ABC-SMC算法顯著提高了參數(shù)的估計精度。

圖1 參數(shù)a,b,c,d的后驗樣本直方圖

表1 ARMA(2,2)模型的參數(shù)估計結(jié)果比較

3 結(jié)語

將近似貝葉斯算法應(yīng)用于時間序列ARMA模型中，并以實例說明此算法確實提高了參數(shù)的估計精度。ABC-SMC算法將閾值定義為一個遞減序列，每一次的抽樣都基于上一次的迭代結(jié)果，提高了參數(shù)后驗樣本的抽取效率，且估計精度較高。

[1] Perter J. Brockwell, Richard A. Davis.時間序列的理論與方法[M].第二版.田錚,譯.北京:高等教育出版社,2001:60- 69.

[2] 朱慧明,鄧迎春.基于Gibbs抽樣的貝葉斯穩(wěn)健ARMA模型研究[J].經(jīng)濟數(shù)學(xué),2009,26(2):82-90.

[3] 王紅軍,湯銀才.具有穩(wěn)定分布噪聲的ARMA模型的貝葉斯分析及應(yīng)用[J].應(yīng)用數(shù)學(xué)學(xué)報,2017,38(3):466-476.

[4] 鄧自立,馬建為,杜洪越.ARMA模型參數(shù)估計的兩段最小二乘法[J].科學(xué)技術(shù)與工程,2002,2(5):3-5.

[5] 黃雁勇,王沁,李裕奇.ARMA模型參數(shù)估計算法的改進[J].統(tǒng)計與決策,2009,25(16):7-9.

[6] Pritchard J K, Seielstad M T, Perez-Lezaun A, et al. Population growth of human Y chromosomes: a study of Y chromosome microsatellites[J]. Molecular Biology & Evolution, 1999, 16(12): 1791-1798.

[7] Tavaré S J, Balding D J, Griffiths R C, et al. Inferring coalescence times from DNA sequence data[J]. Genetics, 1997, 145(2): 505-518.

[8] Beaumont M A, Zhang W, Balding D J. Approximate Bayesian computation in population genetics[J]. Genetics, 2002, 162: 2025-2035.

[9] Toni T, Welch D, Strelkowa N, et al.Approximate Bayesian computation scheme for parameter inference and model selection in dynamical systems[J]. Journal of The Royal Society Interface, 2009, 6(31): 187-202.

Parameter Estimation Based on Approximate Bayesian Computation for ARMA Model

SUO Wen-li, LI Chang-guo

(General Courses Department, Army Military Transportation University, Tianjin 300161, China)

In this paper approximate bayesian computation method was adopted to estimate the parameters of ARMA model, and through the example analysis, the ABC algorithm indeed improved the estimation accuracy compared with other methods.

ARMA model; approximate bayesian computation; parameter estimation

O212.1

A

1009-9115(2021)06-0014-03

10.3969/j.issn.1009-9115.2021.06.004

2021-02-23

2021-11-01

索文莉（1982-），女，河北邯鄲人，碩士，講師，研究方向為數(shù)學(xué)教育、統(tǒng)計分析。

（責(zé)任編輯、校對：趙光峰）