高斯混合模型的矩陣推廣

王棟

【摘要】時間序列分析中經常出現的非高斯性質，使得傳統的時間序列分析建模方法無法適用，所得到的預測值出現偏差，預測精度受到影響.本文推廣了一維時間序列混合模型到多維高斯混合轉移分布模型（MGMTD模型），證明了該多維時間序列混合模型下的一階平穩性條件，并給出了該多維模型下的EM估計算法.本文將MGMTD模型應用于對我國煉焦煤炭和天然原油的價格預測分析中，實證結果顯示，MGMTD模型可以得到較好的預測結果.

【關鍵詞】混合模型；多元正態分布；MGMTD模型； EM算法；預測

1.引 言

在生產實踐、科學實驗與自然科學的研究中，常常需要我們去分析一系列的隨時間變化的前后相互關聯的觀測數據，也就是我們所說的時間序列，對時間序列數據的精確處理可以使我們對未來的情況做到較好的預報和控制，對數據進行正確的建模，從而使我們發現數據中隱藏的內在規律.時間序列的例子在一些領域中是極豐富的，諸如經濟、商業、工程、自然科學（特別是地球物理學和氣象學）和社會科學，從Bax和Jenkins所普及的ARIMA類模型到現在，處理時間序列的問題一直是被人們所廣泛研究的，在使用線性和非線性的方法上都取得了很大的發展.

在通常處理實際的時間序列問題時，為了便于計算和得到一些較好的性質，我們總是假定時間序列的誤差項是服從高斯分布的白噪聲，但實際情況并非如此簡單，很多時間序列表現出非高斯性，例如：序列的平坦趨勢、突變性、異常值點和變點等，當我們想要找到數據本身的特性對其進行預測和擬合時，根據數據所表現的特性準確建模就顯得非常重要.

1996年LE等人根據Raftery（1985）的MTD模型提出了一種新的非線性時間序列模型——GMTD模型：

即給定過去的值后Yt的條件分布是混合正態分布.這個模型的特點在于它能表現出像平坦趨勢、異常值、變點等實際時間序列數據常表現出來的非高斯性.并且GMTD模型的形式簡單，容易處理，可以利用EM算法進行參數的估計和擬合.近年來，為了使模型具有更廣泛的應用范圍，很多人對這個模型做了推廣，例如：2000年Wong和Li將GMTD模型推廣為MAR模型，在2001年又推廣為logisticMAR模型和異方差情形，Wong和Chan（2003）將模型應用到市場收益上.

混合模型是統計模式識別非常重要的方法之一，它是描述真實數據復雜性的常用方法，也是解決分類或者聚類問題的常用方法之一，在最近興起的數據挖掘研究中也常用到它.混合模型的參數估計方法有很多，通常人們所熟知的是EM算法，在用它來做模型參數的估計時，混合的權重及成分參數是通過數據似然的局部最大化來一起估計的.

2.GMTD模型的矩陣推廣

在現實世界里，很多的時間序列數據并不是僅僅用一維的模型就能夠得到很好的建模，有些時候我們需要的是多維的模型.例如在股票數據里，某一只股票當前的價格可能不僅僅是和這只股票過去的價格有關，也許還同另外的其他股票的過去價格有關，為此，為了更好的對數據有更加準確的描述，我們對GMTD模型進行了推廣，將它由一維的混合正態分布轉化為多維的混合正態分布，即：

在時間序列分析中，序列的平穩性在模型建立和序列信息提取中具有非常重要的意義，為此我們給出多元混合轉移正態分布（MGMTD）的一階矩平穩性條件.

為了將該模型應用于實際問題的時間序列建模分析中，我們需要給出分布模型參數估計的方法.由（2）我們給出了多元混合正態的密度函數表達式，因此我們可以采用EM算法來對其進行參數估計，為此在下面內容我們推導該模型參數估計的EM算法遞推公式.

首先引入潛在變量ztk，t表示第t個觀測值，k表示混合模型的第k個成分，于是有：

以上兩步重復進行，直到某一個特定的收斂準則滿足.

在E-step通過對函數求導數并利用權重的性質∑pk=1αk=1，我們可以得到權重的估計式：

這樣我們就得到了關于多元混合正態分布參數的極大似然估計的EM算法迭代表達式，可以通過該算法來計算模型中參數的估計值.

3.MGMTD模型在能源價格預測中的應用

為應對國際金融危機的影響，及時、準確反映我國主要能源產品的價格變動情況，國家統計局啟動“價格調查應急機制”，對主要的能源產品進行了價格調查.由于煤炭和石油都是不可再生的重要能源資源，對其的開采和買賣對國家的發展具有重要的戰略意義.為此，本文通過由國家統計局從2009年11月到2011年12月的煉焦煤炭和天然原油的半月度價格數據，數據的序列長度為50.對該二維時間序列數據進行建模，一方面研究這兩種主要的能源產品的價格波動模型，另一方面希望通過數據驅動的方式研究它們之間是否存在相互的關聯作用，彼此之間的價格是否存在顯著的影響.對該問題的研究，將有助于對這兩種重要資源的調控.

將該數據集從2009年11月到2011年12月的50個二維時間序列進行標準化預處理后，序列圖形可參見圖1.從圖1中可以發現這兩種能源產品的價格整體都呈現上升趨勢，并且通過對煉焦煤炭和原油的價格序列分別進行單位根檢驗，發現兩者都是顯著的非平穩序列.此外，對圖1中的兩個價格序列做相關檢驗，發現兩者之間存在顯著的相關關系，從圖1也可以發現，可能存在由于價格的變化導致兩種能源產品需求的變化或供應量的變量，從而影響到其能源產品的價格.為了通過數據驅動的方式，挖掘出數據本身所隱藏的規律，本文采用高斯混合模型的矩陣形式對該二維時間序列進行建模分析.

【參考文獻】

[1]Box，G.E.P.Jenkins，G.M.&Reinsel，G.C.著.顧嵐，等譯.中國統計出版社，1997.

[2]Le，N.D.Martin，R.D.&Raftery，A.E.Modeling flat stretches，bursts，and outliers in timeseries using mixture transition distribution models.Journal of the American Statistical Association，1996，91，1504-1514.

[3]Raftery，A.E.Model for highorder Markov chains.Journal of Royal Statistical Society，Ser.B，1985，47，528-539.

[4]Wong，G.S.&Li，W.K.On a Mixture Autoregressive Model.Journal of the royal Statistical Society，Ser.B，2000，62，95-115.

[5]Wong，G.S.&Li，W.K.On a logistic mixture autoregressive model.Bionmetrika，2001，88，3，833-846.

[6]Wong，G.S.&Li，W.K.On a Mixture Autoregressive Conditional Heteroscedastic Model.Journal of American Statistical Association，2001，96，982-995.

[7]Wong，C.S.&Chan，W.S.Mixture Gaussian Time Series Modeling of LongTerm Markrting Returns.Prepared for the 2003 Stochastic Modeling Symposium 4-5 september，2003，Toronto，Canada.

[8]Hamilton，J.D.著.劉明志，譯.時間序列分析.中國社會科學出版社，1999.

[9]Benes，V.E.Existence of Finite Invariant Measures for Markov Process.Proceedings of the American Mathemstical Socirty，1967，18，1058-1061.