高階多元馬氏決策向量過程模型的定義

摘 要：馬氏決策向量過程是在決策時刻引入多元化決策來確定系統的狀態轉移概率的理論模型，本文在該模型的決策向量、聯合度和相合度等基本概念的基礎上，結合高階多元馬氏鏈的理論，給出高階多元馬氏決策向量過程模型。

關鍵詞：馬氏決策向量過程 高階多元馬氏鏈 高階多元馬氏決策向量過程模型

中圖分類號：O211.62 文獻標識碼：A 文章編號：1673-9795（2014）04（b）-0096-02

為了簡化傳統高階馬氏鏈的計算過程，Raftery等[1～3]提出新的高階馬氏模型，即：，其中≥0和為非負定矩陣且滿足列向量元素之和等于1。Ching等[4～5]在此高階馬氏理論基礎上提出更一般化馬氏鏈，即多元馬爾可夫模型，其相關成果已廣泛應用于基因工程、天氣預報和庫存管理等領域。然而在傳統馬氏決策過程（MDP）模型中存在著一個共同局限性，即在決策時刻只采取單個行動來確定系統的狀態轉移概率。針對此極限性，文獻[6]在決策時刻引入了多元行動來確定系統的狀態轉移概率，并通過運用傳統MDP的基本理論以及結合多元行動集、決策向量、相合度等新定義，提出了馬氏向量決策過程模型；文獻[7]則在馬氏決策向量過程模型的理論基礎上，研究了多元馬氏決策向量過程模型以及模型的參數估計法，并通過該模型確定了分類數據序列之間的關系。本文在以上的理論基礎上，對高階多元馬氏決策向量過程模型進行初步性的研究，給出其基本概念。

1 基本概念[5]

定義1：設系統在時刻處于狀態可選擇的行動集有：，，，；……