多元馬氏決策向量過程模型及其參數估計

摘 要：在馬氏決策向量過程模型和多元馬氏鏈的理論基礎上，結合決策向量和相合度等新定義，研究了多元馬氏決策向量過程模型以及模型的參數估計法，并通過該模型確定了分類數據序列之間的關系。

關鍵詞：多元馬氏決策向量過程 模型定義 模型參數估計

中圖分類號：O211.62 文獻標識碼：A 文章編號：1673-9795（2013）07（a）-0074-01

Raftery，W.Ching等人[1]在傳統馬氏理論基礎上提出更一般化馬氏鏈，即多元馬爾可夫模型，其相關成果已廣泛應用于基因工程、排隊論、生產計劃和庫存管理等領域。然而在傳統馬氏決策過程（MDP）模型中存在著一個共同局限性，即在決策時刻只采取單個行動來確定系統的狀態轉移概率。針對此極限性，文獻[2]在決策時刻引入了多元行動來確定系統的狀態轉移概率，并通過運用傳統MDP的基本理論以及結合多元行動集、決策向量、相合度等新定義，提出了馬氏向量決策過程模型；文獻[3]在馬氏決策向量過程模型的理論基礎上，提出了有限階段期望總報酬準則和最優方程，并證明最優方程的解的存在性，但所有的研究成果都是在單變量的條件給出的，尚未涉及多元化的研究。本文在以上的理論基礎上，對多元馬氏決策向量過程模型進行初步性的研究，給出其相關的基本概念。

1 基本概念[2]

定義1：稱為決策向量集，其中為一元決策集；中的元素稱為決策向量，記為.

定義2：記，，若系統在決策時刻采取決策向量有：（1）

則稱為優決策向量；否則稱為劣決策向量。

2 多元馬氏決策向量模型

為了方便以下模型的描述，我們約定：系統于時刻采取決策向量，其狀態從下一步轉移到狀態的概率記為，而不是傳統上的記法；用粗體字母表示向量。

定義3：設有個具有馬氏性的分類數據序列，并都取值于狀態集。令表示第個序列于時刻的狀態向量，若下邊等式成立，即：≥0，1≤j，k≤ （1）

則稱為多元馬爾可夫決策向量過程模型。這里表示系統在采取決策向量條件下，使得第個序列狀態到第個序列狀態的轉移概率矩陣，而則表示第個序列在時刻的狀態的分布概率。今將其寫成矩陣的形式，即：

（2）

3 模型的參數估計

引理1：設≤≤為的特征值，若（6）式中的≤≤，則至少存在一個1≤≤，使得，且對于任意特征值，有≤1，1≤≤。

引理2：對于任意1≤≤，若為不可約的及，則存在唯一的向量使得，且1≤≤，其中為向量的第個分量.以上引理的證明見文獻[1].

接下來，主要針對模型的參數和進行估計。記表示系統在采取決策向量條件下，使得第個序列的狀態到第個序列狀態的轉移頻數矩陣，為第個序列于時刻采取決策向量，其狀態從轉移到第個序列的狀態的頻數，則 （3）

由引理2可知，多元馬氏決策向量過程模型在為不可約和的條件下，存在平穩分布，使得.記為的估計值.顯然，通過計算第個序列的每個狀態發生次數的比例，就可以得到的值，故

（4）

再由，得知.因此，只需在條件下，有

（5）

記由（5）得出的最優解為

于是，我們就可以確定分類序列之間的關系：. （6）

參考文獻

[1]陳杰，劉再明，邢靈博.基于馬氏決策向量過程模型的有限階段期望總報酬準則及其最優方程[J].數學理論與應用，2011，31（4）：7-13.

[2]宮雪.多目標馬氏決策過程攝動問題的研究[D].西南交通大學，2005.

[3]陳杰，朱全新，刑靈博.馬氏決策向量過程模型初步研究[J].問南師范大學學報：自然科學報，2010，38（5）：38-40.