馬爾可夫信源極限熵求解方法解析

摘 要：本文首先給出了馬爾可夫信源及其極限熵的定義，然后通過一個實例詳細解析了馬爾可夫信源極限熵的求解方法，最后對馬爾可夫信源特點及其極限熵的求解步驟進行了總結。

關鍵詞：馬爾可夫信源；極限熵；極限概率

信源是什么？通俗的說，信源就是信息的來源。在我們現實生活中，信源無處不在，文字、聲音、圖像、數據……。在信息論與編碼理論中，把信源統一定義為產生消息符號、消息符號序列、或產生連續消息的來源，在數學上表示，信源則是產生隨機變量X，隨機序列X或隨機過程x（t）源。若信源在不同的時刻發出的符號或符號序列之間有相互依賴關系，這類信源稱為有記憶信源。通常，符號之間的相關性用聯合概率或條件概率來描述。但是，當信源發出的某個符號只與這個符號之前的一個符號或之前的多個符號有關，而與更前面的符號無關時，我們可把它視為一種特殊的有記憶信源，即馬爾可夫信源。

1 馬爾可夫信源

⑴馬爾可夫信源。我們說實際的信源一般都是有記憶的信源，而且這種有記憶信源在任一時刻發出符號的概率通常只與前面若干個符號有關，而與更前面的符號無關，因此我們可以認為信源在某一時刻發出的符號與信源的狀態有關。若信源輸出的符號序列和狀態序列滿足下述的兩個條件：某一時刻 信源的輸出僅與信源的當前狀態有關；信源的狀態只由當前的輸出符號和前一時刻信源狀態唯一確定。我們稱這樣的信源為馬爾可夫信源。

⑵馬爾可夫信源的極限熵。若信源以長度為N輸出符號序列，則信源的平均符號熵為 ，其中 是信源的矢量熵。當N→∞時， ，此時稱 為信源的極限熵。極限熵是真正描述實際信源熵的表達方式。它規定了平穩離散有記憶信源輸出符號序列中平均每個信源符號的熵值，代表了一般離散有記憶信源平均每發出一個符號所提供的信息量。事實上，當信源記憶長度很長，趨于無窮大的時候，要計算聯合熵或極限熵是很困難的，它需要測定信源的無窮階聯合概率和條件概率，這是很難達到的，因此，我們在實際計算時，我們往往只考慮有限記憶信源的熵，用有限的條件熵或平均符號熵作為極限熵的近似值。

m階馬爾可夫信源極限熵的計算公式為：

由此可見，當信源是有記憶m階的馬爾可夫信源時，我們用條件熵作為極限熵的近似值。而求解條件熵 的關鍵就是要得到馬爾可夫信源穩定后（N→∞）各個狀態的極限概率。

2 馬爾可夫信源極限熵求解案例分析

極限熵 并不是在任何情況下都存在。通常，對于一個n元m階的馬爾可夫信源，只有在平穩狀態下，各個狀態的狀態極限概率都存在時，才可以計算出極限熵。因此，求解馬爾可夫信源的極限熵關鍵在于如何求解馬爾可夫信源穩定后各個狀態的極限概率。下面，就以一個案例來說明馬爾可夫信源的極限熵的求解方法。

舉例：設有二元2階馬爾可夫信源，其原始信源X的符號集為{x1=0，x2=1}，其狀態轉移圖如下圖所示，求該馬爾可夫信源的極限熵。

解：（1）首先求解各狀態極限概率

由題意可得，該信源狀態空間共有4種不同的狀態e1，e2，e3，e4，即E∈{e1=00，e2=01，e3=10，e4=11}，由圖可知信源的一步轉移概率為：

這樣二元2階信源X∈{0，1}得到的狀態空間{e1，e2，e3，e4}和相應的一步轉移概率構成的2階馬爾可夫信源模型為：

求解以上方程組，則可算出該信源的狀態極限概率為：

各個極限概率滿足：

（2）求解該信源的極限熵

計算出該馬爾可夫信源的狀態極限概率后，根據狀態轉移圖提供的一步轉移概率，我們就可以計算出這個2階馬爾可夫信源的極限熵 了。

3 總結

馬爾可夫信源屬于有記憶信源，當信源在某個狀態時，只取決于這個時刻發出的符號與之此時刻之前的符號狀態有關。馬爾可夫信源不同于一般有記憶信源之處在于它用符號之間的轉移概率來描述符號間的關聯性，即馬爾可夫是以轉移概率發出每個信源符號的。計算馬爾可夫信源的極限熵時，首先要考慮該信源的極限熵是否存在，若極限熵存在，則需先計算出該信源各個符號狀態的極限概率，再根據極限概率和轉移概率求出極限熵。通過計算極限熵，我們可以計算出信源存在的冗余度，為信源的編碼奠定基礎。

[參考文獻]

[1]陳運.信息論與編碼.北京：電子工業出版社，2009.

[2]張旭東，等.圖像編碼基礎和小波壓縮技術.北京：清華大學出版社，2004.

[3]吳家安，等.語音編碼技術及應用.北京：機械工業出版社，2006.

[4]鐘家愷.通信原理教程.北京：科學出版社，2003.

[5]鐘玉琢.多媒體技術基礎與應用.北京：清華大學出版社，2008.