信息論教學中熵的一種引入方法

常祖領

摘 要 熵是信息論中的一個最基本的概念，只有接受了熵的意義，學生們才有可能理解信息論中的其它概念和理論。因此在信息論教學中熵的引入是最基本和最重要的一步。通過多年信息論教學，筆者總結出一種引入熵的方法，這個方法更加直觀和系統，使這個概念更容易被學生理解和接受。

關鍵詞 信息論 熵 公理化方法

中圖分類號：G424 文獻標識碼：A DOI：10.16400/j.cnki.kjdkx.2015.06.053

One Introduction Method of Entropy in Teaching Information Theory

CHANG Zuling

（School of Mathematics and Statistics， Zhengzhou University， Zhengzhou， He'nan 450001）

Abstract Entropy is the most elementary concept in information theory and students can understand the concepts and theories in information theory only if they accepted meaning of entropy. So introducing entropy is the most elementary and important step in the course in information theory. Through years of teaching information theory， I summarize one more intuitive and systematic method to introduce entropy which makes students can understand and accept entropy more easily.

Key words information theory; entropy; axiomatic approach

在信息論這門課程中，“熵”（Entropy）是一個非常重要的概念。“熵”首先出現于熱力學第二定律中，是仙農在1948年他的開創性論文“通信中的數學原理”①中，把這個概念借用于信息論中來表示信息量的多少。通過熵，我們可以把信息進行量化，從而把使用豐富的數學工具來分析信息變成了可能，從而奠定了現代信息論的基礎。②在信息論的教學中，如何引入熵這個基本概念，就是一個非常重要的問題。如果引入得不好，則學生對熵不理解，無法接受這個概念，從而影響進一步的信息論教學效果。

在多種信息論教材中，引入熵的方法多種多樣，大概可以歸結為三種，一種是直接給出熵的定義而不加推導引入;③一種是先考慮變量各個取值的自信息，然后再求期望推出熵的定義;④一種是先分析性質，再通過證明推出熵的定義。⑤在多年的信息論教學中，筆者綜合了各種方法的優點，總結出一種新的引入熵的方法，這種方法更加直觀和系統，可以讓學生容易接受，教學效果良好，現與從事信息論教學的各位同仁們交流分享。

我們在這里詳細介紹引入熵的各個步驟，力求清晰明了：

第一步：定義信源。

在引入熵之前我們定義信源。詳細說明信源是產生信息的源頭，其間可以通過舉例來說明。為了研究方便，對信源建立數學模型。我們用隨機變量表示信源并只考慮離散型隨機變量。令表示離散型隨機變量， ={，，…，}表示的取值字母表。的概率質量函數（ ）為：（） = { = }，，或者 = { = }，。

第二步：定義信息。

然后我們提出信息的概念。因為隨機變量的取值是依對應的概率相應出現的，所以在隨機變量的值出現之前，我們一般不能確定它的確切取值，因此隨機變量有不確定性。例如：在拋擲硬幣時，我們不知道結果是正面或是反面;從袋子中取球時，我們不知道會取中那個;買彩票時，我們不能確定會不會中獎，等等。當隨機變量的值確定之后，不確定性消失，等價于從中獲得一些信息。在這種意義下，我們把隨機變量的信息與隨機變量的不確定性等價起來，我們稱隨機變量的信息指的就是隨機變量的不確定性。這里我們一定要讓學生理解隨機變量的不確定性即信息這一點。

第三步：提出信息的度量。

有了信息的概念，自然就會產生這樣的問題：隨機變量的信息（不確定性）該如何度量？我們該如何判斷隨機變量的信息（不確定性）的大小？顯然，隨機變量的不確定性由隨機變量的概率分布決定。但用概率分布來表示不確定性非常麻煩，例如可能不同的概率分布會具有同樣的信息。最重要的是概率分布不能量化，因此我們需要考慮信息的表示問題。

我們定義一個函數（）來表示隨機變量包含的信息（不確定性）。這個函數只與的概率質量函數有關，而與中的具體值是沒有關系的，即（） = （，，，），0≤≤1， ?= 1， = ∣∣。

那么函數（）應具有哪些性質呢？

第四步：（）的性質

我們在這里給出三條（）必須要滿足的性質：

（1）（連續性）概率的些許改變應使隨機變量的不確定性也只發生些許改變，所以（）應關于， = 1，2，…，∣∣，連續。

（2）（單調性）當的可能取值服從均勻分布時，則的可取值越多，它的不確定性也應越大，即：

（，，…，）<（，，…，）

（3）（可加性）我們來考慮如下實驗：假設中元素服從均勻分布時，把其中元素分成一些不交集合。

，，，，∣∣= ， = ?= ∣∣

首先以對應于集合大小的相應概率選取一個集合，即（）= ，然后再等概地從被選集合中選取一個元素。因為endprint

我們有（） = （∣）（） = ? = 。

這說明以我們上面定義的方式選取中元素的概率與直接以等概選取中元素的概率是一樣的，所以這兩種不同的方式所蘊含的信息也是一樣多的。

例如，一個袋子中有個不同顏色的球，則直接從袋子中取球的概率是等概的。如果先把球分裝到各個小袋中，再把這些小袋裝入大袋。選取時先從大袋中取一個小袋，然后再從小袋中取一個球，這時取各個球的概率仍為等概，所以這兩種方式所包含的信息是一樣多的。又例如：100個學生，編號為00～99，隨機從中選取一個編號，或先隨機選取編號第一位后，再隨機選取編號第二位。它們的不確定性是一樣的。

第一種方式的不確定性（信息）為：（，，…，）

在第二種方式中，選取集合，，…，的不確定性為：（，，…，，）。選定一個集合后，再從集合中選取元素這個過程也有不確定性，這個過程的平均不確定性為：

（）€祝ù又醒∪≡氐牟蝗范ㄐ裕？

= （，，…，）

所以我們有

（，，…，，） = （，，…，） + （，，…，）

綜上，我們所定義的用來衡量隨機變量的不確定性（所蘊含的信息）的函數（）應具備如下性質：

（1）（連續性）（，，…）對所有概率密度函數，，，，0≤≤1， = 1是連續的;

（2）（單調性）（，，…，）<（，，…，）對所有正整數都成立;

（3）（可加性）對于正整數，…，， =

（，，…，） = （，，…，） + （，，…，）

下面我們將證明性質（1）—（3）唯一定義了一個函數（）。

第五步：根據性質推導熵的形式。

在這里我們用定理的方式確定唯一的熵函數。

定理：一個函數（）滿足以上性質（1）—（3），當且僅當它有如下形式：

（，，…） = ? 或（） = （）

其中>1作為對數的底，且令00 = 0。

這個定理的證明較長，在這里就不列出了。教學中證明過程也可以省略，只需要讓學生知道上面三條性質唯一決定了熵的形式即可。在我們的教學中也是省略的，因為以前給出詳細證明時，學生有時會產生信息論很難很復雜的想法，從而有退縮心理。

第六步：熵的定義。

至此我們就可以順理成章地給出熵的定義了。

定義：一個離散型隨機變量的熵（）定義為：

（） = （） （） = ? （ = ∣∣，>1）

當 = 2時，（） = （） （）熵的單位為比特（）。

給出定義，然后再給出一些解釋，包括熵的單位，熵的由來，熵的意義等，這樣就使得學生對熵有一個系統的了解，為以后的教學奠定較好的基礎。

在這里我們給出的引入熵的方法其實是一種數學中常用的方法：公理化方法。為了推導出熵這個概念，我們先從熵函數應具備的基本性質入手，然后再尋找具有要求性質的函數，因為該函數唯一，所以這個函數就是我們唯一的選擇。我們可以利用這點來保證熵的定義的合理性。

通過上面的步驟，我們逐步推導出熵的定義，并在推導過程中我們又對熵的性質做了分析，使得學生更容易接受熵的概念，并對熵有較全面的了解。經過實際的教學檢驗，這種引入熵的方法效果較好，學生對熵的理解比較深入，并會讓學生對信息論產生興趣。

注釋

①②C. E. Shannon， “A Mathematical Theory of Communication”（通信中的數學原理）[J].The Bell System Technical Journal，vol. 379-423， 623-656， July， October， 1948.

③ T. M. Cover， J. A. Thomas， 信息論基礎（第二版） [M].阮吉壽，張華，譯.機械工業出版社，2008.

④ 葉中行.信息論基礎（第二版）[M].高等教育出版社，2007.

⑤ S. Roman， Coding and Information Theory （信息論與編碼理論）[M].Springer New York，1992.endprint