《信息論與編碼技術》課程中平均互信息的教學探討

陳燕燕

（華僑大學 廈門工學院，福建 廈門 361021）

《信息論與編碼技術》課程中平均互信息的教學探討

陳燕燕

（華僑大學 廈門工學院，福建 廈門 361021）

平均互信息是信息論與編碼技術中用來計算信道容量、信息率失真函數和信道剩余度的重要物理量。通過一道典型例題來講解求平均互信息的不同方法：根據平均互信息的定義求、根據損失熵求、根據噪聲熵求、根據信息熵的強可加性求，最后用MATLAB語言進行編程驗證，實驗表明四種方法求出的結果是一致的。在課堂教學時，教師應鼓勵學生靈活運用各種方法，做到舉一反三。

平均互信息；定義法；損失熵法；噪聲熵法；強可加性法

《信息論與編碼技術》是電子類相關專業的一門重要的專業必修課，其中自信息量、信息熵、互信息都是為學習平均互信息做鋪墊的，而平均互信息又是求解信道容量、信道剩余度和信息率失真函數的重要工具。在教學過程中，學生反映平均互信息概念抽象，計算復雜，公式頗多，難以區分。由于學生的基礎相對薄弱，不能靈活運用公式推導和基本性質相結合進行求解。因此，在課堂教學中，采取淡化數學推導，重點講清平均互信息的實際意義、作用等，關鍵是如何應用平均互信息的定義、信息熵的性質等計算出平均互信息。平均互信息的計算方法有多種，如根據平均互信息的定義求、根據損失熵求、根據噪聲熵求、根據信息熵的強可加性求等。

下面通過教材[1]一個典型例題來探討平均互信息的四種求解方法，并通過MATLAB編程來驗證結果的正確性。

一、例題講解

題目：已知信源X的概率p（x）和信道傳遞概率p（y|x）分別如下所示：

求平均互信息I（X；Y），并用MATLAB驗證結果。

首先分析題目：題目中只給出了兩種概率分布，而對于輸出符號Y的概率P（y）、聯合概率P（xy）和條件概率P（x|y）均未給出，因此，必須先求出它們，以方便下面進行求解。

求解方法：為了簡單直觀，這里教學生采用矩陣的方法來求解。

注意：這里跟實際矩陣的求法又有區別，這里在上課時要重點強調。

注意：這里也要注意求條件概率P（x|y）時，尤其要弄清楚對應關系。

下面逐一介紹求平均互信息的各種方法，以及每種方法的重點、難點和注意事項。

1.根據平均互信息的定義求。平均互信息的定義[2]為：互信息I（x，y）在兩個概率空間X和Y中的統計平均值稱為平均互信息，代表接收到輸出符號Y后平均每個符號所獲得的關于輸入X的信息量。

分析求解：平均互信息既然是互信息的平均值，那就利用概率論與統計課程中學到的求平均值的方法來求解。即：

注意：在此種方法中，學生對于求統計平均已經忘記了，所以容易將P（xy）寫成P（x），導致錯誤的結果。

2.根據損失熵求。損失熵的定義為：H（X|Y）稱為損失熵，表示在接收端收到輸出變量Y的符號后，對于輸入端的變量X尚存在的平均不確定性。

分析求解：由于H（X）是在接收到輸出Y以前，關于輸入變量X的先驗不確定性的度量。可見，通過信道傳輸后排除了一些不肯定度，從而獲得了部分信息，就是平均互信息。故I（X；Y）=H（X）－H（X|Y）

注意：在此種方法中，學生容易把H（X|Y）寫成H（Y|X），導致錯誤的結果。

3.根據噪聲熵求。噪聲熵的定義為：H（Y|X）表示在輸入已知的前提下，對輸出變量存在的不肯定度。接收端收到的關于輸入X的平均信息量I（X；Y）加上H（Y|X）等于信源Y的熵H（Y）。H（Y|X）反映了信道中噪聲源的不確定性，故叫噪聲熵。

分析求解：既然H（Y）=I（X；Y）+H（Y|X），則I（X；Y）= H（Y）－H（Y|X）。

注意：在此方法中，學生容易把H（Y|X）寫成H（X|Y），導致錯誤的結果。

4.根據信息熵的強可加性求。信息熵的強可加性[3]：

分析求解：由于熵的強可加性有兩個公式，所以這里又有兩種方法來求解。

方法一：利用公式（1）求解；

因為I（X；Y）=H（Y）－H（Y|X），將公式（1）帶入可得，

方法二：利用公式（2）求解；

因為I（X；Y）=H（X）－H（X|Y），將公式（2）帶入可得，

可以看出，公式（3）和公式（4）是一樣的，因此，不管用哪個強可加性公式，最后的結果都是一樣的。所以接下來利用I（X；Y）=H（Y）+H（X）－H（XY）來求平均互信息。

H（X）和H（Y）在上面已求出，所以這里只需求聯合熵H（XY）即可。

故I（X；Y）=H（Y）+H（X）-H（XY）=0.722+0.971－1.6855= 0.0075比特/符號

注意：學生在記H（XY）=H（X）+H（Y|X）這個強可加性公式時，總是誤把H（Y|X）記成H（X|Y），這里教學生一個記憶的方法，就是看前面的被加數是什么，如果前面的被加數是H（X），那么后面的加數就是條件為X的噪聲熵H（Y|X）；相反，如果前面的被加數是H（Y），那么后面的加數就是條件為Y的損失熵H（X|Y）。但是在求平均互信息時，不管用哪個強可加性公式，最后都是用聯合熵H（XY）來求平均互信息。

二、MATLAB編程及實驗結果分析

利用MATLAB編程實現上述四種求平均互信息的方法，程序在此不一一列出，但程序運行結果顯示都為0.0075，與上述四種計算方法計算出來的結果是一致的。

三、結論

通過一道求解平均互信息的例題，使用四種方法：根據平均互信息的定義求、根據損失熵求、根據噪聲熵求、根據信息熵的強可加性求，并利用MATLAB語言編程驗證結果是正確的。表明：定義求解需要注意是利用互信息乘以聯合概率；根據損失熵求解需要知道損失熵是H（X|Y）；根據噪聲熵求解需要知道噪聲熵是H（Y|X）；根據信息熵的強可加性求解，需要區分強可加性公式中到底用的是H（X|Y）來轉化還是利用H（Y|X）來轉化，但是不管用哪個，最后都是用聯合熵H（XY）來求解。在教學中盡力開拓學生的思維，讓其注意每種方法的區別和聯系，并選擇自己擅長的方法來求解，達到能夠舉一反三的目的。

[1]傅祖蕓.信息論—基礎理論與應用[M].北京：電子工業出版社，2011.

[2]曹雪虹.信息論與編碼[M].北京：清華大學出版社，2004.

[3]李亦農.信息論基礎教程[M].北京郵電大學出版社，2005.

G642.41

A

1674-9324（2014）28-0091-03

陳燕燕（1986-），女，江西贛州人，華僑大學廈門工學院電子信息工程系助教，碩士研究生，研究方向：網絡，編碼。