平均互信息量的案例式教學方法研究

孫 兵 李建楠 李景文 陳 杰

(北京航空航天大學 電子信息工程學院， 北京 100083)

“信息論基礎”是一門以概率論、隨機過程、數理統計和線性代數等學科為基礎，研究信息在系統中的存儲、傳輸、處理和控制的綜合課程，是通信工程、電子信息工程、信息對抗等專業培養方案中的主干課程[1]。由于該課程中的概念高度抽象，理論性強且有大量的數學分析過程，學生理解起來并不容易[2]。對于“平均互信息量”這種較為抽象但極為重要的概念來說，如果僅靠傳統的灌輸式教學方法，學生接受難度較大，且興趣度不高，學生很難理解其中蘊含的理論指導意義。同時鑒于傳統課程教學中較少將信息論中的概念直接聯系實際，學生容易產生信息論無用的錯覺[3]。

傳統的教學方法主要可以分為兩類，一類是教師灌輸式，一類則是學生自主學習講解式[4]。第一類方法目前仍是主流，這種方法教學效率較高，但是學生的獨立思考問題的能力不能得到鍛煉，偏離了教育的初心；第二類方法可以極大地調動學生積極性，培養學生主動思考能力，但需占用學生大量的課余時間，并且不能幫助學生認識重點、分清主次。近年來，多名教師在教學方式上進行改革探索[5-6]，取得了一定的成效。

案例式教學方法最早起源于哈佛的情景案例教學課，目前已發展成為經濟學及管理學類學科的重要教學形式[7]。信息論是一門與通信系統理論有著密切關系的學科[8]，邏輯推理過程較多，相對比較枯燥，在教學過程中適當引入案例式教學，不僅可以豐富課堂內容，也可以激發學生的熱情，讓學生更多地參與到課堂中，促進師生之間的互動交流。

教學工作應具體情況具體分析，對于不同特點的學科應該采取不同的教學方法。對于信息論這種專業體系中的主干基礎課程，貿然采用自主學習的方法，可能適得其反。為此，結合數十年的教學經驗，嘗試在平均互信息量中引入案例式教學，即在第一類教學方法中進行改進，通過案例引入，將學生帶到特定場景中，在解決問題的過程中學習知識，提高學生的參與度和興趣，培養學生獨立思考的能力。通過帶著問題深入剖析現象背后的理論依據，在回答問題的過程中掌握平均互信息的概念，理解利用理論工具指導編碼實踐的原理，讓學生體會信息論基礎課程的現實意義——不僅僅是知道怎么做，更懂得為什么這么做。

以新冠肺炎核酸檢測為背景，提出探尋“萬里挑一”核酸檢測案例的優化策略問題，引導學生利用信息論基礎的相關知識自行思考解答；在解決這個問題的過程中逐步闡述平均互信息量的概念、性質及物理意義，然后類比此案列區分平均互信息量和信息熵這兩個容易混淆的基本概念；最后利用平均互信息的概念量推導出最少檢測次數。既讓學生深刻理解概率信息的本質，又能讓學生體會到信息論的實用價值。此外在教學過程中適當嵌入思政要素，在信息論基礎專業課程中潛移默化地影響和教育學生。

1 案例教學設計

1.1 案例引入

圍繞“核酸檢測”這一時事熱點話題，提出探尋“萬里挑一”核酸檢測案例的優化策略問題。在帶領學生解決問題的同時，向學生闡述什么是“平均互信息量”“平均互信息量”與“信息熵的區別”以及如何利用“平均互信息量”解決實際問題。

1.2 重難點分析

1)重點內容

(1)平均互信息量物理含義：平均互信息量含有多種物理含義，首先從直接的定義可以看出消除的不確定性；再根據先驗信息熵和條件熵的數學計算式可以得到等效定義，可以看出平均互信息量表征了輸入與輸出的關聯性的統計度量。

(2)平均互信息量基本性質：非負性，兩個離散事件的互信息量可正可負，但兩個集合的平均互信息量為非負，需要注意統計平均帶來的差異，而且平均互信息量等于零時正好對應兩個集合互相獨立，表明平均互信息量是相關性的一種度量；互易性，平均互信息量的計算公式中可交換輸入輸出集合的位置，反映了平均互信息量反映的是系統獲取信息的能力，從發送端和接收端不同的角度來看，可以獲得相同的信息感知能力；極值性，根據不等式的性質和平均互信息量的計算公式，可推導平均互信息量的兩個上限，輸入端的信息熵以及輸出端的信息熵，進一步表明平均互信息量只是消除的那部分不確定性，不會比先驗的不確定性大。

當然平均互信息量還有更加復雜的性質，如上凸和下凸特性，將在離散信道部分進一步詳細闡述。

2)難點內容

平均互信息量與信息熵的區別是本部分教學的難點內容。平均自信息量，即信息熵，是表征隨機事件的不確定程度的定量描述，但實際上往往無法準確獲取全部的信息熵，如同無可能準確知道一個封閉系統中可能的熱力學狀態數目以及熱熵，而只能通過溫度的變化來衡量系統能量的變化。這些相對變化往往更是人們感興趣的那部分信息，對應信息熵就是消除掉的部分先驗的不確定性，即平均互信息量。因此平均互信息量只是先驗信息熵的一部分，而且是通過某些系統觀測獲得的那一部分“信息”。這兩個概念是信息論基礎中極為重要的概念，但對于初學者來說非常容易混淆，務必從物理含義上加以區分。可以說“信息熵”是最基本的“信息”，“平均互信息量”是最重要的“信息”，通常前者難以準確或者全部“發掘”，只要在極特殊的情況下才能被揭露無疑，此時“平均互信息量”就等同于“信息熵”。關于該難點的講授，需要采用具體化的實例來引導學生主動區分二者的區分，明白內在聯系，為此課程從學生熟悉的“核酸檢測”來理解這些抽象的概念。

2 關鍵教學環節設計

2.1 核酸檢測案例引入

首先提出“萬里挑一”問題：假定某1萬人居住的社區中有1名無癥狀感染者，需要做全員核酸檢查。數學上不難發現，總共的狀態數定義為X，有10000中可能；假設全員核酸檢測的結果為Y。則這1萬人整體不確定性為H(X)=log10000 bit，全員檢測后剩余不確定性為H(X|Y)=0，檢測后消除不確定性為H(X)-H(X|Y)=log10000 bit。此時最多要測10000次才可以確定誰是感染者，這顯然是不能接受的。那么是否有更高效的檢測方式呢？要找出患者最少需要測幾次呢？要解決這個問題，需要了解平均互信息量。

2.2 平均互信息量定義

聯合離散級XY上，X與Y的平均互信息量可定義如下：

I(X;Y)=H(X)-H(X|Y)

(1)

根據定義式可推導出其計算式：

(2)

其物理意義為：在聯合離散集XY上，由Y的全部事件提供的關于集X的平均互信息等于X的信息熵與Y已知條件下X的條件熵的差值。

2.3 平均互信息量性質

平均互信息量有3個基本性質：

1)非負性

由平均互信息的定義式可推得

(3)

當且僅當X與Y獨立時，等號成立，因此平均互信息量非負得證。具體到核酸檢測的問題上，如果檢測報告是血型信息，那么平均互信息量就是零，對診斷患者毫無用處。

2)互易性

由定義式顯而易見，互換XY位置定義不變，因此滿足互易性。互易性的物理意義是輸出Y反應出的X的信息，與輸入X反應的輸出Y的信息相當，即從信息的角度來講輸入與輸出可逆。

3)極值性

(4)

當且僅當p(xi|yi)時等號成立，所以平均互信息量不大于原集合的信息熵。對應的物理意義為消除的不確定性不可能超過先驗的不確定性，最多獲取全部的不確定性，換句話說，XY的互信息量I(X;Y)一定不超過X的熵(自信息量)H(X)，此時的系統是最優的系統，通過Y能夠準確獲取X的全部信息。在此基礎上可以獲得各種熵以及平均互信息關系的維拉圖，如圖1所示。該圖可直觀反映各物理量之間的等式和不等數量關系，以及各種熵的非負性。

圖1 各種熵之間的關系

到此可以明晰信息熵和平均互信息量的區別，即信息熵是待測樣本本身所包含的“全部信息”，而平均互信息量是通過某種方式所測量到的該樣本的“部分信息”。

2.4 探尋“萬里挑一”核酸檢測案例的優化策略

為了加強學生利用平均互信息量概念和性質進行理論計算和實際應用，再次結合核酸檢測的問題，詳細講解例題：在已知待測樣本的狀態數為N(N=10000)后，若想要測量次數最少，則需要每次測量所提供的平均互信息量I(X;Y)最大。

1)單檢方式

對于單檢方式，顯然最多需要N次檢測。檢測前的不確定性為H(X)=logN≈13.2877 bit，定義檢測的結果為Y1，則

(5)

(6)

可得單次檢測的平均互信息量為

(7)

2)混檢方式

如果采用5合1混檢方式[9]，易知最多需要5+N/5次檢測，定義單次5合一混檢的結果為

(8)

同理可得單次混檢的平均混檢的平均互信息量為

可見通過混檢方式大大增加了單次檢測的平均互信息量，因此能顯著減少檢測次數。圖2展示了幾種不同的混檢策略的效果。

圖2 不同混檢策略的結果

3)最優檢測策略

那么什么才是最優的檢測策略呢？顯然不是混檢次數越大，單次檢測的信息量越大，因為對于極端情況全部混在一起檢測，是沒有意義的。那么如何才能使單次檢測消除的不確定性最大？

換個角度分析，單次實驗的結果的最大平均互信息量為

I(X;YM)=log2=1 bit

(9)

2.5 課程思政的設計

1)信息理論與生活實踐

該案例教學中，一開始就將同學們多次接觸的核酸檢測事件聯系起來，通過分析平均每一次檢測所獲得的信息量，這正是平均互信息量，也就是信息的本質。特別是隨著混檢人數的增加，在理論極限條件下，核酸檢測總次數可減少至驚人的14次！可見利用平均互信息量的概念和性質，可以找到理論上的不可能超越的極限值。通過核酸檢測策略這個實例可以看出，平均互信息量的概念可以為實際問題提供理論極限，對實踐有非常重要的指導意義，進而引起學生對信息論強烈的學習興趣。

2)實際案例中的中國成就

雖然核酸檢測優化檢測策略中給出了理論極限，但其本身沒有給出具體的檢測方法，但指明了方向，具體的實現需要同學們自己思考。特別是在實施過程中要考慮效率、精度等影響，中國政府在疫情防控過程中制定了一系列的中國標準，如2020年7月21日，國務院印發了《新冠病毒核酸篩查稀釋混樣檢測技術指引》；2020年8月17日，國務院制定了《新冠病毒核酸10合1混采檢測技術規范》；2020年8月27日，國務院印發進一步推進新冠病毒核酸檢測能力建設工作方案的通知。

我們更是取得舉止矚目的耀眼戰績，如2020年5月14日武漢會戰，10天排查1000萬人；2020年6月11日北京疫情，23天排查1100萬人；2020年10月11日青島5天排查1100萬人。這些數據的背后必然會讓每個學生感動和感恩，從而更加自信地學習和生活。

3 結語

通過上述案例教學來講授平均互信息量的概念和性質，可以實現以下效果：

(1) 從核酸檢測案例的優化策略問題引入，讓學生帶著問題從信息論的角度尋求答案和背后的理論依據。在求解問題的過程中明確平均互信息量的定義和物理意義，在此基礎上帶領學生推導平均互信息量的三條基本性質，完成基本課堂知識的傳授。

(2) 通過“萬里挑一”核酸檢測問題的實例，以實際問題幫助學生區分信息熵(平均自信息量)和平均互信息量這兩個極易混淆的物理量之間的區別，并通過利用課堂所學知識尋求問題的最優解，將抽象的方法應用到工程實踐，加強學生對概率信息這一高度抽象概念的理解。

(3) 在教學方法方面，從熟悉的事件出發，帶著問題學習新內容，特別是引導學生對概率信息的本質進行深層次的思考，強調“信息論”是來源于工程實踐，更是指導工程實踐的重要理論。