基于數(shù)值實(shí)驗(yàn)的信息論課程教學(xué)方法

田 園，覃振權(quán)，惠 煌

（大連理工大學(xué) 軟件學(xué)院，遼寧 大連 116620）

信息論是當(dāng)代信息科學(xué)的課程體系，特別是網(wǎng)絡(luò)與通信領(lǐng)域課程體系的核心知識(shí)基礎(chǔ)，這些課程涵蓋數(shù)字通信、信號(hào)處理、因特網(wǎng)與物聯(lián)網(wǎng)、無線與移動(dòng)通信技術(shù)、網(wǎng)絡(luò)多媒體及網(wǎng)絡(luò)安全等眾多領(lǐng)域［1－2］。在概念層面，學(xué)生在信息論課程中所學(xué)習(xí)到的熵、互信息量、信道容量、率失真函數(shù)等一系列基本概念為全面領(lǐng)會(huì)和掌握其他網(wǎng)絡(luò)與通信課程的重要概念提供了統(tǒng)一的概念框架［3－6］。在方法層面，由于信息論所研究的是有關(guān)信息處理和傳輸?shù)钠毡橐?guī)律，因此學(xué)生在信息論課程所學(xué)到的這些規(guī)律，以及針對(duì)這些規(guī)律的分析方法，構(gòu)成理解和掌握其他眾多課程的技術(shù)性內(nèi)容的基石。信息論自誕生以來，始終是處于信息科學(xué)領(lǐng)域的前沿學(xué)科，其新思想和新成果至今仍不斷涌現(xiàn)、發(fā)展迅猛，對(duì)當(dāng)代信息科學(xué)，特別是網(wǎng)絡(luò)與通信科學(xué)領(lǐng)域所起的作用越來越舉足輕重［2－3，7－8］。也正是在這里，這一課程的傳統(tǒng)教學(xué)方法已越來越難以適應(yīng)信息論學(xué)科及其應(yīng)用的發(fā)展需要，亟須探索相應(yīng)的新手段和方法。

1 基于數(shù)值實(shí)驗(yàn)的新教學(xué)方法

1.1 傳統(tǒng)講授方法面臨的瓶頸

信息論課程的性質(zhì)在傳統(tǒng)上屬于理論型課程，因此對(duì)其核心概念與規(guī)律的講授方法主要側(cè)重于理論分析。目前這種教學(xué)方法面臨以下瓶頸，亟須解決：

（1）以理論分析為主的教學(xué)方法要求學(xué)生具備較為全面的數(shù)學(xué)基礎(chǔ)和較強(qiáng)的抽象思維能力，因而在很大程度上限制了在本科階段建立起較為扎實(shí)的信息論知識(shí)基礎(chǔ)與運(yùn)用能力。

（2）當(dāng)前，信息論以前所未有的廣度與深度滲透于當(dāng)代信息技術(shù)的各個(gè)分支，由此對(duì)IT工程師在技術(shù)創(chuàng)新與研發(fā)中熟練運(yùn)用信息論的基礎(chǔ)知識(shí)的能力提出了前所未有的高要求［3，6－7］。然而傳統(tǒng)的教學(xué)方法難以使大多數(shù)學(xué)生對(duì)信息論基礎(chǔ)知識(shí)獲得準(zhǔn)確和深入的認(rèn)知，從而影響了他們對(duì)信息論知識(shí)的應(yīng)用能力。

1.2 新教學(xué)法思路

面對(duì)以上挑戰(zhàn)，我們?cè)诮虒W(xué)實(shí)踐中探索一種基于數(shù)值實(shí)驗(yàn)的新教學(xué)方法教授信息論。通過2年多的不斷實(shí)踐與改進(jìn)，取得了較為顯著的成效。采用這一新方法的思路歸納如下：

（1）從分析本科階段信息論“難學(xué)”的根源出發(fā)，發(fā)現(xiàn)學(xué)習(xí)的難點(diǎn)并不完全在于要求較多和較深的數(shù)學(xué)預(yù)備知識(shí)，更為本質(zhì)的難點(diǎn)在于信息論這一學(xué)科本身的很多規(guī)律屬于所謂“概率范疇的精確規(guī)律”［8］，例如作為理解信息論諸多規(guī)律基礎(chǔ)的獨(dú)立隨機(jī)變量的大數(shù)定律以及漸進(jìn)典型集合的奇特性質(zhì)。這類科學(xué)規(guī)律與經(jīng)驗(yàn)、直覺迥異，僅從理論分析（雖然并不復(fù)雜）本身來解釋，初學(xué)者仍感到抽象和神秘，也就難以運(yùn)用。為此，需通過新的教學(xué)方法來幫助學(xué)生認(rèn)知和領(lǐng)會(huì)這類科學(xué)規(guī)律的精髓。信息論的其他核心規(guī)律，如信道編碼的Shannon定理和率失真定理等，也都有類似情形。

（2）當(dāng)今信息論對(duì)眾多網(wǎng)絡(luò)技術(shù)領(lǐng)域的應(yīng)用，不僅強(qiáng)調(diào)模型的理論分析，而且日趨強(qiáng)調(diào)通過大規(guī)模數(shù)值計(jì)算來解決實(shí)際問題［6－7］。傳統(tǒng)的以理論分析為主的教學(xué)方法已不適應(yīng)這一學(xué)科發(fā)展趨勢(shì)，亟須建立一種更為面向工程應(yīng)用的教學(xué)方法，使學(xué)生在未來能夠順利地從“所知”過渡到能夠“所用”。

1.3 基于數(shù)值實(shí)驗(yàn)的信息論課程教學(xué)新方法

基于數(shù)值實(shí)驗(yàn)的信息論課程教學(xué)新方法的實(shí)質(zhì)，是以計(jì)算機(jī)軟件為工具，實(shí)現(xiàn)對(duì)典型信道、信源、網(wǎng)絡(luò)等實(shí)體的建模，在此基礎(chǔ)上通過數(shù)值計(jì)算來展示相應(yīng)的科學(xué)規(guī)律。較之傳統(tǒng)的以理論分析為主的教學(xué)方法，以及主要用于驗(yàn)證目的的仿真實(shí)驗(yàn)教學(xué)方法［9－15］，這一新方法有以下優(yōu)點(diǎn)與特色：

（1）使以往較為抽象的概念模型與規(guī)律具體化和形象化，便于學(xué)生準(zhǔn)確理解，尤其強(qiáng)調(diào)學(xué)生通過開放的實(shí)驗(yàn)軟件自主觀察，并以實(shí)驗(yàn)觀察為基礎(chǔ)提出問題。

（2）由于信息論的眾多模型本質(zhì)上屬于概率性模型，因此理論分析僅能限于概率估計(jì)和均值分析，初學(xué)者很難借此準(zhǔn)確領(lǐng)會(huì)這些分析結(jié)論的具體涵義，而數(shù)值實(shí)驗(yàn)則可以在真正隨機(jī)（而非“平均”）的意義上來進(jìn)行，使學(xué)生直接看到真正的隨機(jī)過程的結(jié)果與規(guī)律，這對(duì)學(xué)生領(lǐng)會(huì)那些“概率范疇的精確規(guī)律”尤有助益。

（3）當(dāng)前信息論的主要發(fā)展趨勢(shì)之一就是越來越多的理論成果表現(xiàn)為針對(duì)求解各類實(shí)際應(yīng)用問題的算法形式［6－7］，基于數(shù)值實(shí)驗(yàn)的教學(xué)方法與信息論的學(xué)科這一發(fā)展趨勢(shì)完全一致。

基于數(shù)值實(shí)驗(yàn)的信息論課程教學(xué)方法，不是簡(jiǎn)單補(bǔ)充傳統(tǒng)的理論分析型教學(xué)或僅為理論分析提供驗(yàn)證，而是既為理論分析提供驗(yàn)證，同時(shí)也作為引導(dǎo)正確的理論分析與結(jié)論的啟發(fā)性方法。在這里，傳統(tǒng)的理論分析教學(xué)環(huán)節(jié)恰好成為驗(yàn)證數(shù)值實(shí)驗(yàn)觀察結(jié)果的一個(gè)步驟（見圖1）。我們的教學(xué)實(shí)踐表明，后一種功效對(duì)學(xué)生更有價(jià)值，它也往往極大地激發(fā)起學(xué)生深入探索的興趣與熱情。這一特點(diǎn)也與數(shù)值實(shí)驗(yàn)在信息論研究中的角色相一致。

圖1 數(shù)值實(shí)驗(yàn)在信息論課程教學(xué)中的角色（陰影部分）

2 基于數(shù)值實(shí)驗(yàn)的信息論課程教學(xué)案例

上一節(jié)概述了基于數(shù)值實(shí)驗(yàn)的信息論課程教學(xué)方法的主要思想與特點(diǎn)，這一節(jié)具體闡述2個(gè)典型的教學(xué)案例。

（1）案例之一是作為信息論領(lǐng)域眾多科學(xué)規(guī)律基礎(chǔ)的漸進(jìn)典型集合的性質(zhì)。這一規(guī)律反映了熵這一信息論核心概念的本質(zhì)特征。概括地講，漸進(jìn)典型性質(zhì)是說，一組獨(dú)立的同分布隨機(jī)變量x1，…，xn無論具有怎樣特殊的概率分布，總存在這樣一種樣本子集，隨著n的增長(zhǎng)，該子集相對(duì)于總體樣本數(shù)量所占比例越來越小，而樣本落在該子集中的概率卻越來越大，并最終接近1。對(duì)這一顯著異于直觀經(jīng)驗(yàn)的統(tǒng)計(jì)規(guī)律采用數(shù)值實(shí)驗(yàn)方法進(jìn)行教學(xué)，我們?yōu)閷W(xué)生展示以下數(shù)值實(shí)驗(yàn)。

輸入?yún)?shù)：

獨(dú)立隨機(jī)變量的個(gè)數(shù)n；參數(shù)ε；隨機(jī)變量X遵循的概率分布P［X］等。這些輸入可由學(xué)生任意設(shè)置。

數(shù)值計(jì)算步驟：

①根據(jù)隨機(jī)變量的概率分布計(jì)算熵H［X］；

②計(jì)算出樣本集An（ε）＝ ｛（x1，…，xn）：2－n（H［X］＋ε）≤p（x1，…，xn）≤ 2－n（H［X］－ε）｝；

③根據(jù)概率分布P［X］生成足夠多的聯(lián)合樣本（x1，…，xn），并實(shí)際統(tǒng)計(jì)落在集合An（ε）中的樣本所占比率（%）并以直方圖顯示；

④增大n，重復(fù)步驟1到3，并觀察落在集合An（ε）中的樣本所占比率的變化趨勢(shì)；

⑤降低ε，重復(fù)步驟1到4并觀察落在集合An（ε）中的樣本所占比率的變化趨勢(shì)；

⑥改變X的概率分布，重復(fù)步驟1到5并觀察落在集合An（ε）中的樣本所占比率的變化趨勢(shì)。

該實(shí)驗(yàn)簡(jiǎn)單易行，同時(shí)真實(shí)可信，學(xué)生經(jīng)常出于好奇設(shè)計(jì)出各種概率分布進(jìn)行反復(fù)實(shí)驗(yàn)，但最終所觀測(cè)到的趨勢(shì)總是驚人地一致，即#An（ε）≤2n（H［X］＋ε）且n足夠大時(shí)P［An（ε）］＞1－ε。圖2是一組數(shù)值實(shí)驗(yàn)的統(tǒng)計(jì)實(shí)例。

圖2 漸進(jìn)典型集合數(shù)值實(shí)驗(yàn)統(tǒng)計(jì)輸出柱形圖

在確信這一反復(fù)出現(xiàn)的實(shí)驗(yàn)規(guī)律的基礎(chǔ)上，再進(jìn)行理論分析和演繹證明，學(xué)生不僅容易接受這一證明，而且對(duì)這一重要的基礎(chǔ)規(guī)律的理解不再停留于抽象的表達(dá)式層面，而是切實(shí)領(lǐng)會(huì)到這一統(tǒng)計(jì)規(guī)律的內(nèi)涵。

（2）案例之二是二元對(duì)稱噪聲信道上的線性分組編碼的譯碼差錯(cuò)概率與信道容量之間的關(guān)系，即Shannon定理。這一普遍規(guī)律的理論分析對(duì)絕大多數(shù)初學(xué)者較為復(fù)雜和抽象，我們通過數(shù)值實(shí)驗(yàn)方法進(jìn)行講解。

輸入?yún)?shù)：

二元對(duì)稱信道的差錯(cuò)概率p，p的數(shù)值由學(xué)生任意設(shè)定；

2－進(jìn)制線性分組編碼的信息位數(shù)k和碼字位數(shù)n。

數(shù)值計(jì)算步驟：

①隨機(jī)生成n行、k列的2－進(jìn)制滿秩編碼矩陣G；

②計(jì)算G的校驗(yàn)矩陣H和該隨機(jī)碼的最小Hamming重量d；

③計(jì)算譯碼表；

④按照輸入的二元信道參數(shù)p隨機(jī)生成信道噪聲樣本，同時(shí)按照均勻分布隨機(jī)生成碼字樣本w，對(duì)r＝w＋z進(jìn)行極大似然譯碼計(jì)算；

⑤重復(fù)步驟4足夠多次并計(jì)算譯碼差錯(cuò)事件所占的比率Pe（n）；

⑥改變k和n，重復(fù)步驟1到5并分別統(tǒng)計(jì)k／n＜Cp和k／n＞Cp（Cp是參數(shù)為p的二元對(duì)稱信道容量）情形下Pe（n）隨n的變化趨勢(shì)。

隨機(jī)改變信道參數(shù)p和編碼方案，重復(fù)以上數(shù)值實(shí)驗(yàn)和觀察。在各種情況下，學(xué)生可以看到普遍的趨勢(shì)是在k／n＜Cp時(shí)Pe（n）隨n增大而下降到0，而在k／n＞Cp時(shí)Pe（n）并非隨n下降到0。

對(duì)以上規(guī)律進(jìn)行理論分析，就是編碼差錯(cuò)概率與信道容量關(guān)系的Shannon定理（數(shù)值實(shí)驗(yàn)的統(tǒng)計(jì)輸出參見圖3，其中縱坐標(biāo)為線性分組編碼的譯碼差錯(cuò)概率，橫坐標(biāo)為信噪比）。

圖3 幾種線性分組編碼方案的譯碼差錯(cuò)概率隨信噪比的變化趨勢(shì)

3 信息論數(shù)值實(shí)驗(yàn)軟件

實(shí)現(xiàn)數(shù)值實(shí)驗(yàn)教學(xué)的軟件作為大學(xué)生創(chuàng)新項(xiàng)目，由參與信息論課程學(xué)習(xí)的學(xué)生在教師指導(dǎo)下設(shè)計(jì)開發(fā)，基于Java編程實(shí)現(xiàn)并以瀏覽器－服務(wù)器架構(gòu)在網(wǎng)絡(luò)環(huán)境下交互式運(yùn)行，成為學(xué)習(xí)信息論課程的一種綜合數(shù)值實(shí)驗(yàn)環(huán)境。目前該軟件可以實(shí)現(xiàn)的主要數(shù)值實(shí)驗(yàn)類型有：大數(shù)定律數(shù)值實(shí)驗(yàn)；各類漸進(jìn)典型集合的數(shù)值實(shí)驗(yàn)；各類噪聲信道（離散二元對(duì)稱信道、高斯噪聲連續(xù)信道等）的建模及信道容量計(jì)算；對(duì)典型的線性分組編碼（如循環(huán)碼）及隨機(jī)分組編碼的譯碼計(jì)算和參數(shù)計(jì)算；對(duì)各類信源建模及其率失真函數(shù)的計(jì)算。該軟件目前仍在繼續(xù)完善，例如擴(kuò)展到針對(duì)網(wǎng)絡(luò)模型的容量計(jì)算和針對(duì)衰落信道的建模與數(shù)值實(shí)驗(yàn)。

4 結(jié)束語

我們?cè)诜治鰧W(xué)生掌握信息論課程知識(shí)的關(guān)鍵障礙的基礎(chǔ)上，提出了基于數(shù)值實(shí)驗(yàn)的新教學(xué)方法，其實(shí)質(zhì)是以計(jì)算機(jī)軟件為工具，實(shí)現(xiàn)對(duì)典型信道、信源、網(wǎng)絡(luò)等實(shí)體的建模，并在此基礎(chǔ)上通過數(shù)值計(jì)算來展示信息論獨(dú)特的科學(xué)規(guī)律。論文分析了該方法的特點(diǎn)與優(yōu)勢(shì)，并以漸進(jìn)典型集合的性質(zhì)及Shannon定理的教學(xué)為例，詳細(xì)闡述了具體案例。教學(xué)實(shí)踐充分證實(shí)了該方法的優(yōu)勢(shì)與潛力，目前在總結(jié)以往教學(xué)實(shí)踐成果的基礎(chǔ)上，在教學(xué)內(nèi)容及數(shù)值實(shí)驗(yàn)軟件的功能方面繼續(xù)完善和提高。

（References）

［1］Cover T，Thomas J A.信息論基礎(chǔ)［M］.阮吉壽，張華，譯.北京：機(jī)械工業(yè)出版社，2010.

［2］Tse D，Vasvanath W.Foundations on Wireless Communications［M］.New York：Prentice－Hall Inc，2005.

［3］林闖.計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)中的動(dòng)態(tài)優(yōu)化：模型、求解和應(yīng)用［J］.計(jì)算機(jī)學(xué)報(bào)，2012，35（7）：1339－1357.

［4］林舒，Coestello R.差錯(cuò)控制編碼理論及應(yīng)用［M］.北京：機(jī)械工業(yè)出版社，2009.

［5］仇佩亮，張朝陽，楊勝天.多用戶信息論［M］.北京：高等教育出版社，2012.

［6］王育民，李暉，粱傳甲.信息論與編碼理論［M］.北京：高等教育出版社，2008.

［7］Verdu S.Fifty Years of Shannon Theory［J］.IEEE Trans On Information Theory，1998，44（6）：2057－2078.

［8］卓里奇A.自然科學(xué)問題的數(shù)值分析［M］.周美珂，李植，譯.北京：高等教育出版社，2011.

［9］李仕強(qiáng)，王水平，李翔.基于Web的虛擬實(shí)驗(yàn)互動(dòng)教學(xué)平臺(tái)研究與設(shè)計(jì)［J］.實(shí)驗(yàn)技術(shù)與管理，2012，29（11）：90－93.

［10］張鳴，李白萍.Matlab仿真在通信原理課程中的應(yīng)用［J］.實(shí)驗(yàn)技術(shù)與管理，2012，29（11）：87－89.

［11］宋金鈴，蔡麗.擴(kuò)頻通信系統(tǒng)實(shí)驗(yàn)的仿真設(shè)計(jì)［J］.實(shí)驗(yàn)技術(shù)與管理，2008，25（9）：86－88.

［12］昌彥君，張瑩，曹中林.探地雷達(dá)數(shù)值模擬實(shí)驗(yàn)研究［J］.實(shí)驗(yàn)技術(shù)與管理，2009，26（4）：69－72.

［13］常山，毛杰健，桑志文，等.高斯光束微圓孔衍射變換的數(shù)值仿真實(shí)驗(yàn)［J］.實(shí)驗(yàn)技術(shù)與管理，2011，28（1）：80－83.

［14］劉艷莉，金文，陳志敏，等.網(wǎng)絡(luò)通信在基于LabVIEW虛擬儀器仿真系統(tǒng)中的應(yīng)用［J］.實(shí)驗(yàn)技術(shù)與管理，2011，28（1）：44－76.

［15］李敏，鄒濤，楊馬英，等.過程控制系統(tǒng)綜合性實(shí)驗(yàn)設(shè)計(jì)與教學(xué)實(shí)踐［J］.實(shí)驗(yàn)技術(shù)與管理，2011，28（6），100－104.