《信息理論與編碼》教學方法初探

摘要：《信息理論與編碼》在信息學科本科教學計劃中的地位舉足輕重，但該課程的教學中存在若干問題。本文提出了幾種教學方法以期在一定程度上化解這些問題，教學實踐表明，應用這些方法能有效提高課程教學效果，激發學生的學習熱情和興趣。

關鍵詞：列舉實例；典型例題；設計實驗；理論推導；外文文獻

前 言

隨著信息技術的發展，編碼技術得到廣泛應用，因此，通信工程等信息學科專業的本科生有必要具備一定的信息理論與編碼的基本知識。許多高校在本科教學計劃中設立了《信息理論與編碼》課程。然而該課程教學中存在一些問題，諸如，理論性強、內容抽象、先修知識缺乏等。對此，本文提出了幾種教學方法和手段，實踐證明行之有效。

行之有效的教學方法

1.精心列舉生動實例

生動的實例有助于增強感性認識，從而理解抽象的概念、公式和結論。比如，為了說明限失真信源編碼的優勢，可以在多媒體教室當場用windows系統做個實驗。首先向學生展示事先準備好的一幅bmp圖像，然后把它另存為gif格式和jpg格式，并且查看各文件大小。然后，讓學生看到沒有壓縮的bmp圖像文件大小是最大的，利用LZW算法進行無失真壓縮的gif圖像文件大小居中，而按照國際標準JPEG進行有失真壓縮的jpg圖像文件則最小。再請學生觀察bmp和jpg圖像發現這兩種格式圖像的主觀質量幾乎沒有任何差別之后，告訴學生它們的顏色值事實上是有差別的，但這種差別是人眼覺察不到的。以此實例告訴學生，信源壓縮編碼能降低信息率，減少表達信息的數據量；如果允許一定的失真(以主觀感受能容忍為限)，則可以進一步降低信息率，而這正是限失真編碼的優勢所在。

2.充分挖掘典型例題

有意識地利用典型例題，挖掘其內涵與外延，對學生知識的掌握和能力的培養，能起到事半功倍的良好效果。例如“已知連續隨機變量x的概率密度函數，分別求Y＝X＋C(C為常數)和Y＝2X的微分熵”，先通過求Y的分布函數得出Y的概率密度，再代入到微分熵的計算式內可得出h(Y＝X＋C)＝h(X)，和h(Y＝2X)-h(X)＋log2。利用這樣的計算結果，引導學生從物理意義角度去思考，C是常數不會引入不確定性，所以h(Y＝X＋C)＝h(X)；而2X＝X＋X是2個隨機變量x相加，不確定性自然會提高。以此加深學生對于“熵表示不確定性的量度”的這一重要信息論概念。此外，有些重要結論在許多教材中沒有提到，比如Huffman編碼無法對僅含有2個符號的信源進行壓縮，而算術編碼可以。對此，通過講解一道相關例題即可補充教材內容的不足。

3.設計實驗增強感性認識

信息論的許多定理、公式和性質由復雜繁瑣的推導得到，得到的結論以及涉及到的概念和物理量往往比較抽象。對此，可以發揮授課教師個人的專業特長和能動性，通過設計相應的實驗來增強學生的感性認識，幫助學生明確物理意義。比如，在介紹率失真函數R(D)的內容時，筆者根據個人的研究興趣，以圖像為信源，設計了一個有損(有失真)編碼器SPIHT，再引入一個失真測度——絕對平方誤差(MSE)。按照SPIHT壓縮算法，給定不同的比特率R，可以得到失真程度不同的重建圖像，進而計算MSE(D)值。最后，把若干組(MSE，R)描點連線可得到率失真函數R(D)的曲線形狀。通過以上實驗可以實現如下教學效果：第一，根據重建圖像的不同質量，讓學生了解到不同失真程度會造成什么樣的主觀視覺感受；第二，引導學生明白信息率R在實際應用中往往表現為比特率，即數據量；第三，還可以看出，允許的失真越大，那么比特率可以越小，從而實現更大的壓縮。

4.合理對待理論推導

本課程內容涉及到大量的定理證明和公式推導，其過程的枯燥、乏味與費解常常令學生不愿觸及，不少教師在授課過程中也有意避開，而只介紹和說明結論。然而，本課程中的定理證明和公式推導過程本身就體現著信息論先驅者們的思想火花和智慧結晶，向學生介紹定理的證明思想是十分必要的。筆者認為，對于該課程的理論推導要實現兩個教學目的：第一，讓學生了解信息論中證明的常用方法。比如，讓學生了解不等式lnx≤x-1，X>O在信息論定理證明的廣泛作用；第二，使學生了解定理的證明思想。比如，編碼定理的嚴格證明過程雖然可以淡化，但其證明思想體現著工程觀點，有必要讓學生深入理解。定長編碼定理的證明過程把信源消息分成典型序列和非典型序列，對于典型序列進行編碼，而對于非典型序列則不編碼，從而提高編碼效率，譯碼失真產生的原因也就容易理解了。有噪信道編碼定理的證明還使用了隨機編碼的思想，避開了求取每個特定碼c的平均差錯率Pe(C)，而是巧妙地把問題化為對Pe的估計，從而得到了Pe的上界。總而言之，把信息理論中蘊含的思想方法介紹給學生對于培養其理論思維大有幫助；把重要的思想方法介紹給學生也是培養創新人才的需要。

5.適當引入外文文獻

信息論誕生于國外，信息論的經典文獻多以英文出版。適當引入經典文獻的原文作為授課內容，可以讓學生了解原始文獻的嚴謹表述、深入理解理論的產生背景、熟悉信息論術語的專業表達。此外，外文的教材中也有不少生動的示例和習題可以參考用作授課內容。而且國外教材注重實用，對于抽象理論知識往往會考慮其軟硬件的實現問題，這一點也可以引入使抽象的理論與具體實踐聯系起來。最后，引入外文文獻的教學也可以為該課程的雙語教學提供嘗試和參考。David J.C.MacKay的著作《Information TheortyInference，and Learning Algorithms》中有很豐富的實例、例題和結論，筆者將其引入教學中，取得了良好的教學效果。

結束語

本文針對《信息論與編碼》課程教學中存在的問題，提出了幾種教學手段和方法，能使抽象的理論形象化；增強學生對理論知識的感性認識；一定程度上避免了對基礎理論的依賴。教學實踐結果表明，這些措施的應用能有效提高課程教學效果，激發學生的學習熱情和興趣。

參考文獻：

[1]傅祖蕓，信息論一基礎理論與應用，北京：電子工業出版社，2007年5月

[2]張旭東，圖像編碼基礎和小波壓縮技術：原理、算法和標準，北京：清華大學出版社，2006年4月

[3]呂峰，王虹，劉皓春，蘇揚，信息理論與編碼，北京：人民郵電出版社，2004年2月

[4]方軍，俞槐銓，信息論與編碼，北京：電子工業出版社，1994年9月