“信息論基礎”實驗課程方案的設計

[摘 要] “信息論基礎”是信息與計算科學專業的必修課，5G通信理論的核心就是信息論的信道編碼理論。信息論是一門與最優化方法、概率統計和隨機過程等密切相關的學科，既有很強的理論性，數學證明復雜，又有很強的應用性，與通信技術聯系緊密，要求學生具備較高的數學思維能力和較強的編程實踐能力，對教師和學生都是一個挑戰。但若只有理論講授、定理證明等，又會枯燥無趣、難以理解。所以在理論講授的同時增加實驗課程，既能增加學生的學習興趣，又能加深對課堂講授知識的理解。實驗教學是該課程整個教學過程中不可或缺的重要組成部分，搞好實驗教學有助于提高教學質量，加深學生對所學知識的理解。要激發學生對編程的興趣，學生在程序設計中， 提高了編程能力，設計的程序各有特色。通過學生的反饋意見可以看出，通過實驗課程能夠極大地調動學生的想象力，加深對理論知識的理解，提升學生的知識與技能。

[關鍵詞] 信息論;5G;實驗教學

[基金項目] 2019年度遼寧省教育廳項目“染色質三維結構預測中的數學方法研究”（JDL2019032）;2019年度大連交通大學研究生教改項目“數學+工科交叉學科建設”（2019-46）

[作者簡介] 劉立偉（1980—），男，博士，遼寧大連人，大連交通大學理學院副教授，主要從事數據挖掘、生物信息學研究。

[中圖分類號] G642.0? ?[文獻標識碼] A? ?[文章編號] 1674-9324（2021）47-0126-04? ? [收稿日期] 2021-09-09

一、引言

“信息論基礎”是信息與計算科學、電子信息工程、通信工程等專業必修的專業基礎課程，主要內容有：隨機變量與隨機過程的信息度量、數據壓縮與無失真信源編碼、數據可靠傳輸和信道編碼、限失真信源編碼和率失真函數[1]。“信息論基礎”本身是一門理論和實際緊密相連的課程，也是一門跨學科的重要課程，涉及數學、通信、計算機科學等學科領域，關于這門課程教育教學方法的探討已有很多[2-5]。

“信息論基礎”是一門既與高等數學、線性代數、最優化方法、概率統計和隨機過程等數學課程密切相關，又與通信工程、計算機科學等實際應用技術緊密聯系的課程。盡管“信息論基礎”課程在信息與計算機科學、電子信息、通信等專業中有著非常重要的地位，但是它的課程教學卻比較落后，學生普遍反映難學。它既有很強的理論性，數學證明復雜，又有很強的應用性，與通信技術聯系緊密。這要求學生具備較高的數學思維能力和較強的編程實踐能力，這對教師和學生都是一個挑戰。

“信息論基礎”若只有理論講授、定理證明，必然會枯燥無味、難以理解;所以在理論講授的同時增加實驗課程，既能增加學生的學習興趣，又能加深對課堂講授知識的理解。學好“信息論基礎”這門課程，并將其學以致用，實驗的設計是一個非常重要的環節。實驗教學是“信息論基礎”課程非常重要的組成部分，搞好實驗教學，有助于提高教學質量，鞏固學生對所學知識的理解[6，7]。不同于物理實驗，“信息論基礎”的實驗主要是通過計算機上機編程來實現信源編碼、信道編碼方案。

二、實驗教學方案

在進行課堂理論教學時，可以演示一些實驗結果，結合生活實例，培養學生的興趣，使學生對實驗教學知識點具有一定的了解，這樣等到學生動手實驗時就不會無所適從。選擇適用的實驗，學生通過實驗理解信息論的理論及其應用，并提高編程能力。實驗課程的開設，是對課堂教學內容的有益補充，特別能鍛煉學生嚴謹的工作作風，提高學生的綜合分析和實際動手能力。

實驗教學方案設計思路：以信息論基礎核心內容信息熵、信源編碼、信道編碼應用為主要實驗課題，設計一系列實驗把信息論基礎眾多知識點串聯起來;依據信息熵、信源編碼、信道編碼的步驟安排實驗前后順序，進行完課堂教學馬上進行相應的實驗教學。教師通過開發實驗課程講義、實驗指導書、微課、實驗平臺及教學大綱等，讓學生學會算法并將其加以應用。教師對信息熵、信源編碼、信道編碼設計實驗，通過編程實驗，學生可以對信息熵、信源編碼、信道編碼進行模擬，教學相長。

（一）二進熵函數曲線繪制

人們常說這條消息所含信息很多，那條消息所含信息較少，那么信息如何度量？有人說用文字多少定義信息量，一部《史記》文言文和翻譯后的白話文所含信息是一樣的，但字數差別很明顯，所以用文字多少定義信息量是不合適的。直到1948年，信息論之父香農提出了信息熵的概念，用它來度量信息。信息熵是信息論研究的基礎。

二進熵函數曲線繪制的實驗步驟[8]是：（1）理解熵的計算公式;（2）由數據計算熵;（3）繪圖。通過二進熵函數曲線繪制的實驗，學生可以形象地理解信息熵的性質，例如熵函數的單調性，熵在什么情況下最大、什么情況下最小等。通過實驗，學生能夠熟練地進行熵函數的計算。

（二）利用Huffman編譯碼實現數字圖像數據的壓縮

Huffman編碼是消除編碼冗余最常用的技術。它是一種可變長的前綴碼。1950年，Huffman在MIT學習。Robert Fano教授給學生布置了一個作業：找到最優的二進制編碼。這個作業促使Huffman編碼的誕生。Huffman編碼是學生接觸的第一個信源編碼方法，也是非常重要的信源編碼方法。計算機算法大師高德納（Donald E.Knuth）曾說過，Huffman編譯碼是一個計算機科學和數據通信領域一直在使用的基本想法。由此可見Huffman編譯碼的應用非常廣泛，像我們平時用的ZIP和RAR壓縮文件、聽歌的MP3、高清電視等，里面都用到Huffman編碼。當對信源符號逐個編碼時，Huffman編碼能給出最短的平均碼長。Huffman編碼與人們的生活和工作緊密相連，被廣泛應用到數字圖像處理等各個領域。這里設計Huffman編譯碼實現數字圖像數據的壓縮方案。

利用Huffman編譯碼的實驗步驟[8]是：（1）將數字圖像轉化成灰度符號文集;（2）用Huffman算法編寫壓縮程序并對上述文件進行壓縮;（3）編寫解壓縮程序以驗證壓縮程序是否正確;（4）統計計算數據壓縮率。算法以Matlab為主要編程工具[9]，當然C（或C++）也可以。通過上機實驗完成數字圖像的壓縮與恢復，加強學生對Huffman編譯碼理解與應用。進一步介紹Huffman編碼的發現過程，激發學生對科研的興趣。另外，圖像處理是當前非常熱門的研究方向，教師可以進一步介紹常見的數字圖像處理技術及其他圖像編碼技術。學生學以致用，自然會對學習信息論產生濃厚興趣。

（三）利用LZW編碼實現生物序列數據的壓縮

LZ（Lempel-Ziv）算法是兩個猶太人J.Ziv和A.Lempel于1977年提出的，他們描述的算法被后人稱為LZ77算法。1984年，Terry Welch發表論文描述了他在Sperry研究中心的研究成果，實質上是對LZ算法的一個改進，也就是后來非常有名的LZW算法。

應用LZW算法可以對線性序列數據進行壓縮。在眾多的線性序列中，生物序列數據長度較長，數據量大，是典型的“大數據”。利用數據壓縮算法對生物序列數據進行壓縮是存儲和分析生物數據的重要手段。LZW編碼屬于通用編碼，它不像Huffman編碼需要概率等先驗知識，而是基于字典的壓縮算法。

利用LZW編碼的實驗步驟[8]是：（1）對生物序列數據進行預處理;（2）用LZW算法編寫壓縮（編碼）程序并對上述文件進行壓縮;（3）編寫解壓縮（譯碼）程序以驗證壓縮程序是否正確;（4）統計計算數據壓縮率。對生物序列的壓縮工作屬于生物信息學范疇。生物信息學是綜合利用數學、信息科學來揭示大量而復雜的生物數據所賦有的生物學奧秘。生物信息學的研究目標是生物數據，使用的工具方法是數學、計算機，主要進行基于數學、信息科學基礎理論研究。通過上述實驗，學生不僅掌握了編碼技術，而且也對生物信息學這樣的交叉學科有所了解，開闊了眼界。

（四）限失真信源編碼

在一般的數字圖像、音頻、視頻信號中，即使有一定的誤差也并不影響人的視覺、聽覺感受;因此可以近似地還原消息，也就是允許一定的失真存在，這種情況下的編碼就可以采用限失真信源編碼。數字圖像的數據壓縮就可以采用限失真信源編碼。

應用JPEG算法思想進行數字圖像壓縮的實驗步驟[8]是：（1）使用JPEG算法編寫程序，對圖像文件進行壓縮;（2）編寫解壓縮程序，計算圖像文件壓縮前后的大小;（3）使用不同參數，計算圖像文件壓縮前后的大小;（4）統計計算數據壓縮率。限失真信源編碼是信息論的一個難點，應用也非常廣泛。雖然壓縮后圖像有些損失，但所損失的部分對理解原始圖像的影響很小，換來的卻是大得多的壓縮率。圖像文件畫質沒有明顯下降，但文件的大小卻得到了明顯壓縮，有利于文件傳輸和存儲。通過上述實驗，學生實際感受了圖像壓縮的效果，對限失真信源編碼的應用擁有了感性認識，增強了進一步學習的動力。

（五）信道編碼

通信是要把信息從一方準確可靠地傳送到另一方。因為移動通信過程中不可避免存在噪聲和干擾，信號在傳輸過程中會以一定概率出現差錯，所以對信道傳輸要使用糾檢錯編碼技術，來加強信號在信道傳輸時的抗干擾能力。信道編碼的核心基礎是糾錯編碼理論[ 10 ]，是在信息碼后面附加上一些監督碼，以便在接收端發現和糾正誤碼。通過編程實現線性分組碼，線性分組碼的編碼由監督矩陣和生成矩陣實現。線性分組碼解碼時，前幾位碼字可以直接解出來，因而編解碼器的設計較為簡單。

（n，k）線性分組碼編碼實驗步驟是：（1）對信源序列進行預處理，轉化為k列;（2）如果序列不能被k整除在后邊補0使其能被k整除;（3）將由（2）得到的序列與生成矩陣G相乘即得到編碼后的碼字。

信道編碼是當今通信領域的核心問題，5G技術核心就是信道編碼領域的極化碼。華為用了10年時間將土耳其數學家的一篇論文，從理論變成了技術和標準，讓5G時代提前到來。這里介紹的線性分組碼編碼實驗雖然是比較簡單的信道編碼，但學生可以通過簡單問題觸類旁通，對信道編碼技術形成初步的概念，既加深了對課本知識的理解，又了解了現代前沿通信技術，增強學習和探究未知領域的動力。

三、結論

總之，學生通過對信息論問題的上機實驗，可以發現數學知識在解決具體問題中的作用，發揮數學系學生的專業優勢，并借此激發數學系學生學習信息論基礎的興趣。學生可以通過對實驗結果的分析討論和教師的講解，加深對所學知識的認識和理解，有效提高課堂學習效率。對理論的認識也可以從表面的感性認識上升到更加深刻的理性認識。通過編程實驗，學生可以使用軟件分析處理實際數據，解決實際問題，拓寬了學生的視野。學生可以運用現實數據來驗證已有的理論，同時也可能會發現理論與實際的不同，從而找出現實與理論之間的差異并分析和討論其原因，引導學生正確理解和認識所學理論。感興趣的學生還可以在教師的指導下針對自己發現的問題進行更進一步的研究。

針對我校信息與計算科學+軟件專業學生的專業復合特色，發揮他們軟件編程能力較強的優勢，指導學生自主設計實驗項目和編寫實驗程序，從而激發學生的積極性和創造力，培養學生的自主研究和學習能力，為學生將來工作和進一步深造夯實了基礎。

參考文獻

[1]葉中行.信息論基礎[M].3版.北京：高等教育出版社，2020.

[2]車書玲，孫蓉，劉剛.《信息論基礎》慕課和翻轉課堂相結合的教學探索[J].教育現代化，2020，7（9）：46-48.

[3]楊凱新，林海濤，周媛媛，等.軍隊院校混合式教學模式的探索與實踐——以“信息論基礎”課程為例[J].教育教學論壇，2021（28）：92-95.

[4]高麗娟，代健美，陳龍.《信道編碼》課程教學方法研究[J].教育現代化，2019，6（44）：174-176+186.

[5]陳婧，賈世祥.信息論與編碼課堂教學方法探索[J].高教學刊，2020（28）：122-124.

[6]張正言，田雨波，張冰.MATLAB在“信息論與編碼”實驗教學中的應用[J].實驗室科學，2010（13）：109-112.

[7]姜楠.“信息論”課程本科教學探索與實踐[J].計算機教育，2007（24）：52-54.

[8]沈世鎰，吳忠華.信息論基礎與應用[M].北京：高等教育出版社，2004.

[9]傅玉青.信息論與編碼技術實驗仿真平臺設計[J].福建師大福清分校學報，2017（2）：19-22.

[10]高麗娟，代健美，陳龍.《信道編碼》課程教學方法研究[J].教育現代化，2019，6（44）：174-176+186.