面向計(jì)算機(jī)人才培養(yǎng)的信息論與編碼教學(xué)實(shí)踐

吳嘉婧 李全忠

[摘 要] “信息論與編碼”是一門以“香農(nóng)三大理論”為基礎(chǔ)的理論課程，是包括通信工程、計(jì)算機(jī)科學(xué)與技術(shù)、信息與計(jì)算科學(xué)等多個(gè)信息相關(guān)專業(yè)的本科生和研究生的專業(yè)課。近年來在面向計(jì)算機(jī)相關(guān)專業(yè)進(jìn)行“信息論與編碼”課程教學(xué)實(shí)踐中發(fā)現(xiàn)，學(xué)生普遍感覺此課程理論性較強(qiáng)且內(nèi)容偏難，因此較難順利完成此課程的學(xué)習(xí)。針對(duì)計(jì)算機(jī)應(yīng)用型人才進(jìn)行“信息論與編碼”課程教學(xué)過程中面臨的困境，并結(jié)合教學(xué)實(shí)踐從教學(xué)內(nèi)容、教學(xué)方法和考核方式等方面對(duì)課程教學(xué)進(jìn)行改革，并取得了較好的效果，對(duì)計(jì)算機(jī)專業(yè)人才的理論基礎(chǔ)培養(yǎng)有一定的借鑒作用。

[關(guān)鍵詞] 信息論;編碼;計(jì)算機(jī)應(yīng)用;本科教學(xué);教學(xué)實(shí)踐

[基金項(xiàng)目] 2020—2023年國(guó)家自然科學(xué)基金項(xiàng)目“通信—電力相依網(wǎng)絡(luò)彈性過程的建模、分析與優(yōu)化”（61973325）;2021—2022年中山大學(xué)國(guó)家高等教育質(zhì)量常態(tài)檢測(cè)數(shù)據(jù)中心重點(diǎn)研究項(xiàng)目“面向計(jì)算機(jī)人才培養(yǎng)的信息論與編碼教學(xué)實(shí)踐”（M1801）

[作者簡(jiǎn)介] 吳嘉婧（1989—），女，江西吉安人，博士，中山大學(xué)計(jì)算機(jī)學(xué)院副教授，博士生導(dǎo)師，主要從事區(qū)塊鏈和圖挖掘技術(shù)研究;李全忠（1984—），男，廣東茂名人，博士，中山大學(xué)計(jì)算機(jī)學(xué)院副教授（通信作者），主要從事無線通信研究。

[中圖分類號(hào)] G642.0? ?[文獻(xiàn)標(biāo)識(shí)碼] A? ?[文章編號(hào)] 1674-9324（2021）33-0021-04? ? [收稿日期] 2021-03-12

一、引言

信息論是將通信技術(shù)、概率論、隨機(jī)過程、數(shù)理統(tǒng)計(jì)等學(xué)科相結(jié)合逐步發(fā)展而形成的一門新興科學(xué)，也是現(xiàn)代信息技術(shù)的奠基性理論。信息論的創(chuàng)始人是美國(guó)著名的數(shù)學(xué)家與通信學(xué)家香農(nóng)

（C.E.Shannon），他于1948年發(fā)表的《通信的數(shù)學(xué)理論》一文被視為標(biāo)志著信息論產(chǎn)生的奠基性論文，因此信息論又稱為“香農(nóng)信息論”。在信息論中，信息的傳遞過程被作為一種統(tǒng)計(jì)現(xiàn)象來考慮，因此信息這種抽象概念的度量、傳遞和變化規(guī)律，可用數(shù)理統(tǒng)計(jì)的方法進(jìn)行研究。信息論的研究?jī)?nèi)容包括信息的定義、度量、存儲(chǔ)、傳輸和理解等，而在信息的傳輸和存儲(chǔ)過程中通常需要考慮信息編碼技術(shù)。“信息論與編碼”即為涵蓋信息論理論與編碼技術(shù)的一門課程，也是中山大學(xué)計(jì)算機(jī)學(xué)院計(jì)算機(jī)類專業(yè)本科和研究生階段的主修專業(yè)課程。本校開設(shè)的“信息論與編碼”課程以信息熵的基本概念為核心，以香農(nóng)三大編碼定理——可變長(zhǎng)無失真信源編碼定理、有噪信道編碼定理和保失真度準(zhǔn)則下的有失真信源編碼定理為核心內(nèi)容，重點(diǎn)培養(yǎng)計(jì)算機(jī)專業(yè)的學(xué)生對(duì)信息論基本原理的理解，并培養(yǎng)利用信息論的理論與思維視角來分析解決計(jì)算機(jī)實(shí)際應(yīng)用中的問題[1]。

然而，本課程運(yùn)用了大量的數(shù)學(xué)知識(shí)，課程內(nèi)容多，教材中存在大量的理論證明和推導(dǎo)，對(duì)學(xué)生抽象思維和邏輯推理能力的要求較高。此外，計(jì)算機(jī)專業(yè)的學(xué)生普遍對(duì)通信領(lǐng)域的基本原理和發(fā)展?fàn)顩r了解較少，且普遍感興趣的是近年來熱門的計(jì)算機(jī)應(yīng)用領(lǐng)域，例如人工智能、數(shù)據(jù)挖掘、區(qū)塊鏈等，因此對(duì)本門課程學(xué)習(xí)的興趣和主動(dòng)性不大。近年來，筆者在從事計(jì)算機(jī)專業(yè)“信息論與編碼”課程教學(xué)的過程中發(fā)現(xiàn)，學(xué)生普遍對(duì)理論學(xué)習(xí)興趣平平，且有畏難情緒，對(duì)信息理論與計(jì)算機(jī)應(yīng)用的關(guān)聯(lián)感到困惑，無法全面掌握課程內(nèi)容。因此，本文重點(diǎn)對(duì)計(jì)算機(jī)應(yīng)用型人才培養(yǎng)過程中進(jìn)行“信息論與編碼”理論教學(xué)時(shí)的特色和存在的困難進(jìn)行了分析，并結(jié)合教學(xué)實(shí)踐從課程教學(xué)內(nèi)容、教學(xué)方法與考核方式三個(gè)方面入手，提出了相應(yīng)的教學(xué)改革措施。

二、計(jì)算機(jī)專業(yè)講授“信息論與編碼”課程存在的問題

（一）學(xué)生缺乏必要的學(xué)科背景

“信息論與編碼”在面向通信和電子類專業(yè)學(xué)生開設(shè)時(shí)，通常是基于前導(dǎo)課程“信號(hào)與系統(tǒng)”或“通信原理”。“信號(hào)與系統(tǒng)”介紹了信號(hào)的頻譜、信號(hào)處理方面的基礎(chǔ)知識(shí)，而“通信原理”介紹了基本的通信框架和信道與信源的含義。香農(nóng)信息論主要研究了通信理論中的有效性和可靠性的問題，因此通信和信號(hào)處理的相關(guān)知識(shí)可以幫助學(xué)生更好地理解香農(nóng)理論的現(xiàn)實(shí)背景，以及信源與信道編碼的意義。然而，在面向計(jì)算機(jī)類學(xué)生開設(shè)“信息論與編碼”時(shí)，學(xué)生通常沒有學(xué)習(xí)過上述課程，因而對(duì)通信系統(tǒng)的傳輸背景、信源和信道的概念、編碼的意義及通信系統(tǒng)的性能指標(biāo)不甚了解，很難理解信息傳輸?shù)幕具壿嬇c理論框架[2]。此外，在數(shù)學(xué)背景方面，“信息論與編碼”涉獵高等數(shù)學(xué)、線性代數(shù)、離散數(shù)學(xué)、概率論與數(shù)理統(tǒng)計(jì)、隨機(jī)過程、數(shù)值分析和最優(yōu)化方法等與工科數(shù)學(xué)相關(guān)的知識(shí)，超出了本專業(yè)本科生和研究生的學(xué)習(xí)范疇。即使學(xué)生學(xué)過類似的概率論和微積分等內(nèi)容，信息論證明中用到的不少知識(shí)也超出了本科的教學(xué)要求。因此，學(xué)生缺乏必要的通信背景知識(shí)和數(shù)學(xué)基礎(chǔ)，給“信息論與編碼”課程教學(xué)的順利開展帶來了不小的挑戰(zhàn)。

（二）教材中的數(shù)學(xué)理論繁雜抽象

在香農(nóng)信息論中，信息上的概念和三個(gè)編碼定理都是用數(shù)學(xué)來描述的。本課程選用的中英文教材分別是人民郵電大學(xué)出版的《信息論基礎(chǔ)》[3]和Wiley-Blackwell出版的Elements of Information Theory[4]。相比而言，中文教材較為簡(jiǎn)明，較符合國(guó)內(nèi)學(xué)生的學(xué)習(xí)習(xí)慣，同時(shí)涵蓋了信息論與編碼兩方面的內(nèi)容。然而，中文教材主要針對(duì)通信和電子專業(yè)而編寫，里面涉及很多具體的通信背景和物理學(xué)知識(shí)，計(jì)算機(jī)專業(yè)的學(xué)生理解和消化起來有一定的難度。為了幫助學(xué)生更好地理解信息理論，我們還選用了由國(guó)際學(xué)術(shù)權(quán)威專家Thomas M.Cover和Joy A.Thomas撰寫的Elements of Information Theory作為英文參考教材，該教材中作者對(duì)信息論中的很多關(guān)鍵概念和定理提出了自己的研究心得，對(duì)學(xué)生加深信息理論的理解具有啟發(fā)性。然而，兩本教材都無法避免大量的數(shù)學(xué)公式和理論推導(dǎo)，幾乎涵蓋了工科所要求的大部分?jǐn)?shù)學(xué)內(nèi)容，包括高等數(shù)學(xué)、概率論、隨機(jī)過程、線性代數(shù)等。教材中大量的理論證明對(duì)學(xué)生的數(shù)學(xué)基礎(chǔ)、抽象思維和邏輯推理能力要求較高，導(dǎo)致很多計(jì)算機(jī)專業(yè)的學(xué)生無法深刻理解這門課程。