“信息論”課程中幾個基本概念的物理意義

摘要：信息論是關于通信的數(shù)學理論。信息論教材內容抽象，理論性強，課程中的概念由數(shù)學模型引入，進行數(shù)學分析后得到難于理解的數(shù)學公式和結論，與實際物理背景聯(lián)系較弱。學生在學習過程中覺得內容枯燥、難度大、不能深刻理解講授內容，易失去學習興趣。本文將教材中的一些基本概念與實際物理背景緊密聯(lián)系，給出這些概念基于物理背景的解釋與相關證明，以提高課堂教學效果，加深學生對信息論課程內容的理解。這些概念的解釋都附有適當?shù)睦?，以幫助對概念的理解與掌握。相關的證明是為解釋這些概念的物理意義而給出的，這些證明過程可進一步加深對概念的理解與掌握。

關鍵詞：信息論；熵；相對熵；互信息；物理意義

信息論是將通信技術，概率論與數(shù)理統(tǒng)計，隨機過程和近世代數(shù)等學科相結合逐步發(fā)展而形成的一門學科，已發(fā)展成為現(xiàn)代信息技術的基礎性理論。國內外許多高校將“信息論基礎”作為數(shù)學，信息、通信、電子專業(yè)本科教學中的主干課程。“信息論基礎”課程與概率論、隨機過程、近世代數(shù)等數(shù)學知識密切相關。本課程運用了大量的數(shù)學知識，課程內容多，教材中存在大量的理論證明和推導，對學生抽象思維和邏輯推理能力的要求較高，這對數(shù)學類專業(yè)學生問題不大，但與工科學生相比，理科數(shù)學類專業(yè)學生面臨下面問題。

信息論課程在面向工科學生（如電子和通信類專業(yè)學生）開設時，通常是基于前期課程“通信原理”或“信號與系統(tǒng)”?！?br>