信息論與編碼課程中拉格朗日乘子法的應用

徐偉業(yè)　耿蘇燕　周正　周珩

摘要：拉格朗日乘子法是數學中求解極值的一種重要方法，而信息論與編碼理論中涉及到的許多理論都存在一個極值求解問題，文章將幾個重要且典型的信息理論的極值問題分類列出，并且引入拉格朗日乘子法理論歸類求解，將多元函數的極值問題大大簡單化。

關鍵詞：拉格朗日乘子法；DMC信道；信息率失真函數；加性連續(xù)信道

中圖分類號：G642.41 文獻標志碼：A 文章編號：1674-9324（2017）50-0203-02

一、引言

《信息論與編碼》課程是通信工程、電子信息工程以及信息科技類等專業(yè)的選修或者必修課程。該課程中涉及到大量的理論推導與證明，運用到較多的數學知識，對學生來說感覺生澀難懂，在課堂教學中容易失去興趣[1]。實際上，經過認真總結與梳理，該課程中所涉及到的許多理論都圍繞一個問題——極值問題！并且這個極值的求解都被特定條件約束，這就自然而然地轉到學生早已學過的數學知識——拉格朗日（Lagrange）乘子法條件極值理論。

本來學生學過的數學知識在后續(xù)的課程中應用屬于正常的教學秩序與模式，但是不容樂觀。分析其原因，主要有以下兩點：

1.時間跨度大，容易忘記。數學上的這個Lagrange乘子法的知識點是固定安排在大學本科期間的第二學期，而信息論課程一般是安排在第6學期（部分院校可能有提前一學期授課），這樣，在講解信息論時再用此數學理論時，大概有2—3年之久，這么長時間的間隔，學生一般都想不起來具體內容。

2.理論與實際應用存在一定的分離性，特別還是信息論上比較復雜的應用。當時的數學講解涵蓋在單純的數學理論范疇，沒有引入實際的工程應用背景，換句話說，數學課上是數學上的推導，遇到稍微復雜的工程問題，不能靈活應用，特別是多變量的數學模型求解，學生接受難度大大增加！

但是如果將這幾個常用的、比較復雜的極值問題進行歸類與總結，問題就被大大簡化，推導與運算也變得順理成章，大大減少學生的畏難情緒并增強學生的學習興趣。

二、Lagrange乘子法的運用

四、結論

信息論與編碼課程中的許多理論都是根據嚴格的數學邏輯與推導才得出的，信息論的鼻祖文章名字就叫《通信中的數學》，可見數學在信息論中的超然地位，但是也因為數學理論的過多應用，導致學生學起來特別費神。本文將幾個重要的，常用的并且典型的信息理論的極值問題列出，引入Lagrange乘子法理論歸類求解，雖然每次計算的變量都非常多，但是因為已經進行了歸類計算，所以反而條理清楚，一目了然，達到了將復雜的信息論理論與計算簡單化的目的。

參考文獻：

[1]高博，等.“信息論與編碼”理論與實驗教學研究[J].中國電力教育，2012，（4）.

[2]徐偉業(yè)，等.任意DMC信道容量的計算與仿真[J].信息技術，2017，（7）.

Abstract：Lagrange multiplier method is an important one to solve the extreme values in Mathematics，and most of theoretical analysis in information theory and coding theory can be transformed to evaluate the extreme value problem. For this reason，some important and typical information theoretic extreme value problems are classified，and the Lagrange multiplier method is introduced to solve the corresponding solutions. As a result，the extreme value problems of multivariate functions are simplified greatly.

Key words：Lagrange multiplier method；DMCchannel；R（D）；Additive continuous channel