淺談最大信息熵原理及其在通訊系統中的應用

朱碧+張世豪

摘 要：最大信息熵原理的概念先后被香農和Jaynes等人所提及，并在之后的幾十年中，該原理被廣泛應用到了各個領域，并成為各領域中不可或缺的理論方法。通過最大信息熵原理，我們可以在已知條件不充足的情況下得到最理想的分布并且巧妙地將人為偏倚因素降到了最少，該原理為各個領域的蓬勃發展奠定了堅實的基礎。

關鍵詞：最大信息熵原理；通訊系統；應用

一、 最大熵定理的定義及內容

二、 最大熵原理在通訊系統中的應用

無線信道模型的基本原理就是最大熵定理，在只有有限傳播環境的多種情況下無線信道模型是可用的。首先，在某些參數（通道能量、平均能量、空間相關矩陣）確定已知的情況下我們可以導出分析模型。一般情況下，這些參數都是未知的（通常是因為接收到的能量或者是空間相關性在隨著用戶位置的變化而變化），但是這些參數在代表有意義的系統特征時是已知的。鑒于這些情況下，我們可以通過將最大熵分布指定到這些參數上并且將其邊緣化，就這樣分析信道模型就被推導出來了。而對于具有空間相關性的MIMO情況，這里我們給出了協方差矩陣的分布，我們可以通過它的特征值方便地處理這種分布。這種協方差矩陣的最大熵分布被證明是Wishart分布。另外，信道矩陣相應的概率密度函數是通過一個信道的F-范數函數解析描述的。這種技術可以提供信道模型將陰影衰落和天線之間的空間相關性的效果，而不需要假設這些參數的顯式值。

在最大熵MIMO無限信道模型研究中，最大信息熵原理被用于為信道特性的先驗知識的各種情況導出的無線平坦衰落信道的若干模型。最大熵MIMO無限信道模型研究了平均通道能量和通道能量的已知上限的情況，并解決了在MIMO信道模型中考慮未知量的空間相關的問題。在平均軌跡約束下熵最大化協方差矩陣的分布被視為Wishart分布，并且相應的概率密度函數信道矩陣被視為通過信道F-范數的函數分析地描述。該模型被推廣到協方差矩陣的秩是已知的，不充分的情況，將所提出的信道模型在給定噪聲水平的實現的互信息的統計方面與常用的GaussianIID模型進行比較，提出的模型顯示略低的平均互信息，符合信道相關減少其容量的規則。并且比高斯IID模型有著更高的方差，反映了陰影衰落的存在。

三、 總結

就目前最大信息熵原理的發展情況來看，其正以迅猛的速度滲透到各個領域，如：通訊系統、計算機科學與技術、統計學等，并為各個領域的蓬勃發展奠定了堅實的基礎。因此我們相信最大信息熵原理將會成為各個領域不可或缺的一部分。在其他領域的應用，我們需通過其他文章給予介紹。

參考文獻：

[1]曹雪虹，張宗橙.信息論與編碼[M].北京：清華大學出版社，2004.

[2]陳運.信息論與編碼（第三版）[M].北京：電子工業出版社，2016.

[3]趙曉群.信息論基礎及應用[M].北京：機械工業出版社，2015.

[4]韓宇平，王永兵，馮小明.基于最大熵原理的區域水資源短缺風險綜合評價[J].安徽農業科學，2011，39（1）：397-399.

[5]曲煒，朱詩兵.信息論基礎及應用[M].北京：清華大學出版社，2005.

[6]楊周，張義民，謝寶臣等.基于最大熵法的車輛零部件可靠性分析[J].機械設計與制造，2011，（12）：22-24.

[7]M Guillaud， M Debbah， AL Moustakas. Maximum Entropy MIMO Wireless Channel Models[C]. USA： 《IEEE Trans Information Theory Dec》，2006.

作者簡介：

朱碧，張世豪，河南工業大學理學院。endprint