運用信息論的簡單方法求解玻爾茲曼熵

呂樺

摘要：我們運用信息論提出了一個簡單的方法求解了玻爾茲曼熵。首先，我們從定理中得到熵的一般公式：兩個獨立的事件所獲得的信息與兩個事件單獨獲得的信息是相同的。系統(tǒng)中所有的事件等概率發(fā)生時熵達到最大值，然而熵的一般公式就變?yōu)橐粋€特例，即玻耳茲曼熵。我們用統(tǒng)計力學中的信息理論可以獲得玻爾茲曼熵。

關(guān)鍵詞：玻爾茲曼熵；信息理論；統(tǒng)計力學

中圖分類號：G642.0 文獻標志碼：A 文章編號：1674-9324（2017）15-0211-02

一、引言

熵的概念最早是由Clausius結(jié)合熱力學第二定律提出的，且用它描述一個熱力學系統(tǒng)的狀態(tài)改變或者狀態(tài)變化過程中的化學機制。隨后，玻爾茲曼賦予熵一個統(tǒng)計模擬的定義來測量理想氣體的無序和混亂程度[1]，他發(fā)現(xiàn)系統(tǒng)熵的值與它微觀狀態(tài)數(shù)的對數(shù)是成正比的。之后，Shannon把熵的概念應(yīng)用到信息理論中用來衡量在傳送信息過程中的信息量[2-5]。1957年，Jaynes把信息理論和統(tǒng)計力學統(tǒng)一了起來[6-9]。他認為當統(tǒng)計力學只是一種統(tǒng)計推理而不是物理理論的時候，統(tǒng)計力學中的一些基本計算法可以變?yōu)樽畲箪氐亩ɡ怼Ｔ赟hannon熵理論中使用拉格朗日乘子法能估算出其最大熵值。當溫度、自由能等參量的值被求出后，若不計玻爾茲曼常量，具有概率分布信息熵的熱力學熵也可以被確定。特別地，當只有統(tǒng)計系統(tǒng)的平均能信息時，最大熵概率分布將成為玻爾茲曼分布。在這篇文章中，我們運用信息論提出了一個簡單的方法可以得到玻爾茲曼熵S=kBlnW。我們運用簡單的原理得出熵的一般公式，再通過簡單的計算求出最大熵的一個分布，最后用概率論和微觀的關(guān)系求出玻爾茲曼熵。這為學生學習熱力學和統(tǒng)計力學課程中的玻爾茲曼熵提供了另一種方法。更近一步的說，我們從信息論中得出的玻爾茲曼熵仍然有助于研究生和本科生去理解熵和信息之間的關(guān)系。

二、信息熵的一般公式

在統(tǒng)計力學中，熵描述物理系統(tǒng)的無序或者混亂程度。它可以描述一個物理系統(tǒng)或一個事件的不確定性。這里，如果變量X的值是不確定的，我們通過一個測量得到有關(guān)變量X的信息量I（X）。這些信息將成為概率P的函數(shù)，它標示著變量X的概率分布。為了獲得I（X）的形式，我們應(yīng)考慮測量后信息獲得后的特點。這里有一個簡單的定理：從兩個獨立的事件中獲得的總信息等于從兩個事件單獨獲得信息的總和，即I（p，p）=I（p）+I（p）。很顯然，對數(shù)函數(shù)滿足這個公式。因此，可以用公式I（p）=-klogp來表示信息的增加，其中，b為對數(shù)函數(shù)的底數(shù)。我們?nèi)〕Ｓ脤?shù)、二元對數(shù)、自然對數(shù)的底數(shù)分別為10、2和e=2.718。為了方便計算，我們假設(shè)底數(shù)b?1，k為常數(shù)，p∈[0，1]，這里加負號用來確保信息增加量是非負的。由于事件發(fā)生的不確定性，我們?nèi)⌒畔⒃黾恿康钠骄担胮，p，…，p表示，即（p，p，…，p）=-k∑plogp，接下來，我們定義兩個具體事件信息增加量的取值范圍，這里取P為0或1，如果事件從不發(fā)生取值為0，相反，如果事件在每次測量時都發(fā)生，即為全概率確定事件，信息的增加取值仍為0。舉一個例子，在一個“是”或“否”的硬幣游戲中，如果一個硬幣總是正面朝上，人們就不會從結(jié)果中再獲得任何有用的信息。因此，我們定義當P=0或1時，I（P）取值為I（0）=I（1）=0。平均信息增加量的一般公式可以寫作為I（X）=I（p，p，…，p）= -k∑plogp （1）其中，∑p=1，0log0=0。

三、信息熵中求玻爾茲曼熵

信息具有物理性，信息的輸入、存儲、轉(zhuǎn)換和輸出都必須依賴于物理系統(tǒng)。在一個完整的測量結(jié)束后，測量者能獲得系統(tǒng)的信息、不確定度以及系統(tǒng)熵的減少量。因此，公式（1）中的I（X）仍然可以被用來測量物理系統(tǒng)的不確定度，即H（X）=H（p）≡H（p，p，…，p）=-k∑plogp∑p，如果這里常量k取值1，熵的一般公式為眾所周知的Shannon熵。下面我們將介紹如何從公式（1）的一般熵求得玻爾茲曼熵。

若給出熱力學系統(tǒng)的一個宏觀狀態(tài)粒子，我們是無法獲知它具體存在的位置。假設(shè)系統(tǒng)的一個宏觀狀態(tài)包含n個可能的微觀態(tài)，那么系統(tǒng)第i個微觀態(tài)的概率為p，則系統(tǒng)熵的不確定量為H（p）=-k∑plogp。下面我們確定系統(tǒng)熵的最大值。因為熵是系統(tǒng)不確定度的量度，所以我們可以直觀的認為系統(tǒng)處于完全無序狀態(tài)，即所有微觀態(tài)等概率發(fā)生時，熵達到最大值。為了證明這個觀點，我們測量兩個概率分布相近的微觀態(tài)，即p和q，這里采用相同的下標，i表示系統(tǒng)第i個微觀態(tài)。這兩個概率分布熵的距離可以寫為[10]：

在上面的不等式中，我們運用了 兩個公式，不等式當且僅當x=1時取等號。很顯然，它意味著若兩個事件概率分布不相同時，那么兩個概率分布的距離是非零的，這里我們用相同的下標i標注。現(xiàn)在我們使用上面的不等式證明當處于完全無序狀態(tài)時系統(tǒng)達到熵的最大值。令 得到

從上面的不等式可以得出klogn≥H（p）。當且僅當微觀狀態(tài)等可能發(fā)生時即p=時等式成立。很顯然，我們得到具有n個可能微觀態(tài)系統(tǒng)熵的最大值為 klogn。當k取玻爾茲曼常量kB、b取值e（即這里使用自然對數(shù)函數(shù)）時，系統(tǒng)的最大熵值還原為標準玻爾茲曼熵，S=klnW （2），這里W=n，代表微觀狀態(tài)數(shù)。到此，采用上面的方法我們證明了當所有微觀態(tài)等概率發(fā)生時，物理系統(tǒng)的熵可以達到最大值，其值為玻爾茲曼熵。

四、討論和結(jié)論

對信息熵和玻爾茲曼熵之間的關(guān)系的討論已經(jīng)有很長時間了。文中我們提出了一個更簡單的方法從物理系統(tǒng)的信息熵中獲得玻爾茲曼熵。我們的推導過程基于簡單的基本原理即兩個獨立的事件所獲得的信息與兩個事件單獨獲得的信息總和是相同的，得出當系統(tǒng)處于熱平衡狀態(tài)時，即系統(tǒng)所包含的微觀態(tài)等可能發(fā)生時，系統(tǒng)的信息熵達到最大值，即為玻爾茲曼熵。這里，如果系統(tǒng)的溫度給定，系統(tǒng)玻爾茲曼熵中的玻爾茲曼因子[11]也能被確定。根據(jù)玻爾茲曼因子，系統(tǒng)的某些熱力學特性也可以被進一步的研究。我們求解玻爾茲曼熵的過程暗示著未來統(tǒng)計力學很有可能被信息理論所建立。

致謝：感謝國家自然科學基金會（NSFC）的全力支持，批號為（11204072）。

參考文獻：

[1]L. Boltzmann，Lectures on Gas Theory （English Translation），（University of California，Berkeley），1964.

[2]C. E. Shannon，A mathematical theory of communication. Bell System Tech. J.，1948，（27）：379-423，623-656.

[3]Qiao-Yan Wen，F(xiàn)ei Gao，and Fu-Chen Zhu，Quantum secure direct communication with χ-type entangled states，Phys. Rev. A，2008，（78）：064304.

[4]Bassano Vacchini，Klaus Hornberger，Quantum linear Boltzmann equation，Physics Reports，2009，（478）：71-120.

[5]R.A. Brownlee，A.N. Gorban，J. Levesley，Nonequilibrium entropy limiters in lattice Boltzmann methods，Physica A，2008，（ 387）：385–406.

[6]J?rg Reichardt and Stefan Bornholdt，Statistical mechanics of community detection，Phys. Rev. E，2006，（74）：016110.

[7]Alessandro Campaa，Thierry Dauxois，Stefano Ruffo，Statistical mechanics and dynamics of solvable models with long-range interactions，Physics Reports，2009，（480）：57-159.

[8]Hugo Touchette，The large deviation approach to statistical mechanics，Physics Reports，2009，（480）：1-69.

[9]E. T. Jaynes，Information Theory and Statistical Mechanics，Phys. Rev.，1957，（480）：620-630.

[10]S. Kullback，R. A. Leibler，On information and sufficiency，Annals of Mathematical Statistics，1951，（22）：79-86.

[11]H. B. Callen，Thermodynamics and an Introduction to Thermostatistics 2nd edn New York：Wiley and Sons，1985 chapter 15.