基于密度核估計的最大熵方法改進探析

盧鈺坤 宋向東

摘 要：基于最大熵方法的隨機變量統計模型，可以確定出一個含有最少主觀假定的分布。針對傳統最大熵方法在拉格朗日優化計算中存在的全局優化困難、求解精度不高等問題，提出了一種基于“核密度+逐次疊加法”求解最大熵的方法。通過驗證，對密度核估計最大熵方法的改進，不僅優于非參數方法中的密度核估計方法，也提高了傳統最大熵算法的精度。

關鍵詞：最大熵方法;密度核估計;逐次疊加算法;概率密度估計

中圖分類號：TB 文獻標識碼：Adoi：10.19311/j.cnki.1672-3198.2019.28.093

0 引言

1948年香農（C.Shannon）提出了一系列關于信息的數學理論，信息熵的概念應運而生。信息熵用于描述隨機變量的不確定性，不確定性越大，熵越大。最大熵原理，是指在已知信息不完備的情況下，選擇出熵最大的一種概率分布模型。最經典的最大熵求解方法是拉格朗日乘子法，但由于拉格朗日優化函數的高度非線性，使結果不容易收斂，甚至有時會出現不嚴格可積現象。因此，本文提出基于“核密度+逐次疊加法”求解最大熵的方法，簡化了經典求解方法中的優化問題。

1 最大熵方法概述

以最大熵原理為基礎的技術已廣泛應用于檢測變量的隨機性。Alwan、Das等人提出了通過最大熵方法構建控制圖的思想。Soize利用最大熵原理有效構造了向量值隨機變量高維概率分布。Bouzouba等人通過最大熵原理得出了真實模型階數和真實噪聲協方差的最小均方誤差（MSE）。

1.1 經典型最大熵方法

1.2 基于密度核估計的最大熵方法

2 密度核估計的最大熵方法的優化算法

在數值求解方法中，初值的選擇尤為重要。本文提出采用逐次疊加法進行優化求解。逐次疊加法是一種序列更新方法，是將矩約束逐次從低階矩合并到高階矩，并依次更新初值的迭代方法。由核函數性質，將權重αj做如下變換：

3 數值分析

利用四種典型分布驗證改進的KDE-MEM法的有效性，包括正態分布和偏態分布。通過Monte Carlo方法生成隨機樣本，并與傳統的KDE-MEM法和非參數分析中核平滑密度估計法進行對比分析。在模型計算過程中，矩的選擇尤為重要。Abramov研究表明，建議使用4-6階樣本矩，因此本文選擇前4階矩。

3.1 改進的KDE-MEM法對常見概率分布類型的分析

本節利用正態分布、偏態分布的幾種典型分布進行驗證分析，樣本分別服從于標準正態分布N（0，1）、對數正態分布LogN（0，0.252）、威布爾分布W（1.5，6）、卡方分布χ2（5）。取各分布的200個隨機樣本的前4階矩，通過改進的KDE-MEM法進行參數優化求解，求得概率密度函數，并畫出與理論曲線的對比圖。

圖1顯示，在小樣本情況下，改進的KDE-MEM法表現出很高的擬合精度，與理論概率密度曲線十分吻合，可見改進的KDE-MEM法具有通用性。

3.2 改進的KDE-MEM法與傳統方法的精度對比

以對數正態分布和威布爾分布為例，對改進的KDE-MEM法進行具體計算分析。分別計算各參數優化的結果（表1），并畫出對比概率密度圖（圖2）。

從圖2中可以明顯看出，不同方法計算的概率密度曲線的誤差各不相同，為方便比較，表2列出不同方法計算的概率密度函數的均方誤差（MSE），求解公式見式（9）。

核密度估計法是一種傳統的非參數方法，采用核平滑密度估計法分別對這兩個分布的隨機樣本進行核密度估計，窗寬分別取hLogN=0.0229和hW=0.0991，核密度估計圖見圖2，對比表明，改進的KDE-MEM法明顯提高了傳統核密度估計法的精度。

4 結論

（1）通過驗證，改進的KDE-MEM法具有通用性和有效性。基于密度核估計最大熵方法的思想，引入逐次疊加法，通過實現逐次引入樣本矩，實現了初值的更新迭代，與傳統方法相比，優化過程更容易收斂，計算精度更高。

（2）密度核估計最大熵方法，用核估計pn（x）代替拉格朗日乘子法中的p（x），降低了拉格朗日優化法的復雜程度，提高了最大熵方法的適用性，同時保證了目標函數的收斂性，避免了求解過程中不嚴格可積的問題。

（3）核估計是非參數估計方法之一，本文將密度核估計和最大熵方法相結合，僅采用隨機樣本的前4階矩進行逐級優化計算，更便于數據的記憶儲存，同時提高了尋優過程的穩定性。

參考文獻

[1]馮利華，李鳳全.基于最大熵原理的災害損失分析[J].數學的實踐與認識，2005，35（8）：73-77.

[2]王惠娟，肖新平.基于最大熵原理的測量不確定度商概率建模及計算[J].數學的實踐與認識，2016，46（13）：201-207.

[3]Alibrandi U，Ricciardi G.Efficient evaluation of the pdf of a random variable through the kernel density maximum entropy approach[J].International Journal for Numerical Methods in Engineering，2008，75（13）：1511-1548.

[4]吳福仙，溫衛東.極大似然最大熵概率密度估計及其優化解法[J].南京航空航天大學學報，2017，49（1）：110-116.

[5]劉鈺，韓峰，王玉恒.一種基于密度核估計的最大熵方法[J].工程數學學報，2011，28（3）：285-292.

[6]Alwan L C ，Ebrahimi N ，Soofi E S .Information theoretic framework for process control[J].European Journal of Operational Research，1998，111（3）：526-542.

[7]Das D ，Zhou S .Statistical process monitoring based on maximum entropy density approximation and level set principle[J].A I I E Transactions，2015，47（3）：15.

[8]Soize C .Construction of probability distributions in high dimension using the maximum entropy principle： Applications to stochastic processes，random fields and random matrices[J].International Journal for Numerical Methods in Engineering，2008，76（10）：1583-1611.

[9]Bouzouba K ，Radouane L.Image identification and estimation using the maximum entropy principle[J].Pattern Recognition Letters，2000，21（8）：691-700.

[10]Abramov，R.An imroved algrotithm for the multidimensional moment constrained maximum entropy problem[J].Comput Phys，2007，226（1）：621-644.