函數的凹凸性與信息熵
——從2020 年新高考全國Ⅰ卷第12 題談起

北京師范大學貴陽附屬中學(550081)李鴻昌

高考試題,特別是壓軸題,凝聚了命題專家的智慧,富含數學的精神、思想與方法.剖析壓軸題的命題立意、命題背景,探究試題的推廣與各種解法之間的內在聯系,是發展解題水平、達到解題目的的一條值得嘗試的路徑,也是體味數學源頭的一種方法[1].下文筆者通過一道高考壓軸題,談問題的源頭、背景與推廣以及兩道考題的背景和解法上的內在聯系.

1.一道“新定義”考題

題目(2020 年新高考全國Ⅰ卷12 題·多選題)信息熵是信息論中的一個重要概念.設隨機變量X所有可能的取值為1,2,···,n,且P(X=i)=pi＞0(i=1,2,···,n),1,定義X的信息熵下列說法中正確的是()

A.若n=1,則H(X)=0

B.若n=2,則H(X)隨著p1的增大而增大

D.若n=2m,隨機變量Y所有可能的取值為1,2,···,m,且P(Y=j)=pj+p2m+1-j(j=1,2,···,m),則H(X)≤H(Y)

解析(答案:AC ) 對于A 選項,若n=1,則i=1,p1=1,所以H(X)=-(1×log21)=0,故A 選項正確.對于B 選項,若n=2,則i=1,2,p2=1-p1,所以H(X)=-[p1·log2p1+(1-p1)·log2(1-p1)].當當時,兩者相等,所以B 選項錯誤.對于C 選項,若(i=1,2,···,n),則故H(X)隨著n增大而增大,所以C 選項正確.對于D 選項,若n=2m,隨機變量Y的所有可能的取值為1,2,···,m,且P(Y=j)=pj+p2m+1-j(j=1,2,···,m),則

因為pi＞0,所以所以從而因此H(X)＞H(Y),所以D 選項錯誤.

評析本題主要考查對新定義“信息熵”的理解和運用,考查分析問題和解決問題的能力,涉及對數運算、對數函數以及不等式基本性質的運用.

2.信息熵的起源

1948 年10 月,香農在論文《通訊的數學原理》一文中,提出了“信息熵”的概念,并用H=log2n來定義信息量,以此來“消除不確定性的東西”,實現對隨機變量所含“信息量”的度量,讓人們知道“原來信息是可以用來度量的”[1].設一個概率系統中有n個事件,每一事件發生的概率為pi(i=1,2,···,n),當事件i發生后,給我們的信息量為Hi=-log2pi.對n個事件構成的概率系統,整個系統的平均信息量為這個平均信息量就是信息熵.

3.信息熵的定義

設隨機變量X所有可能的取值為1,2,···,n,且的信息熵對數的底數a根據情況可取e,2,10.

4.Jensen 不等式[3]

若f(x) 為區間I上的凸函數(即f′′(x) ≥ 0),則對?xi∈I,λi＞0 (i=1,2,3,···,n),有反之,若f(x) 為凹函數(即f′′(x)≤0),則有

5.試題推廣

推廣1熵極值不等式

若pi≥0,qi≥0(i=1,2,···,n)且則

證明因為f(x)=lnx是凹函數,由Jensen 不等式可得則得因此≥0.

推廣2對數和不等式

若ai≥0,bi≥0 (i=1,2,···,n),則

證明設函數f(x)=xlnx,則f′(x)=lnx+1,所以f(x)是凸函數,由Jensen 不等式可得≥取則得到

推廣3(熵的上界)最大離散熵定理

H(X)≤lnn.

證法1因為f(x)=lnx是凹函數,由Jensen 不等式可得得

證法2由對數和不等式,可得即H(X)≤lnn.

推廣4信息不等式[4]

證明因為f(x)=lnx是凹函數,由Jensen 不等式可得則有

注如果P,Q分別是兩個離散的概率分布,滿足P(X=i)=pi,Q(X=i)=qi,pi＞0,qi＞0 (i=1,2,···,n),并且為相對熵(又稱Kullback-Leibler 散度),記作D(P‖Q).推廣4 的信息不等式即是D(P‖Q)≥0.

6.應用

例1(2005 年高考全國Ⅰ卷理科)

(1)設函數f(x)=xlog2x+(1-x)log2(1-x)(0 ＜x＜1),求f(x)的最小值.

證明(2) 設g(x)=xlog2x,x∈(0,+∞),則g′(x)=所以g(x)為(0,+∞)上的凸函數,由Jensen 不等式,得

即

例2(2011 年高考湖北卷理科)

(1)已知函數f(x)=lnx-x+1,x∈(0,+∞),求函數f(x)的最大值;

(2)設ak,bk(k=1,2,···,n)均為正數,證明:

(i)若a1b1+a2b2+···+anbn≤b1+b2+···+bn,則

(ii)若b1+b2+···+bn=1,則

證明第(2)問中(i)的證明:設S=b1+b2+···+bn,由h(x)=lnx為(0,+∞)上凹函數,據Jensen 不等式,得

設g(x)=xlnx,則

g(x)在(0,+∞)上是凸函數,由Jensen 不等式,得

即

由h(x)=lnx為(0,+∞)上的凹函數,利用Jensen 不等式,得

即

評析從上述證明可知,例1 和例2 貌似不同,實則在解題方法、命題背景等方面有內在的聯系.兩道例題的本質是一樣的,都有“信息熵”的背景,都利用了h(x)=lnx的凹性和g(x)=xlog2x的凸性.在上述解答中,函數取xlog2x或xlnx,并沒有什么本質的區別.