基于反向試驗信道的信息率失真函數計算方法

游雪肖，汪金漢

(湖北師范學院 數學與統計學院，湖北 黃石 435002)

基于反向試驗信道的信息率失真函數計算方法

游雪肖，汪金漢

(湖北師范學院 數學與統計學院，湖北 黃石 435002)

利用Lagrange乘數法和互信息與熵的關系，提出了一種基于反向試驗信道的信息率失真函數計算方法，給出了信息率失真函數的參量表示式，分析了該參量表示式中參數的物理意義，并舉例說明了其具體應用.

信息論；反向試驗信道；信息率失真函數；Lagrange乘數法

0 引言

在信息處理過程中，由于種種干擾因素的存在，不可避免地要丟失信息，產生失真。對于給定的信源，總是希望它的信息經過處理后所產生的平均失真在一定允許限度內的情況下，使得信源傳輸的信息率盡可能的小，這個最小值就是信息率失真函數R(D).一般可用Lagrange乘數法求解信息率失真函數，得關于試驗信道亦即未知量{p(bj|ai)}的參量表示[1～5]，或先求出互信息I(X;Y)的最小值，然后從反向試驗信道角度構造反向試驗信道 {p(ai|bj)}證明最小值可達[6]，但反向試驗信道的構造通常不是那么容易。本文利用互信息與熵的關系，從反向試驗信道角度以{p(ai|bj)} 為未知量直接討論R(D)的參量表示式以及參量S的物理意義。事實上，無論反向試驗信道，還是正向試驗信道，R(D)的參量表示式中參量S的意義是一樣的，都是R(D)的斜率。從該方法還可以看出, 在信息率失真函數計算時，無論正向試驗信道還是反向試驗信道，都只是一個信道從兩個不同角度考慮的兩種不同表示方法而已，沒有本質區別。

1 預備知識

定義1[1]信源X的熵定義為

信源X,Y的聯合熵定義為

在給定信源Y的條件下，X的條件熵定義為

定義2[2]信源X,Y的互信息定義為

定理1[3]

I(X;Y)=H(Y)-H(Y|X)=

(1)

H(X)-H(X|Y)=

(2)

H(X)+H(Y)-H(X,Y)

(3)

定義3[2]對每一對(ai,bj)，指定一個非負函數d(ai，bj)≥0；i=1,2,…，n;j=1,2,…,m,稱d(aj,bj)為單個符號的失真函數或失真度. 用它來表示信源發出一個符號ai，而在接收端再現bj所引起的誤差或失真.

定義4[2]稱

為信源的平均失真度．

定義5[2]離散無記憶信源的平均失真度如果不超過某一限定的值D，即Ed(X,Y)≤D，則稱D是允許失真的上限.凡滿足Ed(X,Y)≤D的 {p(bj|ai)}稱為D失真許可的試驗信道，簡稱試驗信道．

定義6[2]信息率失真函數R(D)定義為

2 信息率失真函數的參量表示式

2.1問題的提出與轉化

由定義6可知，信息率失真函數的計算實際上是求I(X;Y)在約束條件下的極小值問題，即

minI(X;Y)

(4)

在文獻[1-5]中，R(D)的計算以{p(bj|ai)} 為未知量，利用Lagrange乘數法求解條件極值問題，從本質上都是利用式(1)，本文利用式(2)和(3)，以{p(ai|bj)} 為未知量，得到了關于反向試驗信道{p(ai|bj)} 的信息率失真函數參量表示式.

2.2R(D)的參量表達式

為了在式(4)的 (n+2)個等式條件的限制下，求I(X;Y)的極值，可引入Lagrange乘數S、μ和αi(i=1,2,…，n)，利用式(3)構造一個新的函數

上式兩邊對p(ai,bj)求偏導數，并令其為0，即

(5)

p(ai|bj)=eSd(ai,bj)βi,i=1,2,…,n;j=1,2,…,m.

(6)

上式兩邊對i求和并注意(4)式，有

(7)

(6)式兩邊同乘p(bj)，再對j求和，得

(8)

由(7)式解出βi，代入(6)式中得到p(ai|bj)，代入(8)式中得到p(bj)，將這些結果代入約束條件，可得

(9)

(10)

2.3參量S的意義

首先將R(D)對D求導數，則得

(11)

其次，在(7)式的兩邊對S求導數，可得

將上式兩邊乘以p(bj)，并對j求和，得

由此可見，在反向試驗信道計算得到的信息率失真函數表示式中，參數S具有與正向試驗信道中參數相同的意義。

2.4求解過程歸納

步驟如下：i)由(7)式求出βi；ii)由(6)式求出p(ai|bj)；iii)由(8)式求出p(bj)；iv)由(9)式求出D(S)；v)由(10)式求出R(D).

3 求解舉例

設Y的概率分布為{q0,q1}，則由(8)式，得

因此，由(9)式得

由(6)式，可計算得，

p(a1|b1)=p(a2|b2)=1-D,p(a2|b1)=p(a1|b2)=D

由(10)式，R(D)=I(X;Y)=H(X)-H(X|Y)=log2-H(1-D,D)

將該例與[1-5]比較可以看出，基于反向試驗信道的信息率失真函數的計算要比[1-5]簡單得多.

[1]曲 煒.信息論與編碼理論[M].北京:科學出版社, 2005．

[2]陳 運.信息論與編碼[M](第2版).北京: 電子工業出版社, 2007．

[3]葉中行.信息論基礎[M](第2版).北京: 高等教育出版社, 2007.

[4]田寶玉.信息論基礎[M].北京: 人民郵電出版社, 2008．

[5]王育民, 李 暉, 梁傳軍. 信息論與編碼理論[M]. 北京:高等教育出版社, 2005．

[6]游雪肖，趙大方.等概離散無記憶信源率失真函數的計算方法[J].數學實踐與認識，2014,44(10):163～168.

Acalculationmethodoftheratedistortionfunctionbasedonreversetestchannel

YOU Xue-xiao, WANG Jin-han

(College of Mathematics and Statistics, Hubei Normal University, Huangshi 435002, China)

Using the Lagrange multiplier method and the relationship of mutual information and entropy, this paper gives the parametric representation of calculating rate distortion function based on reverse test channel and analysis the meaning of the parameter. And gives an example of application.

information theory; reverse test channel; rate distortion function；Lagrange multiplier method

2014—04—18

游雪肖(1980— )，女，湖北襄陽人，講師，碩士，主要從事信息論方面研究.

TN911;O171

A

1009-2714(2014)04- 0012- 05

10.3969/j.issn.1009-2714.2014.04.003