多閾值隨機匯池網絡自適應估計性能研究

景文騰，耿金花，韓 博，段法兵

(青島大學復雜性科學研究所，山東 青島 266071)

0 引言

1 模型與方法

1.1 多閾值隨機匯池網絡模型

圖1 多閾值自適應加權隨機匯池網絡模型Fig.1 Model of adaptive weighted stochastic pooling network with multilevel

1.2 理論分析

1.2.1 閾值劃分及網絡輸出特征

在圖1的隨機匯池網絡模型中，將每個并行量化器執行的運算記為g(.)，即閾值函數，為了易于實現，可以選擇均勻地分布在[-1,1]的范圍內2M+1個量化閾值

(1)

這里,j=-M,-M+1,…,0,…,M-1,M。那么當xk+ηi,k∈[θ2j-1,θ2j+1)時，量化器輸出yi,k為

yi,k=g(xk+ηi,k)=j

(2)

此處定義θ-2M-1=-，θ2M+1=。每個量化器具有相同的輸入xk，設其概率密度函數為fX(x)，與獨立同分布的噪聲ηi,k相加，設噪聲的概率密度函數為fη(η)，均值為0，方差為依據式(1)和(2)，在k時刻，當θ2j-1≤xk+ηi,k<θ2j+1時，量化器輸出yi關于輸入信號xk的條件分布為

(3)

這里Fη(·)為噪聲ηi,k的累積分布函數。

1.2.2 多閾值下的最優權向量與均方誤差

(4)

(5)

(6)

將式(6)帶入式(5)，得最小均方誤差為

(7)

在多閾值情況下進行具體分析，由式(3)可以得出條件均值和二階矩

(8)

(9)

那么相關向量Pxy中

(10)

(11)

協方差矩陣Cyy的對角元素Cii和非對角元素Cil分別為

(12)

(13)

這里i,l=1,2,…,N且i≠l。利用協方差矩陣特征值及特征向量的分析[14]，最優權向量wo和最小均方誤差可以簡化為

(14)

(15)

1.2.3 多閾值隨機匯池網絡的Fisher信息

(16)

則網絡的Fisher信息量為

(17)

由Fisher信息量求出后，可據此得出均方誤差的下界

(18)

(19)

(20)

此處使用的節點數N為偶數，另外在n≠0的條件下還要滿足n和i同為奇數或偶數，節點數為奇數的情況同理，Pn|x為每個量化器的輸出的條件概率，可由式(3)得出。

2 實驗分析

為探究多閾值情況下自適應加權隨機匯池網絡的估計性能，這里考慮隨著閾值的數量增加網絡的估計性能變化。例如劃分為4級閾值時，M=2，當xk+ηk∈(-,-0.6)，閾值函數輸出為-2，xk+ηk∈[-0.6,-0.2)，輸出為-1，xk+ηk∈[-0.2,0.2)，當xk+ηk∈[0.2,0.6)，輸出為1，xk+ηk∈[0.6,)，輸出為2，同理可得其他閾值的情況。選取的輸入信號xk分別為均值為0，標準差σx為1的高斯信號以及在[-1,1]上服從均勻分布的信號，加性噪聲ηi,k選用均值為零，標準差ση的高斯白噪聲。由于已知網絡節點數對性能的影響[14]，網絡數目N=10，依據式(8)～(15)得到結果如圖2所示，由上自下分別對應閾值2、4、10、40和100的均勻劃分方式。

注：由上自下分別對應閾值2、4、10、40和100。圖2 均方誤差隨著輸入噪聲強度變化曲線Fig.2 Mean square error versus input noise levels for thresholds

由圖2可以看出，均方誤差隨著噪聲強度的變化存在隨機共振現象，在一非零的最優噪聲強度下，均方誤差值為最小，且隨著閾值數目的增加，最小均方誤差值也在不斷減小，證實了閾值數目的增加與自適應加權隨機匯池網絡的性能呈正相關關系。此外，圖2還表明當閾值分級很多時(比如40級和100級)，曲線不再有明顯的彎曲弧度，隨機共振現象幾乎消失，在圖2b中，均勻分布的輸入信號對閾值數目的增加更為敏感，在8閾值及10閾值的時候，加入噪聲已經不會產生隨機共振現象。這個原因是因為隨著閾值劃分級的增加，數字信號能夠更加詳細地量化模擬信號的變化，信息損失減少，因此人為增加噪聲的方法只是在閾值劃分級別較少時起到有益作用。

為探究不同閾值級別情況下的均方誤差對于Fisher界的逼近情況，我們選取單閾值和多閾值兩種情況進行分析。Fisher界即為Fisher信息量的倒數，任何無偏估計的方差至少要大于該界，也稱為C—R下界，達到了Fisher界的估計為最小均方誤差估計量。由文獻[21]可知Fisher信息量表達式為J(x)=Nfη(x)2/[P1|x(1-P1|x)]，如圖3所示。從圖3中可以看出多閾值較單閾值情況下的隨機匯池網絡的均方誤差更為接近Fisher界，從另一個方面印證了在最優加權隨機匯池網絡中多閾值分級的優越性。圖4進一步研究了網絡節點數增加對Fisher界的逼近情況，將噪聲的標準差固定為0.6，可以看出，隨著網絡節點數的增加，均方誤差同樣隨著閾值分級增加不斷逼近Fisher界，但同時，均方誤差距Fisher界仍有較大距離，因為Fisher信息量的大小與節點數目呈正比，且最小均方誤差與Fisher界的距離還需要進一步通過閾值劃分設計和噪聲優化來改進。

圖3 不同閾值情況下隨機匯池網絡的均方誤差與Fisher界隨噪聲強度的變化Fig.3 Fisher bounds and mean square error versus input noise levels for different thresholds

圖4 不同閾值下隨機匯池網絡的均方誤差與Fisher界隨網絡節點數目的變化Fig.4 Fisher bounds and mean square error versus network sizes for different threshold levels

3 結論與展望

本文研究了在多閾值自適應加權隨機匯池網絡的信號估計性能，以均方誤差作為性能指標，理論上推導出了多閾值網絡的最優權向量、最小均方誤差和網絡輸出Fisher信息量表達式，實驗結果表明隨著閾值劃分級別數量的增加，最小均方誤差不斷減小，當閾值數量增大到一定數目，噪聲的有益性逐漸消失，因此人為加入噪聲的方法在閾值分級比較少的時候才能起到積極作用。本文主要考慮了區間[-1,1]上的均勻閾值劃分方案，沒有考慮隨機閾值、分組閾值以及閾值的區間可以優化調整的情況。因此，在多閾值隨機匯池網絡的信號估計性能研究中，從理論上論證出隨機共振現象消失的原因以及推導噪聲有益性的充要條件值得我們進一步深入探討。