擬牛頓優(yōu)化BP網(wǎng)絡(luò)盲判決反饋均衡器

王 凱，吳立新

(1. 中國(guó)科學(xué)院聲學(xué)研究所，北京100190；2. 中國(guó)科學(xué)院大學(xué)，北京100049)

0 引 言

無(wú)需訓(xùn)練序列的盲均衡技術(shù)對(duì)于多徑效應(yīng)嚴(yán)重且?guī)捰邢薜乃曅诺纴碚f是十分重要的，可以有效降低碼間干擾對(duì)通信系統(tǒng)的影響，提升系統(tǒng)的通信性能。均衡器根據(jù)對(duì)接收信號(hào)的處理方式不同可以劃分為線性均衡器和非線性均衡器。線性均衡器結(jié)構(gòu)和算法簡(jiǎn)單，適用于信道畸變不嚴(yán)重的情況，當(dāng)均衡器階數(shù)足夠長(zhǎng)時(shí)，可以達(dá)到理想的均衡效果；而在水聲通信系統(tǒng)中，信道往往存在頻率選擇性衰落，非線性均衡器能夠有效地消除水聲信道的符號(hào)間干擾。

神經(jīng)網(wǎng)絡(luò)均衡器屬于非線性均衡器，由于其優(yōu)秀的非線性擬合能力，受到了國(guó)內(nèi)外科研工作者的關(guān)注，文獻(xiàn)[1]首次將多層感知器(Multi-Layer Perceptron, MLP)應(yīng)用于信道均衡，該方法采用四層多層感知器結(jié)構(gòu)，證明了多層感知器均衡器可以克服信道非線性和加性噪聲的干擾，文獻(xiàn)[2]對(duì)誤差反向傳播(Back Propagation, BP)網(wǎng)絡(luò)均衡器進(jìn)行改進(jìn)，加入了函數(shù)連接結(jié)構(gòu)，均衡效果優(yōu)于最小均方算法，文獻(xiàn)[3]將契比雪夫(Chebyshev)多項(xiàng)式與BP網(wǎng)絡(luò)結(jié)合，在二進(jìn)制信號(hào)均衡中取得了較好的效果，文獻(xiàn)[4-5]分別將遺傳算法與粒子濾波算法與BP網(wǎng)絡(luò)結(jié)合，在收斂速度、誤碼率方面均有所改進(jìn)。已有的基于BP網(wǎng)絡(luò)的均衡器主要針對(duì)網(wǎng)絡(luò)結(jié)構(gòu)選取與優(yōu)化方面進(jìn)行研究，僅用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)完成均衡，沒有與常規(guī)均衡方法相結(jié)合的算法。本文提出一種將神經(jīng)網(wǎng)絡(luò)與判決反饋均衡器結(jié)合的盲均衡器結(jié)構(gòu)，用單隱層BP網(wǎng)絡(luò)判決反饋均衡器(Decision Feedback Equalization, DFE)的前饋濾波器和反饋濾波器。

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)都是基于梯度下降法進(jìn)行迭代計(jì)算的，存在收斂速度慢的問題，影響均衡性能。牛頓法通過利用目標(biāo)函數(shù)的Hession矩陣進(jìn)行迭代計(jì)算，具有二次收斂性，收斂速度較快，但是需要計(jì)算二階導(dǎo)數(shù)，計(jì)算復(fù)雜度較高，且當(dāng)Hessian矩陣非正定時(shí)可能出現(xiàn)發(fā)散的情況。擬牛頓法通過構(gòu)造正定對(duì)稱的近似矩陣來進(jìn)行迭代計(jì)算，解決了牛頓法存在的問題。因此本文采用擬牛頓方法進(jìn)行神經(jīng)網(wǎng)絡(luò)的權(quán)值迭代，利用一個(gè)近似矩陣來近似Hessian矩陣的逆矩陣，通過網(wǎng)絡(luò)權(quán)值梯度的變化量進(jìn)行逐層的迭代計(jì)算，兼顧了擬牛頓的收斂速度以及神經(jīng)網(wǎng)絡(luò)的非線性擬合能力。對(duì)四相相移鍵控(Quadrature Phase Shift Keying, QPSK)調(diào)制信號(hào)的均衡仿真驗(yàn)證了本文方法在消除碼間干擾，降低誤碼率，加快收斂速度方面相比于傳統(tǒng)方法的優(yōu)越性。

1 復(fù)數(shù)BP網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，工作過程主要包含兩部分：信號(hào)的正向傳播和誤差的反向傳播。文獻(xiàn)[6]已經(jīng)證明：用單隱層的前饋神經(jīng)網(wǎng)絡(luò)能夠以任意精度逼近任意的連續(xù)函數(shù)。圖1為均衡器網(wǎng)絡(luò)結(jié)構(gòu)，其中輸入神經(jīng)元的個(gè)數(shù)為M，隱含層神經(jīng)元的個(gè)數(shù)為 I，m = 1 ,2… M ，i=1 ,2,… I 分別為輸入層到隱含層、隱含層到輸出層的連接權(quán)值，本文采用QPSK信號(hào)進(jìn)行仿真，因此輸入、輸出及權(quán)值皆為復(fù)數(shù)。

圖1 單隱層BP網(wǎng)絡(luò)示意圖Fig.1 Schematic diagram of single Hidden Layer BP Network

令vM(n)= x ( n)表示輸入層的輸出，uI(n)表示隱含層的輸入，vI(n)表示隱含層的輸出，y( n)表示輸出層的輸出，f(?)表示激活函數(shù)，*代表取復(fù)共軛轉(zhuǎn)置，則有：

實(shí)數(shù)神經(jīng)網(wǎng)絡(luò)的激活函數(shù)需要滿足輸入?yún)^(qū)間內(nèi)單調(diào)、有界及非線性等條件，常用的有 tansig、logsig、Relu等函數(shù)。復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)激活函數(shù)與實(shí)數(shù)情況下要求有所不同。根據(jù)文獻(xiàn)[7]激活函數(shù)f( x + i y) = u ( x, y) + i v( x, y)應(yīng)滿足以下要求：

(1)f( x+iy)在x和y上非線性，保證為網(wǎng)絡(luò)引入非線性變換，否則神經(jīng)網(wǎng)絡(luò)的性能會(huì)受到影響；

根據(jù)以上條件，選擇激活函數(shù)為

其中：r和c為正實(shí)數(shù)。

2 BP網(wǎng)絡(luò)盲判決反饋均衡器

基于BP網(wǎng)絡(luò)的盲判決反饋均衡器分為兩個(gè)階段：學(xué)習(xí)階段和收斂階段。學(xué)習(xí)階段將反饋濾波器置于前饋濾波器之前，先對(duì)數(shù)據(jù)進(jìn)行白化處理，再用橫模盲均衡(Constant Modulus Algorithm, CMA)算法對(duì)數(shù)據(jù)進(jìn)行均衡，當(dāng)反饋項(xiàng)具有一定可信度時(shí)轉(zhuǎn)換到收斂階段，此時(shí)均衡器結(jié)構(gòu)為常規(guī)的 DFE均衡器，使用反饋項(xiàng)作為期望信號(hào)對(duì)信號(hào)進(jìn)行均衡。

2.1 學(xué)習(xí)階段

學(xué)習(xí)階段均衡器結(jié)構(gòu)設(shè)置如圖 2，依次為增益控制因子g—反饋項(xiàng)BP網(wǎng)絡(luò)R—前饋項(xiàng)BP網(wǎng)絡(luò)T相位修正因子e?jθ—判決器。其中增益控制因子用來縮小接收信號(hào)的動(dòng)態(tài)范圍，便于輸入到神經(jīng)網(wǎng)絡(luò)進(jìn)行處理；反饋項(xiàng)BP網(wǎng)絡(luò)R、前饋項(xiàng)BP網(wǎng)絡(luò)T分別完成常規(guī)DFE前饋和反饋濾波器的功能；相位修正因子e?jθ用來修正信道和接收端處理對(duì)數(shù)據(jù)造成的相位偏移。根據(jù)文獻(xiàn)[8]可知，R的輸出是DFE的反饋輸入，在無(wú)訓(xùn)練序列的情況下只有當(dāng)R的輸出具有一定可信度時(shí)才能作為反饋項(xiàng)輸入。因此，學(xué)習(xí)階段首先將R置于T之前，對(duì)R的參數(shù)進(jìn)行學(xué)習(xí)。

圖2 學(xué)習(xí)階段均衡器級(jí)聯(lián)框圖Fig.2 Equalizer cascade diagram in learning stage

對(duì)于網(wǎng)絡(luò)T，在無(wú)監(jiān)督學(xué)習(xí)情況下對(duì)恒定包絡(luò)的信號(hào)依據(jù)Godard盲均衡算法有：

其中：p代表對(duì)輸出信號(hào)特性統(tǒng)計(jì)的階數(shù)，當(dāng) p=2時(shí)，此算法成為最常用的恒模盲均衡算法(CMA)，令，可得：

文獻(xiàn)[10]已經(jīng)證明，在初始模式級(jí)聯(lián)方式下，應(yīng)用Godard算法時(shí)，當(dāng)且僅當(dāng)T達(dá)到迫零準(zhǔn)則時(shí)均衡器取得最優(yōu)值，相比于 MSE準(zhǔn)則僅有細(xì)微的差別。

由代價(jià)函數(shù)可知，計(jì)算Jθ時(shí)需要用到此時(shí)刻的判決值，因此需要將e?jθ放置在最后。根據(jù)文獻(xiàn)[11]，用二階鎖相環(huán)最小化Jθ的方法為

2.1.3 擬牛頓BP網(wǎng)絡(luò)迭代

擬牛頓迭代方法與最速下降法一樣只要求知道目標(biāo)函數(shù)的梯度，通過對(duì)梯度變化的測(cè)量，構(gòu)造一個(gè)目標(biāo)函數(shù)的模型使其滿足超線性收斂，其性能要優(yōu)于最速下降法。另外，因?yàn)椴恍枰A導(dǎo)數(shù)信息，所以其相對(duì)于牛頓法計(jì)算量更小，而且可以保證矩陣的正定，防止牛頓法可能出現(xiàn)的收斂發(fā)散的情況。

擬牛頓法主要思想為對(duì)目標(biāo)函數(shù)進(jìn)行二階泰勒展開并令其導(dǎo)數(shù)等于0，推導(dǎo)得出權(quán)值迭代公式。對(duì)J(ω)在ω(n)處進(jìn)行二階泰勒展開：

其中： H?1表示二階導(dǎo)數(shù)Hession矩陣的逆矩陣，G表示它的近似值，g表示梯度矩陣。

由BFGS迭代法可得近似矩陣G的迭代公式：

由2.1.2節(jié)已經(jīng)得到了R、T兩個(gè)網(wǎng)絡(luò)各層權(quán)值的梯度計(jì)算公式，根據(jù)上述公式可以得到擬牛頓BP網(wǎng)絡(luò)權(quán)值迭代步驟如下：

(5) 根據(jù)式(25)計(jì)算GI、GMI；

(7) 輸入新數(shù)據(jù)重復(fù)步驟(1)～(6)。

2.2 收斂階段

當(dāng)初始模式的判決輸出具有一定可信度時(shí)，均衡器級(jí)聯(lián)結(jié)構(gòu)由圖2轉(zhuǎn)變?yōu)閳D3。此時(shí)均衡器為加入相位修正的常規(guī)DFE結(jié)構(gòu)，將判決輸出的結(jié)果當(dāng)作期望信號(hào)進(jìn)行訓(xùn)練。當(dāng)模式轉(zhuǎn)化時(shí)，均衡器受到的影響僅為T由近似迫零準(zhǔn)則轉(zhuǎn)化為MSE準(zhǔn)則對(duì)網(wǎng)絡(luò)權(quán)值的影響，對(duì)整個(gè)均衡器影響較小。同時(shí)新的均衡級(jí)聯(lián)結(jié)構(gòu)相比于初始模式可以達(dá)到更小的均方誤差。

圖3 收斂階段均衡器級(jí)聯(lián)框圖Fig.3 Equalizer cascade diagram in convergence stage

由于均衡器沒有訓(xùn)練序列，不能直接根據(jù)誤碼率評(píng)價(jià)初始模式下判決信號(hào)的可靠性，而均方差可以根據(jù)調(diào)制方式轉(zhuǎn)化為誤碼率，因此我們將判決信號(hào)與輸出信號(hào)的均方差值作為度量初始模式均衡效果的性能指標(biāo)。度量值M由以下公式計(jì)算：

其中：λ為遺忘因子，一般取接近1、但小于1的常數(shù)，保證均衡器不會(huì)在初始階段與收斂階段來回震蕩，模式切換準(zhǔn)則為

為了保證模式轉(zhuǎn)換后的判決信號(hào)具有可靠性，M0的選擇應(yīng)該足夠小。通常選擇當(dāng)誤符號(hào)率小于0.02時(shí)進(jìn)行模式轉(zhuǎn)換，相移鍵控(Phase Shift Keying,PSK)調(diào)制符號(hào)錯(cuò)誤概率與信噪比關(guān)系為

根據(jù)Wirtinger計(jì)算方法，兩BP網(wǎng)絡(luò)的各層權(quán)值梯度可表示為

由 2.1.3節(jié)的網(wǎng)絡(luò)權(quán)值迭代步驟對(duì)網(wǎng)絡(luò)權(quán)值進(jìn)行迭代。

3 數(shù)值仿真

本文仿真對(duì)比了 QPSK調(diào)制下，擬牛頓優(yōu)化BP網(wǎng)絡(luò)盲判決反饋均衡器(Blind-Quasi Newton Optimization BP Network Decision Feedback Equalizer, B-QNBPDFE)、BP網(wǎng)絡(luò)盲判決反饋均衡器(Blind-BP Network Decision Feedback Equalizer,B-BPDFE)以及常規(guī)盲判決反饋均衡器(Blind-Decision Feedback Equalizer, B-DFE)三種均衡器在衰落信道中的均衡效果。其中兩個(gè)神經(jīng)網(wǎng)絡(luò)均衡器反饋項(xiàng)和前饋項(xiàng)分別有20、5個(gè)抽頭輸入，隱層神經(jīng)元個(gè)數(shù)分別為4和2，B-DFE反饋和前饋抽頭個(gè)數(shù)均分別為 20、5。仿真采用具有混合相位復(fù)數(shù)信道[12]，信道沖擊響應(yīng)為

同時(shí)為其增加一個(gè)二次的非線性變換y=x + 0 .2x2和時(shí)變相位偏移φ( n )= πn Δ +θ0，其中 Δ的取值范圍為0～10-3，θ0代表0～2π的初始相移。

圖4(a)為該信道的零點(diǎn)，4(b)、4(c)為幅頻響應(yīng)曲線。可以看出該信道具有明顯的頻率選擇性衰落和嚴(yán)重的相位失真，且單位圓內(nèi)和單位圓外均有零點(diǎn)分布，是典型的混合相位信道。

圖4 仿真信道的特性Fig.4 The characteristics of the simulation channel

如圖 5(a)、5(b)分別為本文方法(B-QNBPDFE)和B-DFE均衡后的星座圖，5(c)為信噪比15 dB下，100次蒙特卡洛仿真結(jié)果。可以看出，本文方法相較于B-DFE，兩種神經(jīng)網(wǎng)絡(luò)均衡器收斂時(shí)有更低的均方誤差，均衡后星座圖更加收斂。同時(shí)本文方法與 B-BPDFE相比具有更快的收斂速度，且均方誤差更小。

圖5 信噪比為15 dB時(shí)，三種均衡方法的信道均衡效果的比較Fig.5 Comparison of the equalization effects of three different equalization methods in the channel when signal to noise ratio is 15 dB

圖6為不同信噪比情況下三種均衡器誤碼率變化曲線。從圖 6中可以看出，本文方法與 B-DFE相比有更低的誤碼率。

圖6 不同信噪比下三種均衡方法的誤碼率對(duì)比圖Fig.2 Bit error rates of three different equalization methods under different signal to noise ratios

4 結(jié) 論

本文基于盲判決反饋均衡器的模型，在利用神經(jīng)網(wǎng)絡(luò)良好的非線性擬合能力的同時(shí)，改進(jìn)梯度下降法帶來的收斂速度慢的問題，提出了擬牛頓優(yōu)化BP網(wǎng)絡(luò)的盲判決反饋均衡器。通過利用兩個(gè)復(fù)數(shù)BP網(wǎng)絡(luò)分別實(shí)現(xiàn)盲判決反饋均衡中數(shù)據(jù)白化及常模盲均衡部分，利用擬牛頓迭代進(jìn)行網(wǎng)絡(luò)權(quán)值的更新，通過改變均衡器級(jí)聯(lián)結(jié)構(gòu)實(shí)現(xiàn)對(duì)信道的學(xué)習(xí)與跟蹤。仿真結(jié)果表明，與盲判決反饋均衡算法相比，本文算法具有更低的均方誤差，同時(shí)相比梯度下降法收斂速度更快。然而，由于擬牛頓算法不是全局最優(yōu)算法，雖然能提升均衡器收斂速度，但是依然存在陷入局部極小值的問題，計(jì)算復(fù)雜度低且全局最優(yōu)的迭代算法還有待進(jìn)一步研究。