部分精英策略并行遺傳優化的神經網絡盲均衡

王爾馥，鄭遠碩，陳新武

（黑龍江大學電子工程學院，黑龍江 哈爾濱 150080）

部分精英策略并行遺傳優化的神經網絡盲均衡

王爾馥，鄭遠碩，陳新武

（黑龍江大學電子工程學院，黑龍江 哈爾濱 150080）

針對高維非凸代價函數下神經網絡盲均衡算法收斂速度慢、容易陷入局部極小值的缺點，提出了一種組群并行遺傳優化神經網絡的方法。根據神經網絡拓撲結構進行個體編碼，設置控制碼和權重系數碼以實現對網絡拓撲結構和網絡權重同時優化。優化迭代過程中根據適應度對個體排序分組，以融合不同遺傳算子條件下遺傳算法的優勢。部分精英策略有效避免最優個體把持進化過程引發早熟的現象。非線性信道條件下的仿真結果證明方法具有更好的收斂性能。

盲均衡；遺傳算法；神經網絡；精英策略

1 引言

盲均衡技術具有不需要訓練序列即可實現對信道補償和跟蹤的特性，提高通信質量的同時能夠有效節省通信帶寬，提高通信效率[1]，因此，盲均衡技術在協作通信和非協作通信領域中均具有潛在的應用價值。利用常數模算法代價函數的神經網絡盲均衡在解決非線性信道盲均衡問題中表現出穩健收斂性能。但是神經網絡盲均衡常采用誤差反傳算法，在高維非凸代價函數條件下收斂速度慢，收斂后具有較大的穩態剩余誤差，容易陷入局部極小值[2]。遺傳算法根據生物進化準則提供了一種解決大規模復雜問題的優化方法[3]。盲均衡可以等效為代價函數最小化的極值問題，因此可以利用遺傳算法進行優化處理。遺傳算法在優化問題求解中面臨幾個難題目前仍無法有效解決，其中，包括計算復雜度過高、實時處理能力差、遺傳算子初始化參數設置缺乏理論依據、需要人工經驗等。本文在對遺傳優化神經網絡盲均衡算法分析的基礎上，提出了一種組群并行遺傳優化算法，由于遺傳算法計算復雜度主要取決于種群規模，采用組群并行計算方法可有效降低計算復雜度[4]。在遺傳算法參數初始化中，對每組子種群設置不同的遺傳算子參數，進化過程中子種群間個體依據適應度值排序重組，充分融合不同遺傳算子條件下遺傳算法的優勢，同時與直接精英策略遺傳算法比較可有效避免早熟現象。遺傳算法中個體根據神經網絡拓撲結構進行編碼，設置控制碼和權重系數碼，對神經網絡盲均衡器的連接權重和拓撲結構同時優化。最后，利用計算機仿真證明了部分精英策略遺傳優化的神經網絡盲均衡與傳統遺傳算法和精英策略遺傳算法優化的神經網絡盲均衡相比，具有更好的收斂性能。

2 神經網絡盲均衡基本原理

通信系統中，發射信號經過多徑信道傳輸在接收端會產生碼間干擾，嚴重影響通信質量[5]。均衡技術就是在接收機前設置一個濾波器，實現對多徑信道的補償和跟蹤，實現消除碼間干擾的目的。在很多通信場合中，通信信道具有非線性特性，此時利用線性結構均衡器難以獲得理想的均衡結果。神經網絡作為一種非線性動態系統，在非線性信道均衡中表現出穩健的收斂性能。圖1給出了神經網絡盲均衡的基本原理[6]。發射信號x( n)經未知信道h( n)并疊加高斯白噪聲n( n)，在均衡器前得到觀測序列y( n)。盲均衡的目標就是僅僅根據觀測序列y( n)實現對發射信號x( n)的恢復，需要的先驗信息為發射信號具有非高斯性。

圖1 神經網絡盲均衡基本原理

神經網絡盲均衡利用神經網絡作為盲均衡器，根據輸出信號x?( n)的某種非線性變換構建代價函數，采用自適應算法更新網絡權值，使代價函數最小化，實現對未知線性或非線性信道h( n)的補償和跟蹤。在神經網絡盲均衡中，盲均衡器經常采用的是前饋神經網絡[7]和小波神經網絡[8]，小波神經網絡在前饋神經網絡的基礎上嵌入了小波變換，在很多應用場合中表現出更快的收斂速度和收斂精度。2種神經網絡在結構上沒有太多不同，因此采用遺傳算法進行優化時僅僅體現為編碼個體上的差別。本文以前饋神經網絡盲均衡優化進行推導說明，并將部分精英策略的遺傳算法優化推廣至小波神經網絡盲均衡算法中，三層前饋（小波）神經網絡盲均衡的結構如圖 2所示[9]，其中， wij( n)為輸入層至隱層的連接權重（為隱層至輸出層的連接權重。

設隱層的輸入為 uj( n)，輸出為 Ij(n)，輸出層的輸入為v( n)，輸出為?x( n)，則根據網絡的傳輸公式可以獲得網絡的狀態方程為[10]

圖2 三層前饋（小波）神經網絡盲均衡器結構

其中， f(?)表示神經網絡隱層單元的輸入和輸出之間的傳遞函數，φ(?)表示輸出層的輸入和輸出之間的傳遞函數。如果隱含層傳遞函數f(?)為小波函數，則前饋神經網絡為典型的緊致型小波神經網絡。在神經網絡盲均衡中，比較合理的傳遞函數設計方案是隱含層選擇非線性變換函數或小波函數，輸出層選擇線性傳遞函數。本文選擇前饋神經網絡隱含層傳遞函數為

其中，0<α<1。小波神經網絡隱含層傳遞函數為Morlet小波函數

其中，a和b分別為小波變換的尺度因子和平移因子。無論是前饋神經網絡還是小波神經網絡，典型

的學習算法是采用基于梯度下降的誤差反傳（BP）算法。結合常數模 CMA2-2可設定神經網絡的代價函數為[11]

其中，RCM為常模，根據式（8）進行計算。

其中，?JD為當前網絡權重的瞬時梯度，μ為學習步長。對于小波神經網絡的平移因子和尺度因子的更新，可采用同樣方法。

根據BP算法，神經網絡權值更新公式為

3 部分精英策略遺傳算法實現

已經證明常數模CMA2-2代價函數是高維非凸的[12]，具有多個極值點。BP算法本質上屬于隨機梯度下降算法[13]，在高維非凸代價函數條件下的收斂性能依賴于初始搜索點和學習步長。目前為止，神經網絡合理初值的設置沒有理論依據指導，這直接導致基于BP算法的神經網絡收斂速度慢，容易陷于局部極小值，在盲均衡中難以獲得理想的均衡性能。遺傳算法根據生物進化理論，通過種群中群體間選擇、交叉和變異等操作，可實現對高維非凸代價函數極值化問題的優化求解。遺傳算法的初始化參數設置直接影響遺傳算法優化的性能，常規遺傳算法在進化中對群體中所有個體采用相同的初始化參數，直接導致大量個體集中在同一個極值點上，在求解多峰值優化問題時，仍然具有陷入局部極小值的風險。并行遺傳算法的設計最初是從減小遺傳算法的計算復雜度上考慮的，但是每個子種群之間仍然采用相同的進化算子，即每個子種群中具有同樣的進化環境，雖然減小了計算復雜度，但是全局尋優能力提高有限。小波神經遺傳算法考慮到了種群中個體間進化的相似度，利用共享函數對個體適應度進行修正，避免了大量個體過于集中，從而保持進化過程中樣本的多樣性[14]，但是仍然沒有考慮初始化算子參數對遺傳算法性能的影響。基于并行遺傳算法的設計思想，本文提出了一種部分精英策略的遺傳優化算法，將種群劃分為一系列子種群，各子種群利用不同的遺傳算子參數。進化過程中對子種群間個體按適應度大小排序重組，進行部分交叉，稱為部分精英策略。部分精英策略的并行遺傳優化神經網絡盲均衡的實現流程如圖3所示。首先根據神經網絡盲均衡問題構建遺傳算法的適應度函數，遺傳算法適應度函數朝著大的方向進化，因此可根據 CMA2-2代價函數設定遺傳算法代價函數為

圖3 部分精英策略并行遺傳優化神經網絡盲均衡流程

其中，ζ為一小的正常數，以防止出現式(10)被零除的現象。為實現對神經網絡拓撲結構和網絡權重的同時優化，將個體編碼分為控制碼和權重系數碼，設三層神經網絡拓撲結構為m×k×1，對于前饋神經網絡，個體編碼格式為如果為小波神經網絡，個體編碼格式為其中，ci為控制碼， wi為權重系數碼，在小波神經網絡中，a和b分別表示小波函數的尺度因子和平移因子。對于控制碼和權重系數碼均采用實數編碼方法，控制碼的閾值為[0,1]，當 ci> 0.5，視為對應的網絡權重有連接，否則將對應的網絡連接權重置零，表示無連接。計算個體適應度函數，根據適應度函數從大到小對個體進行排序，將個體分為K組，從而建立K組子種群。分組規則為按適應度從大到小劃分等差序列的方法，即每組個體按適應度大小劃分為其中，S表示個體，下標i+K表示該個體按適應度大小的排序，i表示第i組子種群，N為種群規模。為了簡化程序設計，人為設定種群規模與子種群數目的關系N為正整數。在子種K群中，根據精英策略，最優個體不參加交叉和變異，在本文中，一次進化過程中將有K個最優個體不參加交叉和變異操作，稱為部分精英策略進化算法。通過個體按優劣進行了分組處理，并送入不同遺傳算子參數的子種群中進行并行進化的策略，使個體在不同的進化環境中交叉進化，部分精英策略融合了不同遺傳算子參數的優化性能，從而實現了一種并行部分精英策略的遺傳優化方法。在子種群中，遺傳算法的選擇、交叉和變異操作根據文獻[15]進行，算法的選擇概率pK依據排序選擇法設定。算法的變異概率pm對算法的收斂性能具有重要影響，根據分組規則，對于整體適應度較大的子種群選擇較小的變異概率，而對于整體適應度較小的子種群選擇較大的變異概率，按照整體適應度從大到小等差序列設定子種群的變異概率，即

采用這種變異算子規則的理由是，對于整體適應度較大的子種群保持較小的變異概率，以保持進化的穩定性，而對于整體適應度值較小的子種群保持較大的變異概率，加快進化進程，以提高收斂速度。

對于同一優化問題，在適應度函數與編碼規則確定的情況下，遺傳算法的計算復雜度取決于種群規模N，在常規遺傳算法中，計算復雜度為O( N3)。因此，對于本文提出的部分精英策略遺傳算法的計算復雜度為顯然這種并行部分精英策略的遺傳優化方法可以有效降低算法的計算復雜度。盡管并行部分精英策略遺傳優化算法計算復雜度較常規遺傳算法有所降低，但是對于通信均衡系統而言，計算量仍然過大，且遺傳算法不適用于解的微調。因此利用最大迭代步數和適應度函數目標值來控制遺傳算法終止，進而利用梯度下降算法對神經網絡盲均衡器進行更新，實現最終算法的精細求解。

4 數據仿真及分析

為了驗證文中提出的并行部分精英策略遺傳優化的前饋（小波）神經網絡盲均衡（PEGA-FNN）（PEGA-WNN）的有效性，在相同仿真條件將其與基于 BP算法的前饋（小波）神經網絡盲均衡（SGD-FNN，SGD-WNN）、常規遺傳算法（GA-FNN，GA-WNN）和精英策略遺傳算法優化（EGA-FNN，EGA-WNN）的神經網絡盲均衡分別進行了比較。仿真中發送信號以等概率二進制隨機序列生成，采用QPSK調制方式。神經網絡拓撲結構設定為15× 12× 1，遺傳算法中種群規模設置為N= 100，適應度函數中的常數因子 ζ= 0.000 1。在并行部分精英策略遺傳算法中，子種群數目k= 5。常規遺傳算法和精英策略遺傳算法中選擇概率 pc= 0.8，變異概率 pm= 0.006。直接BP算法中學習步長均設定為 μ= 0.001，在遺傳優化后的梯度下降算法中設定學習步長 μo=0.000 1。非線性信道的輸出為

其中，y( n)為信道的輸出，s( n)為信道的輸入，v( n)為帶限高斯白噪聲。信噪比 SNR= 24 dB 的仿真條件下，進行500次蒙特卡洛仿真，以均方誤差（MSE）對算法性能進行評價。

圖4 遺傳優化的前饋神經網絡盲均衡性能比較

圖4和圖5分別比較了不同遺傳優化方法的前饋神經網絡和小波網絡盲均衡的均方誤差收斂曲線，可以看出，由于小波網絡中嵌入了小波變換過程，因此在整體性能上，小波網絡的均衡性能優于前饋神經網絡。而本文提出的部分精英策略遺傳優化的神經網絡盲均衡在前饋神經網絡和小波網絡中均具有小的收斂后穩態剩余誤差，在前饋神經網絡和小波網絡盲均衡算法中，部分精英策略遺傳優化后的均方誤差與直接精英策略遺傳優化方法比較，均方誤差分別降低了7 dB和5 dB。證明了本文提出算法的有效性。

圖5 遺傳優化的小波網絡盲均衡性能比較

為說明算法的計算復雜度，在相同計算機仿真條件下，統計算法執行所消耗的時間，統計結果如表1所示。從仿真結果中可以看出，采用并行策略的PEGA-FNN算法有效降低了GA-FNN的計算復雜度。

表1 算法運算時間比較結果

綜上，部分精英策略并行遺傳優化算法繼承了精英進化策略快速收斂的優勢，同時結合并行計算降低了計算復雜度，保持進化過程中樣本的多樣性，提高了全局優化能力。本文以該方法優化神經網絡實現通信信道盲均衡只作為方法驗證途徑，所提方法可推廣應用到系統辨識、模式識別等相關領域，特別是對于樣本規模龐大、優化對象模型復雜的優化問題，從全局收斂性能和計算復雜度上有望獲得更佳結果。

5 結束語

本文在神經網絡盲均衡的模型基礎上，提出了一種可同時優化神經網絡拓撲結構和網絡權重的部分精英策略遺傳優化神經網絡盲均衡算法。算法中將遺傳算法種群按適應度函數進行排序重組，子種群各自采取精英策略進化，同時各種群設置不同變異概率以創造多樣性的進化環境，在一定程度上克服了直接精英策略算法容易早熟問題，同時融合了不同變異算子下遺傳算法的性能。算法在減小計算復雜度的同時，有效提高了全局收斂性能。利用前饋神經網絡和小波神經網絡盲均衡仿真驗證了方法的有效性。

[1] PINCEMIN E, BROCHIER N, SELMI M, et al. Novel blind equalizer for coherent DP-BPSK transmission systems： theory and experiment[J]. IEEE Photonics Technology Letters, 2013, 25(18)：1835-1838.

[2] 郭業才, 樊康, 徐文才, 等. 基于混合遺傳優化的正交小波變換盲均衡算法[J]. 數據采集與處理, 2011, 26(5)： 503-507.GUO Y C, FAN K, XU W C, et al. Hybrid blind equalization algorithm based on genetic algorithm and wavelet transform[J]. Journal of Data Acquisition & Processing, 2011, 26(5)： 503-507.

[3] 廖娟, 郭業才, 劉振興, 等. 基于遺傳優化的正交小波分數間隔盲均衡算法[J]. 兵工學報, 2011, 32(3)： 268-273.LIAO J, GUO Y C, LIU Z X, et al. A fractionally spaced blind equalization algorithm based on orthogonal wavelet transform and genetic optimization[J]. Acta Armamentarii, 2011, 32(3)： 268-273.

[4] 戴曉明, 鄒潤民, 馮瑞, 等. 混合并行遺傳算法求解 TSP問題[J].電子與信息學報, 2002, 24(10)： 1424-1427.DAI X M, ZOU R M, FENG R, et al. A hybrid parallel genetic algorithm and its application to TSP[J]. Journal of Electronics and Information Technology, 2002, 24(10)： 1424-1427.

[5] NAFTA A, JOHANNISSON P, SHTAIF M. Blind equalization in optical communications using independent component analysis[J].Journal of Lightwave Technology, 2013, 31(12)： 2043-2049.

[6] 姜春艷. 遺傳優化神經網絡算法在信道盲均衡中的應用[J]. 計算機仿真, 2011, 28(11)： 145-147.JIANG C Y. Application of genetic neural network in blind equalization[J]. Computer Simulation, 2011, 28(11)： 145-147.

[7] 郭業才, 高敏, 張艷萍. 基于正交小波包變換的前饋神經網絡盲均衡算法[J]. 電子測量與儀器學報, 2011, 23(11)： 59-64.GUO Y C, GAO M, ZHANG Y P. Feedforward neural network blind equalization algorithm based on orthogonal wavelet packet transform[J]. Journal of Electronic Measurement and Instrument, 2011,23(11)： 59-64.

[8] 郭業才, 王麗華. 模糊神經網絡控制的混合小波神經網絡盲均衡算法[J]. 電子學報, 2011, 39(4)： 975-980.GUO Y C, WANG L H. A hybrid wavelet neural network blind equalization algorithm based on fuzzy controlling[J]. Acta Electronica Sinica, 2011, 39(4)： 975-980.

[9] SUN Y S, ZHANG L Y, ZHANG J, et al. Neural network blind equalization algorithm applied in medical CT image restoration[J].Mathematical Problems in Engineering, 2013, (2013)： 1-10.

[10] XIAO Y, LI Z X. Wavelet neural network blind equalization with cascade filter based on RLS in underwater acoustic communication[J].Information Technology Journal, 2011, 10(2)： 2440-2445.

[11] ABRAR S, ALI A, ZERGUINER A, et al. Tracking performance of two constant modulus equalizers[J]. IEEE Communications Letters,2013, 17(5)： 830-833.

[12] ASHARIF F, TAMAKI S, ALSHARIF M R, et al. Performance improvement of constant modulus algorithm blind equalizer for 16 QAM modulation[J]. ICIC Express Letters, 2013, 7(4)： 1377-1383.

[13] 宋翀紱, 王寶樹. 提高前饋神經網絡學習效率的學習算法探討[J].西安電子科技大學學報, 1999, 26(5)： 545-548.SONG C F, WANG B S. Improvement on the efficiency of the learning algorithm for multilayer feedforward neural networks[J]. Journal of Xidian University, 1999, 26(5)： 545-548.

[14] ZAOUCHE A, DAYOUB I, ROUVAEN J M. Baud-spaced constant modulus blind equalization via hybrid genetic algorithm and generalized pattern search optimization[J]. International Journal of Electronics and Communications, 2008, 62： 122-131.

[15] 肖瑛, 劉國枝, 李振興, 等. 遺傳優化神經網絡的水聲信道盲均衡[J]. 應用聲學, 2006, 25(6)： 340-345.XIAO Y, LIU G Z, LI Z X, et al. Blind equalization for underwater acoustic communication by genetic algorithm optimizing neural network[J]. Applied Acoustics, 2006, 25(6)： 340-345.

Neural network blind equalization optimized by parallel genetic algorithm with partial elitist strategy

WANG Er-fu, ZHENG Yuan-shuo, CHEN Xin-wu
(Electronic Engineering College, Heilongjiang University, Harbin 150080, China)

Owing to the disadvantage of slow convergence and easy to fall into local minimum of the neural network blind equalization algorithm under high dimensional and non-convex cost function, a parallel genetic algorithm (GA)with partial elitist strategy was proposed to optimize neural network training. According to the neural network topology,individual coding, the control code and the weights were set up to realize the network topology structure and the network weights simultaneously. The individual group was sorted according to the adaptation degree of the optimization iterative process, in order to integrate the advantages of genetic algorithm under the conditions of different genetic operators.Some elite strategies effectively avoid the phenomenon of premature phenomena caused by the optimal individual control in the process of evolution. The simulation results under the nonlinear channel condition show that the method has better convergence performance.

blind equalization, genetic algorithm, neural network, elitist strategy

The National Natural Science Foundation of China (No. 61571181, No.61302074)

TN911.5

A

10.11959/j.issn.1000-436x.2016148

2016-05-01；

2016-06-14

國家自然科學基金資助項目（No.61571181, No.61302074）

王爾馥（1980-），女，黑龍江哈爾濱人，博士，黑龍江大學副教授、碩士生導師，主要研究方向為盲信號分離及盲均衡。

鄭遠碩（1994-），女，海南樂東人，黑龍江大學碩士生，主要研究方向為通信信號盲提取及數字化技術。

陳新武（1992-），男，福建仙游人，黑龍江大學碩士生，主要研究方向為盲均衡及其硬件實現。