Doherty功放的貝葉斯正則化神經網絡逆向建模研究

南敬昌，胡婷婷，盛爽爽，高明明

(遼寧工程技術大學電子與信息工程學院，遼寧 葫蘆島 125105)

1 引言

隨著無線通信系統的快速發展，射頻微波電路變得越來越重要，但使用ADS(Advanced Design System)軟件輔助設計微波電路需要花費大量的時間且設計步驟繁瑣，實現困難。為了簡化設計步驟、縮短設計時間，科研人員正在研究將具有自學習性、并行處理能力、能夠逼近任意非線性映射關系的神經網絡建模方法應用到射頻微波電路設計中。神經網絡建模方法分為兩類：一類是正向建模，有助于簡化分析過程；另一類是逆向建模，就是根據已知的輸出參量設計出相對應的輸入參量，也就是正向建模的逆向求解。逆向建模方法的出現為神經網絡的研究拓寬了視野，具有廣闊的發展前景。

利用EM(ElectroMagnetic)仿真軟件設計微波器件時，需要進行長時間的優化仿真來得到目標參數，非常耗時,不過可以使用精確快速的神經網絡逆模型代替仿真軟件求解與目標參數對應的結構參數，以簡化設計[1]。在神經網絡逆向建模中，直接將神經網絡的輸入和輸出互換，經過訓練就可以直接得到逆向模型[2]，它可以立即綜合出與系統響應相應的元件結構參數,建模速度加快，其缺點是輸入與輸出之間存在多值映射關系,不能確定它的收斂性和唯一性[3]。Krishna 等人[4]和Kabir等人[5]均提出一種建立子逆模型的逆向建模方法。該方法按照一定的規則將訓練數據分成若干個小組，利用每一小組的數據分別訓練不同的子逆模型，然后用事先訓練好的正向模型把各個子逆模型合并成一個完整的逆模型，如果合并得到的逆模型精度達到要求就結束，否則繼續進行數據分組、訓練直到滿足逆模型的精度要求為止。Mareddy等人[6]提出一種采用共軛梯度FRCG(Fletcher Reeves Conjugate Gradient)算法的逆向神經網絡建模方法，首先交換原模型中的一個輸入和一個輸出得到一個逆模型，依次類推建立一系列的候選逆模型；然后計算每個候選逆向模型的測量誤差E，將具有最小誤差的候選逆模型作為理想逆模型，采用FRCG算法優化電參數，將理想逆模型與精度不高的原模型互補得到精確模型。神經網絡逆向迭代算法方面，Linden等人[7]首次提出基于梯度下降法的神經網絡逆向迭代算法，即不再調整權值，而是通過更新輸入參量使網絡的實際輸出和目標輸出間的誤差最小。孟少奇[8]分析了帶動量項的神經網絡逆向迭代算法的收斂性，該算法可以提高收斂速度，但不具有稀疏性。Xu等人[9]提出比L1/2正則項更具稀疏性的非凸罰L1/2正則項迭代算法。呂煒等人[10]證明了帶L2正則化項的神經網絡逆向迭代算法是確定性收斂的。黃炳家等人[11]提出的帶光滑L1/2正則化項的神經網絡逆向迭代算法，保證了輸入向量序列在訓練過程中的穩定性及稀疏性。宋雷等人[12]提出貝葉斯正則化算法能縮小BP(Back Propagation)神經網絡的規模，使網絡的輸出更加平滑，可有效增強網絡的泛化能力。李洋等人[13]指出貝葉斯正則化算法通過修正神經網絡的訓練性能函數來提高其推廣能力。

針對以上逆向建模方法過程復雜、計算時間長、精度不夠理想等缺點，本文保持訓練后正向模型的權值和閾值不變，通過迭代更新輸入使規則化函數為L1/2范數的貝葉斯正則化的評價函數達到最小，該逆向模型建成后，可以提高設計精度和運行速度。應用到Doherty功率放大器的設計中，驗證了此逆向建模方法的高效性。此外，貝葉斯正則化算法可以提高逆向神經網絡輸入參量訓練過程中的穩定性。

2 貝葉斯正則化神經網絡逆向迭代算法

2.1 貝葉斯正則化BP神經網絡

貝葉斯正則化算法是指用貝葉斯方法估計正則化參數，當比例系數大于0.5時，不僅能保證網絡訓練誤差盡可能小，而且使網絡的權值盡可能少，這實際上相當于自動縮小了網絡的規模，使網絡的輸出更加平滑，有效增強網絡的泛化性能，減少網絡過擬合的可能[12 - 14]。一般神經網絡的性能函數為F=E,而正則化方法是在網絡誤差函數E后面加入一個懲罰項Ew，那么貝葉斯正則化BP神經網絡的性能函數F[13]為:

F=αEw+1-αE

(1)

其中,E為訓練輸出y與目標輸出t之間的均方誤差，α∈0,1為比例系數。在網絡訓練過程中，貝葉斯正則化算法能夠自適應地調節α的大小，使其達到最優。

2.2 基于貝葉斯正則化的BP神經網絡逆向迭代算法

神經網絡逆向建模的目標就是求出與目標參數相對應的結構參數，與正向建模修正權值不同的是，逆向建模在正向模型的基礎上需要調整輸入參數的值，以使評價函數達到最小，此時保持權值和閾值不變，更新后獲得的模型輸入與目標輸入之間非常接近，這樣可以簡化逆向建模的學習過程。輸入參數的更新過程是：

(2)

其中,xn+1、xn為輸入參量，η為學習速率。

正則化方法常見的規則化函數是L0，L1，L2范數。L0正則化模型是應用最早的變量選擇和特征提取的正則化方法，可以產生稀疏的解，但需要求解一個NP組合優化問題來給出最優的變量選擇結果。L1正則化模型較易求解，但不能總是產生最稀疏的解。L2正則化模型是最常用的方法，能產生光滑解，但不具備稀疏性，其網絡剪枝能力較弱[11，15，16]。L1/2正則化模型易于求解且解的稀疏性較好，應用到貝葉斯正則化BP神經網絡逆向建模中能夠有效縮短網絡的運行時間。當貝葉斯正則化的比例系數α較大時，可以增加網絡輸出的平滑性，有效提高逆向建模過程中網絡的穩定性。

本文選用BP神經網絡的一般結構，假設輸入層有N個神經元、隱含層有P個神經元、輸出層有M個神經元，如圖1所示。隱含層的激活函數為logsig函數，輸出層激活函數為線性purelin函數。

Figure 1 BP neural network structure圖1 BP神經網絡結構圖

根據圖1可得，隱含層神經元的輸出為：

(3)

其中，zpk表示第k組數據的第p個隱含層神經元的輸出，xnk是第k組數據的第n個輸入值，vpn代表第n個輸入與第p個隱含層神經元之間的權值，θ1p為第p個隱含層神經元的閾值，f為隱含層激活函數f=1/(1+e-x)。所以zpk對xnk的偏導為：

·zpk1-zpk

(4)

輸出層神經元的輸出為：

θ2m

(5)

其中,ymk為第k組數據的第m個輸出層神經元的輸出，wmp代表第p個隱含層神經元與第m個輸出之間的權值，θ2m為第m個輸出層神經元的閾值。

規則化函數為L1/2范數的神經網絡逆向建模方法的評價函數為：

F=αEx+1-αED

(6)

在這里，由于逆向神經網絡建模方法修正的是輸入值而不是權值，故將Ew替換為Ex。

那么式(6)評價函數F對第n個輸入xn的偏導為：

(7)

其中，

(8)

將式(7)中的誤差EDk對隱含層輸出zpk求偏導得：

(9)

假設式(9)中的第一項由ξpk表示：

(10)

而式(9)中的第二項可以表示為:

(11)

把式(10)和式(11)代入式(9)可得：

·wmp

(12)

式(7)中誤差函數EDk對輸入xnk的偏導為:

(13)

將式(4)和式(12)代入式(13)可得式(14)：

·

wmp·vpn·zpk1-zpk]

(14)

由式(7)、式(8)和式(14)可得：

(15)

將式(15)代入式(2)中完成輸入參數xn的更新過程，實現逆向建模的過程。

Figure 2 Model of Doherty power amplifier in ADS圖2 Doherty功率放大器在ADS中的模型

3 逆向建模步驟

3.1 神經網絡逆向建模步驟

本文將規則化函數為L1/2范數的貝葉斯正則化方法應用到BP神經網絡逆向建模中，可以有效提高逆向建模過程中網絡的穩定性并增強網絡的泛化能力，提高模型中結構參數的精度，縮短建模的運行時間，具體實現步驟如下：

步驟1提取訓練數據；

步驟2訓練正向模型，獲取權值和閾值并保存；

步驟3保持權值和閾值不變，在建立好的正向模型中分別輸入參量，運行得到輸出參量；

步驟4計算正模型輸出參量與目標參量之間的評價函數F；

步驟6若達到設定的迭代次數或評價函數F滿足要求，則結束,否則轉到步驟3。

3.2 Doherty功率放大器逆向神經網絡建模過程

將本文提出的逆向建模方法應用到Doherty功率放大器中，圖2和圖3是在ADS中搭建的Doherty功率放大器模型，圖4為該Doherty功率放大器的實物圖。

Figure 3 Carrier amplifier model of Doherty power amplifier in ADS圖3 Doherty功率放大器在ADS中的載波放大器模型

Figure 4 Physical map of Doherty power amplifier圖4 Doherty功率放大器的實物圖

如圖2所示是Doherty功率放大器的模型，它由一個主功放即載波放大器和一個輔功放即峰值放大器組成，主輔功放通過λ/4微帶線進行連接。載波放大器輸出端的λ/4傳輸線起著阻抗變換的作用，而峰值放大器輸入端λ/4傳輸線則起著相位補償的作用，用以平衡載波放大器和峰值放大器的相位。在低功率的時候，載波功放導通，峰值功放關閉，隨著輸入功率的提高，載波功放開始出現壓縮，這時峰值功放開始工作，補償載波功放的壓縮。這兩個功率放大器的輸出功率經過λ/4阻抗變換網絡合成后，得到一個合成功率的輸出，這樣可以提高功率放大器的效率，尤其是功率回退時的效率。當主輔功放電路諧振在中心頻率處時，S11應達到最大，S21應幾乎接近于零點。但是，在實際設計中，微帶線兩端的阻抗并不相同，因此頻率會產生偏移。設計者使用ADS軟件調節輸出功率和頻率f得到需要的效率、S11和S21是非常耗時的。如圖3所示是Doherty功率放大器的載波放大器模型，其輸出功率與效率、輸出匹配端頻率f與回波損耗S11和插入損耗S21之間的關系如圖5a～圖5c所示。

Figure 5 Relationship between output power and efficiency, output matching f and S11、f and S21圖5 輸出功率與效率、輸出匹配端f與S11和f與S21的對應關系

圖5a為載波放大器效率隨輸出功率的變化曲線圖，圖5b、圖5c分別為載波功率放大器輸出匹配仿真結果圖，其中S11,S21的單位是dB。由圖5a可知，當輸出功率為44.92 dBm時，效率最大可達65.96%。圖5b和圖5c顯示在頻率3.5 GHz時，S11為-45.20 dB，S21為-0.12 dB，達到了良好的匹配效果。從該圖可以看出，相同的效率對應多個輸出功率值，相同的S11和S21也分別對應多個f值。為解決以上設計耗時和各參數呈非線性映射關系的問題，可以利用本文提出的逆向建模方法求解與所需效率、S11和S21分別對應的最佳輸出功率值和f值，以簡化設計步驟，具體建模過程如圖6所示。

Figure 6 Flow chart of the reverse modeling method圖6 逆向建模方法流程圖

4 實驗驗證及仿真分析

為了驗證所提出的逆向建模方法具有高精度和運行時間更少的特性，以Doherty功率放大器中載波放大器的輸出匹配端為例，將本文逆向建模方法與ADS仿真方法、直接逆向建模方法的結果作比較。

直接逆向模型就是將輸入輸出參量互換，建成網絡后，只要輸入目標參量，就可以獲得相應的結構參量。在載波功率放大器中提取出輸出功率與效率、輸出匹配端S11與f和輸出匹配端S21與f的數據，每個參數均提取3 688組，從中分別選取1 000組為訓練數據，另分別取150組數據為測試數據。規則化函數為L1/2范數的貝葉斯正則化神經網絡逆向建模方法使用和直接逆向模型相同的訓練數據和測試數據，按照第3.2節的實現過程訓練模型。在Matlab 2013b中實現對網絡的訓練和測試，直接逆向建模方法和本文逆向建模方法均采用結構為1-30-1的BP神經網絡，學習速率η取0.01，誤差限設定為1e-6，迭代500次。另外，本文逆向建模方法評價函數中的比例系數取0.65。針對150組測試數據，利用這兩種方法求得的與效率相對應的輸出功率值和ADS軟件中的輸出功率值的擬合情況如圖7所示，與S11相對應的頻率f值和ADS軟件中的f值的擬合情況如圖8所示，與S21相對應的頻率f值和ADS軟件中的f值的擬合情況如圖9所示。

Figure 7 Comparison of output power圖7 輸出功率的對比圖

Figure 8 Comparison of frequency valuescorresponding to S11圖8 與S11相對應的頻率f值的對比圖

Figure 9 Comparison of frequency valuescorresponding to S21圖9 與S21相對應的頻率f值的對比圖

從圖7～圖9可以知道，直接逆向建模方法求得的值與ADS中的值基本上都不擬合。由圖5可以知道，輸出功率與效率、S11與f和S21與f的對應關系是一對多的，直接逆向建模方法無法給出最優值，因此不能用來描述載波功率放大器的特性。而本文逆向建模方法求得的值與ADS中的值擬合效果比直接逆向建模方法要好很多，在精度方面，該方法能夠滿足實際的設計需求。

在這里，分別利用直接逆向建模方法和本文逆向建模方法，在已知效率的情況下綜合出輸出功率、已知S11、S21時分別綜合出相對應的頻率f，比較這兩種逆向建模方法的建模時間和均方誤差，如表1所示。本文逆向建模方法求得與S11相對的f、與S21相對的f和輸出功率的運行時間分別比直接逆向建模方法減少了9.30%、9.00%和8.83%，均方誤差分別減少了99.40%、99.23%和99.34%。由表1可知，規則化函數為L1/2范數的貝葉斯正則化神經網絡逆向建模方法不僅可以提高網絡的穩定性和泛化能力，而且可以縮短網絡的運行時間。

Table 1 Performance comparison ofthe two modeling methods

5 結束語

本文提出了一種基于貝葉斯正則化的神經網絡逆向建模方法，該方法采用的規則化函數為L1/2范數，能夠使網絡稀疏化，進而縮短網絡模型的運行時間。當貝葉斯正則化方法的比例系數α較大時，可以平滑輸出，提高逆向建模過程中網絡的穩定性和網絡的泛化能力。將該方法應用到Doherty功率放大器中，并在Matlab中與直接逆向建模方法的仿真結果作比較，驗證了該方法的高精度和高速度，表明該方法適用于射頻微波器件的設計。