超寬帶濾波器的稀疏貝葉斯正則化逆向神經(jīng)網(wǎng)絡建模

南敬昌 王梓琦 高明明 王 穎

(遼寧工程技術大學電子與信息工程學院 遼寧 葫蘆島 125105)

0 引 言

隨著無線通信的快速發(fā)展，射頻微波器件扮演著關鍵角色，因此對其建模、仿真算法和設計分析方法等也提出了更高的要求。傳統(tǒng)的射頻微波器件設計與分析方法采用基于計算機的輔助設計方法，最常見的優(yōu)化方法是EM電磁仿真軟件法，但它往往需要經(jīng)過長時間的優(yōu)化來得到各個目標參數(shù)，計算代價較大。

神經(jīng)網(wǎng)絡具有很強的非線性逼近和優(yōu)化求解能力，對于大型復雜問題能快速建模求解，在射頻微波領域得到了廣泛的應用[1]。通常將其對射頻微波器件的建模問題歸為兩類：一類被訓練用來模擬原始電磁問題，稱為正向建模，訓練好的正向神經(jīng)網(wǎng)絡能夠依據(jù)器件結構參量精確地得到系統(tǒng)響應；另一類被訓練用來設計器件，稱為逆向建模，可以通過給定的目標參量綜合出對應的結構參量[2-3]。

對于直接逆向神經(jīng)網(wǎng)絡，它可以通過交換網(wǎng)絡的輸入輸出數(shù)據(jù)來獲得，其優(yōu)點是建模速度快，但是由于輸入與輸出參量之間的多值映射關系，難以保證其收斂性和唯一性[4]。文獻[3]提出一種在訓練前對數(shù)據(jù)進行分組處理的逆向建模方法，根據(jù)分組規(guī)則，消除多解問題，將各子逆模型的輸出作為正向模型的輸入，如果正向模型的輸出與子逆模型的輸入在一定的誤差范圍內(nèi)，則按照一定規(guī)則合并，應用于波導濾波器的設計中。此方法模型分組和子模型合并的過程加大了建模的復雜度，一旦其中一步精度差，整個逆向模型的精度也較差。文獻[5]則提出了對多輸入模型建立一系列候選逆模型，將具有最小誤差的候選逆模型作為理想逆模型與原始模型互補，得到精確逆模型的梯度逆向建模方法，并應用于傳輸線和螺旋電感建模中。對于正則化神經(jīng)網(wǎng)絡算法，文獻[6]證明了帶L2正則化項的逆向迭代算法的確定性收斂；文獻[7]證明了帶光滑L1/2正則化項的神經(jīng)網(wǎng)絡逆向迭代算法能保證輸入向量序列在訓練過程中的穩(wěn)定性及稀疏性；文獻[8]指出可以通過貝葉斯正則化方法來提高BP網(wǎng)絡的泛化能力；文獻[9]提出一種基于稀疏貝葉斯的半監(jiān)督極速學習機分類算法，并證明了其可以避免Moore-Penrose廣義逆方法求解產(chǎn)生的過擬合問題，具有較好的稀疏性和泛化能力。

針對以上研究現(xiàn)狀以及已有的逆向建模方法過程復雜、模型精度難以保證、BP逆向建模方法網(wǎng)絡泛化能力差的問題，提出一種稀疏貝葉斯正則化逆向神經(jīng)網(wǎng)絡建模方法。此方法通過L1/2范數(shù)引入新的權系數(shù)，使得網(wǎng)絡結構更加稀疏化，并實現(xiàn)對輸入樣本的擴展，網(wǎng)絡輸出解更具稀疏性，同時通過貝葉斯正則化方法調(diào)整網(wǎng)絡權系數(shù)避免過擬合現(xiàn)象，網(wǎng)絡輸出更加平滑，且泛化能力更強。以模型實際輸出與目標輸出之間誤差的最小化為目標在輸入空間內(nèi)搜索全局最優(yōu)解，具有唯一性。將此逆向神經(jīng)網(wǎng)絡應用于超寬帶濾波器加載諧振器的建模中，可以更加精確、快速地得到其逆模型，效率更高。

1 稀疏貝葉斯正則化逆向神經(jīng)網(wǎng)絡迭代算法

1.1 正則化方法

從神經(jīng)網(wǎng)絡的精度角度而言，稀疏化的研究意義在于保證精度的同時降低訓練成本避免過度訓練，L1/2懲罰項能夠代替算法中的Lp(0

貝葉斯方法利用概率對事物進行描述，為一個隨機數(shù)，用概率分布描述的大小，在未知數(shù)據(jù)時，用來描述的概率分布情況稱為先驗概率分布。貝葉斯公式為：

(1)

當樣本x出現(xiàn)后，人們對進行調(diào)整，π(θ|x)即為對應的后驗分布[14]。

1.2 稀疏貝葉斯正則化性能函數(shù)

這里采用典型的具有一個輸入層，兩個隱含層和一個輸出層的逆向神經(jīng)網(wǎng)絡結構，如圖1所示。

圖1 逆向神經(jīng)網(wǎng)絡結構圖

其中α=(α1,…,αl,…,αn)是輸入向量，β=(β1,…,βk,…,βm)是輸出向量，μil是輸入層第l個神經(jīng)元和隱含層第i個神經(jīng)元之間的權值，ωji是隱含層第i個神經(jīng)元到隱含層第j個神經(jīng)元的權值，vkj是隱含層第j個神經(jīng)元到輸出層第k個神經(jīng)元之間的權值；φiq為第一個隱含層第i個神經(jīng)元輸出，hjq為第二個隱含層第j個神經(jīng)元輸出，E是目標輸出向量t與實際輸出向量β之間的誤差函數(shù)，其中傳遞函數(shù)采用tansig函數(shù)T(·)，T(·)的導數(shù)為T′=1-T2。因此，神經(jīng)網(wǎng)絡輸出按下式計算：

βk(rl)=2/(1+exp(-2×(rl)))-1

(2)

式中，rl是加權輸入。神經(jīng)網(wǎng)絡的相對誤差函數(shù)Eq可以描述為：

(3)

式中：N為樣本總數(shù)，q表示第q組測試數(shù)據(jù)，Eq代表第q組數(shù)據(jù)的誤差，tkq表示第q組第k個目標輸出向量。常規(guī)的貝葉斯正則化方法是在誤差函數(shù)后加上權衰減項：

(4)

因此，本文提出的稀疏貝葉斯正則化神經(jīng)網(wǎng)絡的性能函數(shù)描述為：

(5)

通過貝葉斯正則化方法可以在網(wǎng)絡訓練過程中調(diào)整正則化系數(shù)λ的大小，自動縮小網(wǎng)絡規(guī)模，使模型網(wǎng)絡輸出更加平滑[14]。增加L1/2范數(shù)，引入新的權值向量，使得網(wǎng)絡結構更加稀疏化，同時在逆向迭代性能函數(shù)中實現(xiàn)對輸入向量擴展，使得模型可以得到具稀疏性的解，提高了網(wǎng)絡泛化能力。

1.3 稀疏貝葉斯正則化逆向神經(jīng)網(wǎng)絡算法推導

不同于正向建模中改變網(wǎng)絡的權值，神經(jīng)網(wǎng)絡逆模型的誤差是由輸入?yún)⒘恳鸬模虼诵枰粩嘈拚斎雲(yún)⒘康闹怠８潞蟮妮斎雲(yún)⒘渴沟脤嶋H輸出與目標輸出之間的誤差最小，可描述為：

(6)

式中：η>0為學習速率。

為了求得稀疏貝葉斯正則化神經(jīng)網(wǎng)絡的逆向迭代算法，需要求解式(5)性能函數(shù)關于輸入?yún)⒘喀恋膶?shù)，因此將其分解為以下兩項：

(7)

(8)

第一個隱含層第i個神經(jīng)元輸出值φiq可由下式計算：

(9)

φiq對第l個輸入值αlq的偏導為：

(10)

同樣可求，第二個隱含層的第j個輸出值hjq對輸入值φiq的偏導為：

(11)

隱含層輸出hjq對輸入值αlq的偏導為：

(12)

同理，第k個輸出值βkq對hjq的偏導為：

(13)

誤差函數(shù)Exq對于輸入?yún)⒘喀羖q的偏導為：

(14)

設式(14)中的第一個因子如式(15)：

(15)

將式(12)、式(13)、式(15)代入式(14)可得：

(16)

誤差函數(shù)Eyq關于輸入?yún)⒘喀羖q的偏導為：

(17)

式中:sgn(·)為符號函數(shù)。

因此，由式(16)、式(17)可得：

(18)

將式(18)代入式(6)中，對輸入?yún)⒘康拢瑢崿F(xiàn)逆向求解過程。

2 神經(jīng)網(wǎng)絡逆向建模過程

對于神經(jīng)網(wǎng)絡逆向建模，如圖2所示。具體步驟如下：

1) 利用EM電磁仿真或從實物中獲取實驗數(shù)據(jù)，分為訓練集和測試集。

2) 對數(shù)據(jù)進行歸一化處理，利用訓練數(shù)據(jù)訓練神經(jīng)網(wǎng)絡正模型，獲得權值并保存。

3) 代入正向網(wǎng)絡獲得的權值，利用本文提出的稀疏貝葉斯正則化神經(jīng)網(wǎng)絡逆向迭代算法更新輸入?yún)⒘喀粒瑢崿F(xiàn)逆向求解過程。

4) 若達到性能函數(shù)E要求或最大迭代次數(shù)，則結束更新。最后以實際輸入和目標輸入之間的誤差大小來評價模型性能的好壞。

3 超寬帶濾波器的逆向神經(jīng)網(wǎng)絡建模

3.1 超寬帶濾波器模型

采用三維電磁仿真軟件Ansoft HFSS 13.0建立加載諧振器的超寬帶濾波器模型[15-16]。超寬帶濾波器結構如圖3所示。

圖3 加載諧振器的超寬帶濾波器

圖3中的超寬帶濾波器在選擇結構支節(jié)的尺寸時，經(jīng)計算與優(yōu)化，耦合線的長度l1，耦合線之間的距離w1，諧振器的寬度w2，諧振器長度為l2的值初步確定。主要需要考慮其加載的諧振器在陷波中心頻率f處，長度l6、寬度w3(單位：mm)對濾波器插入損耗S21的影響。在Ansoft HFSS 13.0中所建模型如圖4所示。

圖4 超寬帶濾波器HFSS模型

3.2 關鍵參數(shù)提取

圖5為在HFSS中保持支節(jié)l1-l5和寬度w不變，對支節(jié)l6分別取1.5 mm、2.0 mm、2.5 mm時的掃描結果，隨著l6的增大，陷波的中心頻率逐漸左移，插入損耗S21也隨之改變。同樣，保持支節(jié)l及寬度w1、w2的值不變，w3取值分別為0.1 mm、0.3 mm、0.5 mm、0.7 mm、0.9 mm時，掃描結果如圖6所示，陷波中心頻率和插入損耗S21也隨之改變。

圖5 長度l6與S21的關系

圖6 寬度w3與S21的關系

利用圖4根據(jù)超寬帶濾波器的插入損耗S21隨諧振器結構參數(shù)變化時的仿真結果，提取1 200組數(shù)據(jù)用于訓練和測試，其中l(wèi)6取值范圍為：2～3 mm，間隔為：0.05 mm；w3取值范圍為0.3～0.7 mm，間隔為0.02 mm；對應的f取值范圍為7.8～8.4 GHz，S21范圍為10.8～16.4。

對于不同的l6和w3與S21之間關系如圖7所示。可以看到一個S21分別與多個l6值和多個w3值相對應，當把已知S21作為輸入，會有多個l6和w3值與其對應，即存在多解問題。

圖7 S21與l6和w3的對應關系

3.3 超寬帶濾波器的稀疏貝葉斯正則化逆向神經(jīng)網(wǎng)絡建模

在使用HFSS軟件進行優(yōu)化的過程中，需要不斷調(diào)整諧振器在陷波中心頻率處的結構尺寸來得到理想S21的值，需要花費大量時間，增加了設計代價。為了能夠快速地通過目標插入損耗S21的值逆向求解陷波中心頻率f處的結構參量長度l6、寬度w3的值，采用本文提出的稀疏貝葉斯正則化逆向神經(jīng)網(wǎng)絡建模方法對此超寬帶濾波器進行建模。

在MATLAB 13.0軟件中編程實現(xiàn)稀疏貝葉斯正則化神經(jīng)網(wǎng)絡逆向迭代算法，選擇1 000組作為訓練數(shù)據(jù)，50組作為測試數(shù)據(jù)。

為了加快學習訓練速率，首先對所需數(shù)據(jù)進行歸一化處理，使量綱保持一致。本文采用min-max標準歸一化方法：

(19)

式中：α*∈Rn，αmin=min(α),αmsx=max(α)。

根據(jù)實驗情況，此逆模型采用4層神經(jīng)網(wǎng)絡結構，確定各層節(jié)點數(shù)為3-23-20-1，輸入層三個節(jié)點，分別為l6、w3、f，輸出層一個節(jié)點，為S21，誤差限設為1e-6，最大迭代次數(shù)為500，通過仿真模擬發(fā)現(xiàn)當學習速率η取0.02，正則化系數(shù)λ取0.68時，誤差最小。

4 仿真結果分析

采用本文所提的逆向建模方法對超寬帶濾波器進行建模，模型輸出結果分別與電磁仿真軟件HFSS實際輸出、直接逆向建模方法輸出和BP逆向建模方法輸出進行對比，三種方法采用相同的網(wǎng)絡結構，對比結果如圖8-圖10所示。

圖8 長度l6擬合圖

圖9 寬度w3擬合圖

圖10 頻率f擬合圖

從圖8-圖10可以看出由于多解問題的存在，直接逆模型的擬合效果較差，而本文提出的逆向建模算法所得結果可以較好地擬合電磁仿真結果，模型精度較高。

直接逆模型、BP逆模型與本文逆模型網(wǎng)絡輸出的對比結果如表1所示。與BP逆向建模方法相比，本文逆模型求得的與插入損耗S21對應的長度l6、寬度w3、頻率f的相對誤差分別減小了81.4%、99.8%、48.9%，網(wǎng)絡運行時間減少了16.3%。

表1 三種逆向建模方法仿真結果對比

5 結 語

將稀疏貝葉斯正則化逆向神經(jīng)網(wǎng)絡應用于超寬帶濾波器的建模中，通過目標電參量能夠快速綜合出對應的結構參量。L1/2范數(shù)使得逆模型更易得到稀疏性解，貝葉斯正則化方法調(diào)整網(wǎng)絡權系數(shù)，可以有效避免過擬合現(xiàn)象，網(wǎng)絡泛化能力及稀疏性更好。此逆向神經(jīng)網(wǎng)絡通過迭代過程取代了連續(xù)搜索的程序優(yōu)化方法，不存在多解問題，與直接逆向建模方法和BP逆建模方法相比，此逆向建模方法更加準確和高效。