基于AdaBelief殘差神經網絡的超材料結構逆設計

馮可豪，李白萍*，蔡藝軍，周遠國

(1.西安科技大學 通信與信息工程學院，西安 710000； 2.廈門理工學院 光電與通信工程學院,廈門 361000)

引 言

2維材料是指單個或多個原子層晶體結構，具有機械柔性和易于集成等特點，與硅(Si)或砷化鎵(GaAs)等3維材料相比，2維材料具有許多獨特的光學特性[1-2]。石墨烯作為一種2維等離子體材料，其高導電性和光學高透明度特性適用于透明電極和激光器[3-4]，另一方面可設計為光電探測器、光學傳感器等應用[5-6]，其中多層石墨烯結構可實現完美吸收等特性。利用石墨烯根據需求設計光子超材料結構需要通過電磁模擬來解決復雜的逆問題，現階段的納米光學器件為實現更強大的功能使得其規模和復雜性不斷增加，通常采用迭代運算的傳統數值模擬方法,例如有限元法(finite element method，FEM)、時域有限差分法(finite-difference time-domain，FDTD)等方法[7-9]，依賴于數值模擬軟件，如COMSOL,HFSS等。但是由于逆問題的高度非線性，這些數值模擬已難以滿足光學結構設計的需求，并且此類方法會造成大量的時間資源和計算資源的消耗。因此，采用優化算法可以解決此類問題，包括拓撲優化[10]、遺傳算法[11]、水平集方法[12]等，然而優化算法受到搜索性質的限制，隨著問題難度的增加，難以解決逆問題，且易陷入局部最優值。

深度學習使用深層次的神經網絡采用非線性轉換對模型的抽象化進行數據處理與計算，在計算機視覺、語音識別、數據挖掘[13]等領域不斷發展的同時，已成功應用于計算機科學以外的物理研究中，例如頻譜預測[14]、天線設計[15]、多層納米粒子[16]等，形成了革命性和有效性的方法。神經網絡的基本思想是由預定義的訓練模型來預測當前問題，通過不斷地迭代更新權重參數來取得更優的預測效果，其反向傳播算法適用于結構繁雜且參數眾多的數據集。神經網絡已被廣泛應用于電磁學的設計及預測問題中，以更高的精度與效率來解決此類問題，如濾波器、傳感器、超表面等結構設計中。對于更為復雜的光學結構設計，如光子晶體[17]、超材料[18]、硅光子器件[19]等仍處于起步階段，由于其性能的復雜性和設計的靈活性還未形成系統化的深度學習解決方案。

在本文中，將神經網絡應用于石墨烯和氮化硅的多層交替薄膜超材料結構的預測中，輸入為入射角等于85°的多諧振完美吸收光譜，得到輸出基于石墨烯的超材料結構參量。神經網絡通常采用1階梯度法訓練，存在兩個分支：隨機梯度下降法(stochastic gradient descent,SGD),如動量隨機梯度法(momentum-SGD)、內斯特羅夫加速梯度法(Nesteroff acceleration gradient,NAG)，以及自適應學習率方法，如自適應法(adaptive method,Adam)、自適應梯度法(adaptive gradient,Adagrad)、自適應約束法(adaptive bound,AdaBound)、均方根傳播法(root mean square propogation,RMSProp)等方法。然而相對于文本及圖像識別，納米結構參數預測的采樣空間相對較小，且難以獲得大量樣本，常見的神經網絡往往存在陷入局部最優解以及測試集依賴于訓練模型的缺陷。采用SGD作為網絡的優化器進行訓練，無法得到穩定且準確的預測結果，采用多種自適應學習率方法進行訓練，并對多種方法的預測結果進行了比對，Adam優化算法的預測結果較為穩定和準確，但預測精度仍然無法達到預期。自適應信念法(adaptive belief,AdaBelief)在圖像分類和語言建模等應用場景中比其它方法的收斂速度快、準確率更高，表現出較高的穩定性,并提高了樣本的質量。本文中將AdaBelief優化器運用于石墨烯基超材料的設計中，對采用Adam,AdaBelief,SGD優化算法的神經網絡的預測結果進行了對比與評估。預測結果表明，基于AdaBelief優化器的殘差神經網絡(residual neural network,RESNET)[20]收斂速度更快且預測精度更高，該網絡展現了在超材料和超器件設計中的強大能力。

1 方法與結構

構建基于石墨烯的超材料結構來評估該改進型神經網絡在結構設計中的能力。如圖1所示，該結構由多個無限寬的石墨烯和氮化硅交替層構成，設計空間為每層氮化硅的厚度，用d1,d2,…,dn來表示從底部至頂部的各層氮化硅厚度。

Fig.1 Alternating multilayer film structure consisting of graphene and Si3N4

激發光以入射角θ及特定偏振進入半球棱鏡與結構體中，電介質的光學厚度控制在可見光與紅外區域的亞波長范圍內，其目的是產生所需光學響應(如某一波長范圍的完美光吸收)。

單層石墨烯光子晶體的介電常數ε為：

ε=ε0+iσ/Δω

(1)

式中,ε0表示真空介電常數，Δω表示入射光的角頻率的變化量，石墨烯層表面電導率σ可用Kubo公式計算：

σ(ω,μc,Γ,T)=σintra+σinter

(2)

(3)

(4)

f(ξ,μc,T)={exp[(ξ-μc)/kBT]+1}-1

(5)

(6)

式中，δi=2πNidicosθi/λ為入射光的相位因子，其中Ni,di,θi,ηi分別表示第i層石墨烯的復折射率、厚度、入射光角以及傾斜光學導納,λ為波長。吸收光譜可由底層到空氣的光學導納Z=X/Y來表示，其中Y和X的矩陣如下：

(7)

因此，吸收光譜可如下表示:

(8)

式中,η0和ηc表示空氣和棱鏡的光學導納；*表示共軛。

使用改進型殘差神經網絡實現石墨烯超材料結構的反設計，如圖2所示。通過特征矩陣法根據各項光學參數計算得到的吸收光譜樣本集H={hi,i=1,2,…,n},預測結構體的厚度參數D={di,i=1,2,…,n}。該網絡底層映射表示為H(x),使得堆疊的非線性層適用于F(x)=H(x)-x,則原始映射被設置為F(x)+x。采用快捷方式跳過多層網絡進行連接并執行身份映射，輸出被添加到堆疊層的輸出中，通過反向傳播算法不斷更新參數進行端到端的訓練，降低了計算的復雜性，有效避免梯度彌散和梯度爆炸的現象。除了改善殘差神經網絡以更好地實現超材料的反設計，還引入了AdaBelief優化算法以實現網絡的快速收斂并保證訓練的穩定性，克服神經網絡陷入局部最優解的缺陷，AdaBelief優化算法與其它算法如自適應約束法、控制自適應法、自適應權重法等算法進行了廣泛的比較，如利用殘差神經網絡和稠密連接網絡等在Cifar數據集進行圖像分類與識別，以及在佩恩樹庫數據集上采用長短期記憶單元網絡進行語言建模等實驗。結果證明,AdaBelief優化算法的學習曲線的收斂速度和精確度均優于其它優化算法，算法細節如下所示。

Fig.2 Structural illustration of a residual neural network(the input depicts as the optical response, and the output depicts the material structural parameters)

2 AdaBelief優化算法

首先定義參數gt,mt和st。

(9)

(10)

θt更新為：

(11)

(12)

Adabelief使用損失函數的曲率來改進網絡的訓練，當gt與mt偏差很大時，優化器采用較短的步長;當gt接近預測值mt時，優化器采用較大的步長。由以上分析可知,AdaBelief通過梯度的不斷變化來更新方向。

3 結果和討論

訓練神經網絡的目的是獲取基于石墨烯的超材料結構參數。以85°入射角s偏振為例，采用特征矩陣法計算了50000個特定范圍內的隨機厚度參數所對應的吸收光譜訓練樣本，每個樣本共有從t1～t256共256個采樣點，額外計算1000個隨機厚度的測試樣本，定義了吸收光譜的預測誤差函數P以評估算法的有效性和精確性，如下所示：

(13)

式中,n,hi,xi分別代表預測樣本總數、目標吸收光譜和預測吸收光譜的離散值，該公式為每個樣本所得預測誤差，總預測誤差值為各個樣本預測誤差的平均值，以該公式來評估AdaBelief,Adam,SGD 3種優化算法在該實例中的預測結果。

圖3為AdaBelief神經網絡、Adam神經網絡、SGD神經網絡的學習曲線。每時期的預測誤差是樣本總誤差的平均值，在200個時期中，SGD優化器的網絡的預測誤差曲線在前10個時期下降至25%左右后并無繼續下降的趨勢，說明在輸入吸收光譜預測結構體參數的小采樣空間的實例中，SGD優化器的性能較差，無法取得理想的預測結果。Adam優化器在200個時期中，預測誤差曲線并未持續下降，始終在5%左右振蕩，網絡不夠穩定；而AdaBelief優化器的預測誤差曲線在經過30個時期的振蕩之后，呈穩定下降趨勢，經過200個時期的訓練，預測誤差降至2.5%左右，這說明該優化器在超材料結構體逆設計中收斂更快、精度更高。

Fig.3 Learning curve of AdaBelief, Adam and SGD neural network

對采用AdaBelief優化算法、Adam優化算法、SGD優化算法的網絡的預測光譜進行了分析與比較。如圖4所示，采用特征矩陣法所計算的吸收光譜在761nm處的吸收率達到99%以上，采用SGD優化算法的網絡預測氮化硅納米薄膜厚度參數，預測吸收光譜與目標光譜在波段和吸收峰值中均產生了明顯偏差，無法實現結構體的精確設計。而Adam優化算法和AdaBelief優化算法的預測結構參數所生成的吸收光譜與目標吸收光譜的重合度較高，并可明顯看出，引入偏差校正項的AdaBelief優化算法的精度更高，說明該算法所預測光譜與特征矩陣法獲得的目標光譜具有一致性。

Fig.4 Target absorption spectrum of a single absorption peak and the prediction absorption spectrum based on AdaBelief, Adam and SGD networks

采用特征矩陣法構造出了在紅外波段具有多完美吸收峰的吸收光譜，如圖5和圖6所示。在304nm和1764nm左右達到95%以上的吸收率，在250nm，455nm和2628nm處達到95%以上的吸收率，在雙吸收峰光譜和三吸收峰光譜的對比圖中，AdaBelief優化算法的吸收光譜曲線和目標吸收光譜曲線的重合度最高，Adam次之，SGD存在顯著偏差。

Fig.5 Target absorption spectrum of double absorption peak and the prediction absorption spectrum based on AdaBelief, Adam and SGD networks

Fig.6 Target absorption spectrum of multi absorption peak and the prediction absorption spectrum based on AdaBelief, Adam and SGD networks

隨機抽取了其中一組預測結果進行了分析和比較，如表1所示。表中給出了薄膜結構體交替層中5層氮化硅的目標厚度與3種算法網絡的預測厚度，由表中可以看出,采用AdaBelief的網絡所預測厚度的平均誤差低于其它兩種算法所預測結果，進一步說明了AdaBelief算法在基于石墨烯的超材料結構體逆設計中的高精度。

Table 1 Target structural parameters and prediction structural parameters and average error based on AdaBelief, Adam, SGD networks

4 結 論

首先構建了基于AdaBelief優化算法的改進型殘差神經網絡,將其運用于基于石墨烯超材料的結構設計中，其次使用特征矩陣法獲得多完美吸收峰的目標光譜作為網絡的訓練集與測試集。基于AdaBelief的神經網絡的預測結構參數的平均誤差小于其它方法的平均誤差，并且所對應光譜表現出與目標光譜的高度一致性，預測結果表明,基于AdaBelief的神經網絡有效地解決了在小采樣空間內網絡易陷入局部最優解使得預測誤差無法持續下降的問題，加快了網絡的收斂速度并保證超材料結構參數預測的高精度。該方法為其它基于2維材料的光學結構設計提供了新思路。