基于LSTM神經(jīng)網(wǎng)絡(luò)的壓電執(zhí)行器位移遲滯建模

時(shí)夢想,胡 泓,吳 浩,徐希瀟

(1. 哈爾濱工業(yè)大學(xué)(深圳)機(jī)電工程與自動(dòng)化學(xué)院,廣東 深圳 518000;2. 深圳市西渥智控科技有限公司,廣東 深圳 518000)

0 引言

LED芯片生產(chǎn)過程中,在經(jīng)過前道加工步驟后,晶圓片(Wafer)上芯片的數(shù)目從幾千到數(shù)萬不等。為了控制質(zhì)量和降低后續(xù)工序生產(chǎn)成本,需要對每顆芯片通電后進(jìn)行光電參數(shù)測試。在半導(dǎo)體測試領(lǐng)域,生產(chǎn)線上大多采用探針結(jié)構(gòu)通電。目前工業(yè)上探針與芯片電極的接觸和脫離一般通過傳統(tǒng)步進(jìn)或伺服電機(jī)帶動(dòng)。壓電執(zhí)行器作為一種新型的執(zhí)行機(jī)構(gòu),具有工作精度高,響應(yīng)速度快及驅(qū)動(dòng)力大的優(yōu)點(diǎn),使其適用于各種應(yīng)用場景[1]。本文研究的壓電執(zhí)行器主要應(yīng)用于LED芯片測試過程中。使用末端帶有探針的壓電陶瓷執(zhí)行器實(shí)現(xiàn)探針和芯片電極接觸并進(jìn)行測量。提高芯片測試效率和探針位移精度。但壓電執(zhí)行器位移與驅(qū)動(dòng)電壓存在非線性關(guān)系,主要源于壓電陶瓷的遲滯效應(yīng)。遲滯效應(yīng)導(dǎo)致壓電執(zhí)行器的輸出位移不僅與當(dāng)前驅(qū)動(dòng)電壓有關(guān),還與之前的驅(qū)動(dòng)電壓有關(guān)。一般遲滯效應(yīng)會(huì)隨著驅(qū)動(dòng)電壓的頻率改變而改變,這給精確控制壓電執(zhí)行器的位移帶來了挑戰(zhàn)。為了解決這個(gè)問題。一方面使用閉環(huán)控制方法,可以達(dá)到較理想的位移控制效果,但閉環(huán)控制需要為壓電執(zhí)行器額外配置位移傳感器,增加了使用成本和系統(tǒng)復(fù)雜度。另一方面使用基于位移遲滯模型的開環(huán)控制方法,但此方法的遲滯模型對于位移預(yù)測需要有足夠精度。因此,研究者提出各種模型用于遲滯效應(yīng)的建模。其中數(shù)學(xué)解析模型一般具有大量的參數(shù),識別過程較難。靜態(tài)的遲滯模型包括Preisach模型、Prandtl-lshliskii(PI)模型及Maxwell模型等[2]。

深度學(xué)習(xí)可模擬非線性映射關(guān)系[3],已有很多研究者使用神經(jīng)網(wǎng)絡(luò)對壓電遲滯效應(yīng)進(jìn)行建模[4]。郭岱宗等[5]使用循環(huán)神經(jīng)網(wǎng)絡(luò)(GRU)對壓電執(zhí)行器位移遲滯進(jìn)行建模,與傳統(tǒng)的數(shù)學(xué)模型相比,該模型具有較好的模擬遲滯效果。鄒守睿等[4]設(shè)計(jì)了一種循環(huán)神經(jīng)網(wǎng)絡(luò)對壓電驅(qū)動(dòng)器的遲滯特性進(jìn)行建模,進(jìn)而得到能夠準(zhǔn)確模擬輸出位移和輸入電壓之間關(guān)系的逆模型,并據(jù)此對壓電驅(qū)動(dòng)器進(jìn)行前饋補(bǔ)償。本文研究了使用長短期記憶(LSTM)神經(jīng)網(wǎng)絡(luò)模擬遲滯的可行性。

本研究基于一種杠桿式壓電執(zhí)行器[6],使用3層LSTM神經(jīng)網(wǎng)絡(luò)對執(zhí)行器位移遲滯進(jìn)行建模,并將所提出的基于LSTM神經(jīng)網(wǎng)絡(luò)遲滯補(bǔ)償模型與傳統(tǒng)Prandtl-Ishlinskii補(bǔ)償模型進(jìn)行對比,證明了神經(jīng)網(wǎng)絡(luò)模型具有更好的模擬壓電執(zhí)行器壓電位移遲滯的效果。

1 實(shí)驗(yàn)方法

1.1 LSTM神經(jīng)網(wǎng)絡(luò)

壓電遲滯現(xiàn)象主要由于壓電執(zhí)行器當(dāng)前時(shí)刻的位移輸出不僅受當(dāng)前時(shí)刻電壓輸入的影響,還與過去時(shí)刻的電壓輸入有關(guān)。LSTM是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN),LSTM的提出主要是為了解決序列預(yù)測的問題,在預(yù)測當(dāng)前時(shí)間點(diǎn)輸出時(shí)考慮以往時(shí)間點(diǎn)的輸入,這種預(yù)測方法與遲滯現(xiàn)象發(fā)生的本質(zhì)吻合。

LSTM由一系列的LSTM細(xì)胞(Cell)組成,每個(gè)細(xì)胞含有若干個(gè)LSTM單元(Unit)。每個(gè)時(shí)間步的細(xì)胞狀態(tài)ct存儲(chǔ)了經(jīng)過本時(shí)間步及之前的時(shí)間步篩選處理后所留存的信息,從而長記憶得以建立。

圖1 LSTM神經(jīng)元

ft=σ(Wfxt+Ufht-1+bf)

(1)

it=σ(Wixt+Uiht-1+bi)

(2)

ot=σ(Woxt+Uoht-1+bo)

(3)

(4)

(5)

ht=ot⊙tanh(ct)

(6)

式中:σ(·)為sigmoid激活函數(shù),值域[0,1];tanh(·)為雙曲正切激活函數(shù),值域[-1,1];⊙為矩陣的哈達(dá)瑪積(Hadamard product,按元素相乘);W,U為權(quán)重矩陣;b為偏置向量sigmoid函數(shù)和雙曲正切函數(shù)的定義如下:

(7)

(8)

假設(shè)每次訓(xùn)練的樣本數(shù)(batch size)為b,每個(gè)樣本的維度為d,每個(gè)LSTM Cell隱藏神經(jīng)元數(shù)(hidden size)為h。xt∈d,W,U∈h×d,ht∈h,b∈h。

1.2 神經(jīng)網(wǎng)絡(luò)超參數(shù)的選擇

本文所設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)由3層LSTM層和1層全連接層組成,如圖2所示。

圖2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

由于壓電執(zhí)行器非線性遲滯由多方面因素決定,故選取3層LSTM網(wǎng)絡(luò)。對于多層神經(jīng)網(wǎng)絡(luò),上一層每個(gè)Cell的輸入為下面一層對應(yīng)Cell的隱藏狀態(tài)ht,根據(jù)實(shí)驗(yàn)和訓(xùn)練經(jīng)驗(yàn)選取層數(shù),更多的層數(shù)不僅可能導(dǎo)致較差的擬合效果,還會(huì)增加計(jì)算時(shí)間。

根據(jù)其他研究者對壓電遲滯的研究,LSTM窗口大小選取為50個(gè),隱藏單元數(shù)為64個(gè)[8],可以獲得較好的擬合效果及較小的計(jì)算要求。窗口大小表示由ti時(shí)刻及其之前49個(gè)采樣時(shí)刻所組成的激勵(lì)電壓序列ut-49,ut-48,…,ut輸入到神經(jīng)網(wǎng)絡(luò)中預(yù)測ti時(shí)刻的位移yi。

由于LSTM層最終輸出為ht維度(h維)的意義與實(shí)際所要預(yù)測的位移輸出有差別,因此,在最后增加一層全連接層進(jìn)行必要的變換。神經(jīng)網(wǎng)絡(luò)超參數(shù)如表1所示。

表1 神經(jīng)網(wǎng)絡(luò)超參數(shù)

1.3 經(jīng)典PI模型

經(jīng)典PI遲滯模型是一種數(shù)學(xué)解析模型,該模型采用雙邊Play算子Frj(t)和權(quán)重系數(shù)pj加權(quán)疊加來描述壓電陶瓷遲滯非線性特性[2]。經(jīng)典PI模型在離散處理后的表達(dá)式為

(9)

式中:rj為離散閾值(r0=0);pj為每個(gè)遲滯算子對應(yīng)的權(quán)重系數(shù),兩者通過遲滯實(shí)驗(yàn)數(shù)據(jù)識別得出。

對每個(gè)離散的rj值,相應(yīng)的遲滯算子具體計(jì)算方法為

(10)

式中z0j為各個(gè)遲滯算子初值。

為獲得模型,繼續(xù)對時(shí)間進(jìn)行離散,每個(gè)rj值對應(yīng)的遲滯算子計(jì)算方法為

(11)

式中:k=0,1,…,Ns;t0=0;tE=NsTs;Ts為采樣間隔,共使用Ns+1個(gè)采用數(shù)據(jù)。

將離散后的遲滯算子和權(quán)重系數(shù)疊加,計(jì)算出壓電執(zhí)行器的位移輸出為

(12)

2 實(shí)驗(yàn)系統(tǒng)

為了收集數(shù)據(jù)進(jìn)行LSTM神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測試,整體的實(shí)驗(yàn)框圖如圖3所示。

圖3 實(shí)驗(yàn)系統(tǒng)

圖3包含一個(gè)用于研究位移遲滯的壓電執(zhí)行器,其功能原理如圖4所示。該執(zhí)行器由杠桿機(jī)構(gòu)將壓電疊堆的唯一輸出放大輸出到末端,該壓電疊堆型號為P-885.91,最大工作電壓為110 V,壓電執(zhí)行器組裝時(shí),通過彈簧對壓電疊堆施加一定的預(yù)緊力,以保證其穩(wěn)定運(yùn)行。

圖4 壓電執(zhí)行器功能原理圖

上位機(jī)使用Labview軟件結(jié)合數(shù)據(jù)采集卡廠商的驅(qū)動(dòng)程序,編寫數(shù)據(jù)采集和電壓控制信號發(fā)出的程序。電壓控制信號通過與上位機(jī)相連的USB-5621A數(shù)據(jù)采集卡發(fā)出,輸出采樣頻率為10 kHz。

ATG-2042型號的功率放大器將數(shù)據(jù)采集卡輸出的控制信號電壓進(jìn)行放大,輸出給壓電執(zhí)行器,驅(qū)動(dòng)其產(chǎn)生位移。

位移傳感器探測壓電執(zhí)行器的位移量,傳感器選取型號為米朗LVDT8筆式傳感器,該位移傳感器精度為2.5 μm。最后USB-5621A將傳感器位移信號的采集輸入到上位機(jī)保存,位移信號和電壓控制信號同步采集,采樣頻率均為10 kHz,最終獲取壓電執(zhí)行器的位移遲滯信息。

3 模型辨識

3.1 模型識別訓(xùn)練數(shù)據(jù)獲取

為了提供訓(xùn)練LSTM神經(jīng)網(wǎng)絡(luò)所需的多種遲滯數(shù)據(jù),一方面使用多頻率的正弦信號作為激勵(lì)電壓,另一方面使用多頻率的衰減正弦信號作為激勵(lì)電壓。得到壓電執(zhí)行器的多個(gè)遲滯環(huán)數(shù)據(jù),即:

(13)

(14)

式中:τ=0.15為衰減正弦波的時(shí)間常數(shù);f為正弦波的頻率;Vmax,Vmin分別為最大、最小激勵(lì)電壓。

由于功率放大器只能輸出正電壓,為防止之后的補(bǔ)償電壓為負(fù)值,Vmin=30 V,由于壓電疊堆限制,Vmax=110 V。兩種波形在1～60 Hz內(nèi)各采樣60組數(shù)據(jù),傳感器采樣頻率為10 kHz,每種信號持續(xù)20 s,共120組電壓-位移數(shù)據(jù),每種信號進(jìn)行降采樣后共40 000個(gè)采樣點(diǎn)用于訓(xùn)練和驗(yàn)證神經(jīng)網(wǎng)絡(luò)模型。通過兩種激勵(lì)信號產(chǎn)生了多種遲滯環(huán)。圖5為正弦波激勵(lì)信號所產(chǎn)生的遲滯環(huán)。圖6為衰減正弦波產(chǎn)生的遲滯環(huán)。

圖5 正弦波激勵(lì)信號產(chǎn)生的遲滯環(huán)

圖6 衰減正弦波產(chǎn)生的遲滯環(huán)

由圖5、6可看出,壓電執(zhí)行器的遲滯環(huán)與頻率相關(guān),驅(qū)動(dòng)頻率越高,遲滯非線性越明顯,且是非對稱的。這是由于壓電執(zhí)行器的非線性特性不僅由壓電疊堆本身決定,還與機(jī)械零件之間的摩擦(如在杠桿與支點(diǎn)間的摩擦,頂針和頂針套間的摩擦)及零件的彈性形變有關(guān)。

3.2 LSTM訓(xùn)練過程

訓(xùn)練過程中,為提高學(xué)習(xí)效率,所有訓(xùn)練數(shù)據(jù)被歸一化到[-1,1]區(qū)間內(nèi),與神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)相匹配。使用Pytorch開源機(jī)器學(xué)習(xí)框架實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)。訓(xùn)練迭代次數(shù)選取為80。本研究選用均方損失函數(shù)(MSE),并選擇Adam算法作為反向傳播優(yōu)化算法,學(xué)習(xí)率設(shè)定為0.001。使用前述的神經(jīng)網(wǎng)絡(luò)及超參數(shù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。將訓(xùn)練集和驗(yàn)證集按7∶3劃分。本文選取正弦波和衰減正弦波的頻率為2 Hz、10 Hz、20 Hz、30 Hz、50 Hz,以此作為模型訓(xùn)練集和驗(yàn)證集數(shù)據(jù),其他數(shù)據(jù)作為測試集數(shù)據(jù)。

訓(xùn)練使用計(jì)算機(jī)配置:中央處理器為Intel Xeon E5-2680 v4 CPU,主頻2.4 GHz;圖形處理器(GPU)為:NVIDIA Tesla P40(12TFLOPS 單精度浮點(diǎn)計(jì)算,47INT8 TOPS);內(nèi)存為:DDR4,內(nèi)存帶寬達(dá)2 666 MT/s。網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)共有83 777個(gè)。共完成訓(xùn)練所需時(shí)間為30 min。訓(xùn)練集損失函數(shù)和驗(yàn)證集準(zhǔn)確率值隨迭代次數(shù)的變化曲線如圖7所示。

圖7 損失曲線

3.3 PI模型辨識

為驗(yàn)證LSTM神經(jīng)網(wǎng)絡(luò)的有效性,以傳統(tǒng)PI模型作為對照組。由于經(jīng)典PI模型為靜態(tài)模型,當(dāng)研究分析遲滯靜態(tài)特性時(shí),輸入信號頻率不高,頻率過高將導(dǎo)致模型誤差過大。使用5 Hz正弦波遲滯數(shù)據(jù)進(jìn)行模型參數(shù)識別。

識別PI模型首先確定遲滯算子的數(shù)量。選用遲滯算子數(shù)量越多時(shí),模型擬合精度越高,計(jì)算量越大。本文選擇遲滯算子個(gè)數(shù)為9個(gè),閾值和遲滯算子初始值[2]為

(15)

式中電壓最大值max{|v(k·Ts)|}為實(shí)際輸入電壓最大值110 V減去基值電壓30 V,即80 V。

遲滯算子的初值均設(shè)置為0,即:

z0j=0

(16)

使用Matlab編寫PI遲滯模型的識別和驗(yàn)證程序。權(quán)重系數(shù)計(jì)算使用最小二乘法,即通過最小化PI模型計(jì)算位移和實(shí)際位移間的誤差來辨識9個(gè)權(quán)重系數(shù)q值。模型辨識結(jié)果如表2所示。

表2 PI模型辨識結(jié)果

4 實(shí)驗(yàn)結(jié)果分析

本文使用3種準(zhǔn)確性的指標(biāo)來對模型預(yù)測結(jié)果進(jìn)行評估,分別是均方根誤差(ERMS)、ERMS在觀測值范圍內(nèi)的位置(ENRMS)和最大絕對誤差(EMA)。

EMA表示預(yù)測值和觀測值之間絕對誤差的最大值。計(jì)算方法如下:

(i=1,2,…,N)

(17)

ERMS表示預(yù)測值和觀測值之間差異(稱為殘差)的樣本標(biāo)準(zhǔn)差。計(jì)算方法如下:

(i=1,2,…,N)

(18)

ENRMS表示ERMS在觀測值范圍內(nèi)的位置:

(19)

由實(shí)驗(yàn)結(jié)果可知:

1) 由PI模型的預(yù)測誤差結(jié)果(見表3)可知,經(jīng)典PI模型對于該執(zhí)行器的遲滯仍具有較好的靜態(tài)建模能力。雖然最大絕對誤差(EMA)值仍有6.50 μm,但是誤差保證在[-5,+5]內(nèi),誤差對稱,ENRMS僅為2.15%。圖8為對用于模型識別的5 Hz正弦波所對應(yīng)的位移遲滯預(yù)測結(jié)果。

表3 PI模型的位移預(yù)測誤差

圖8 PI模型5 Hz正弦波位移預(yù)測

2) PI模型動(dòng)態(tài)預(yù)測能力很差,對于9 Hz信號ENRMS已達(dá)2.34%。對于1 Hz信號預(yù)測(見圖9)ENRMS誤差已超過3%,很難達(dá)到工業(yè)上的精度要求。對于同頻率衰減正弦波預(yù)測誤差更大,EMA已達(dá)10.95 μm,模型預(yù)測基本失效。

圖9 PI模型1 Hz正弦波位移預(yù)測

將上述的經(jīng)典PI模型作為對照組,由LSTM正弦波和衰減正弦波實(shí)驗(yàn)預(yù)測誤差(見表4、5)可知,LSTM神經(jīng)網(wǎng)絡(luò)模型具有廣泛的動(dòng)態(tài)預(yù)測能力。

表4 LSTM神經(jīng)網(wǎng)絡(luò)正弦波預(yù)測誤差

表5 LSTM神經(jīng)網(wǎng)絡(luò)衰減正弦波預(yù)測誤差

3) 對于多頻率正弦波信號,神經(jīng)網(wǎng)絡(luò)的最大絕對誤差可以保證在±5 μm內(nèi)基本上可滿足LED測試要求。ENRMS可控制在2%內(nèi),精度較高。LSTM模型對5 Hz正弦波激勵(lì)位移預(yù)測如圖10所示。

圖10 LSTM模型5 Hz正弦波位移預(yù)測

4) 對于衰減系數(shù)τ=0.15的各頻率衰減正弦波遲滯,ENRMS基本保證在3%內(nèi),說明神經(jīng)網(wǎng)絡(luò)不僅對正弦波具有動(dòng)態(tài)建模能力,對于其他波形同樣具有良好的預(yù)測能力。LSTM模型對5 Hz衰減正弦波激勵(lì)位移預(yù)測如圖11所示。

圖11 LSTM模型5 Hz衰減正弦波位移預(yù)測

5 結(jié)束語

本文為了提高壓電執(zhí)行器的定位精度,分別使用經(jīng)典PI模型和LSTM神經(jīng)網(wǎng)絡(luò)對其靜態(tài)和動(dòng)態(tài)遲滯進(jìn)行建模。使用數(shù)據(jù)采集卡同時(shí)采集壓電執(zhí)行器的驅(qū)動(dòng)電壓控制信號和位移信號,從而獲取壓電執(zhí)行器的多頻率正弦波和衰減正弦波的遲滯數(shù)據(jù)。設(shè)計(jì)了一種由3層LSTM層和1層全連接層構(gòu)成LSTM神經(jīng)網(wǎng)絡(luò)遲滯模型,使用GPU加速,通過80輪迭代,通過已獲取的遲滯數(shù)據(jù)計(jì)算神經(jīng)網(wǎng)絡(luò)參數(shù),并對經(jīng)典PI模型參數(shù)進(jìn)行識別。最后分別考察兩種遲滯模型的位移預(yù)測效果,發(fā)現(xiàn)傳統(tǒng)PI模型對于靜態(tài)遲滯有較好的建模效果,動(dòng)態(tài)效果較差,對于衰減正弦波的建模基本失效。以PI模型作對照組,LSTM模型不僅在動(dòng)態(tài)遲滯建模方面具有優(yōu)良的性能,整體誤差保證在2%內(nèi),而且對于衰減正弦波同樣可獲得較良好的建模效果,基本上可達(dá)到工業(yè)應(yīng)用要求。通過對壓電執(zhí)行器的遲滯效應(yīng)進(jìn)行有效建模,可以為LED晶圓檢測提供一種更加高效的方法。