基于改進(jìn)PSPNet的掩模優(yōu)化算法

祁 攀,湯府鑫,徐 輝

(安徽理工大學(xué) a.人工智能學(xué)院;b.計(jì)算機(jī)科學(xué)與工程學(xué)院,安徽 淮南 232001)

集成電路從上個(gè)世紀(jì)發(fā)展至今,制程已經(jīng)突破個(gè)位數(shù)來到了5 nm甚至3 nm。巨大的制程提升帶來了更強(qiáng)大性能的同時(shí),制造過程中的挑戰(zhàn)也隨之而來。193 nm的曝光長度遠(yuǎn)大于工藝節(jié)點(diǎn),掩模優(yōu)化過程逐漸成為了設(shè)計(jì)過程中的困難[1]。掩膜優(yōu)化過程在超大規(guī)模集成電路設(shè)計(jì)和制造中起重要作用,這是一個(gè)非常復(fù)雜的優(yōu)化問題,同時(shí),為了克服光刻過程中的衍射相關(guān)的模糊,需要分辨率增強(qiáng)的方法[2]。

Huang等人提出了一種綜合流程來聯(lián)合優(yōu)化工藝窗口和掩模的可印刷性,將掩模多邊形的邊緣分段切開,通過移動(dòng)切開的分段來優(yōu)化多邊形,最終提升掩模可印刷性[2-3]。Su等人提出了一種對邊緣放置錯(cuò)誤自適應(yīng)權(quán)重的模型,在迭代過程中分段采用動(dòng)態(tài)分段方法,對于EPE高度敏感的部分將被進(jìn)一步分解為更短的分段,從而以更短的時(shí)間收斂[4]。Ma等人提出了一個(gè)新型框架,能夠同時(shí)求解版圖分解和掩模優(yōu)化,版圖分解和掩模聯(lián)合優(yōu)化,擁有了全局視野,這樣以獲得更大的解空間以及更高質(zhì)量的掩模[5]。Jiang等人首次提出將掩模優(yōu)化過程在神經(jīng)網(wǎng)絡(luò)上處理,通過主干網(wǎng)絡(luò)預(yù)處理和微調(diào)網(wǎng)絡(luò)細(xì)化處理,將掩模質(zhì)量和周轉(zhuǎn)時(shí)間提升顯著[6]。Yang等人首次引入生成對抗網(wǎng)絡(luò)(Generative adversarial network,GAN)到掩模優(yōu)化領(lǐng)域,將GAN網(wǎng)絡(luò)中的生成器使用先進(jìn)的分割網(wǎng)絡(luò)U-Net代替,使生成階段能夠生成效果較好的掩模[7]。

以上基于學(xué)習(xí)的方法表明,深度學(xué)習(xí)的方法較于傳統(tǒng)方法,無論是從掩模質(zhì)量還是從周轉(zhuǎn)時(shí)間已有了明顯的提升。然而,就掩模質(zhì)量而言,仍有提升的空間,同時(shí),提升訓(xùn)練時(shí)間也是不容忽視的重要因素。基于上述分析,本文提出了一種基于改進(jìn)PSPNet的掩模優(yōu)化模型。

1 相關(guān)原理

1.1 PSPNet網(wǎng)絡(luò)

PSPNet網(wǎng)絡(luò)被提出用于解決語義分割任務(wù)[8]。該網(wǎng)絡(luò)因?yàn)榻鹱炙鼗瘜拥募尤?對圖像中每個(gè)類別的邊緣十分敏感,可以用來分割圖像的中不同類別。其網(wǎng)絡(luò)結(jié)果如圖1所示。其中ResNet作為常用是特征提取層,殘差的加能夠很好保存上一層有的特征,在經(jīng)過卷積過后的特征兩者特征融合一并輸入到下一層,該網(wǎng)絡(luò)已被驗(yàn)證能有效的解決特征損失和梯度爆炸等神經(jīng)網(wǎng)絡(luò)常見的特征提取問題。金字塔池化是該網(wǎng)絡(luò)中將經(jīng)過ResNet提取的特征圖,通過不同層級的池化層進(jìn)行不同的池化操作。不同池化層會(huì)將上述特征圖池化成大小不一的特征圖,輸出的特征圖類似于金字塔,因此得名金字塔池化層。不同的池化層后的特征圖再經(jīng)過上采樣和特征融合與ResNet提取的原始特征圖進(jìn)行融合,得到不同層級的特征圖,最后再經(jīng)過一層卷積層輸出結(jié)果圖案。

圖1 PSPNet網(wǎng)絡(luò)結(jié)構(gòu)

1.2 改進(jìn)的ResNet網(wǎng)絡(luò)

本文改進(jìn)的ResNet網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 改進(jìn)的ResNet卷積塊

在傳統(tǒng)的卷積塊中,其中僅包含用于提取特征的卷積層、將數(shù)據(jù)歸一化的BN層和將有用信息提取的ReLU層。經(jīng)過大量的實(shí)驗(yàn)表明,傳統(tǒng)神經(jīng)網(wǎng)絡(luò)會(huì)在網(wǎng)絡(luò)層數(shù)很深時(shí)出現(xiàn)網(wǎng)絡(luò)退化,即層數(shù)越深,網(wǎng)絡(luò)性能下降。為此,ResNet提出殘差設(shè)計(jì),將上一層的特征原封不動(dòng)的與當(dāng)前層的結(jié)果融合,這樣不同層級之間特征得到了一定程度的保留,形成跳躍連接。這樣的做法極大地增加了網(wǎng)絡(luò)的性能,同時(shí)很大程度上避免了網(wǎng)絡(luò)層數(shù)過深帶來的梯度爆炸和特征丟失問題。但是當(dāng)ResNet面對掩模優(yōu)化任務(wù)時(shí),掩模中的特征點(diǎn)分布不均勻,且集中在邊緣部分,ResNet的殘差設(shè)計(jì)就不容易提取到部分特征[9]。即使有些特征被保留,但是無效的特征被保留反而使網(wǎng)絡(luò)變的冗余。加入卷積注意力機(jī)制模塊則很好地解決了這個(gè)問題,它使網(wǎng)絡(luò)提取特征的同時(shí)更加關(guān)注掩模的邊緣,從而使網(wǎng)絡(luò)生成高質(zhì)量的掩模。

1.3 卷積注意力機(jī)制模塊

在掩模優(yōu)化任務(wù)中,掩模的透光部分并非占掩模版的大部分,恰恰相反,其面積僅占其中的1/5。所以,如何優(yōu)化每一塊掩模,尤其是掩模的邊緣,成了框架需要重點(diǎn)關(guān)注的區(qū)域。ResNet中殘差的加入很好地保留了每一層中的特征并傳入下一層,但是更加重要的邊緣信息沒有被提高優(yōu)先級,很可能被多次卷積后被忽略。因此加入卷積注意力機(jī)制模塊,通過通道和空間注意力機(jī)制相結(jié)合,使框架更加關(guān)注掩模的邊緣,將邊緣信息更多的保留下來,便于上采樣中重建。

卷積注意力機(jī)制模塊由通道注意力(Channel Attention,CA)機(jī)制和空間注意力(Spatial Attention,SA)機(jī)制組成。其中通道注意力機(jī)制是將上一層傳入的特征圖按通道壓縮,即將特征圖F∈C×H×W都壓縮成F∈C×1×1的特征圖。使用最大池化和平均池化分別輸出2張池化后的特征圖,送入共享權(quán)重的全連接層。將全連接層的輸出進(jìn)行特征融合并使用Sigmoid函數(shù)進(jìn)行激活形成通道注意力權(quán)重,并與上一層傳入的特征圖相乘輸出到下一層空間注意力機(jī)制層。空間注意力機(jī)制是將上一層通道注意力加權(quán)的特征圖按空間壓縮,即將特征圖F∈C×H×W都壓縮成F∈1×H×W的特征圖。使用最大池化和平均池化分別輸出2張池化后特征圖,使用特征融合成一張?zhí)卣鲌D后經(jīng)過卷積和激活函數(shù)形成空間注意力權(quán)重,并與通道注意力加權(quán)特征圖相乘輸出到下一層注意力卷積層。卷積注意力機(jī)制模塊如圖3所示。

通道注意力層的輸出可以表示為

FCA=WCA*Fin=σ(MLP(AvgPool(Fin))+MLP(MaxPool(Fin)))*Fin,

(1)

式中:σ為Sigmoid函數(shù);MLP為共享全連接層;AvgPool和MaxPool為平均和最大池化。

空間注意力層的輸出可以表示為

FSA=WSA*FCA=σ(f7×7([AvgPool(FCA);MaxPool(FCA)]))*FCA,

(2)

式中:f7×7為大小7×7卷積核的卷積層。

圖3 卷積注意力機(jī)制模塊

1.4 像素重組層

在原始的PSPNet網(wǎng)絡(luò)中,上采樣過程使用的是雙線性插值,上采樣高效的同時(shí),還消除了圖片的鋸齒問題。但是雙線性插值的高頻信息損失較多,尤其是對邊緣的處理,這極大地影響了掩模優(yōu)化任務(wù)的精度,影響了掩模生成的質(zhì)量[10]。同時(shí)插值法會(huì)根據(jù)計(jì)算插入一些冗余值,也會(huì)造成掩模的冗余從而導(dǎo)致性能下降。為此在上采樣中加入像素重組層,充當(dāng)?shù)谝徊糠值纳喜蓸?為初步的上采樣保留更多的特征。

像素重組層是一種高效的上采樣方式,它完全不增加任何冗余。它不像卷積和池化需要提取特征,也不像填充(padding)需要增加可能冗余的0或1,也不需要像插值需要計(jì)算周圍的數(shù)取值給新的像素。它僅需要對特征圖進(jìn)行排列重組。它將每個(gè)通道相同位置的像素按某種排列組合至新的特征圖,無需其他操作,如圖4所示。這種只需要排列的方式提高了上采樣的效率,降低了添加冗余像素可能,同時(shí)完全保留了特征圖中的特征。因此很大程度上提升了生成掩模的質(zhì)量。

如圖4可知,特征圖F∈r2×H×W可經(jīng)過像素重組層變?yōu)樘卣鲌DF∈1×rH×rW。新的特征圖保留了原特征圖的全部像素信息,為上采樣生成掩模提供了極大的幫助。

圖4 像素重組層

1.5 損失函數(shù)

掩模優(yōu)化任務(wù)可以被視作為根據(jù)圖像生成圖像的過程,它將目標(biāo)布局輸入至模型,輸出優(yōu)化好的掩模并與標(biāo)準(zhǔn)掩模進(jìn)行對比。優(yōu)化的過程可以認(rèn)為是盡力將模型輸出與標(biāo)準(zhǔn)掩模的每一個(gè)像素靠近,是一個(gè)回歸問題。均方誤差(Mean Squared Error,MSE)通常被用來作為回歸任務(wù)的損失函數(shù)。它將圖像中的每一個(gè)像素點(diǎn)視為一次預(yù)測,衡量每個(gè)像素點(diǎn)與真實(shí)像素點(diǎn)之間的誤差的二次方,根據(jù)整體圖像大小取平均。通過加入平方,也便于在模型中反向傳遞的求導(dǎo),根據(jù)梯度更新模型參數(shù)。均分誤差為

(3)

均方誤差通常在回歸任務(wù)中起到良好的效果[11],但是在掩模優(yōu)化任務(wù)中,不僅僅要看整體掩模與標(biāo)準(zhǔn)掩模直接的優(yōu)化程度,更加關(guān)注于掩模的邊緣。因此添加DICE損失函數(shù)與MSE損失函數(shù)聯(lián)合作為模型的損失函數(shù)。DICE損失通常被用來評估兩個(gè)樣本的相似度。DICE損失可以被視作為將預(yù)測掩模和真實(shí)掩模進(jìn)行重合,以計(jì)算他們重合部分的比值。優(yōu)化的目標(biāo)是盡量是讓預(yù)測掩模與真實(shí)掩模重合,使DICE損失變小。

DICE損失為

(4)

式中:ε為極小的數(shù),通常作為平滑系數(shù)防止除0錯(cuò)誤。

因?yàn)镈ICE損失將預(yù)測和真實(shí)值同時(shí)考慮而非分開,因此DICE損失是區(qū)域性損失,即某個(gè)像素點(diǎn)的損失和梯度不僅和該點(diǎn)有關(guān),還和該點(diǎn)周圍的像素有關(guān),這極大的增加了像素點(diǎn)之間的聯(lián)系,同時(shí)與MSE這種只針對每一個(gè)像素點(diǎn)的損失函數(shù)區(qū)分開來。同時(shí)DICE可以改善掩模中的類別不平衡問題[12]。掩模的透光部分只占整體的1/5,具有類別不平衡的特點(diǎn),使用DICE損失可以處理這樣的不平衡問題。

2 實(shí)驗(yàn)方案

2.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)平臺環(huán)境為Ubuntu 18.04操作系統(tǒng),GPU使用NVIDIA RTX3080Ti 12G,在深度學(xué)習(xí)環(huán)境下使用CUDA以及cuDNN圖形加速,在PyCharm環(huán)境中搭建PyTorch1.11深度學(xué)習(xí)框架,編譯語言使用Python3.8。

2.2 數(shù)據(jù)集

本文的訓(xùn)練數(shù)據(jù)集采用由文獻(xiàn)[7]作者整理并發(fā)布的包含4375對目標(biāo)布局和標(biāo)準(zhǔn)掩模組成的掩模對。目標(biāo)布局由ICCAD2013競賽官方提供代碼版本,經(jīng)過文獻(xiàn)[7]整理成圖像并發(fā)布對應(yīng)的標(biāo)準(zhǔn)掩模供學(xué)術(shù)使用。據(jù)筆者所知,這是唯一提供給學(xué)術(shù)界使用的開源掩模優(yōu)化數(shù)據(jù)集。測試集采用ICCAD2013競賽官方提供的10張由不同結(jié)構(gòu)、不同大小組成的掩模。該測試集沒有標(biāo)準(zhǔn)掩模。該數(shù)據(jù)集的詳細(xì)信息如表1所示。

表1 ICCAD2013數(shù)據(jù)集詳細(xì)

2.3 模型評估指標(biāo)

為了客觀地評估模型生成的掩模質(zhì)量,采用L2均方誤差以及工藝變化帶(Process Variation Band,PV Band)來衡量生成的掩模質(zhì)量。將生成的掩模經(jīng)過光刻模擬軟件生成晶圓圖像并與目標(biāo)布局進(jìn)行對比,得出掩模質(zhì)量。光刻模擬軟件由文獻(xiàn)[6]給出。其中L2均方誤差為

式中:Z為根據(jù)預(yù)測掩模生成的晶圓圖像;Zt為目標(biāo)布局。

工藝變化帶為在不同光刻條件下晶圓圖像的變化,用來衡量掩模對于光刻條件變化的容忍程度。光刻條件刻在光刻模擬軟件中調(diào)整,生成不同光刻條件的晶圓圖像,作差值作為工藝變化帶的值。

2.4 實(shí)驗(yàn)結(jié)果與分析

2.4.1 不同算法對比實(shí)驗(yàn)

為了驗(yàn)證本文所提出算法的可行性,本文將不同提取特征網(wǎng)絡(luò)ResNet26,ResNet38和ResNet50進(jìn)行對比,并和改進(jìn)的本方法放在一起對比,對比結(jié)果如表2所示。其中的L2和PVB指標(biāo)均為在10個(gè)測試用例上取平均值。基礎(chǔ)網(wǎng)絡(luò)僅使用MSE作為損失函數(shù)。為了體現(xiàn)公平,在ResNet26和ResNet38均為同樣的卷積塊,因此層數(shù)為26和38而非傳統(tǒng)的18和34層。

表2 不同模型的性能

(a)ResNet26;(b)ResNet38;(c)ResNet50; (d)ILT;(e)Model-Based;(f)Ours.圖5 不同模型生成的掩模

由表2可以看出:該方法相比于ResNet26在L2上提升了10%,在PVB上提升了3%。相比于ResNet38在L2上提升了3%,在PVB上提升了3%。相比于ResNet50在L2上提升了8%,在PVB上提升了5%。相比于當(dāng)前主流使用的基于模型的掩模優(yōu)化方法,本文方法相比于ILT提升了2%,相比于Model-Based提升了9%。在圖5中,前3張圖片來自于逐步增加層數(shù)的ResNet。由于掩模優(yōu)化任務(wù)更加關(guān)注邊緣的處理,雖然ResNet層數(shù)增加能有效解決梯度消失問題,但是對于圖像生成任務(wù),掩模的質(zhì)量隨著層數(shù)下降。而在圖5(d)～(e)中,基于模型的方法因?yàn)樘幚磉吘壊粔蚓?xì),甚至出現(xiàn)了邊緣空洞的情況,會(huì)嚴(yán)重影響掩模的制造和晶圓的生成。在本文模型中增加注意力機(jī)制,像素重組層和新的DICE損失函數(shù)后,模型對邊緣的處理更加詳細(xì),掩模中邊緣的粘連和冗余更少,邊緣更加順滑。從表和圖中能看出本文改進(jìn)模型的有效性。

2.4.2 消融實(shí)驗(yàn)

在本模型中,增加了卷積注意力機(jī)制模塊、像素重組層和DICE損失函數(shù)。為了進(jìn)一步體現(xiàn)不同模塊之間組合的效果,通過消融實(shí)驗(yàn)進(jìn)一步證明增加模塊的有效性。全部消融實(shí)驗(yàn)結(jié)果如表3所示。表3中的CBAM代表卷積注意力機(jī)制模塊,Shuffle代表像素重組層模塊,DICE代表DICE損失函數(shù)模塊。

表3 消融實(shí)驗(yàn)結(jié)果

由表3可以看出,分別加入CBAM、Shuffle、DICE模塊的3種模型相比于原模型分別提升了2%、7%和4%。消融實(shí)驗(yàn)結(jié)果對比見圖6,可以看出:加入模塊的模型生成的掩模相比于原模型生成的掩模,邊緣更加順滑,拐角處棱角更少,便于制造。在分別加入2組模塊的模型中,也都有不同程度的效果。最后,綜合3種模塊,使掩模質(zhì)量提升了7.1%,模型生成的掩模最為光滑,拐角處沒有粘連,且掩模質(zhì)量最好。在圖6中,根據(jù)掩模生成的晶圓圖像被列在對應(yīng)掩模的第二行。在其他的掩模生成的晶圓中,包含例如布局間粘連,布局覆蓋過多,布局拐角不平滑等問題。這些問題在最后一個(gè)由本文模型所生成的晶圓圖像中并沒有出現(xiàn)。因此綜合掩模質(zhì)量和晶圓質(zhì)量,本文模型生成的效果更好。通過消融實(shí)驗(yàn)證實(shí)了改進(jìn)后的PSPNet模型能夠生成質(zhì)量更高的掩模。

圖6 消融實(shí)驗(yàn)結(jié)果對比

3 結(jié)論

1) 針對掩模優(yōu)化任務(wù)中更加注重邊緣區(qū)域的優(yōu)化,本文在PSPNet模型中的提取特征網(wǎng)絡(luò)ResNet增加卷積注意力機(jī)制模塊,提高提取特征網(wǎng)絡(luò)的提取特征能力,更加注重對邊緣區(qū)域的提取與保留。

2) 針對上采樣過程的雙線性插值會(huì)有冗余信息添加的問題,本文在上采樣過程中加入像素重組層,它可以迅速對像素進(jìn)行重組且不添加任何冗余信息,完整的保留特征的信息。

3) 針對損失函數(shù)中僅使用MSE會(huì)造成掩模生成質(zhì)量不高、梯度不便于計(jì)算的問題,加入DICE損失函數(shù),使梯度更加順滑的同時(shí),能讓模型更加關(guān)注邊緣區(qū)域的優(yōu)化,與注意力機(jī)制配合一起優(yōu)化掩模最重要的邊緣區(qū)域。

4) 由實(shí)驗(yàn)結(jié)果可知,本文的模型相比于原始模型提升了7.1%,相比于基于模型的提升了至少2%。同時(shí)生成的掩模邊緣更加順滑,便于制造,拐角處的粘連更少,掩模質(zhì)量更優(yōu)。