基于卷積神經網絡的晶圓缺陷檢測與分類算法

邡 ,

(浙江大學 超大規模集成電路設計研究所,杭州 310027)

0 概述

現代半導體制造過程中大量使用掃描電鏡(Scanning Electron Microscope,SEM)對晶圓進行掃描從而成像,然后通過查找并分析掃描圖像上異常的圖形來查找晶圓上可能造成電路無法正常工作的缺陷。晶圓上的缺陷類型繁多,為了提高芯片良率,研發部門要對大量分類后的缺陷作系統性分析,挖掘特定類型缺陷的成因,為進一步改進提供方向。由于系統性分析的基礎是大量分類好的缺陷數據,因此如何從大量SEM圖像中檢測出缺陷并且分類是半導體晶圓缺陷檢測和自動缺陷分類(Automatic Defect Classification,ADC)研究領域的熱點[1]。

晶圓檢驗通常分為缺陷檢測和缺陷分類兩步。傳統缺陷檢測算法是通過將SEM圖像和參考圖像進行對比,取差異較大的區域作為缺陷[2],其關鍵在于如何得到準確的參考圖像。傳統的缺陷分類算法是基于缺陷區域提取特定特征,再由此設計分類器進行分類[3],其關鍵在于提取的特征是否能有效表達特定問題中不同缺陷類型的差異。傳統缺陷檢測和缺陷分類算法的適應性較差,通常需要針對特定問題重新設計。

近年來,卷積神經網絡(Convolutional Neural Network,CNN)被成功地用于解決不同領域的圖像分類和目標識別的問題,例如將基于AlexNet改進的ZFNet應用于圖像分類[4],應用patch-based CNN進行圖像分割[5],應用Faster RCNN進行目標探測[6],將DNN(Deep Neural Network)應用于圖像識別[7],以及開源的深度學習框架Caffe[8]。因為具有強大的特征學習能力,所以CNN針對不同問題都能對應學習合適的特征,具有非常強的適應能力,如遙感圖像[9]、人臉圖像[10]、行人檢測[11]等。國內也提出很多將CNN應用到傳統圖像識別和檢測的工程問題,例如鋼材表面缺陷檢測[12]、木材缺陷檢測[13]、水果缺陷檢測[14]以及手勢識別[15],都得了不錯的效果。

本文應用深度學習領域的CNN圖像分類算法ZFNet進行SEM圖像缺陷分類,同時基于ZFNet缺陷分類器實現一種patch-based CNN缺陷檢測算法,該算法能夠從SEM圖像中檢測出缺陷的位置和類型。為進一步提高檢測效率,本文根據缺陷檢測問題的特殊性,通過改動Faster RCNN中的RPN網絡結構實現另一種缺陷檢測算法。

1 ZFNet缺陷分類器

1.1 晶圓缺陷數據

芯片制造的工藝流程及其復雜,而在不同階段都要進行晶圓檢驗,所以,SEM圖像上的晶圓缺陷類型繁多,而缺陷類型都需要工程師結合實際情況來定義。根據某晶圓廠提供的數據,本文模擬生成了一批尺寸為500×500像素,包含9種不同類型缺陷的SEM圖像,并且給出缺陷的具體位置和類型。晶圓缺陷類型依次為open、short、brighter、darker、impurity、hump1、bite1、hump2、hite2,其中圖像為彩色是因為將SEM圖像和對應版圖各自作為一個通道進行合并,從而使圖像包含更多信息便于檢測與分類。

由于缺陷區域在原尺寸的SEM圖像只占小部分,無法將其直接送入CNN進行分類,因此對原尺寸圖像進行隨機剪裁產生圖像,其中包含缺陷的圖像標記為對應缺陷類型,而不包含缺陷的圖像標記為無缺陷,使用這樣數據訓練出來的CNN分類器能夠同時判斷是否有缺陷與缺陷具體類型。實際算法是首先使用多種尺寸比例的滑動窗口對原尺寸圖像進行滑動剪裁(本文取面積分別為322、642、1282,長寬比分別為2∶1、1∶1、1∶2的9種滑動框,滑動步幅為16),然后分別計算該框與缺陷區域的overlap,采用交并比(Intersection over Union,IoU)作為評價函數,從中隨機挑選overlap>0.4的20張圖作為正例,overlap<0.001的200張圖作為負例,再通過水平、垂直翻轉和對比度隨機變化等方法對數據集進行擴張,最終得到約9×104組數據。隨機挑選其中70%作為訓練集,30%作為測試集。

1.2 ZFNet結構

基于AlexNet微調的ZFNet是2013ILSVRC的冠軍[5],具有較快的分類速度和強大的學習適應能力,是目前圖像分類較為常用的一種卷積神經網絡。如圖1所示,該網絡總共5層卷積層、2層全連接層、1層softmax分類層,其中前兩層卷積層連接有局部響應歸一化層(Local Response Normalization,LRN)。

圖1 ZFNet結構示意圖

此外,該網絡采用ReLU激活函數替代Tanh以加速收斂,在全連接層采用dropout技術減小過擬合。本文ZFNet將輸入圖像尺寸統一調整為96×96像素,刪去了全連接層5的次采樣層,將softmax分類層的輸出數改為10(無缺陷加上9類缺陷)。本文ZFNet基于Caffe架構可以較容易的實現[8],并采用SGD(Stochastic Gradient Descent)算法進行迭代訓練,學習率lr=0.0001。

1.3 測試結果

采用訓練好的ZFNet分類模型對測試集分類,得到結果如表1所示。

表1 ZFNet分類器測試結果

因為測試數據中無缺陷圖像占比超過90%,所以準確率無法用來衡量算法有效性,故采用精確率P和召回率R的調和平均值F1來綜合衡量分類結果,計算得:

P=2 519/(2 519+12)=99.5%

R=2 519/(2 519+139)=94.8%

F1=2/(1/P+1/R)=97.1%

通過結果可以看出,將ZFNet應用于SEM圖像缺陷分類是有效的,而且其還能同時判斷圖像中是否有缺陷,因此,借助ZFNet和有效的剪裁方法就能夠同時實現缺陷檢測與分類的功能。下面介紹按此思路設計的patch-based ZFNet檢測器,其不同于傳統的晶圓缺陷檢測器只能找出缺陷的位置,而是同時檢測缺陷并且分類。

2 patch-based ZFNet檢測器

2.1 檢測算法

patch-based CNN通過用滑動窗口對原圖剪裁再送入CNN來判斷該位置類型,最終將原尺寸圖像分割成不同類型的子圖[5]。如圖2所示,參照該算法,本文在已經訓練好的ZFNet分類器基礎上,用48×48像素的滑動框將500×500像素的原尺寸圖像分割成多塊patch圖像(步幅為16),依次送入ZFNet,通過softmax層分別計算出各個patch屬于各類型的概率,忽略掉沒有缺陷的概率,按patch的順序排列可以組成9張不同類型缺陷的概率分布圖。接下來對概率圖取閾值進行二值化,再過濾掉面積較小的連通區域,最后用最小矩形分別框覆蓋剩下連通區域,即可確定檢測到的缺陷的位置和類型。從圖2中可以發現,只有open概率分布圖中有明顯一塊較亮的區域,即為檢測到的open缺陷。

圖2 patch-based ZFNet檢測算法示意圖

在訓練patch-based ZFNet檢測器時,數據集是500×500像素原始尺寸的圖像,且包含標記好的缺陷區域和類型。本文通過一系列數據擴張操作,得到1 576組數據,隨機選取60%作為訓練集,40%作為測試集。

算法中需要優化的參數有滑動窗口尺寸dpatch-size、滑動步幅dstride、概率閾值Pth、面積閾值Sth,由于無法求出各參數與檢測結果的明確關系式,因此采用遍歷法優化參數。因為檢測到的缺陷盡量正確和盡量檢測到所有缺陷是矛盾的,所以將精確率和召回率的調和平均值F1作為優化目標,也可根據實際需要調整兩者權重滿足不同側重。

2.2 測試結果

用訓練好的patch-based ZFNet檢測模型對測試集檢測,CPU計算模式下每張圖約耗時37 s。如果檢測到的缺陷與標準答案的overlap>0.1且類型相同,則判為正確,否則判為錯誤,得到結果如表2所示。

表2 patch-based ZFNet檢測器測試結果

由表2中的數據可以計算得到:

P=346/(346+108)=76.2%

R=346/(346+89)=79.5%

F1=2/(1/P+1/R)=77.8%

其中,正確缺陷的平均overlap=0.41。

從檢測結果來看,該算法基本實現了對SEM圖像上晶圓缺陷的檢測和分類,但是F1值較低,缺陷檢測位置不準確,檢測耗時較長,分析其原因如下:

1)在檢測出錯的數據中,缺陷較大的類型易判斷錯,缺陷較小的容易被漏掉,說明只使用一種尺寸的滑動框很難適應尺寸變化范圍較大的缺陷。

2)滑動框步幅減小則算法耗時平方倍增加,而步幅過長造成缺陷概率分布圖分辨率較差,從而檢測到缺陷位置準確度較差。

3)相鄰滑動框都有大量重疊,所以,每個區域都被多次重復送入ZFNet計算卷積,導致算法耗時較長。

在與上述檢測算法相似的圖像目標檢測領域,近來出現的Faster RCNN能夠克服以上缺點,取得較好的效果,因此,下文將在Faster RCNN的基礎上,提出另一種算法,更好地實現晶圓缺陷的檢測與分類。

3 Faster RCNN分類器

3.1 Faster RCNN結構

相比于patch-based ZFNet檢測算法,Faster RCNN主要從以下3個方面進行了針對性的改進:

1)針對重復計算卷積的缺點,Faster RCNN采用先統一計算特征圖,再按ROI(Region of Interest)進行映射截取的辦法[6]。如圖3所示,先通過卷積網絡對輸入圖像計算得到其特征圖,因為在輸入圖像上的ROI都能映射到特征圖上,所以從輸入圖像上按ROI割取圖像進行卷積運算可以替代為直接從特征圖上按ROI映射后的范圍割取,從而避免多次重復計算卷積。由于ROI的大小形狀不一,而全連接層的神經元連接數是固定的,因此對割取得到的子特征圖,通過ROIpool層次采樣到統一尺寸以連接到全連接層。

圖3 ROI映射示意圖

2)針對滑動窗口尺寸單一的缺點,Faster RCNN增加了滑動窗口的尺寸類型,并且增加由一個全卷積網絡組成的區域推薦網絡(Region Proposal Network,RPN)來預判斷是否有缺陷[6]。本文采用面積分別為322、642、1282,長寬比分別為2∶1、1∶1、1∶2共9種尺寸的滑動窗口,依次計算其中有缺陷的概率,再從中篩選出一定數量最有可能有缺陷的區域,進行非極大值抑制(Non-Maximum Suppression,NMS),最后得到一定數量的候選區域。

3)針對缺陷檢測位置準確度差的缺點,Faster RCNN在全連接層后連接一個邊界回歸層(Boundary Regression)用來修正缺陷位置[6],該回歸層與Softmax分類層并列。

針對本文的缺陷檢測問題,直接套用標準Faster RCNN并不能解決問題。因為判斷晶圓的缺陷類型通常需要結合缺陷區域周圍的圖形信息,而RPN在預判斷是否有缺陷時還進行了邊界回歸。雖然能更準確地給出缺陷的位置,但送入檢測網絡的特征幾乎不包含缺陷周圍圖形信息,導致缺陷分類不準。因此,本文對標準Faster RCNN做如下修改:

1)將RPN改為只判斷滑動窗口內是否有缺陷,而不進行邊界回歸,也就是只計算所有滑動窗口有缺陷的概率,選取可能性最大的1 000個,做非極大值抑制,再選出可能性最大的100個進行檢測。

2)將RPN卷積層的尺寸加大為7×7,加大感受野,從而在判斷滑動框內是否有缺陷時能參考更多的周圍信息。

3)將原尺寸為500×500像素的圖像調整為1 024×1 024像素,使得滑動窗口尺寸能夠適應缺陷大小的變化范圍,也可以根據實際情況來具體調整。

修改后的缺陷檢測算法流程如圖4所示。首先利用卷積網絡將輸入圖像轉換成多種特征圖,然后RPN根據特征圖從滑動窗口中選出最有可能存在缺陷的ROI,RoIPooling層根據ROI從特征圖中抽取出對應特征組成特征向量,檢測網絡(Detection Network,DN)根據特征向量判斷缺陷類型,并進行邊界回歸,最后通過NMS和概率閾值對候選缺陷進行過濾即可得到最終缺陷。

圖4 Faster RCNN檢測算法示意圖

3.2 模型訓練

圖4中的檢測算法也是基于Caffe架構實現,因為卷積網絡提取的特征類型對相似普遍有效,故其卷積網絡的參數是直接遷移上文ZFNet分類器的卷積層參數。但是RPN和DN的參數則需要通過SGD方法進行訓練,標準Faster RCNN提供了分開和聯合2種訓練方式[6]。為了節約時間,本文采用聯合訓練方式,并結合缺陷檢測問題的實際情況調整超參數。

在訓練RPN時,對每張輸入圖像,因為要計算的滑動窗口數量龐大(9種尺寸的滑動窗口,滑動步幅16),所以從中隨機抽取256個作為訓練集,其中正例overlap>0.35,負例overlap<0.001,且正例占比不超過20%。分類器采用Softmax損失函數。

在訓練DN時,設置RPN提供1 000個ROI,從中隨機選取256個作為訓練集,其中正例overlap>0.3,負例overlap<0.001,且正例占比不超過5%。另外設置學習率lr=0.000 05。分類器采用Softmax損失函數,而邊界回歸采用SmoothL1Loss函數。

為與patch-based 檢測算法對比,在通過遍歷法優化NMS和概率閾值Pth時,同樣以精確率和召回率的調和平均值F1作為優化目標,并且使用相同的訓練集和測試集。

3.3 測試結果

用訓練后的Faster RCNN檢測模型對測試集檢測,CPU計算模式下每張圖約耗時2 s,采用相同判定標準,得到的檢測結果如表3所示(其中負類總數與表2中總數不同是因為同一張圖中可能檢測到多個缺陷)。

表3 Faster RCNN檢測器測試結果

由表3的數據計算可得:

P=418/(418+36)=92.1%

R=418/(418+29)=93.5%

F1=2/(1/P+1/R)=92.8%

其中,正確缺陷的平均overlap=0.78。

從結果來看,該算法各方面都優于patch-based檢測算法,F1和overlap值更高說明檢測檢測缺陷類型正確且位置準確,而且速度也大大提高(檢測一張圖像耗時從37 s縮小到2 s)。圖5為檢測缺陷結果示例,圖像中方框標注了缺陷的位置和大小,各缺陷類型的對應概率如表4所示。

圖5 檢測結果示例圖

表4 各缺陷類型的對應概率

4 結束語

針對晶圓SEM圖像的缺陷分類問題,本文采用ZFNet卷積神經網絡對SEM圖像缺陷區域進行分類。SEM圖像數據包含9種缺陷類型以及非缺陷類型,共10種類型,測試的F-score值達到了97%,可見本文提出的ZFNet缺陷分類算法準確,具有較強數據適應能力。

針對缺陷檢測問題,本文基于ZFNet缺陷分類算法實現了一種較耗時的patch-based檢測算法,然后對其重復計算卷積和剪裁不合理的缺點,改進Faster RCNN實現了另一種缺陷檢測算法,從而快速準確地檢測出SEM圖像中缺陷的位置和類型。SEM圖像包含9種缺陷類型,Faster RCNN檢測算法測試結果的F-score為92%,且耗時僅為patch-based檢測算法的5%,可見該算法快速、準確,具有較強的數據適應能力。