一種基于Gabor變換的芯片缺陷特征增強方法

李笑容，覃志東，蔡 勇，肖芳雄

（1東華大學 計算機科學與技術學院，上海 201620；2上海岳展精密科技有限公司，上海 201614；3金陵科技學院 軟件工程學院，南京 211169）

0 引 言

芯片封裝的外觀缺陷會影響芯片的性能與可靠性。為確保芯片質量，科研人員就基于機器視覺的芯片外觀缺陷在線檢測技術進行了大量的研究。例如，巢源提出了芯片表面缺陷圖像預處理的缺陷圖像切分矯正算法和缺陷圖像快速插值算法，缺陷圖像的模糊熵多閾值分割算法。陳愷提出了基于明暗場圖像的芯片表面缺陷提取算法。這些表面缺陷檢測技術采用傳統的二維圖像特征提取與處理方式，方法上限制了圖像信息的豐富度，缺陷特征提取受限，導致缺陷檢測精度不理想。

目前，高端的芯片外觀缺陷檢測設備仍被科磊等西方公司所壟斷并處于技術保密中。在國產替代的大背景下，突破芯片的微小外觀缺陷檢測核心算法，對提高國產檢測設備的檢測精度和檢出率，具有重要的意義。

現有研究表明，借助圖像特征增強有利于發現更加細微缺陷的特征。如梁麗秀等人采用圖像增強方法對細小的植物根系末梢進行特征提取。梁淑芬等人利用圖像增強對舌體與下唇細微的色差進行了精確劃分。此外，光度立體技術具備捕獲豐富、微小的圖像信息的優勢；在此基礎上進行圖像特征增強，能滿足對芯片微小外觀缺陷的特征提取，可達到更高的可檢測精度。

鑒于此，本文提出了光度立體技術結合Gabor變換的缺陷特征增強方法。本文成果為后期利用三維重建和YOLOv4設計出高精度的微小缺陷檢測和定位算法打下了基礎。

1 芯片外觀微小缺陷檢測方案

隨著高端芯片制程技術的不斷進步，對這類芯片的封裝要求也越來越高。基于二維圖像處理技術的芯片外觀缺陷檢測系統，受限于分辨率和成像條件，已不能滿足高端芯片外觀微小缺陷檢測精度要求。而三維光度立體技術利用多光源下不同亮度差異的圖像進行數字圖像信息的高維重建，可獲得豐富的圖像特征信息，利于提高缺陷檢測的精度。芯片微小缺陷檢測方案如圖1所示，經過理論分析、論證和實驗對照，本文設計出了一個基于光度立體技術的芯片外觀微小缺陷檢測方案。

圖1 芯片微小缺陷檢測方案圖Fig.1 Chip micro-defect detection scheme diagram

方案中，首先需要進行光源選型和布局，搭建出光度立體硬件原型，才能采集到具有不同光度信息的圖片。然后對采集好的圖片進行光度立體算子處理，得到反照率圖像。在此基礎上，調節好Gabor核函數參數，利用Gabor濾波器對反照率圖像實行進一步的處理，生成較優的特征增強的圖像信息。最后對反照率圖像進行灰度三維重建，利用缺陷樣本圖片對設計好的YOLOv4模型進行訓練，就可以實現對缺陷的識別與定位。

其中，生成的反照率圖展示了物體表面經入射光照射后反射的表面信息特征。圖像表面特征的完整度和局部信息的精確度決定了缺陷檢測的效果。文獻［6］指出Gabor函數可以同時處理圖像的時域和空域信息，而分析圖像的頻率變化對于表面特征研究起著至關重要的作用。把光度立體技術與Gabor濾波器相結合，利用Gabor濾波器處理光度立體技術生成的反照率圖，進行芯片缺陷特征增強是本方案解決微小外觀缺陷檢測難題的關鍵所在，本文將詳細闡述。

2 光源布局與硬件原型搭建

2.1 圖像質量評價方法

光度立體處理和Gabor圖像增強都會導致圖像質量發生改變。如何評判圖像處理后質量的好壞，下面引入幾個經典圖像質量評價算法。

（1）Brenner梯度函數。Brenner梯度函數是最常用的梯度評價函數，通過對相鄰2個像素灰度差的平方做計算而得，對此給出數學定義如下：

其中，（，）表示圖像中像素點（，）的灰度值，（）為圖像清晰度值。

（2）Laplacian梯度函數。Laplacian梯度函數采用Laplacian算子計算每一個像素點處的卷積結果并依次將其相加。基于Laplacian梯度函數的圖像清晰度的定義如下：

其中，，)＞，表示像素點(，)處Laplacian算子的卷積結果值。

（3）熵函數。基于統計特征的熵函數是衡量圖像信息豐富程度的一個重要指標。由信息論可知，一幅圖像的信息量是由該圖像的信息熵（）來度量：

其中，p是圖像中灰度值為的像素出現的概率，為灰度級總數（通常取值256）。根據Shannon信息論，熵最大時信息量最多。將此原理應用到對焦過程，熵值越大則圖像越清晰。

2.2 光源布局

本文的光源選擇的是LED點光源。光度立體技術中光源的個數與入射角度會影響采集圖像的質量。本文通過實驗對比確定了優化的入射角和光源數目，分述如下。

（1）入射角。根據經驗，本文分別選取光源與相機30°、45°、60°進行對比。采集的圖片如圖2所示。

圖2 30°、45°、60°對應采集圖Fig.2 30°，45°，60°corresponding photographs

由前面圖像質量評估函數可得3種入射角所對應的質量評估值，參見表1。由表1可知，選用入射角為45°時Brenner函數數值、Laplacian函數值及熵函數值較大，即此角度下可以得到質量較優的圖像。因此光源與相機夾角選定為45°。

表1 不同入射角對應圖質量評估值表Tab.1 Corresponding image quality evaluation value table for different incident angles

（2）光源個數。考慮到常用的光源數在3～6個之間。本文分別針對3、4、5、6個光源的方案進行圖像采集并經光度立體算子生成對應的反照率圖，依次如圖3（a）～（d）所示。

圖3 多光源下反照率圖Fig.3 Albedo images under multiple light sources

多光源下反照率圖的質量評估結果見表2。效果較理想的是4光源和5光源方案。綜合考慮系統執行的實時性要求，決定選擇4光源布局方案。搭建好以用作光度立體圖像獲取的系統硬件原型如圖4所示。

表2 多光源反照率圖質量評估值表Tab.2 The quality evaluation value table for multi-light source albedo images

圖4 光度立體硬件系統原型圖Fig.4 The diagram of photometric stereo hardware system prototype

3 基于Gabor變換圖像特征增強

Gabor變換的圖像增強效果取決于函數參數的選擇。為最大程度地利于Gabor濾波器展示精確的芯片圖像局部特征信息，需要選取合適的參數。下面闡述Gabor變換及其參數設置。

3.1 Gabor變換

Gabor函數與人類視覺系統中簡單細胞的視覺應激反應有著相似的特征，具有類似仿真的功能。使用Gabor濾波器對圖像的紋理特征及局部信息有著較好的識別效果。

Gabor變換消除了傅里葉變換（Fourier）無法分析圖像局部信號的局限。在傅里葉變換的基礎上引入了時間局部化的窗函數，得到了窗口傅里葉變換、即Gabor變換。

設函數∈（）為具體的函數，則Gabor變換定義為：

二維Gabor函數是一個用高斯函數調制的復正弦函數，能夠在給定區域內提取出局部的頻域特征。一個典型的Gabor函數有如下形式：

（，）是高斯函數，通過調節函數旋轉角度可得到不同的Gabor核函數，從而達到調節濾波器的效果。3種角度、5種方向的Gabor濾波器如圖5所示。

圖5 3種角度、5種方向Gabor核函數示意圖Fig.5 Schematic diagram of Gabor kernel function in 3 angles and 5 directions

3.2 Gabor濾波器參數設置

Gabor濾波器組生成的子圖像會產生冗余信息。為減少冗余信息干擾，本文對Gabor濾波器的函數參數進行比較和選取。圖像的頻域響應情況會隨著不同參數生成的頻域信息而改變。因此濾波器設計基本規則是使Gabor濾波器組在圖像頻域空間的半峰響應值相互接觸且不得重疊，相切的半峰幅度響應頻譜圖即如圖6所示。

圖6 相切的半峰幅度響應頻譜圖Fig.6 Spectrogram of tangent half-peak amplitude response

由式（5）可知，確定一組Gabor濾波器組需要確定方向比（）、函數旋轉角度（）、帶寬（），波長（），5組參數即可。通常一般取1，這樣濾波器的直流分量很小。

參數選取見表3。根據選取參數調節Gabor濾波器，圖7（a）為濾波器調節圖，包含各個參數調節棒及實時對應Gabor濾波效果圖；圖7（b）為得到的對應核函數圖。

表3 Gabor函數參數表Tab.3 Gabor function parameter table

圖7 Gabor濾波器調節及核函數圖Fig.7 Diagram of Gabor filter adjustment and kernel function

本文選取的函數參數最終達到了使Gabor濾波器得到精確的圖像局部特征信息，增強圖像的目的。

4 實驗與結果分析

首先，本文以圖4所示的優化方案搭建的硬件原型系統進行拍照，得到4光源下的不同光度照片，如圖8所示。由圖8可以看出，圖8中顯示的多條劃痕清晰度是不同的。

圖8 4光源光度立體圖Fig.8 Four-light source photometric three-dimensional diagram

然后，對圖8中的圖片進行光度立體技術處理，得到如9（a）所示的反照率圖。該圖展示了經光源反射后的芯片表面信息特征。

最后，以表3參數為Gabor函數輸入值，進行Gabor變換。對芯片微小缺陷特征進行增強，得到缺陷的精確局部信息，效果如圖9（b）所示。為進一步說明缺陷特征增強的效果，還在圖9（b）基礎上進行了灰度三維重建，效果如圖9（c）所示。

對比圖9（d）的芯片光度原圖之一，圖9（a）的反照率圖由于結合了4張原圖的信息，所展示的經光源反射后的表面特征信息較原圖9（d）更豐富；經Gabor變換后的圖9（b）將圖9（a）進行了增強，圖像對比度明顯提升，細小劃痕更加突出；灰度三維重建圖9（c）按照灰度特性將圖像特征重建，很好地展示了微小缺陷的灰度特征的立體效果。通過與原圖9（d）的對比，可驗證本文所設計的圖像增強方案大大提升了微小缺陷的顯現效果。

圖9 微小缺陷特征增強效果對比圖Fig.9 The comparison diagram for small defect feature enhancement

另外，本文進一步選取了文獻［7］中典型的二維圖像采集與處理技術做了對比實驗。該二維圖像缺陷檢測方案可以歸納為：單光源下采集圖像，以改進的缺陷邊緣掃描法為核心，采用Sobel梯度銳化和拉普拉斯銳化的圖像增強方法對表面鍍銅的PCB裸板進行劃痕缺陷檢測。二維圖像檢測方案的圖像處理實驗結果如圖10所示。圖10（a）為單光源下采集的原二維圖片；圖10（b）為中值濾波預處理圖。顯然，二維圖像方法與圖9（b）相比并未將微小缺陷特征凸顯出來。

圖10 二維方案實驗圖Fig.10 Two-dimensional scheme experiment diagram

實驗結果表明，對于細微的劃痕缺陷，在光度立體技術生成的反照率圖上進行Gabor變換增強的方法比二維圖像處理技術有著更優的顯現效果。為了更加精確地得出本文方法的效果，研究中進行了精度的計算。使用精度測量軟件得到該芯片外觀圖片的每個像素實際長度為0.04 mm，對微小劃痕測量得到寬度像素值為1，則實際精度為0.04 mm。而文獻［7］中方法的可檢測精度為0.1 mm。由此可知，本文方法比典型的二維圖像處理方法精度近似提高了一個數量級。

本文對各方法的圖像質量進行評估，結果見表4。由于質量評估值越大，圖像質量越高，圖像質量評估值：Gabor濾波圖＞反照率圖＞二維方法圖，更進一步證明本文方法對圖像特征增強的效果。

表4 圖像質量評估表Tab.4 Image quality evaluation table

5 結束語

考慮到Gabor函數可以同時處理圖像的時域和空域信息，本文提出了一種芯片外觀缺陷特征增強的方法。即在光度立體技術獲得的反照圖的基礎上，進行Gabor變換。實驗表明，本方法能有效提升芯片外觀局部微小缺陷特征清晰度。通過本方法對芯片外觀缺陷的預處理，結合三維重建以及深度學習技術，預期能設計出一種比現有基于二維圖像處理技術檢測精度更高的芯片外觀缺陷檢測方案。