基于圖像飽和度分量Zernike矩的元件封裝識別

袁小平, 龔 戩

(中國礦業大學信息與控制工程學院，徐州 221116)

傳統的人工元器件識別和檢測手段由于精準度低、效率低等已經不能滿足元件體積變小、密度增大的識別和檢測要求[1-2]，基于圖像處理的檢測技術現已成為元器件識別和檢測的主要方法。元件識別是自動光學檢測(automated optical inspection，AOI)的一部分，當前的自動光學檢測系統是由電荷耦合器件(charge coupled device，CCD)攝像機、光源、鏡頭等設備和軟件算法構成[3]。目前識別圖像中目標的方法有區域生長法、模板配準法、投影檢測法等[4-7]。區域生長算法把相似特征的像素分割，但是很難保證分割精度。基于灰度的模板配準法所需要的運算量大，很難保證實時處理。基于投影序列的目標識別與分類主要是通過對比目標的投影實現，但是所提取的特征不具有圖像相關不變性的特點，誤識率比較高。近年來，有關元器件識別的改進方法較少。杜思思等[8]將霍夫變換和最小二乘法相結合，使用元件圖像邊緣信息進行識別，元器件識別，然而需要處理數據量過大，維數過高；陳翔等[9]提出基于神經網絡的元器件封裝的識別方法，減輕了計算量，但對于不同尺度下的元器件圖像識別準確率仍然需要提升，易受噪聲干擾；李威等[10]提出了基于深度學習的元器件識別方法，可以自動提取元件直方圖均衡化后的圖像特征向量，然而直方圖均衡化后圖像的灰度級減少,造成部分細節消失導致誤識別，并且系統較為復雜，需要大量的訓練樣本，忽視了檢測的實時性。以上方法都忽視了元器件圖像的顏色特征、光照等關鍵的信息,對于灰度不明顯、模糊等容易造成圖像的分割精度不高。

根據元器件引腳與塑封的顏色特點，在色調、亮度、飽和度(hue，intensity，saturation，HIS)顏色空間內提取引腳和塑封的顏色特征，通過遺傳算法對目標元器件進行圖像分割預處理，提高匹配的魯棒性，將尺度不變性的Zernike矩理論與用曼哈頓與切比雪夫距離[11-12]加權線性表示作為特征向量的相似判別進行元器件的識別。此方法經過試驗有效地解決元器件封裝圖像尺度不變性的特征提取問題，運算量小，能夠實現對電阻、集成電路芯片等元器件封裝識別，證明了此方法具有可行性。

1 基本原理

元器件的圖像主要取決于其顏色和形狀，所以顏色和形狀特征結合可以有效地提升對元器件識別的準確率。本文的方法從元器件圖像的預處理分割開始，然后是分割后的二值化圖像Zernike矩計算和相似性判定3個方面進行介紹。該方法的具體架構如圖1所示。

圖1 元件封裝識別的架構Fig.1 Architecture of component packaging recognition

2 元件圖像預處理

2.1 飽和度分量模型提取

電子元器件的封裝由黑色塑封和銀色或金色的管腳組成，可以利用元器件相對單一的顏色這一特點對圖像進行處理。在圖像色彩模型中，色調、亮度、飽和度顏色空間可以把亮度通道(I分量)和表示顏色本質特性的彩色通道(色調H與飽和度S分量)分離，HIS色彩模型中的H、I、S分量可以由RGB模型的R、G、B分量表示[13]，計算公式如下：

(1)

(2)

(3)

式中：

(4)

飽和度表示色彩的濃淡或深淺程度，飽和度高表示色彩越深。飽和度跟白色成分的比例有關，白色成分越多，飽和度越低。從元器件的顏色特點考慮，提取圖像中的元器件時主要采用HIS色彩模型中的S分量，元器件的S分量如圖2所示。

圖2 元器件的S分量圖像Fig.2 Saturation image of S components

2.2 遺傳算法的飽和度分量二值化

最大類間方差法(Otsu法)是一種基于概率與數理統計的圖像分割方法，然而該算法由于需要不斷迭代計算圖像中每一灰度的方差，冗余計算的運算量較大[14]。遺傳算法是群體的擇優的算法，以所求函數的最大或最小值為目標，選定一組初始值然后不斷更新繁衍。遺傳算法屬于非線性的處理過程，包括定義染色體、選定種群體、評價函數定義、選擇種子、遺傳運算[15]。遺傳算法相對獨立，可以并行進行運算，適用于實時性要求的應用場合。Otsu法是尋找最優解的過程，遺傳算法的非線性特性可以提高Otsu法尋找最優解的速度。

待識別圖像經提取HIS彩色模型的飽和度分量后，通過離散余弦變換對飽和度分量進行濾波后的圖像已經很大程度減少了背景灰度值對元器件圖像的干擾。提出根據HIS空間的飽和度分量經過離散余弦變換(discrete cosine transform，DCT)濾波后的圖像，利用最大類間方差法與遺傳算法相結合得到最優閾值從而對圖像進行分割，最后通過進行閉運算得到二值圖像。程序流程如下。

(1)對已預處理的飽和度值進行數值編碼。用8bit位編碼表示一個染色體。

(2)隨機取出一個包含15染色體單元的種群，其中，染色體長度為8。

(3)由最大類方差確定為染色體的評價函數，同時對染色體從二進制到十進制解碼。

(4)使用遺傳算法處理，合適選擇雜交率為0.8，變異率為0.3，最大代數為70，通過交叉和變異運算得到新種群，再對新種群進行交叉和變異，不斷進行繁殖到設定的最大代數后得到期望的閾值。

(5)按照期望閾值對預處理后的飽和度分量進行分割，然后通過形態學中的開閉運算去除噪聲得到最終二值化圖像。

經過完成上述步驟后，預處理的圖像最終效果如圖3所示。

圖3 圖像預處理的最終結果Fig.3 Final results of image preprocessing

3 元件封裝的識別

3.1 元件圖像Zernike矩

Zernike矩是二維函數f(x,y)在單位圓內的Zernike正交多項式基函數的映射[16]，一幅預處理后的元器件二值圖像的n階m次的Zernike矩的實部與虛部可寫為

(5)

(6)

式中：n為任意自然數，且需滿足(n-|m|)為偶數、n≥|m|；Rnm(ρ)表示正交多項式，ρ為圖像中像素點(x,y)到原點的向量長度；θ為此向量與x軸逆時針傾斜角，當計算預處理后的元器件二值圖像Zernike矩時，還需要二值圖像的重心在極坐標原點上等歸一化處理，然后使圖像像素通過正交多項式基函數在極坐標投影。Zernike矩由復數表示，由式(5)、式(6)得到Zernike矩的模值，Zernike矩的旋轉不變的特點，低階矩有效地反映識別對象的整體輪廓信息，高階矩反映細節信息，高階Zernike矩較高階幾何矩不易受噪聲的干擾。

3.2 相似性判定

在自動檢測識別領域中，模板分類配準被廣泛使用，對已提取出的元器件待識別與模板圖像的Zernike矩作為特征點，即

ZS=(ZS20,ZS22,ZS31,ZS33,ZS42,ZS51,ZS53,ZS55)

(7)

ZT=(ZT20,ZT22,ZT31,ZT33,ZT42,ZT51,ZT53,ZT55)

(8)

式中：ZS為待識別圖像的Zernike矩特征；ZT為模板圖像的Zernike矩特征。

可以采用距離法對元器件的相似性進行分類識別。常用的距離法[17]對特征點進行相似性判定如下。

歐幾里得度量：

(9)

曼哈頓度量：

(10)

切比雪夫度量：

(11)

從式(9)～式(11)可見，歐幾里得度量中使用N次乘法和1次開平方計算，所需的計算時間比切比雪夫和曼哈頓度量長，同時因為L∞≤L2≤L1，如果使用L∞將會導致比L2結果大，如果使用L1將會導致比L2結果小，可以使用α(L1+L∞)取代L2，其中α為待定參數，α(L1+L∞)是使空間中的超多面體擬合超球面達到面積相等后，得到待定參數的最優結果。待定系數確定的公式如下。

(12)

式(12)中：n為維數。

由于元器件圖像的特征點為8維向量，將N=8代入到式中計算出待定參數α=0.338 9，得到新的距離度量為

L(x,y)=α(L1+L∞)=

(13)

將待識別與模板的特征點組成的向量代入式(13)計算其距離，相對距離越近，相似度越高。通過設置閾值LT，當L>LT時，識別為不同類，反之則識別為同一類別。

4 實驗結果及分析

通過對LQFP、SOT223、SO-8、SO-14封裝的元器件圖像使用本文的方法進行圖像預處理及Zernike矩特征提取，表1所示為該方法的處理結果，最終分割的二值化圖像輪廓可以充分反映出元器件的幾何形狀，同階次的Zernike矩的差別明顯，方便了后續的相似判別與分類工作。

表1 元件封裝的Zernike矩

表2表明：待測件1特征點向量與所有模板向量距離最近的是LQFP封裝元件，因此能夠判斷為LQFP封裝類元件；待測件2特征點向量與所有模板向量距離最近的是SOT223封裝元件，因此能夠判斷為SOT223封裝類元件；待測件3特征點向量與所有模板向量距離最近的是SO-8封裝元件，因此能夠判斷為SO-8封裝類元件。此方法可以滿足準確性要求，同時改進了歐幾里得距離法，減少計算時間，可以達到實時檢測的應用場合。

表2 相似度量結果

5 結論

針對元器件圖像的分類與識別進行了研究，解決了元件圖像的特征點提取與識別的問題。根據Zernike矩的旋轉不變性等特點，能夠充分反映各類元器件封裝圖像幾何形狀，對于同種封裝類型元件，Zernike矩的相似程度很高，但對于不同類型器件，則有較明顯的差別。通過待定系數距離法簡化歐幾里得距離法提高了一定的計算速度，滿足一些對實時性要求的應用場合。提出的方法可以適用于元器件圖像自動化識別和在線定位檢測應用，具有一定的實用性。