微型元器件引腳測距的深度學習方法研究

中圖分類號：TP391.41 文獻標識碼：A 文章編號:1672-0105(2025)02-0047-05

Research on Deep Learning Methods for Micro-component Pin Distance Measurement

XIANG Chaohui， QIAN Yuezhong， ZOU Jiaming (ZhejiangIndustryTradeVocationalCollege，Wenzhou325o35，China）

Abstract:Inindustrial visualquality inspection，measuring the distancebetween pinsof microelectroniccomponents posesa significantchalenge.TraditionalmethodsrelyheavilyonOpenCVforextensive imageprocesingoperations，whichrequieegiees torepeatedlyadjustparameters，leading toloweiciencyandinsuficientauracyIntherealmofdeepleaing，theseisuscanbe addressedthrough distanceregresionandobject detectiontechniques.MethodOneivolvesusingtheResNet18 network to extract image features and employing fullyconnectedlayers fordistanceregresion toultimately measure pin distances.Method Two trains the YOLOv8n modelto detect pin bounding boxes and then calculates the distances between pins basedon these detections. Aditionallyduetoteghomogeneityofimagescolectedfromproductionlinswherepinpositionsarelargelysimlaodels oftensuffer fromsevereoverfiting.Tomitigatethis，wedesignedasimulated pindistancemeasurementmethodtogeneratediverse data，therebyenhancingtherobustnessofthemodels.Experimentalresultsdemonstratethatthedep learing-baseddistance measurement methods offer a significant improvement in acuracy compared to traditional OpenCV-based approaches.

Keywords: industrial quality inspection; deep learning; object detection; pin distance measurement

0引言

微型電子元器件是電子系統中的關鍵組件，其質量影響整個系統的性能。隨著工業生產的快速發展，微型電子元器件的生產效率大幅提升，但表面缺陷（如填充不足、裂痕、缺焊片、劃痕等）和尺寸缺陷（如引腳間距過寬/窄、焊片長度過長/短等）等問題依然存在。鑒于這些元件價格低廉且體積小巧，對單個元器件的高效精確檢測成為必要，然而人工審核難以滿足速度與精度的要求。近年來，隨著人工智能技術的進步，基于機器視覺的檢測方法逐漸成為微型電子元器件質檢的主要手段。

在工業視覺檢測中，Zheng等結合OpenCV的OTSU自動閥值處理和Canny邊緣檢測，提取了膠囊外部輪廓，并通過形態特征分析來識別內部缺陷。He等2采用不對稱侵蝕擴張技術進行背景區域分割，提取不受陰影干擾的特征區域，并基于菱形點矯正（RSPC）算法和點重排技術，有效檢測了電力網絡中的缺陷。WeiFan等聚焦車輛表面缺陷檢測，將快速二維傅里葉變換（2DFFT）應用于漫射照明攝像系統中，實驗表明算法效果良好。Keyur及其團隊4在齒輪、硬幣和連接器的分類中，提出了融合支持向量機以及神經網絡的分類方法，使準確率達到 95% 。DavidFries及其團隊針對飛行過程中飛行員遭遇不明原因生理事件（UPEs）所帶來的安全隱患，開發了一套快速響應的機器視覺解決方案，該系統集成了先進的機器學習算法和認知神經網絡技術，能夠實時分析來自多種傳感器的數據流。YiLuo等設計了融合機器視覺與被動柔性機制的微孔釘自動精密裝配系統，以高精度平臺定位，機器視覺控位，柔性機構補償偏差，實現高精度裝配并提升生產效率與質量。

在電子元器件視覺檢測中，Sreenivasan等通過產品頂部拍攝的圖像中提取重要參數，使用OpenCV圖像處理的方法檢測板焊接層缺陷的問題。Hawari等基于模糊數學理論來建立模型，并通過模糊理論結合機器視覺對微型元器件的引腳進行檢查，能夠識別元器件引腳接觸不良、缺針、歪針等問題。Demir等針對PCB板以及SMD板的缺陷問題，在視覺檢測的基礎上，結合二值化處理、形態學處理等方法進行缺陷檢測。Huang等[]創新使用了開關中位數濾波器的方法，在電路芯片引腳缺陷的檢測中表現良好。劉建群等提出基于OpenCV的表面貼裝芯片引腳檢測系統，利用圖像處理算法和平面幾何原理，實現引腳尺寸與高度差異的非接觸式實時測量，實驗驗證了系統的穩定性與可靠性。何新鵬等[1將神經網絡模型用于芯片引腳缺陷檢測，針對俯視圖像中引腳與基板重疊的識別難題，通過BP神經網絡提取長度、寬度等特征參數，實現缺陷精準識別分類。

目前的深度學習方法主要應用于工業產品的表面缺陷檢測，而測距類任務則主要通過OpenCV圖像處理流程配置實現。然而，OpenCV圖像處理存在如下缺點：1.效率低，配置流程需要專業工程師對每種元器件逐個設置檢測參數，尤其對于型號眾多的元器件，流程配置效率極低；2.適應力差，傳統基于規則或統計學的OpenCV圖像處理方法泛化性較差，環境的細微變化也可能導致顯著的檢測誤差。而使用深度學習方法則需要大量的樣本進行訓練，但是生產線上的圖像往往同質性較強，使得訓練出來的模型缺少魯棒性。本文引入兩種深度學習的方法進行引腳距離測量。方法一：通過ResNet18網絡對引腳圖像進行特征提取，然后全連接輸出距離。方法二：通過YOLOv8n網絡對引腳圖像進行目標檢測，然后通過檢測框信息計算距離。另外，本文設計了一種引腳圖像生成的方法，通過模擬生成大量數據，生成的圖像質檢差異性較大，從而提升模型的魯棒性。

1檢測方法設計

1.1OpenCV檢測方法

基于OpenCV的檢測方法主要用到閥值分割、輪廓查找等算法。其中：1.閾值分割將圖像轉化為二值圖。由于采集圖像的環境變化可能導致引腳灰度值變化，因此，本文采用OTSU的方法進行自適應閾值分割；2.形態變換可以去除圖像上的噪點。由于采集的圖像可能存在噪點，會影響輪廓查找，所以需要形態變換去除噪點；3.邊緣檢測獲取到引腳的外部輪廓，進一步提升輪廓查找的精度；4.輪廓查找區分了不同輪廓個體。邊緣檢測只能得到整體的邊緣，無法區分輪廓個體，因此需要輪廓查找區分不同引腳個體；5.最后由輪廓中心計算出兩個引腳的距離，通過OpenCV中輪廓的矩計算出輪廓的中心。如圖1所示。

1.2ResNet18距離測量方法

ResNet18由18層網絡構成，包含卷積層、批量歸一化層、池化層等，網絡采用線性整流函數作為激活函數。該網絡參數量較少，計算成本更低，符合微型元器件質檢所需要的速度快的特點，且網絡的輸出可以根據需求調整，適合距離測量的要求。本文主要通過ResNet18網絡對圖像進行特征提取，由全連接層輸出距離的回歸預測值。如圖2所示。通過模型訓練進行參數回歸，得到距離測量模型。

1.3YOLO目標檢測方法

YOLOv8n是YOLO系列網絡中輕量級的目標檢測網絡模型，其骨干網絡采用CSPNet（CrossStagePartialNetwork）結構，能夠在保證特征提取能力的同時，減少計算量和模型參數；頸部網絡采用了FPN（Feature Pyramid Network） 和 PAN（PathAggregationNetwork）相結合的結構，用于融合不同尺度的特征圖，增強模型對不同大小目標的檢測能力；頭部網絡采用了簡單高效的檢測頭結構，用于預測目標的類別和位置。本文通過YO-LOv8n檢測引腳位置，然后通過檢測框信息計算兩個引腳之間的距離。如圖3所示。

2實驗2.1實驗環境

本實驗的三種算法在表1所示的環境中運行。其中OpenCV檢測方法在CPU上運行，ResNet18以及YOLOv8n檢測方法在GPU上運行。

2.2數據集構建

在微型電子元器件的視覺質檢中，通常需要先對元器件定位，定位后，引腳將在畫面中的固定位置，通過圖像相對位置剪切即可得到多個引腳對圖像，下一步，通過本文的方法進行距離測量。然而，由于生產線上拍攝的圖片相似度過高，每張圖片的元器件基本在同一個位置，此類數據會使得模型訓練過擬合，降低模型的魯棒性。因此本文通過模擬的方法生成引腳對數據集，通過隨機產生背景，將引腳圖像隨機覆蓋于背景上，可以得到背景不同、引腳距離不同的多樣性數據集。具體方法如下：

1.在真實的元器件圖像中隨機截取背景圖像20張;2.在真實的元器件圖像中隨機截取引腳圖像100張；3.將背景圖像和元器件圖像按照7:3分成訓練集和測試集；4.隨機選取2個引腳圖像，隨機選取1個背景圖像；5.將2個引腳圖像隨機放置在背景圖像中，保持y坐標相同，記錄間距；

6.在訓練集和測試集中，重復4-5步驟，生成訓練圖像7000張、測試圖像3000張

另外，本文通過對真實環境數據的標注，得到了包含1000張真實環境圖像的數據集，用于對比。

2.3訓練過程

由于OpenCV的方法不涉及模型訓練，因此此處僅說明ResNet18以及YOLOv8n模型的訓練過程。訓練參數如表2所示。

此外，訓練中學習率過早降至過低值可能導致模型陷入局部最優，終止參數更新的局面。本文使用了PyTorch中的學習率調度器來協調學習率的調整。根據余弦退火策略動態調整優化器的學習率，具體來說，基于余弦函數的特性來調整學習率。學習率的變化軌跡遵循余弦函數的一部分，使得學習率以一種平滑的方式先下降后上升，模擬了學習過程中的“熱身”和“冷卻”。這種機制有助于模型跳出局部最優解，特別是在訓練后期，當學習率變得非常小的時候，通過重啟學習率可以幫助找到更好的解決方案。其中半個周期的長度設置為50，即學習率從初始值降至最低值所需的時間步長為50個輪次。

2.4評價指標

對于工業元器件引腳測距而言，精度和速度是兩個重要的指標。對于精度而言，根據具體的算法，本文檢測了box損失以及MSE損失。速度也將在后文中給出對比結果。

2.4.1box損失

對于YOLO目標檢測的方法，首先需要得到引腳的檢測框，然后測量距離。模型訓練的損失為邊框損失（boxloss)，主要針對邊界框的回歸。具體的方法主要為IoU損失（IntersectionoverUnionLoss）。該損失具有尺度不變性，直接反映了預測框質量的特點，該損失主要用于衡量模型產生的預測邊界框B 和實際邊界框 A 兩者之間的重合度，其中預測邊界框和實際邊界框重疊部分面積為兩者交集，兩者組成圖形的面積為兩者并集，交并比即為兩邊界框交集與并集的比值交并比損失，IoU公式為：

IoU損失能夠有效衡量建模模型對引腳的定位的精確度，通過對該指標的追蹤，模型能夠有效擬合，達到預期效果。IoU的值越高，表示模型預測的邊界框和標注的邊界框重合度越高，IoU的值越低，表示模型預測的邊界框和標注的邊界框重合度越低。其值在0到1之間，對于YOLOv8n檢測方法，模型訓練中監督了IoU損失值，其下降過程如圖5所示。

2.4.2MSE損失

對于OpenCV檢測方法，通過計算兩個引腳輪廓中心的距離，得到預測的引腳距離；對于ResNet18檢測方法，通過網絡直接得出一個數值，表示預測的量的引腳距離；對于YOLOv8n檢測方法，通過檢測兩個引腳邊界框，計算兩個邊界框的距離，得到了預測的引腳距離。以上三個預測的引腳距離需要和實際引腳距離作比較，本文采用均方誤差（MSE）來衡量預測值與標注值的誤差。具體公式為：

其中： n 為樣本個數， y_i 為真實值， 為預測值。MSE值越大，表示預測的距離和標注的距離差距越大，MSE值越小，則表示預測的距離和標注的距離差距越小。對于ResNet18檢測方法，模型訓練過程中監督了MSE值，其下降過程如圖6所示。

2.5結果對比

通過三種方法，計算出最終的MSE值以及檢測時間。如表3所示。

通過表3可以看出，ResNet18檢測方法以及YOLOv8n檢測方法的MSE值均比OpenCV檢測方法要低，且ResNet18檢測方法的MSE損失值最低。對于真實數據的MSE損失，由于真實環境采集的數據中，引腳間距比較集中，檢測方法表現效果更好，MSE損失值更低。對于檢測時間而言，OpenCV檢測方法由于算法簡單，計算速度較快，達到每秒2396次；ResNet18檢測方法雖然網絡相對較復雜，但是由于深度學習模型可以并行計算，最終檢測時間最快，達到每秒3665次；YOLOv8n檢測方法雖然也可以并行計算，但是由于網絡比較復雜，綜合計算速度較差，只有每秒1486次。綜合對比，ResNet18檢測方法效果最優，不僅精度高而且速度快，YOLOv8n檢測方法速度相對較低，但是精度大幅度提升。

3結論

在工業視覺質量檢測領域中，傳統的基于OpenCV的方法需要反復調整參數，過程耗時且精度低。此外，由于生產線上的圖像采集環境相對固定，導致訓練數據集同質性較強，容易引起模型過擬合。本文基于ResNet18網絡的方案，以及YO-LOv8n目標檢測模型計算引腳之間的距離，另外設計了一種模擬生成引腳測距的方法，增加了訓練數據的多樣性，從而增強了模型的泛化能力和魯棒性。實驗表明，深度學習方法精度有明顯提升，而且ResNet18檢測方法速度有大幅度提升。

參考文獻：

[1]ZHENG S，ZHANGW，WANGL，etal.Special shaped softgel inspectionsystembasedonmachine vision[C].2015IEEE9th International Conference on Anti-counterfeiting，Security，and Identification(ASID).IEEE，2015:124-127.

[2]HEP，SUNX，ZHOUG.Defect detectionofenergizedgrid basedonMachineVision[C].2020IEEE 5thInternational Conference on Signal and Image Processing(ICSIP).IEEE，2020:376-380.

[3]FANW，LUC，TSUJINO K.Anautomatic machine vision method forthe flawdetectiononcar's body[C].2015 IEE 7th International Conference on Awareness Science and Technology(iCAST).IEEE，2O15:13-18.

[4]JOSHIKD，SURGENORBW.Smallpartsclassficationwithflexible machinevisionandahybridclassfierC].0185th International Conference on Mechatronics and Machine Vision in Practice(M2VIP). IEEE，2018:1-6.

[5]FRIESD，PHILLIPSJ，MCINNISM，etal.RapidMulti-SensorFusionandIntegrationUsingAI-enabledMachineVisionfor Real-TimeOperatorPhysiological Status[C].2021IEEEResearchandAplications ofPhotonicsinDefenseConference(RAPID). IEEE，2021:1-2.

[6]LUOY，WEIW，WANGX.Research forhole-peg assemblybasedonmachinevisionandflexiblemechanism[C].2010 International Conference on Mechanic Automation and Control Engineering. IEEE，2010:5326-5330.

[7]SREENIVASAN K K，SRINATHM，KHOTANZADA.Automated Vision System for Inspectionof ICPadsandBonds[J].IEEE Transactions on Components，Hybrids，and Manufacturing Technology，1993，16(3):333-338.

[8]HAWARIY，SALAMIMJE，ABURAS AA.Fuzzy Based Technique forMicrochip Lead Inspection Using Machine Vision[C]. 2008 International Conference on Computer and Communication Engineering.IEEE，2008:1222-1226.

[9]DEMIRD，BIRECIKS，KURUGOLLUF，etal.Quality Inspection iPCsandSMDs Using Computer VisionTechiques[C]. Proceedings of IECON'94-20th Annual Conference of IEEE Industrial Electronics.IEEE，1994，2:857-861.

[10]HUANGY，PANQ，LIUQ，etal.Applicationof Improved CannyAlgorithmonthe IcChipPinInspection[C].Advanced MaterialsResearch，2011，317:854-858.

[11]劉建群，曠輝，丁少華.基于視覺的表面貼裝芯片引腳檢測系統的研究[J].中國機械工程，2007(16):1908-1912.

[12]何新鵬.基于神經網絡的芯片引腳檢測系統的研究[D].廣東：廣東工業大學，2011.

[13]姚興田，劉建峰，邱自學，等.集成電路芯片引腳外觀自動檢測系統的研究[J].機械設計與制造，2010(11):205-206.

（責任編輯：麻小珍）