基于YOLOv3的芯片軟硬件質檢裝置設計

陳偉迅

（廣州鐵路職業技術學院,廣東 廣州 511300）

0 引言

中國芯片行業是當前中國經濟發展的重要組成部分，其發展趨勢也影響著中國經濟的發展走向，已經成為經濟發展、國家信息安全的命脈[1]。隨著中國科技的不斷進步，中國芯片行業的技術研發也在迅速提升。中國已經成為全球最大的芯片制造商，主要從事芯片研發、生產和銷售的企業數量也在不斷增加。2019年，中國芯片行業的市場規模達到了4.4萬億元，同比增長17.3%，這一數據表明，中國芯片行業發展勢頭強勁，市場規模不斷擴大。根據市場調研在線發布的2023—2029年中國芯片行業市場行情動態及發展前景展望報告分析，隨著中國經濟和科技的發展，中國芯片行業的市場規模將進一步擴大。據業內預測，到2022年，中國芯片行業的市場規模將達到7.5萬億元，同比增長7.3%。

隨著中國經濟的發展，電子信息產業也在不斷發展，智能機器人、智能家居、自動駕駛等新興行業的發展，中國芯片行業的需求量也在不斷增加，行業的市場規模將進一步擴大。此外，政府和企業正在加大投入，將更多的資金用于芯片行業的研發和應用，加快行業技術進步，提高行業競爭力，從而促進行業的發展。綜上所述，隨著國民經濟的持續發展，中國芯片行業將迎來更快的發展，市場規模和未來發展趨勢將繼續保持上升趨勢。

1 芯片質檢的意義及現狀分析

芯片的生產流程一般包括芯片設計、晶片制作、芯片封裝三個步驟。芯片封裝作為芯片生產流程的最后一步，其封裝質量和封裝可靠性影響著整個芯片產品的質量。芯片封裝是將芯片固定在基底上，再將保護封蓋用金屬焊料焊接在基底上，在將芯片內外電路連接的同時，起到對內部芯片的保護作用，并且金屬封蓋還能增強芯片的整體散熱性能。因為芯片的制造過程十分復雜，在整個集成電路大規模工業生產過程中，集成芯片缺陷檢測是一個必不可少的環節[2]。一旦缺陷未被及時發現，將會對成品芯片的性能和可靠性產生影響，因此在生產過程中實時監控芯片封裝的質量逐漸成為芯片生產的必要步驟。在芯片生產制造過程中，各工藝流程環環相扣，技術復雜，材料、環境、工藝參數等因素的微變常導致芯片產生缺陷，芯片引腳數目缺失、傾斜及斷裂等問題[3]，影響產品良率。

芯片缺陷檢測的意義在于確保制造的芯片符合要求的規格，并在其預期應用中可靠運行。這一點至關重要，原因如下：

（1）產品可靠性：不符合要求規格的芯片可能在其預期應用中出現故障或性能不佳，這可能導致產品故障并降低客戶滿意度。

（2）質量控制：芯片質量檢查有助于通過識別和拒絕任何不符合要求規范的芯片來保持制造過程的完整性。這有助于確保只有高質量的芯片被包裝并運送給客戶。

（3）成本節約：在檢查過程中識別和拒絕有缺陷的芯片有助于降低制造和維修成本，并將產品退貨和客戶投訴的風險降至最低。

（4）符合行業標準：芯片質量檢查有助于確保制造的芯片符合行業標準和法規，這對市場接受度和消費者安全至關重要。

綜上所述，芯片質量檢測作為芯片生產線中的關鍵環節，可以積極地反饋產品質量信息，以便人們及時掌控各生產環節的健康狀況，促使質量檢測技術在生產線中的作用越來越凸顯。

然而，傳統的目視芯片質檢法存在檢查速度有限、準確度不高、勞動強度大、容易產生人為錯誤等局限性，影響了芯片質檢的可靠性和效率。因此，亟須研發自動、可靠的芯片質檢裝置。

隨著計算機視覺和人工智能技術的發展，基于這兩種技術的芯片質檢方法應運而生，與傳統方法相比其優勢如下：

（1）提高效率：計算機視覺算法可以以比傳統方法更快的速度處理圖像和檢查芯片。

（2）提高準確性：計算機視覺算法可以檢測更廣泛的缺陷，包括小的或細微的缺陷，比傳統方法更準確。

（3）減少人為錯誤：計算機視覺系統可以消除人為錯誤的影響，對于確保檢查過程的一致性和可靠性尤為重要。

（4）增強可追溯性：計算機視覺系統可以提供詳細的檢查記錄和數據，可用于提高芯片制造過程的整體效率和有效性。

該裝置目的是克服現有技術的不足和缺陷，主要克服了現有技術中的傳統算法單一檢測芯片外部缺陷，無法滿足需求的問題。

2 基于YOLOv3的芯片軟硬件質檢裝置

針對現有技術不足，該作品從芯片質檢環節入手，利用深度學習算法和射頻模組，實現了準確高效的芯片表面缺陷和內部軟件的聯合質檢，除了能檢測出劃痕、引腳缺失等外觀缺陷外，還能檢測出芯片的基本功能是否完好。

圍繞軟芯片硬件聯合質檢這一總體目標，針對芯片缺陷的類別多樣、形態各異、背景復雜等特點，面向快速、自動化質檢的需求，該文設計了一種基于YOLOv3[4]的芯片軟硬件質檢裝置。芯片從入口輸送到該裝置后，通過YOLOv3芯片檢測技術對芯片表面進行質檢，將由傳送帶進行傳送和分揀，根據識別結果控制機械臂阻攔實現分揀效果，硬件質檢合格的芯片將進入軟件質檢模塊；不合格的芯片則由傳送帶上的分揀器根據缺陷種類自動進行分揀。采用雙高射頻模組對芯片內部線圈檢測，不合格的芯片同樣由傳送帶上的分揀器阻攔分揀，雙重保障下提高芯片的出關質量。

2.1 裝置硬件設計

芯片缺陷檢測裝置的硬件部分如圖1所示。硬件部分由照明機構、相機、鏡頭和計算機組成，用于拍攝清晰的芯片表面圖像，反饋到計算機內存中。裝置的軟件部分由YOLOv3模型實現缺陷檢測和分類功能，由雙高射頻模組協議測試平臺檢測芯片內部缺陷。該檢測裝置使用一種運用直射光的環形照明方式，CCD相機采用800萬像素的工業電子顯微鏡相機，分辨率為1 920×1 080，最終完成對芯片表面缺陷高質量、高效率的圖像采集，以便后續算法的實現。

圖1 裝置結構圖

2.2 功能模塊介紹

就功能而言，系統主要可以分為圖像采集模塊、模型訓練模塊、芯片表面缺陷檢測模塊和芯片軟件質檢模塊這四大模塊。各模塊具體的使用方法分述如下：

2.2.1 圖像采集模塊

圖像采集模塊主要由高清工業攝像頭模組組成，同時要求攝像頭模組提供可供取視頻流的SDK組件。使用時，需要先將攝像頭安裝到適合拍攝各種不同排列的芯片的位置，并將攝像頭通過網線連接到后臺服務器，以供實時從攝像頭前端獲取包含集裝號的視頻流。

2.2.2 模型訓練模塊

該模塊主要訓練用于定位芯片表面缺陷位置的Yolov3目標識別模型。具體來說，需要首先從后臺由前端攝像頭拍攝的視頻流中導出包含芯片的圖像。為了識別的準確性，導出的含芯片目標的圖像統一為jpg格式，并對每一張包芯片圖像進行兩類標注，即圖像種類標注，以及圖像中芯片缺點位置標注（如圖2所示）。該過程需要人工手動完成。芯片圖像標注可以借助標注工具LabelImg完成。將目標圖片輸入LabelImg，手動框出芯片表面缺陷所在位置，并保存標注的結果，此時軟件LabelImg會生產一個與圖片同名的txt文件。保存的txt文件形式如下：

圖2 芯片圖像標注結果示意圖

前面的0代表只有一類，有兩行代表有兩個目標。后面是目標在圖片中的位置信息。前面兩個數字代表中心點位置、像素點/圖片尺寸；后兩位代表寬高、像素/圖片尺寸。

2.2.3 芯片表面缺陷檢測模塊

該模塊的功能是檢測芯片表面是否存在缺陷。在硬件質檢模塊的輸入端配置了高清工業級攝像頭負責采集芯片樣品的圖像，所采集的芯片圖像會傳輸到芯片質檢軟件平臺（圖3所示），當中部署了該作品提出的基于級聯卷積神經網絡的芯片表面缺陷快速檢測模型，可對圖像中的芯片缺陷進行檢測和識別。模型的第一級網絡為輕量級圖像分類網絡，可識別出圖像中是否存在帶有缺陷的芯片；第二級網絡為目標檢測網絡，可以對圖像中的芯片缺陷精準地進行檢測和定位。通過輕量級分類網絡先對芯片圖像進行分類可以減少目標檢測網絡的調用，從而提高芯片硬件質檢這一步驟的效率。

2.2.4 軟件質檢模塊

該模塊搭載了雙高射頻模組協議測試平臺（圖4所示），可進行芯片應用設置功能測試、芯片與協議功能測試等。通過對芯片基本功能的測試，可判斷芯片內部軟件是否運行正常，達到軟件質檢的目的。

3 基于Yolov3的芯片缺陷檢測

該文采用You Only Look Once v3（YOLOv3）[5]模型來對芯片圖像中的異物進行檢測和定位。YOLOv3是一種常用的目標檢測網絡，通過使用一步回歸來預測圖像中物體的位置和類別。此外，通過引入特征金字塔網絡（FPN）[6]，YOLOv3對不同尺度的對象具有魯棒性，可檢測出圖像中的小目標。YOLOv3使用Darknet-53作為其主干特征提取器。在主干網絡之后，采用了FPN在三個不同的尺度上檢測不同大小的目標。接著，YOLOv3通過添加若干個卷積層來預測對象的位置和類別。這些卷積層在三個不同的尺度上輸出特征圖，對邊界框、對象性和類別預測進行編碼。

上述模塊的配置使得YOLOv3可用于檢測芯片圖像中不同大小的缺陷。

4 結語

該文結合芯片質檢領域的一般流程，對該裝置進行了功能分析，根據需要完成的功能和系統整體的需要，該文針對生產中產檢的芯片類型，設計了一種基于YOLOv3的芯片軟硬件協同質檢裝置。裝置可以分為硬件部分和軟件部分，硬件部分包括各個硬件模塊的選型與設計，軟件部分包括開發平臺和開發語言的選擇、圖像處理的模塊設計、芯片定位和芯片分類識別的模塊設計和關鍵技術的設計。在圖像采集部分，該文根據裝置的功能需求調研后，對相機和鏡頭進行了選型。

采用高清工業攝像頭采集了訓練和測試所需的芯片樣本圖像，并進行人工標注，利用CNN框架搭建了卷積神經網絡模型，并進行訓練和參數調優，實現了芯片表面缺陷自動質檢的目的。