5G+AI機(jī)器視覺技術(shù)在PCB行業(yè)應(yīng)用

李 森 萬 剛 魏梓原 安 崗 張文博

1 中國聯(lián)通研究院 北京 100176

2 中國聯(lián)通江西省分公司 南昌 330000

引言

印制電路板(Printed Circuit Board，PCB)是絕大多數(shù)電子設(shè)備產(chǎn)品必需的元件，又被稱為“電子產(chǎn)品之母”，起到為電子元件提供電氣連接的作用，是我國數(shù)字經(jīng)濟(jì)發(fā)展中的關(guān)鍵性技術(shù)產(chǎn)業(yè)之一[1]。生產(chǎn)過程中，自動光學(xué)檢測(AOI)設(shè)備則是提升PCB產(chǎn)能及產(chǎn)品良率的關(guān)鍵設(shè)備。AOI設(shè)備可部署于生產(chǎn)線的中站，在不影響產(chǎn)能的前提下檢查半成品，因此成為PCB制造過程中比重較高的必要投資，約占總投資額的15%[2]。通常，AOI設(shè)備的檢測流程是先利用AOI光學(xué)掃描待檢的PCB，獲取清晰影像，然后經(jīng)過電腦圖像處理技術(shù)檢查出PCB上是否有短路、多銅及少銅、斷路、缺口、毛刺、銅渣、缺件、偏斜等瑕疵[3]。因為瑕疵的種類非常廣泛，所以較一般電子零部件的瑕疵檢測困難許多。

目前AOI檢測面臨過度篩檢(OVERKILL)的現(xiàn)象。在極高的PCB良品率的要求下，AOI設(shè)備的參數(shù)設(shè)定非常嚴(yán)格，也因此AOI檢測設(shè)備容易因過于敏感而出現(xiàn)過篩現(xiàn)象[4-5]。經(jīng)統(tǒng)計PCB過篩率高達(dá)70%，即NG產(chǎn)品中其實有70%的成品是合格的。目前多采取人工進(jìn)行第二次篩選，將實際合格的PCB再度送回產(chǎn)線。然而，人工篩選存在效率低、容易漏檢、無法檢測高精度PCB、接觸檢測易損傷PCB等諸多缺點，已不能滿足PCB高效率、高精度、高性能的生產(chǎn)需求。

1 5G+AI給機(jī)器視覺帶來的價值

5G+AI的工業(yè)視覺解決方案，通過端+5G網(wǎng)絡(luò)+邊緣云+云服務(wù)的協(xié)作，可實現(xiàn)信息互通共享、設(shè)備標(biāo)準(zhǔn)化智能化水平提升、系統(tǒng)部署簡單更靈活、維護(hù)效率提升、端到端部署成本降低等，將成為未來智能化工廠標(biāo)配解決方案[6-7]。

技術(shù)方面，5G網(wǎng)絡(luò)簡單易部署，支持規(guī)模應(yīng)用，可將復(fù)雜的樣本標(biāo)注、圖像處理等統(tǒng)一在云端平臺實現(xiàn)，并通過AI算法實現(xiàn)智能標(biāo)注、智能閉環(huán)，降低系統(tǒng)應(yīng)用的復(fù)雜性和對用戶的專業(yè)技能要求，使工業(yè)視覺檢測被應(yīng)用到更多生產(chǎn)環(huán)節(jié)。同時5G的大連接特性可以使產(chǎn)線上每個工業(yè)視覺應(yīng)用不再是獨立的數(shù)據(jù)孤島，各應(yīng)用產(chǎn)生的數(shù)據(jù)可以被共享，實現(xiàn)數(shù)據(jù)互聯(lián)互通、動態(tài)閉環(huán)。最后，通過5G技術(shù)可以在云端統(tǒng)一架構(gòu)平臺上實現(xiàn)推理訓(xùn)練，支持快速的新模型迭代更新，使深度學(xué)習(xí)在工業(yè)視覺應(yīng)用中被廣泛推廣，普遍提升檢測成功率。不同的網(wǎng)絡(luò)接入方式各項能力對比如表1所示。

表1 不同網(wǎng)絡(luò)接入方式對比

在系統(tǒng)部署和維護(hù)方面，5G技術(shù)具有明顯的優(yōu)勢。首先，5G的無線傳輸可以滿足部分工業(yè)應(yīng)用場景的移動性訴求，也可以進(jìn)行后裝視覺應(yīng)用、不固定部署等，多場景部署靈活。此外，通過5G技術(shù)，工程技術(shù)人員可以在云端進(jìn)行操作維護(hù)，大幅提升系統(tǒng)維護(hù)效率。其次，5G技術(shù)可以降低機(jī)器視覺系統(tǒng)部署和維護(hù)的成本。通過將高算力需求的操作統(tǒng)一部署在云端平臺，同時支持多類不同應(yīng)用場景，端側(cè)僅部署標(biāo)準(zhǔn)的圖像采集系統(tǒng)，能夠降低全系統(tǒng)部署成本；通過5G技術(shù)可實現(xiàn)遠(yuǎn)程運維，以此來降低系統(tǒng)操作維護(hù)成本。

2 5G+AI機(jī)器視覺系統(tǒng)網(wǎng)絡(luò)架構(gòu)

考慮應(yīng)用需求、項目成本和網(wǎng)絡(luò)能力等方面的差異，按照算力部署位置不同，基于5G+AI的工業(yè)視覺系統(tǒng)部署架構(gòu)可分為前端設(shè)備推理與閉環(huán)控制、現(xiàn)場推理與閉環(huán)控制、邊緣云推理與閉環(huán)控制三大類。

第一種方式為前端設(shè)備推理與閉環(huán)控制，架構(gòu)如圖1所示。在這種方式下，算力部署在前端設(shè)備，視覺能力在本地實現(xiàn)；但這種方式端側(cè)算力成本高、算力有限，單點系統(tǒng)維護(hù)成本過高，數(shù)據(jù)不能有效共享，難以快速復(fù)制，在3D機(jī)器視覺檢測產(chǎn)生巨大數(shù)據(jù)量的場景，動態(tài)連續(xù)監(jiān)測等對時延要求嚴(yán)苛的場景，如煤礦中的帶送煤炭體積測量可使用此方式。

圖1 前端設(shè)備推理與閉環(huán)控制

第二種方式為現(xiàn)場推理與閉環(huán)控制，架構(gòu)如圖2所示。此方式是將算力單獨部署于應(yīng)用現(xiàn)場，成本低，部署快，可避免斷網(wǎng)導(dǎo)致云端算力不可用；可作為現(xiàn)有MEC能力補(bǔ)充，將業(yè)務(wù)向工業(yè)現(xiàn)場延伸，先期搶占市場，現(xiàn)場算力設(shè)備后續(xù)可轉(zhuǎn)化為MEC平臺獨立計算資源。適用于對實時性要求嚴(yán)苛，云端處理時延不滿足要求的場景；前端數(shù)據(jù)量巨大，需在本地壓縮或推理的場景；同時適用于多數(shù)工業(yè)產(chǎn)品質(zhì)量檢測類應(yīng)用，如布匹質(zhì)量檢測，手機(jī)蓋板質(zhì)量檢測等。

圖2 現(xiàn)場推理與閉環(huán)控制

第三種方式為邊緣推理與閉環(huán)控制，架構(gòu)如圖3所示。此方式是將算力部署在MEC平臺，邊緣云硬件及軟件能力易擴(kuò)容，資源可復(fù)用，更利于視覺應(yīng)用廣泛推廣；現(xiàn)場部署的硬件簡單、靈活、標(biāo)準(zhǔn)化；但受網(wǎng)絡(luò)連接穩(wěn)定性、成本、網(wǎng)絡(luò)和MEC建設(shè)影響較大。適用于對視覺應(yīng)用對處理時延要求不嚴(yán)苛，同時傳輸總數(shù)據(jù)量不大的場景，如產(chǎn)線設(shè)備狀態(tài)監(jiān)控的視覺抄表應(yīng)用。

圖3 邊緣推理與閉環(huán)控制

3 AOI人工智能二次檢測部署方案

本方案旨在探索實現(xiàn)PCB瑕疵一體化檢測，通過以基于深度學(xué)習(xí)的目標(biāo)檢測為核心的機(jī)器視覺技術(shù)，融合5G網(wǎng)絡(luò)，替代人工二次篩選過程。質(zhì)檢方案如圖4所示，改造后人工智能二次檢測部分采用人工智能機(jī)器視覺技術(shù)，對PCB檢測過程中AOI設(shè)備的初次檢測結(jié)果進(jìn)行二次分析。待檢測數(shù)據(jù)取自AOI設(shè)備數(shù)據(jù)服務(wù)器，經(jīng)檢測模塊檢測后，將基于人工智能的二次檢測結(jié)果傳遞至后續(xù)VRS設(shè)備，用于進(jìn)行后續(xù)工作。

圖4 質(zhì)檢方案改造前后對比

3.1 系統(tǒng)軟件設(shè)計

PCB裸板機(jī)器視覺檢測系統(tǒng)由圖像采集模塊和邊緣檢測平臺兩部分組成，具體如圖5所示。其中，圖像采集模塊負(fù)責(zé)訪問AOI設(shè)備，匯總AOI設(shè)備針對PCB的初次檢測結(jié)果，實現(xiàn)圖像數(shù)據(jù)采集任務(wù)，并實時回傳至邊緣檢測平臺進(jìn)行檢測。邊緣檢測平臺負(fù)責(zé)接收數(shù)據(jù)并對圖像進(jìn)行預(yù)處理，通過預(yù)訓(xùn)練AI檢測模型對PCB圖像進(jìn)行瑕疵檢測，以及傳輸誤檢圖像用于模型再優(yōu)化。

圖5 PCB裸板機(jī)器視覺檢測系統(tǒng)組成

圖像采集模塊可劃分為圖像采集、圖像傳輸兩部分。不同于一般的機(jī)器視覺檢測系統(tǒng)，由于AOI設(shè)備在初次檢測過程中，已經(jīng)通過自身的圖像采集模塊控制光源、相機(jī)等完成了PCB圖像采集并輸出了檢測結(jié)果。因此，本部分的圖像采集可僅負(fù)責(zé)訪問AOI設(shè)備的檢測結(jié)果輸出路徑，匯總初次檢測結(jié)果。圖像傳輸部分則按約定將匯總的初次檢測結(jié)果，傳輸至邊緣檢測平臺。

邊緣檢測平臺由圖像接收、圖像預(yù)處理、瑕疵檢測和誤檢反饋四部分組成。平臺接收圖像采集模塊發(fā)送的AOI設(shè)備初檢結(jié)果圖像，經(jīng)校正、去噪、增強(qiáng)等一系列圖像預(yù)處理措施，進(jìn)一步突出目標(biāo)特征后，將AOI設(shè)備初檢結(jié)果圖像送至瑕疵檢測模塊完成二次檢測。誤檢反饋用于積累誤判圖像，后續(xù)改進(jìn)檢測模型。當(dāng)系統(tǒng)檢測精度表現(xiàn)不佳或不足以滿足應(yīng)用時，可通過開啟誤檢反饋模式，人工輔助判斷瑕疵檢測模塊的二次檢測結(jié)果是否正確，將誤判圖像留存積累，用于后續(xù)模型訓(xùn)練改進(jìn)。

3.2 系統(tǒng)部署方式

使用過程中，通過在廠區(qū)內(nèi)部署帶有輔助計算卡的計算設(shè)備(或租賃中心云/MEC云)，借助5G網(wǎng)絡(luò)低時延、高帶寬的網(wǎng)絡(luò)特性，AOI設(shè)備初檢結(jié)果圖像能夠高效匯聚至搭載PCB裸板機(jī)器視覺檢測系統(tǒng)的計算中心，進(jìn)而完成智能檢測與結(jié)果反饋。整個系統(tǒng)主要有以下三種部署方式，如圖6所示。

圖6 部署方案

1)MEC邊緣云+中心云部署方式。數(shù)據(jù)采集模塊部署于AOI設(shè)備服務(wù)器，邊緣檢測平臺部署于MEC邊緣云，瑕疵檢測模塊借助MEC算力完成瑕疵二次檢測。通過MEC部署，數(shù)據(jù)在5G網(wǎng)絡(luò)的傳輸過程中能夠借助UPS卸載敏感信息，實現(xiàn)數(shù)據(jù)不出廠，極大提高企業(yè)的數(shù)據(jù)保密性與安全性。項目實際落地過程中，即采用此方式完成系統(tǒng)部署。

2)中心云部署。檢測平臺部署于中心云，數(shù)據(jù)通過5G網(wǎng)絡(luò)上傳至中心云進(jìn)行處理運算。企業(yè)無需單獨購置昂貴的計算設(shè)備用于支撐檢測運算，能夠最大限度地減少生產(chǎn)線改造復(fù)雜性，降低企業(yè)數(shù)字化、智能化過程中的改造成本。

3)現(xiàn)場部署。購置現(xiàn)場計算設(shè)備，檢測平臺部署于生產(chǎn)線一側(cè)的現(xiàn)場計算設(shè)備中。現(xiàn)場部署設(shè)備不出車間，OT與IT網(wǎng)絡(luò)可隔離，真正實現(xiàn)數(shù)據(jù)的生產(chǎn)側(cè)處理，最大程度地提升企業(yè)生產(chǎn)效率。

3.3 關(guān)鍵技術(shù)研究

近年來，得益于數(shù)據(jù)的大量積累和設(shè)備計算能力的有效提升，人工智能技術(shù)以深度神經(jīng)網(wǎng)絡(luò)為核心，在學(xué)術(shù)界、工業(yè)界的圖像、語音等各領(lǐng)域均獲得了長足發(fā)展[8]。基于人工智能的機(jī)器視覺技術(shù)采用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)PCB圖像[9]，提取圖像特征，相較于傳統(tǒng)視覺技術(shù)，該瑕疵檢測系統(tǒng)可以分析復(fù)雜影像，大幅提升自動化視覺檢測的影像判讀能力和準(zhǔn)確度，并可將瑕疵進(jìn)行自動分類，其分類精度基本達(dá)到、甚至超越了人工分類精度[10]。瑕疵檢測模型構(gòu)建流程如圖7所示。

圖7 人工智能檢測模型構(gòu)建流程

1)數(shù)據(jù)清洗：將存在無效、不完整等問題的圖片清理掉，留下有效圖片。

2)數(shù)據(jù)標(biāo)注：將有效圖片進(jìn)行標(biāo)注，形成特定的，可供后續(xù)算法輸入的數(shù)據(jù)結(jié)構(gòu)，從而保證模型的正確輸入。

3)模型訓(xùn)練：利用設(shè)計好的框架以及算法，對數(shù)據(jù)進(jìn)行訓(xùn)練。根據(jù)數(shù)據(jù)量的大小、分類的種類，以及硬件的設(shè)備、訓(xùn)練時間各不相同。

4)模型應(yīng)用：訓(xùn)練好的模型下發(fā)至本地/邊緣服務(wù)器，對接圖像采集系統(tǒng)，對圖像采集系統(tǒng)輸出的圖像做二次識別，輸出識別結(jié)果。

5)模型優(yōu)化：本地/邊緣服務(wù)器存儲的圖像及識別結(jié)果定期上傳，不斷迭代優(yōu)化模型，提高模型準(zhǔn)確率，改進(jìn)檢測效果。

4 結(jié)語

現(xiàn)有PCB板檢測項目多集中在工具或裝置的創(chuàng)新，其本質(zhì)是使用工具輔助記錄，然后以人工方式進(jìn)行識別。由于輔助設(shè)備、記錄數(shù)據(jù)及人工經(jīng)驗等的限制，檢測質(zhì)量及效率均有待提高。然而，本項目通過基于云平臺的人工智能圖像識別及自動化檢測系統(tǒng)，能夠智能判別故障缺陷，最大程度地實現(xiàn)無人工參與的一體化缺陷檢測。其價值主要體現(xiàn)在以下兩個方面。

1)系統(tǒng)架構(gòu)創(chuàng)新。創(chuàng)新性的引入了目標(biāo)識別框架來進(jìn)行故障的判斷，通過不斷地輸入樣本數(shù)據(jù)，系統(tǒng)根據(jù)所輸入的數(shù)據(jù)進(jìn)行自主調(diào)參，人工干預(yù)性減少，大大提高了模型的穩(wěn)健性。

2)5G與AI融合技術(shù)助力企業(yè)實際生產(chǎn)的應(yīng)用示范。以PCB生產(chǎn)過程中的質(zhì)檢環(huán)節(jié)為應(yīng)用場景，以人工智能技術(shù)為應(yīng)用核心，提升PCB質(zhì)檢效率，助力企業(yè)數(shù)字化、智能化生產(chǎn)，提升經(jīng)濟(jì)效益。借助5G網(wǎng)絡(luò)低時延、高帶寬的網(wǎng)絡(luò)特性，為AI質(zhì)檢提供網(wǎng)絡(luò)支持，具有5G應(yīng)用融合創(chuàng)新的示范效應(yīng)。