軍用電子元器件檢測(cè)篩選中可視化技術(shù)的應(yīng)用

楊恒，李靜

（陜西省電子技術(shù)研究所，陜西西安，712000）

0 引言

軍用電子元器件因其高可靠性要求的特點(diǎn)，在生產(chǎn)、篩選、檢測(cè)、驗(yàn)收中需要多次承受實(shí)驗(yàn)考核，器件表面尤其是引腳不可避免的會(huì)出現(xiàn)損傷。這些損傷部分肉眼可見(jiàn)，但更多為細(xì)微損傷，不易分辨。細(xì)微損傷雖然不會(huì)對(duì)電子元器件的使用產(chǎn)生重大影響，但是在軍工領(lǐng)域，不放過(guò)一點(diǎn)瑕疵是對(duì)武器裝備可靠性的莊重承諾，更是對(duì)國(guó)防事業(yè)的忠誠(chéng)體現(xiàn)。針對(duì)這一問(wèn)題，傳統(tǒng)的外觀檢查法明顯不再適用，機(jī)器視覺(jué)可以作為一種高分辨率、高精細(xì)度的檢測(cè)方法，引入到軍用電子元器件的檢測(cè)篩選工作中，實(shí)現(xiàn)更高等級(jí)的質(zhì)量把關(guān)。機(jī)器視覺(jué)是伴隨著電子技術(shù)的發(fā)展而新興的一門(mén)學(xué)科，采用可見(jiàn)光、紅外光等工作譜段，采集試樣圖片，再加以圖像處理，檢查試樣的細(xì)微之處，對(duì)比發(fā)現(xiàn)異常，自動(dòng)回復(fù)檢測(cè)結(jié)果。其優(yōu)點(diǎn)是以智能化方式運(yùn)行，檢測(cè)效率高；圖像可高倍放大，檢測(cè)精度高；智能軟件可調(diào)，適用門(mén)類(lèi)廣；檢測(cè)標(biāo)準(zhǔn)可人工設(shè)置，檢測(cè)準(zhǔn)確性高?；跈C(jī)器視覺(jué)技術(shù)的優(yōu)點(diǎn)，本文利用機(jī)器可視化技術(shù)進(jìn)行優(yōu)化，構(gòu)建多角度高速成像機(jī)構(gòu)，大幅提升軍用電子元器件檢測(cè)篩選的效率，再運(yùn)用可視化技術(shù)根據(jù)從側(cè)面捕獲的圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)樣本標(biāo)簽標(biāo)注，提升檢測(cè)篩選的全面性和準(zhǔn)確性，確保檢測(cè)篩選過(guò)程可以高質(zhì)量、穩(wěn)定、可靠的完成。

1 可視化技術(shù)檢測(cè)技術(shù)圖像采集原理和視角設(shè)置

由于軍用電子元器件外部狀態(tài)和形狀的制約，人工手動(dòng)檢測(cè)篩將依賴于測(cè)試儀器頭頂?shù)恼嬗^察和篩選，以確保效率。這種檢測(cè)篩選方法對(duì)線材形狀的檢測(cè)效率高，但很難觀察線材側(cè)面的壓痕和切割，尤其是線材外絕緣材料的熱絲質(zhì)量。圖1顯示了軍用電子元件個(gè)體的不同質(zhì)量。軍用電子元器件由于制造時(shí)間和制造溫度的不同，其效果也不盡相同。

圖1 軍用電子元件個(gè)體的不同質(zhì)量示例

軍用電子元器件的人工檢測(cè)篩查存在兩個(gè)問(wèn)題：一點(diǎn)是容易導(dǎo)致漏篩、錯(cuò)篩，給后續(xù)流程帶來(lái)十分多的質(zhì)量風(fēng)險(xiǎn)；另一點(diǎn)是，人工檢測(cè)篩選勞動(dòng)強(qiáng)度大，會(huì)造成檢測(cè)和篩選的同步性低，很多本身符合要求的軍用電子元器件由于錯(cuò)誤篩選而被浪費(fèi)。為了解決以上問(wèn)題，構(gòu)建了一種新的可視化檢測(cè)篩選機(jī)構(gòu)，實(shí)現(xiàn)了核心部件檢測(cè)與篩選的集成統(tǒng)一。構(gòu)建的可視化檢測(cè)篩選機(jī)構(gòu)工作原理與組成示意見(jiàn)圖2。

圖2 軍用電子元器件可視化成像機(jī)構(gòu)示意

設(shè)計(jì)的可視化成像檢測(cè)軍用電子元器件機(jī)構(gòu)采用三個(gè)相機(jī)均勻分布,視場(chǎng)中間設(shè)置夾持旋轉(zhuǎn)臺(tái)的方式，所以可以生成被檢測(cè)的每個(gè)軍用電子元器件的至少八個(gè)不同角度的圖像。軍用電子元器件檢測(cè)篩選機(jī)構(gòu)的核心部分由負(fù)責(zé)采集試樣圖像的“檢測(cè)設(shè)備視覺(jué)模塊”和負(fù)責(zé)圖像對(duì)準(zhǔn)與檢測(cè)的“背景模型訓(xùn)練模塊”兩部分組成。檢測(cè)設(shè)備視覺(jué)模塊是視頻圖像采集的前端，負(fù)責(zé)將視場(chǎng)中的試樣圖像清晰攝錄下來(lái)并穩(wěn)定傳輸給后端圖像處理設(shè)備，因此需要考慮試樣拍攝的角度與光照度，保證采集到的圖像清晰、均勻，最重要的是實(shí)現(xiàn)一次拍攝采集試樣多角度圖像。通過(guò)以上分析，將檢測(cè)設(shè)備視覺(jué)模塊設(shè)計(jì)為由三組工業(yè)相機(jī)在同一平面內(nèi)互呈120°排布，工業(yè)相機(jī)采用短焦距鏡頭以適應(yīng)近距離拍攝的工作環(huán)境，另外設(shè)置三組高亮度LED照明光源提供小范圍內(nèi)高照度環(huán)境。待檢試樣裝夾于可旋轉(zhuǎn)平臺(tái)上，在三架相機(jī)的視場(chǎng)中勻速轉(zhuǎn)動(dòng)，方便相機(jī)采集各個(gè)角度圖像。檢測(cè)裝置的視覺(jué)模塊位于軍用電子元器件缺陷檢測(cè)裝置中，主要包括光學(xué)成像子模塊和缺陷在線檢測(cè)與計(jì)算子模塊。

2 軍用電子元器件檢測(cè)篩選中可視化技術(shù)應(yīng)用

2.1 可視化技術(shù)檢測(cè)篩選邏輯

因?yàn)檐娪秒娮釉骷考砻嬲鎸?shí)形貌的復(fù)雜性，想要減少檢測(cè)難度，增加檢測(cè)效率和精度，對(duì)軍用電子元器件的外部質(zhì)量采用了兩階段的檢測(cè)和分類(lèi)過(guò)程。由圖3可以得出，篩選過(guò)程是一個(gè)結(jié)合了初始宏觀篩分和微觀零件精細(xì)篩分的過(guò)程。

圖3 軍用電子元器件圖像檢測(cè)范圍分割示意圖

軍事電子元器件外部質(zhì)量檢驗(yàn)的兩個(gè)階段篩選檢測(cè)過(guò)程，可以通過(guò)改進(jìn)兩個(gè)點(diǎn)的檢驗(yàn)過(guò)程和建立相應(yīng)的機(jī)構(gòu)來(lái)實(shí)現(xiàn)。步驟1，利用機(jī)械經(jīng)典的視覺(jué)算法，對(duì)軍事電子元器件的絕緣面積進(jìn)行跟蹤檢測(cè)，使絕緣層異常的軍用電子元器件在檢測(cè)篩選開(kāi)始時(shí)進(jìn)行跟蹤。在步驟2中，確定磁頭的核心面積，獲得高清圖像，用人工智能算法準(zhǔn)備磁頭輪廓和缺陷選擇。

在圖4中可以看出,基于研究機(jī)制,采用了使用傳統(tǒng)的機(jī)械視覺(jué)演算法的視覺(jué)檢測(cè)視場(chǎng)大直徑方法,結(jié)合人工智能視覺(jué)檢測(cè)的算法將視野小直徑很細(xì)的電子元器件檢測(cè),用以提高檢測(cè)水平。

圖4 篩選邏輯流程

2.2 可視化技術(shù)數(shù)據(jù)集建設(shè)

可視化算法模型確保了篩選檢測(cè)結(jié)果的最低精確數(shù)值，并且通過(guò)數(shù)據(jù)結(jié)果規(guī)定了最高篩選檢測(cè)結(jié)果數(shù)值。軍用電子元器件的篩選檢測(cè)場(chǎng)景是一個(gè)典型的分類(lèi)任務(wù)，也就是說(shuō)，在基于獲得軍用電子元件的外部構(gòu)造圖像上，識(shí)別符合或不符合的樣品基本上可以定義為一個(gè)二元分類(lèi)問(wèn)題。 然而，由于各種復(fù)雜因素的圖形特性，本研究詳細(xì)分類(lèi)，建立了多模型的分類(lèi)、軍事實(shí)踐的電子數(shù)據(jù)，在進(jìn)行數(shù)據(jù)采集的樣本收集，組織和模式分類(lèi)和標(biāo)簽，并確定分類(lèi)標(biāo)簽和樣本的數(shù)量。此外，細(xì)分產(chǎn)品的不同形式是分為不同的類(lèi)別，尤其是將來(lái)未知的故障，進(jìn)行單獨(dú)分類(lèi)標(biāo)簽，執(zhí)行一個(gè)特定的針對(duì)性的處理，以及建立多個(gè)數(shù)據(jù)集分類(lèi)基本滿足檢測(cè)篩選的需求。

所提取的基本數(shù)據(jù)庫(kù)的主要特征，如“積極”、“扭曲”、“膚淺”、“好像”、“破壞”和“不存在”等，被提取的分類(lèi)的結(jié)果中的許多特征是建立在此基礎(chǔ)上，這樣的等級(jí)分類(lèi)的基本數(shù)據(jù)集更加合理和適當(dāng)?shù)?。部分分?lèi)是顯著的，在一定程度上盡可能少的，是由于數(shù)據(jù)挖掘分類(lèi)模式分類(lèi)邊界造成錯(cuò)誤，導(dǎo)致現(xiàn)有安裝模式的缺陷，在缺乏數(shù)據(jù)的樣本附近可能誤差模型確定類(lèi)別的錯(cuò)誤，導(dǎo)致模型的分類(lèi)、影響更準(zhǔn)確地分類(lèi)。為了避免這種情況，在具體實(shí)施的階段，基于數(shù)據(jù)集的數(shù)據(jù)集分類(lèi)部分實(shí)際情況必須得到適當(dāng)?shù)暮喜?，在誤差允許的范圍內(nèi)，進(jìn)行恰當(dāng)?shù)募希@樣的比例的樣本數(shù)據(jù)集之間的數(shù)據(jù)每一類(lèi)別比較均勻，更加穩(wěn)固的支持在模型類(lèi)的角度的數(shù)據(jù)集。

2.3 圖像識(shí)別算法框架設(shè)計(jì)

本研究的本質(zhì)是基于卷積神經(jīng)網(wǎng)絡(luò)CNN解決多分類(lèi)預(yù)測(cè)問(wèn)題，即通過(guò)圖像信息流的數(shù)值運(yùn)算，發(fā)現(xiàn)其中的拐點(diǎn)，定義為圖像與標(biāo)準(zhǔn)值存在重大差異，可判定為器件異常，其核心是CNN網(wǎng)絡(luò)的實(shí)施。在當(dāng)?shù)谝浑A段經(jīng)典機(jī)器視覺(jué)對(duì)軍用電子元器件尺寸檢測(cè)篩選工作完成后，在確定尺寸合乎規(guī)范要求的前提下，選取相應(yīng)的檢驗(yàn)?zāi)０澹鳛闄z測(cè)標(biāo)準(zhǔn)值，CNN網(wǎng)絡(luò)則負(fù)責(zé)軍用電子元器件部位的檢測(cè)篩選，通過(guò)卷積運(yùn)算，發(fā)現(xiàn)采集圖像與檢測(cè)標(biāo)準(zhǔn)值的差異點(diǎn)，最后系統(tǒng)取得兩個(gè)部分的計(jì)算參數(shù)與分類(lèi)結(jié)果，將判定的差異點(diǎn)以圖像的形式還原到檢測(cè)報(bào)告中。為提升開(kāi)發(fā)效率，采用自動(dòng)化設(shè)備通用編程軟件與經(jīng)典深度學(xué)習(xí)開(kāi)源框架聯(lián)合編程，借鑒成熟功能模塊，以提高軟件魯棒性，搭建經(jīng)典機(jī)器視覺(jué)算法與CNN網(wǎng)絡(luò)模型有效結(jié)合的智能化軟件系統(tǒng)架構(gòu)。軟件核心功能模塊主要包括：檢測(cè)目標(biāo)數(shù)據(jù)獲取、存儲(chǔ)與預(yù)處理、經(jīng)驗(yàn)引導(dǎo)算法流程、核心識(shí)別模型等，其中經(jīng)驗(yàn)引導(dǎo)算法流程和核心識(shí)別模型完全自主開(kāi)發(fā)。

在開(kāi)發(fā)核心識(shí)別模型軟件模塊中，鑒于器件的失效形式復(fù)雜多變，無(wú)法通過(guò)枚舉方式預(yù)先設(shè)定全部失效模式的檢測(cè)要點(diǎn)，因此需要引入基于基礎(chǔ)數(shù)據(jù)集訓(xùn)練初始深度學(xué)習(xí)模型，作為器件失效模式判別的基礎(chǔ)數(shù)據(jù)，并在此基礎(chǔ)上構(gòu)建人工智能算法與工程師經(jīng)驗(yàn)相結(jié)合的處理模式，通過(guò)軟件智能和人在回路的方式，提高軟件的適用性和判別準(zhǔn)確性。通過(guò)不斷的數(shù)據(jù)積累，實(shí)現(xiàn)訓(xùn)練集樣本數(shù)量和種類(lèi)的擴(kuò)充，在可控的條件下實(shí)現(xiàn)算法精度的迭代上升。

如圖5所示，是軍用電子元器件檢測(cè)篩選方案整體實(shí)施流程。通過(guò)將檢測(cè)篩選流程劃分為三個(gè)階段，賦予不同階段不同的重點(diǎn)任務(wù)，基礎(chǔ)數(shù)據(jù)集準(zhǔn)備階段重在實(shí)現(xiàn)基本的檢測(cè)功能，其目的是采集并積累數(shù)據(jù)；模型訓(xùn)練階段則是在足夠樣本量的前提下通過(guò)軟件深度學(xué)習(xí)和人工干預(yù)，完善并調(diào)整數(shù)據(jù)集，達(dá)到軟件檢測(cè)篩選功能的全面實(shí)現(xiàn)；維護(hù)提升階段重在軟件的維護(hù)和功能的提升，剔除數(shù)據(jù)集中關(guān)聯(lián)度低的數(shù)據(jù)、檢查其中數(shù)據(jù)的完整性、定期備份軟件，通過(guò)使用發(fā)現(xiàn)軟件的功能薄弱點(diǎn)，為下一版本的功能提升積累數(shù)據(jù)與實(shí)例。為了能夠使模型不斷完善，識(shí)別準(zhǔn)確率不斷提高，本研究在樣本數(shù)據(jù)集建設(shè)方面構(gòu)建適應(yīng)于業(yè)務(wù)場(chǎng)景的流程及更新模式。

圖5 軍用電子元器件篩選方案整體實(shí)施流程

3 試驗(yàn)結(jié)果分析

可視化電子元器件檢測(cè)篩選平臺(tái)的信息處理器選用Intel Xeonw-2123作為CPU，以保證圖像運(yùn)算的處理速度；考慮到卷積運(yùn)算的運(yùn)算量，配置16G內(nèi)存；人機(jī)交互界面以圖像為主要展示內(nèi)容，因此顯卡選用Nvidia GeForce GTX1080Ti，滿足圖像顯示的分辨率和流暢度要求。

為驗(yàn)證算法流程以及所構(gòu)建數(shù)據(jù)集的有效性，本文選用googlenet作為深度檢測(cè)篩選網(wǎng)絡(luò)模型，基礎(chǔ)檢測(cè)篩選率設(shè)定為0.001，檢測(cè)篩選率變化頻率為1/300，檢測(cè)篩選率變化指數(shù)為0.9，權(quán)重衰減值為0.00002。針對(duì)10批次同類(lèi)型的電子元器件進(jìn)行檢測(cè)篩選。為測(cè)試軟件運(yùn)行的準(zhǔn)確性，同步采集了人工檢測(cè)篩選的數(shù)據(jù)作為對(duì)照。模型篩檢和人工篩檢的元器件型號(hào)為同一型號(hào)，但每批次數(shù)量略有不同，因此將合格率作為對(duì)比參考，以避免數(shù)量差異的影響。數(shù)據(jù)記錄見(jiàn)表1。

表1 10批軍用電子元器件篩檢對(duì)比實(shí)驗(yàn)結(jié)果

通過(guò)分析測(cè)試數(shù)據(jù)結(jié)果，可以發(fā)現(xiàn)模型篩檢的合格率普遍高于人工篩檢的數(shù)值，從一個(gè)側(cè)面證明模型篩檢方法細(xì)節(jié)分辨能力更強(qiáng)，對(duì)瑕疵的檢測(cè)更為仔細(xì)，所以檢測(cè)結(jié)果更為可信。

4 結(jié)論

電子元器件的檢測(cè)篩選是電子產(chǎn)品質(zhì)量保證的第一道關(guān)口，軍品級(jí)電子元器件的檢測(cè)篩選更是關(guān)系到裝備的可靠性，尤為關(guān)鍵。采用信息化技術(shù)手段提高檢測(cè)篩選線的自動(dòng)化水平，甚至賦予智能化能力，是元器件檢測(cè)篩選今后的發(fā)展方向。本文從元器件表面檢測(cè)一個(gè)點(diǎn)出發(fā)，探究智能化檢測(cè)篩選的技術(shù)路徑，希望為全產(chǎn)業(yè)的條件升級(jí)提供借鑒參考。元器件表面質(zhì)量還不足以證明元器件質(zhì)量達(dá)標(biāo)，還需要電性能測(cè)試和環(huán)境應(yīng)力篩選等檢測(cè)步驟，這也是今后智能化產(chǎn)線升級(jí)的研究方向，還需要深入研究與實(shí)踐。