基于機器學習的連接器縮針彎針檢測系統研究

韓亦歌，姚宇珂，楊旭偉，魏士皓

（1.中國商飛5G 工業創新中心，上海 201324；2.上海飛機制造有限公司，上海 201324）

隨著“工業4.0”等與智能制造相關的概念被提出，未來智能制造業主要分為“智能實驗室／工廠”及“智能生產”兩大主題。“十二五”中期以來，智能制造成為未來10 年我國制造業轉型升級的發展方向，而航空制造業是先進制造技術領航領域，智能實驗室作為未來航天產品制造基礎設施，其智能化是必然[1]。電連接器是連接器件與組件、組件與單機、單機與單機、系統與系統必不可少的基礎元件，起著傳輸能量和信號的重要作用[2]。電連接器在整個民機工程中都有著巨大而普遍的使用價值，它在控制系統中同時具有信息傳遞和能量傳送的功能，所以連接器的可靠性和安全性對整個工程起著舉足輕重的作用[3]。在航空民機使用中，主要以圓形連接器為主[4]。目前連接器在應用前通常只能進行單純的人目檢查，人工必須判斷插針是否發生扭曲、縮針等，易受外部環境、個體差異等各種因素的影響，因此容易發生漏檢、誤檢的情形，測量的準確度與結果無法得以提高。而且因為對連接器插針的測量是一項大批量且長時間的工作，所以人工檢測通常都無法持續穩定地進行，這是一項帶有相當高復雜性的工作。

目前查詢到有采用傳統的圖像處理技術判斷連接器彎針的文章，其方法對于更換連接器或者更換缺陷類型后，無法進行缺陷的自動識別。本文利用基于機器視覺的圖像采集系統，經過采集大量不同連接器類型以及不同的缺陷類型樣本后，結合機器學習算法訓練樣本，從而使該系統可對于不同類型的連接器以及不同類型的缺陷進行自動識別，測量結果也具有可追溯性。

本文的主要創新點，就是率先把利用機器學習訓練缺陷樣本的測試方法運用到了航空電連接器的插針測試，相比與傳統的人工測試而言，這個方式精度高、重復性好，而且測試結果還帶有可追溯性，更適宜于在工業現場開展電連接器的插針測試，因此有著相當的實用性。

1 總體方案設計

基于機器學習的電連接器缺陷檢測針對電連接器插針是否異常，通過機器視覺取代人眼目視進行的一種檢測。檢測系統需要完成電連接器圖像生成、采集，再到圖像處理、插針異常情況識別，最后將異常情況標記到圖像上，并進行圖像保存。所以，整個體系應該分為圖像收集單元、圖像處理單元、缺陷檢測單元和圖像管理單元。基于機器學習的電連接器缺陷檢測系統流程如圖1 所示。

圖1 基于機器學習的電連接器缺陷檢測系統流程Fig.1 Flow chart of electrical connector defect detection system based on machine learning

2 圖像采集硬件選擇

基于機器學習的連接器縮針彎針測試控制系統的圖像收集模組基本上包含了燈光控制器、燈光、鏡頭以及攝像機。其基本組成及示意圖，如圖2所顯示。

光源直接影響圖像采集的質量。照明系統是機器視覺應用最關鍵的部分之一，其主要目標是以合適的方式將光線投射到被測物體上，突出被測特征部分的對比度[5]。為確保相機采集到的圖像清晰、無陰影，因此需要選擇一個光源均勻性好的、具有較寬光譜范圍的、光照強度足夠的并且具有較長的使用壽命和較高穩定性的光源。本模塊選用了白色光源雙排燈珠白光，燈珠呈環形分布在被測單元正上方和相機周圍，確保了光線均勻，無陰影。此外，光源控制器能對光源進行有效調節，方便調節光照。

鏡頭采用Basler Premium C 口鏡頭，帶有25 mm定焦距，光圈范圍F2.2-F22，分辨率為500 萬像素。這款Basler 鏡頭屬于Premium 產品線，分辨率高、失真度低以及暗角極小，成像質量出眾，這些特點讓Basler Premium 鏡頭非常適用于分辨率極高的相機，助力分析細微的結構[6]。Basler 鏡頭如圖2所示。

圖2 Basler 鏡頭Fig.2 Basler camera lens

相機是直接進行圖像采集的部分。為保證成像質量，采用Basler a2A2590-60umBAS USB3.0 相機配有Sony IMX334ROI CMOS 芯片，幀速率達60 fps，分辨率達2592x1944 pixel，能滿足數據高速傳輸的要求。Basler 工業相機如圖3 所示。

圖3 Basler 工業相機Fig.3 Basler industrial camera

3 機械結構的設計

檢測裝置如圖4 所示，其特征包括：圖像采集模塊和機械控制模塊。圖像采集模塊包括序號3，4和5；機械調節模塊包括序號1，2 和6。

圖4 工裝臺結構示意圖Fig.4 Structure diagram of tooling platform

1 號模塊：可以橫向調節相機拍攝位置；2 號模快：可以調節相機縱向位置；3 號模塊：可以調節相機橫向拍攝角度（以鏡頭垂直向下為0°，調節范圍為-90～90°）；4 號模塊：固定相機和補光燈；5 號模塊：可以調節補光燈亮度；6 號模塊：固定待拍攝零件，并且可以上下調節零件固定高度位置。

通過調節1，2 和3 號模塊，可以把相機鏡頭固定朝向零件針腳面；再通過調節5 號和6 號模塊，以及相機焦距可以使成像質量達到最佳。

在建設工程項目管理工作中，合同雙方對合同條款的理解可能存在一定的偏差。這就容易導致在結算時，因工作變更、價格浮動、對合同條款不熟悉等因素給企業的經濟利益帶來嚴重的損失，在維權方面也存在一定的困難[4]。在施工工程發生變更事項時，如果變更確認不及時，責任方劃分不明確，在竣工結算時就會遇到簽證、確認方面的問題，導致延誤工程結算時間，增加工程的投入成本。

首先將相機攝像頭朝下，固定于4 號模塊中，并將補光燈固定在攝像頭下方；將補光燈與5 號模塊鏈接通電；將待檢測零件針腳面朝上，固定于6號模塊上；調節1，2，3 號模塊，使相機鏡頭按照拍攝需求對準零件針腳面；然后調節6 號模塊，使零件針腳面完整被鏡頭拍攝到；最后調節5 號模塊和相機焦距，使拍攝畫面質量達到最佳。本工裝臺裝置調節靈活、使用方便、通用性強。

4 算法設計及實現

首先通過調整各種類型的連接器，并調節工裝臺的拍攝角度，對于所收集得到的圖象開始完成了圖象校準、灰度化和二值化等的預處理步驟。然后將預處理后的圖片進行針腳的定位，最后進行缺陷算法的檢測。流程如圖5 所示。

圖5 整體算法設計流程Fig.5 Overall algorithm design flow chart

4.1 工裝臺拍攝參數調整

對于不同類型的元件，需要對工裝臺的拍攝角度進行調整，調整維度包含5 個部分：

1）橫向滑塊模塊：調整相機整體的左右位置，與角度調整共同設置成傾斜拍攝，滑軌最左側為0刻度；

2）縱向滑塊模塊：調整相機與元件處于同一垂直平面，與橫向滑塊模型相交處為0 刻度；

3）相機角度調整模塊：調整相機的角度，與橫向滑塊共同設置成傾斜拍攝，刻度見實物所示；

4）零件固定模塊：起到固定元件和調節高度的作用，工裝臺整體結構平面為0 刻度；

5）補光燈調節模塊：起到補充光亮條件的作用。

不同類型元件的相機拍攝參數如表1 所示。

表1 相機拍攝參數Tab.1 Camera shooting parameters

4.2 圖像預處理

圖像由灰度相機采集后，由計算機進行存儲和處理。灰度圖像在檢測中的效率更高，因此首先對采集的RGB（紅、綠、藍）彩色源圖像作灰度化處理[7]。圖像預處理的流程包括：①圖像尺度的調整，圖像由原始尺寸調整為統一的2000×800；②圖像灰度標準化：距離變換是對二值圖像的一種操作運算，它將一幅二值圖像轉換為一幅灰度圖像，在這幅圖像中，每個像素的灰度值是該像素與距其最近的背景間的距離[8]。將所有灰度值標準化到［-0.5，0.5］；③圖像邊緣擴增，在圖像邊緣添加0 像素，將圖像尺寸擴增為32 的倍數；④圖像數據形式轉換，將圖像數據形式轉換為張量的格式。

4.3 連接器針腳定位

算法最終輸出針腳的位置信息和類別，其中位置信息指針腳在圖像中的外接矩形框，具體包含矩形框的左上角坐標和長寬。類別指正常、傾斜和縮短3 種類型。根據每個針腳的位置信息和類別可以唯一確定針腳在圖像中的位置以及類別。

5 缺陷檢測算法

算法流程如圖6 所示。針腳缺陷檢測算法基于二階段的目標檢測算法進行改進，通過判斷中心關鍵點是否落在中心區域，可以過濾掉大量的誤檢候選框。隨后，將保留的候選框送到多元分類器進行預測和回歸，獲取最終的檢測結果。實驗結果表明，該方法在MS-COCO 數據集上能夠取得46.7%的檢測精度，與其他同類算法相比具有較強的競爭力[9]。由圖像采集設備獲取連接器針腳拍攝圖，相機采集的原始圖像作為檢測算法的輸入，首先經過第1 階段的卷積神經網絡預測初步的候選框，然后對每個候選區域的分類和檢測框預測結果進行第2 階段的修正，最終輸出每個針腳的檢測框和其對應的缺陷類別。

圖6 檢測算法流程Fig.6 Detection algorithm flow chart

本方法的主要貢獻在提出基于位置編碼的缺陷檢測方法。一般的二階段的檢測算法是基于滑動窗口的方式對圖像中每個區域進行物體的分類和大小預測，并沒有考慮到由于不同拍攝方式導致的投影差異，且效率低下。例如，由于零件針腳相對于拍攝相機的位置不同，會導致同樣的缺陷在特征表達會有差異。為了解決直接使用卷積神經網絡進行滑動窗口檢測效率較低的問題[10]，在第二階段的檢測過程中，本方法根據每個候選框（Proposal）的中心點位置信息作為位置編碼，讓神經網絡在訓練優化過程中學習到不同位置的針腳形狀模板。在測試過程中，將每個候選區域的針腳特征與模板庫進行比較，從而分辨不同位置的針腳形狀是否正常。本方法通過上述的方法提升網絡對于缺陷針腳的精確檢測。其應用結果如圖7 所示。

圖7 應用結果Fig.7 Results application

在圖7 中，標記為normal 的是正常針腳，標記為tilt 的是缺陷針腳。由此可以看出，該系統識別結果良好，能有效識別出連接器針腳的缺陷，消除了人工誤判的風險，有效提高飛機線纜裝配過程的自動化與智能化水平。

6 結語

基于機器學習的連接器縮針彎針檢測系統研究實現了在復雜環境下的自動識別與顯示的功能，消除了人工誤判的風險。對于飛機總裝制造過程中，線纜端接裝配智能化的提升提供了研究方向。