基于計算機視覺的航天電連接器插針質(zhì)量檢測技術(shù)研究

袁鵬哲 余紫揚 張 楠 劉 璞 張烈山

基于計算機視覺的航天電連接器插針質(zhì)量檢測技術(shù)研究

袁鵬哲1余紫揚1張 楠2劉 璞1張烈山1

（1.浙江理工大學，杭州 310018；2.首都航天機械有限公司，北京 100076）

提出了一種基于計算機視覺的連接器插針質(zhì)量檢測方法。該方法利用高分辨率工業(yè)相機和成像系統(tǒng)對被測電連接器插針進行攝像，經(jīng)圖像預處理、插針特征點提取、坐標點配準和模板比對等處理后，根據(jù)比對結(jié)果對插針進行合格性判定。搭建了一套影像測量系統(tǒng),經(jīng)實驗驗證，結(jié)果表明該方法基本實現(xiàn)了對航天連接器插針的自動化檢測，合格性判定成功超過98.67%，基本滿足了應用要求。

電連接器；計算機視覺；坐標配準；模板比對

1 引言

隨著計算機技術(shù)的發(fā)展，航天制造業(yè)作為我國重要戰(zhàn)略性產(chǎn)業(yè)，面臨轉(zhuǎn)型升級[1]。各類航天飛行器內(nèi)部包含各種傳感器模塊或者具有特定功能電路模塊[2，3]。模塊之間常采用電連接器交互數(shù)據(jù)或傳輸能量。為保證航天傳感器模塊信號連接或能量傳輸?shù)目煽啃裕褂们绊殭z測航天電連接器的插針[4]。計算機視覺技術(shù)作為目前檢測領(lǐng)域最有效的方法之一，利用模擬人眼視覺識別效果，獲取并處理信息[5，6]。相較于人眼，具有更高的準確率與更快的檢測速度，減少人力物力的投入，提高生產(chǎn)效率，促使生產(chǎn)線全自動化[7～11]。

視覺檢測技術(shù)在航空航天制造領(lǐng)域也發(fā)揮著越來越重要的作用[12，13]，李曉慶等人[14]利用機器視覺對現(xiàn)有運載火箭增壓氣瓶氣密性實現(xiàn)自動檢測；邢雪亮等人[15]提出基于機器視覺的航空鉚釘尺寸高精度與智能化的檢測方法；畢超等人[16]針對飛機蒙皮上鉆孔點位處的法矢檢測提出了結(jié)構(gòu)光視覺檢測系統(tǒng)；南京電子技術(shù)研究所通過分析電連接器三維裝配設(shè)計的流程及特點，提出了對電連接器三維快速裝配工具的應用技術(shù)[17]。提出了一種基于計算機視覺技術(shù)檢測方法，通過插針坐標提取、模板比對，實現(xiàn)航天航空插頭接口處插針的自動化缺陷檢測識別。

2 插針檢測原理

工業(yè)現(xiàn)場電連接器插針自動檢測系統(tǒng)如圖1所示。插頭平放傳送帶上由PLC控制傳送節(jié)拍，達到檢測工位后，由工業(yè)成像系統(tǒng)采集電連接器的插針接口影像。

圖1 航天電連接器插針自動檢測系統(tǒng)示意圖

該系統(tǒng)利用工業(yè)機械臂調(diào)整工業(yè)相機的拍攝位置和角度，獲取被測產(chǎn)品上的電連接器圖像信息，并傳輸至計算機。計算機獲得被測插頭圖像后，從中提取出所需的幾何特征。根據(jù)數(shù)學模型，將特征點點集的坐標歸一化。最后，與標準模板點集配準與比較，判斷是否存在異常點，檢測被測插頭缺陷。

2.1 成像系統(tǒng)模型

高精度相機獲取待測件圖像，其中相機模型是光學成像幾何關(guān)系的簡化。薄透鏡物像公式高斯形式為：

2.2 圖像矯正

在透鏡的實際制作和安裝過程中存在誤差，在成像時會產(chǎn)生徑向和切向畸變，在坐標轉(zhuǎn)換前要矯正。徑向畸變可以通過泰勒級數(shù)展開校正：

式中：(,)——矯正后的坐標；(,) ——矯正前的坐標；——與光學中心的距離；1,2,3——徑向畸變系數(shù)。切向畸變可以通過泰勒級數(shù)展開校正：

式中：1，2——切向畸變系數(shù)。綜上所述，成像系統(tǒng)總共需要得到5個畸變參數(shù)。通過OpenCV函數(shù)庫中張正友標定法[18]標定成像系統(tǒng)所拍攝的標準棋盤格圖像，得到畸變系數(shù)，根據(jù)式（2）和式（3）實現(xiàn)檢測圖像的畸變校正。

3 檢測算法設(shè)計

獲得檢測影像后，通過OpenCV函數(shù)庫處理圖像得到所需特征點信息。對所提取的插針特征點與標準坐標模板進行點集配準，分析兩者坐標位置即可檢測插針缺陷。質(zhì)量檢測算法流程如圖2所示。

圖2 檢測算法總體流程圖

3.1 圖像預處理

為使圖像特征更加突出，便于后續(xù)處理。預處理過程包括濾波、二值化、膨脹腐蝕等。為減少電連接器插口圖像噪點需采用高斯濾波算法預處理。通常采用的是二維高斯濾波，濾波函數(shù)為：

為便于電連接器插針位置的準確提取，需要設(shè)置一定的閾值對圖像二值化處理，將圖像黑白化。采用Ostu算法[19]（大津法）分割自適應閾值，根據(jù)遍歷所有分割閾值對應的圖像類間方差，以最大類間方差所對應的閾值作為分割閾值。其計算公式如下：

式中：0——前景點所占比例；0——前景灰度均值；1——背景灰度均值。

腐蝕膨脹處理便于后期圖像特征目標輪廓提取。經(jīng)過處理后的圖片會有一個平滑的邊界，使邊緣輪廓提取更為準確。圖3所示為某型10針電連接器插針的檢測圖像原圖與預處理后的圖像。

3.2 ROI分割

圖4 ROI分割結(jié)果

利用OpenCV庫中的Findcontours()函數(shù)提取出插頭接口的外輪廓像素，建立ROI掩膜。將掩膜作用于二值化后的圖像，完成ROI分割。圖4所示為前述10針電連接插口檢測圖像ROI分割后效果，準確濾除了所有的背景，僅保留接口區(qū)域，減少了運算量。

3.3 特征點提取

在光源的照射下，插針中心處會形成圓形的光斑，提取圖像中圓形光斑的圓心作為插針的位置，得到插針的位置分布。使用霍夫圓轉(zhuǎn)換[20]對ROI區(qū)域進行圓的提取。已知圓的一般參數(shù)方程為：

化簡后得：

式中，(,)為圖像平面上的圓心坐標，為半徑。在圖像平面上的圓對應其參數(shù)空間中的點(,,)。在圖像平面上的點相對應于其參數(shù)空間中的三維圓錐面。如圖5所示，其中，三元組(i,i,)代表了每一個可能的圓，可定位圓。在圖像中，每一個像素點(i,i)可能在一個或者多個圓上。這樣的圓必須過點(i,i)，且滿足式（7）。

圖5 標準霍夫變換原理

像素點集合{(i,i)}在參數(shù)空間中對應的圓錐面會構(gòu)成圓錐簇。若集合中的所有點都位于同一圓周上，則其構(gòu)成的圓錐簇就會相交于參數(shù)空間中的一點(0,0,0)，而圓錐簇交點對應的是要檢測的圓在圖像平面上的圓心和半徑。

基于霍夫圓變換對插針中心點查找工作過程如下：

圖6 圓心查找示意圖

a.首先對圖像應用Canny邊緣檢測提取邊緣輪廓線；b.使用Sobel算子計算所有邊緣輪廓線上各個像素點的梯度；c.遍歷邊緣輪廓線上所有點，沿著輪廓線上各點的梯度方向畫線，如圖6所示，再統(tǒng)計并排序輪廓線中每個點上過線數(shù)量，根據(jù)設(shè)定的閾值范圍即可找到所有可能的圓心；d.計算邊緣輪廓線上所有像素點距離圓心的距離，從小到大排序，選取合適的半徑；e.如果邊緣輪廓線上有足夠數(shù)量的點組合成一個圓并且其圓心與之前選中圓心的距離足夠大，則保留這個圓心。

根據(jù)各個圓心之間的最小距離、圓的最大半徑、圓的最小半徑等參數(shù)，約束霍夫圓提取的過程，實現(xiàn)插針位置精確提取。如圖7所示，插針位置提取算法的實際效果可以看出，特征點（插針頂部亮斑）提取算法準確地提取出了所有插針的位置。

圖7 插針位置提取效果

3.4 點集配準與插針坐標偏差計算

圖8 模板匹配效果示意圖

提取到待測電連接器各個插針位置后，與標準模板比對可判斷是否存在缺陷。由于拍攝角度不同，被測插頭的插針分布與模板并不是完全對應的，如圖8a所示。偏差判別之前需要配準點集，使檢測圖像坐標系與模板坐標系相匹配。點集的配準分三個步驟：

a. 旋轉(zhuǎn)中心歸一化：首先確定被測點集的旋轉(zhuǎn)中心。由于插針一般為同心圓排布，因此使用最小二乘法對被測點集進行圓的擬合，并以此為旋轉(zhuǎn)中心。根據(jù)旋轉(zhuǎn)中心，歸一化處理被測點集，將旋轉(zhuǎn)中心移動至原點，便于后續(xù)處理。

b. 旋轉(zhuǎn)角度迭代求解：歸一化后的被測點集與標準點集存在旋轉(zhuǎn)差異，需要計算出兩組點集之間的旋轉(zhuǎn)角度。被測點集(i,i)與標準點集(i,i)之間的匹配代價定義為：

被測點集繞旋轉(zhuǎn)中心（原點）旋轉(zhuǎn)的計算公式為：

式中，(,)為原始坐標，(,)為新坐標，為繞原點逆時針旋轉(zhuǎn)的角度。

通過改變旋轉(zhuǎn)角度，匹配代價迭代運算，以最小匹配代價對應的旋轉(zhuǎn)角度作為最終計算結(jié)果。為了減小運算量，在計算旋轉(zhuǎn)角度時采用變步長搜索。首先，以步長step為10°，在[0°, 360°] 區(qū)間內(nèi)迭代運算，取最小匹配代價對應的旋轉(zhuǎn)角度；下一步以步長1°，在[-step,+step] 區(qū)間內(nèi)迭代運算，以此類推，當步長小于0.01°時結(jié)束迭代運算，并輸出最終旋轉(zhuǎn)角度。

c. 點集旋轉(zhuǎn)；根據(jù)旋轉(zhuǎn)中心與旋轉(zhuǎn)角度，運算被測插針點集并與標準點集配準。將被測插針坐標點集與標準模板上的插針坐標比對，如圖8所示。以配準后的兩組點集對應點之間平均距離的兩倍作為判斷閾值，可實現(xiàn)插針的合格性分類，超出閾值的插針即為不合格插針。

4 電連接器插針檢測實驗

為驗證上述計算機視覺方法檢測航天電連接器插針缺陷的有效性，搭建了一套模擬工業(yè)生產(chǎn)應用的影像測量系統(tǒng)，主要由成像系統(tǒng)、機械臂、傳送帶以及上位機構(gòu)成。其成像系統(tǒng)主要參數(shù)指標如表1所示。

表1 成像系統(tǒng)主要參數(shù)描述

以GX16-10P型電連接器為例簡述實驗過程，GX16-10P型電連接器插口標準模板尺寸如圖9所示。

圖9 標準模板

圖10 原始圖像

為驗證所述電連接器插針質(zhì)量檢測方法的有效性，將經(jīng)過掰歪的GX16-10P型電連接器作為檢測對象，利用安裝在機械臂末端的成像系統(tǒng)拍攝連接器接口檢測圖像，原始檢測圖像如圖10所示，可見該連接器右上方插針向外歪斜。

原始圖像預處理后，提取插針坐標并配準點集，與標準模板比較，檢測各個插針是否存在缺陷，有缺陷的插針圈出，實現(xiàn)輸出圖像可視化。配準和檢測結(jié)果如圖11所示，圖11a為點集配準后的效果圖，圖11b中圈出的插針帶有缺陷。圖像處理過程耗時0.5s，能夠滿足要求。

將所提取的插針光斑特征點與標準模板坐標比對，成功判別了被測電連接器的缺陷。所述方法可判斷并找出插針缺陷。

表2 不同型號電連接器插針質(zhì)量檢測結(jié)果

利用該系統(tǒng)對不同型號、不同質(zhì)量的航天電連接器插針重復檢測，統(tǒng)計檢測算法的準確率，驗證所述方法的準確性。分別對合格、不合格的電連接器進行不少于150次的檢測試驗，結(jié)果見表2。從表中的數(shù)據(jù)可以看出，本方法對于不合格產(chǎn)品沒有發(fā)生誤檢。

5 結(jié)束語

針對航天電連接器插針質(zhì)量自動化檢測問題，提出了一種基于計算機視覺的檢測方法。該方法利用影像檢測技術(shù)對航天電連接器插頭接口內(nèi)的插針缺陷進行無人工干預的自主檢測判斷。通過對插頭接口的圖像預處理、輪廓檢測分割、特征點提取、點集配準和模板比對分析，對插頭接口內(nèi)的插針缺陷進行檢測判斷并找出帶有缺陷的插針。經(jīng)過試驗調(diào)試該方法判斷插針缺陷所需時間均在0.8s以內(nèi)，滿足工業(yè)流水線上的插針檢測需求。解決了目前工業(yè)上對航天航空插頭接口處插針缺陷自動化檢測判斷的需求問題。相比于傳統(tǒng)工業(yè)上裝配人員的人眼觀察判斷，在檢測效率上有了很大提升，節(jié)省了人工成本。

1 Li Yun. Empirical Analysis of Technical Efficiency of Chinese Aerospace Manufacturing[J]. ModernEconomy, 2020, 11(4)：807～816

2 陳濟桁. 航空航天制造業(yè)對自動化在線檢測技術(shù)需求迫切[J]. 航空維修與工程，2019(10)：20～21

3 向恒. 淺析智能制造在航空航天制造業(yè)的應用[J]. 智能制造，2018(6)：40～42

4 汪嘉杰. 面向裝配引導的航天電連接器視覺分類識別方法研究[D]. 上海：上海交通大學，2018

5 劉重陽. 基于計算機視覺的透明材料缺陷檢測系統(tǒng)研究[D]. 哈爾濱：哈爾濱理工大學，2020

6 李濰楚. 基于計算機視覺的表面缺陷檢測方法探究[J]. 中國新通信，2020， 22(21)：121～123

7 楊俊葉，劉佳，王麗. 計算機視覺技術(shù)在工業(yè)領(lǐng)域中的應用[J]. 科技創(chuàng)新導報，2020，17(1)：108～109

8 楊俊葉，劉佳，王麗. 計算機視覺技術(shù)在工業(yè)領(lǐng)域中的應用[J]. 科技創(chuàng)新導報，2020，17(1)：108～109

9 江浩. 計算機視覺技術(shù)在自動化中的應用探析[J]. 科技創(chuàng)新與應用，2020(14)：179～180

10 段利容. 基于計算機視覺的檢測方法與應用[J]. 科技資訊，2019，17(7)：7～8

11 Ren S, He K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C]. International Conference on Neural Information Processing Systems. MIT Press, 2015:91～99

12 韓朝君. 基于深度學習的計算機視覺物體關(guān)系檢測[D]. 成都：電子科技大學，2020

13 黃新，童宣科. 基于OpenCV的航空插頭內(nèi)焊杯坐標定位[J]. 儀器儀表用戶，2018，25(4)：49～52，61

14 李曉慶，成群林，楊波，等. 基于機器人視覺的復合氣瓶氣密自動檢測系統(tǒng)[J]. 航天制造技術(shù)，2016(2)：27～29

15 邢雪亮，甘文波，蔣朝根. 基于機器視覺的航空鉚釘尺寸檢測技術(shù)[J]. 計量學報，2020，41(5)：518～523

16 畢超，郝雪. 基于結(jié)構(gòu)光視覺的鉆孔點位法矢檢測技術(shù)研究[J]. 航天制造技術(shù)，2020(4)：1～6

17 趙希芳. 電連接器三維快速裝配研究[J]. 電子機械工程，2013，29(5)： 41～43

18 李莉. OpenCV耦合改進張正友算法的相機標定算法[J]. 輕工機械，2015，33(4)：60～63，68

19 李宏，張冬生，林義剛，等. 基于Otsu理論的灰度圖像分割算法研究和改進[J]. 科學技術(shù)與工程，2010，10(22)：5437～5440

20 楊春巖. 一種基于霍夫變換的圓檢測方法[J]. 白城師范學院學報，2016， 30(2)：65～68

Research on Quality Inspection Technology of Aerospace Electrical Connector Pin Based on Computer Vision

Yuan Pengzhe1Yu Ziyang1Zhang Nan2Liu Pu1Zhang Lieshan1

(1. Zhejiang Sci-Tech University, Hangzhou 310018；2. Capital Aerospace Machinery Co., Ltd., Beijing 100076)

This paper proposes a computer vision-based method to detect connector pin. This method uses a high-resolution industrial camera and imaging system to take a picture of the tested electrical connector as test sample. After image preprocessing, pin feature point extraction, coordinate point registration and template comparison, etc., test sample would be compared with template in order to realize qualification judgment. A set of image measurement system was built to verify the method. The results show that the method can basically realize the automatic detection of aerospace connector pins, and the eligibility judgment successfully exceeds 98.67%, which basically meets the application requirements.

electrical connector；computer vision；coordinate registration；the template matching

TP278；TH89

A

袁鵬哲（2000），本科在讀，電氣工程及其自動化專業(yè)；研究方向：機器視覺測量與計算機視覺檢測。

2021-03-11