基于平移像素距離變化的單目元器件浮高檢測

張索銘，喻擎蒼，何家旺

(浙江理工大學信息科學與工程學院，浙江 杭州 310018)

0 引言

電子制造技術和人工智能等技術的進步，帶動了PCB(Printed Circuit Board)電路板制造業崛起。隨之而來的問題之一就是元器件裝配缺陷中的浮高檢測，通過檢測元器件頂端到PCB 裸板的高度是否達到某高度值，以此來判斷電路板是否存在浮高的問題。

浮高檢測問題可以轉化為測距問題。目前常見的測距方法有單目[1]，雙目[2]，結構光[3]三類方法。單目方法計算速度快，但誤差較高；雙目的方法計算速度慢，誤差低；而結構光的方法速度快且誤差低，但是，結構光設備昂貴，并不適合大部分生產場景。

目前國內對PCB 的三維檢測方案針對不同的應用場景需要設計不同的檢測方案，如文獻[3]中對小型SMT(Surface Mounted Technology)表面貼裝元器件采用的結構光方案，雖然對于小型元器件的測量精度高，設備成本高，不能應用在小型生產線上；文獻[4]中對流水線上的接插元器件采用改進SGM(Semi-Global Matching)算法[2]對連續采集的圖片進行偽雙目深度測量，由于是對整塊板進行匹配重建，算法部分仍然采用雙目測距的方法，算法耗時長，無法達到需要快速檢測浮高的車間需求。

考慮到設備成本和流水線上的生產環境，應該采用更加快速的算法完成浮高檢測任務，由于三維重建過程精度高，耗時長，且對生產車間考察后可了解到大型電器類PCB 的浮高可接受2mm 內的誤差。文獻[1]中的基于圖像面積計算的單目測距方法滿足快速檢測的需求，但是原文中方法采用投影面積和距離的關系較為不穩定。因此可拍攝左右兩張圖像，應用形態學處理[5]，邊緣提取[6]，霍夫檢測[7]，特征點提取[8]等圖像處理算法獲取元器件上相同的特征點。元器件上的部分特征點計算像素平移距離代替面積，應用最小二乘法[9]擬合像素距離和相機平面到元器件頂端平面高度之間的關系，即可快速低成本完成接插類元器件的浮高檢測需求。因此本文提出一種基于像素距離變化的單目元器件高度檢測方案。

1 視覺方案準備與分析

視覺方案的設計包括圖像采集，圖像處理算法，擬合距離關系三個步驟。圖像采集部分的任務是由工廠流水線上的AOI(Automated Optical Inspection)設備完成的，隨后用來計算浮高指標的圖片為兩個位置的PCB 圖片。將左右位置的圖片分別利用圖像處理算法完成對元器件上穩定位置的特征點提取，再用特征點的像素坐標計算相同的PCB 板上元器件的像素平移距離，以備后續計算像素平移距離與元器件到相機距離的關系。通過記錄多組像素平移距離和元器件相機距離關系，利用最小二乘法確定系數來完成擬合標定。其具體流程如圖1所示。

圖1 視覺方案流程圖

1.1 圖像采集

目前應用AOI 光學檢測設備完成流水線上的PCB 圖像采集。檢測設備包括由板狀LED 燈源組成的無影燈箱，工業相機，計算機，警報燈以及操作鍵盤組成。整體設備置于生產PCB 的傳送帶上，在傳送過程中在固定的兩個位置完成左右兩張圖片的采集。圖像采集平臺結構如圖2所示。

圖2 圖像采集平臺結構圖

1.2 視距模型

在圖像采集后，需要對圖像采集場景的測距模型進行分析。如圖3 所示，對流水線上PCB 以及元器件位于傳送帶上，上方的相機對傳送帶左右兩個位置進行拍攝，元器件和板子位于不同高度，對相機上成像的點也是不一樣的。在相同的移動距離下，元器件和板子的像素平移距離也不同，可以通過擬合的方式計算像素平移距離和高度之間的關系，從而完成距離測量。

圖3 視距場景圖

2 圖像處理算法

2.1 感興趣區域獲取

由于圖像采集平臺采集的初始圖片包含很多無關的背景因素，所以需要進行感興趣區域提取，以便后續算法處理。首先需要在圖像中找到PCB 板，然后在已經裁剪好的圖片上尋找指定的元器件，其流程如圖4 所示。相同型號的板子和元器件形狀比較固定，因此，采用基于模板匹配方法即可完成感興趣區域提取。如圖5 示例圖，用此方法在傳送帶背景下可以精確的找到指定的PCB 板，隨后用同樣的方法可找到指定元器件，示例元器件為圓形電容也可應用相同的方法處理方形接插件。

圖4 感興趣區域提取流程圖

圖5 感興趣區域提取示例圖

2.2 輪廓提取及檢測

通過感興趣區域提取后，可獲得PCB 板上指定元器件的圖片，但是需要完成元器件頂端距離的測量任務，還需要更精確地提取元器件上的特征點。將圖像二值化閾值分割處理后即可得到精確的區域。由于邊緣算子計算后仍然存在部分無效的輪廓，所以需要對輪廓的圖像進行幾何特征驗證，采用霍夫檢測算法進行驗證，從而確定電容的頂部區域以便后續的特征點提取，具體流程見圖6 所示。如圖7 示例圖，在獲取到元器件區域圖片后進行算法檢測提取后可得到輪廓圖案。

圖6 輪廓提取檢測流程圖

圖7 輪廓提取示例圖

2.3 元器件特征點提取及篩選

應用輪廓提取方法獲取到只包含元器件的二值圖，將二值圖與原圖像進行與操作，再對有效部分進行SIFT 特征點提取。特征提取算法處理左右兩幅圖像過后會分別獲得特征點，保留左右匹配度最高的點用于后續計算像素平移距離，算法流程見圖8 所示。如圖9示例圖分別對左右位置的板子上相同元器件進行特征點提取并篩選。

圖8 特征點提取篩選流程圖

圖9 特征點篩選示例圖

2.4 擬合距離關系

在圖像處理之后，可以獲取到左右兩幅圖片上相同特征點的平移距離，而不同高度下相同平移距離產生的投影距離并不相同。uv 坐標系為圖像平面坐標系，XYZ為世界坐標系，x為左側開發板到右側開發板的水平距離，也是元器件左側至右側的水平距離，L1R1對應板上的左右位姿特征點，L2R2對應板上元器件頂部左右位姿特征點，d1為相機光心到板上的垂直距離，d2為相機光心到元器件頂點的垂直距離，p1為相機平面投影的裸板上的左右位姿特征點像素距離，p2為相機平面投影的元器件頂部位置左右位姿特征點像素距離，詳見圖10簡化光路圖。

圖10 簡化光路圖

相機到指定平面高度距離計算公式：

由此可看出在相機焦距f和左右圖像移動距離固定的情況下高度d和像素平移距離p成反比。反比函數在分母較小時求解系數誤差過大，因此可將原函數轉化為多項式。

n階的多項式公式：

采用最小二乘法，通過代入多組d和p的數據即可求解超定方程，從而求出系數矩陣ki。

3 實驗結果分析

在對30cm 到50cm 之間不同高度下50 組的左右圖片采集后最后完成最小二乘擬合，散點表示實際數據，連線為擬合曲線，橫軸對應公式中的像素距離p，縱軸對應公式中的高度距離d。擬合的數據與實際數據絕對值平均誤差為0.32mm，均方誤差為0.16mm，最大誤差為0.91mm，如圖11 所示。再將20 組400mm 到350mm之間的元器件測量數據帶入驗證，如圖12所示。

圖11 擬合高度與像素平移距離關系曲線圖

圖12 測試高度與像素平移距離關系曲線圖

測試的數據與實際數據絕對值平均誤差為0.41mm，均方誤差為0.21mm，最大誤差為0.98mm。平均處理速度為0.32s。從精確度和處理速度來看，算法滿足小型生產線上的需求。

最后在生產環境下測量元器件到開發板之間的高度，將7mm 的標準元器件和8mm 的浮高元器件分別采集20組數據，用算法分別測量相機到板子的高度和相機到元器件之間的高度，其差值為元器件到板子之間的高度。選取其中5 組元器件高度測量數據，如表1所示。

表1 元器件高度測量數據

4 結束語

本文用單目方法分別獲取同一PCB 板的左右兩幅圖像，通過計算左右圖像上相同元器件上特征點的像素平移距離，應用最小二乘法的方式求解像素平移距離與相機到元器件頂端的高度的關系方程，從而完成對元器件的高度檢測。圖像處理算法耗時短，平均處理時長為0.32s，最大誤差為0.98mm，平均誤差為0.41mm，基本滿足的生產線上的實時檢測需求，低成本地實現了元器件浮高檢測的問題，具有一定的工業應用價值。