基于HALCON的四光源光度立體法金屬表面缺陷檢測方法*

王進峰 張兵宇 問叢川 閆立鑫 范珈誠 陳凱樂

(華北電力大學機械工程系，河北 保定 071003)

金屬表面缺陷通常采用人工檢測和物理量檢測方法，這些傳統檢測方法效率低、實時性差。機器視覺是通過機器代替人眼進行判斷，很大程度上克服人工檢測的缺點[1]，實現了實時檢測、高精度檢測、智能化檢測和完全檢測[2]，在焊接熔池表面高度提取[3]、鋼軌表面缺陷檢測[4]以及LCD的Mura檢測[5]等領域中得到了充分應用。

傳統視覺檢測原理是基于二維灰度圖像檢測技術，根據圖像的幾何形狀和明暗分布來檢測缺陷[6-7]。Woodham R J[8-9]提出了一種基于圖像的三維重建方法—光度立體法，依據待測對象的表面梯度構建深度信息，用于識別缺陷。在缺陷處，物體表面會有明顯的曲率變化，與深度信息相比，圖像的表面曲率信息更能有效識別缺陷[10-11]。

經典光度立體法多采用3個光源，獲得圖像的表面梯度信息，但得到的梯度信息并不準確。本文提出了一種基于HALCON的四光源光度立體法，可以準確求解待測對象的表面梯度信息，進而得到平均曲率圖像，根據圖像曲率信息識別缺陷，并設計了驗證性實驗，證明了該方法的有效性。

1 四光源光度立體法檢測原理

1.1 經典光度立體法

經典光度立體法是由3個空間位置不同但光照強度相同的光源、相機和待測對象組成，如圖1所示。利用相機拍攝待測對象在不同空間角度的光源照射下的一組圖像，根據Lambertian反射模型計算得到待測對象的表面法向量和x、y方向上的梯度信息，重建三維表面。

根據Lambertian理想漫反射模型[12]，漫反射光的光強公式為：

I=ρLN

(1)

式中：I為圖像傳感器亮度；ρ為待測對象的表面反射率；L=(Lx,Ly,Lz)光源的單位方向向量；N=(Nx,Ny,Nz)T為待測對象表面某點的單位法向量。

在不同光源下拍攝的3幅圖像中某像素的亮度分別為I1、I2、I3，由式(1)表示得：

(2)

轉換成矩陣形式為：

(3)

由于N和L是單位向量，求待測對象得表面反射率為：

ρ=‖L-1I‖

(4)

單位法向量為：

(5)

由此可求得待測對象的表面梯度，在x和y方向上的梯度分別為p和q：

(6)

(7)

因此，圖像上每一個的像素點(x,y)都可以求出該點的方向梯度(p,q)。

1.2 四光度立體法

不同空間角度光源照射下的4幅圖像中某像素反射光亮度分別為：

(8)

轉換成矩陣形式為：

(9)

公式(9)是超定線性方程組，由最小二乘法求解得ρ和N：

ρ=‖(LTL)-1(LTI)‖

(10)

(11)

則x和y方向上的梯度p和q分別為：

(12)

(13)

與三光源的光度立體法相比，四光源的光度立體法更能準確描述待測對象的表面梯度信息，圖像每一個像素點(x,y)的方向梯度為(p,q)。

1.3 計算圖像平均曲率

金屬缺陷檢測需要定位深度的局部變化，而表面梯度信息通常被用于重建待測對象的表面高度，并不能有效地識別缺陷，反之，表面曲率信息可以識別缺陷。對光度立體法得到的表面梯度信息進行進一步處理，以求得到待測表面的平均曲率。

表面梯度f(r,c)可表示為：

f(r,c)=(u(r,c),v(r,c))

(14)

式中：r為圖像的行坐標；c為圖像的列坐標；u(r,c)為待測表面在點(r,c)處的行梯度分量，值等于p；v(r,c)為待測表面在點(r,c)處的行梯度分量，值等于q；平均曲率H計算公式為：

(15)

二階導數項可表示為：

(16)

二階導數對圖像噪聲十分敏感，在計算平均曲率H前，先對圖像用高斯濾波器平滑，二階導數經高斯濾波后可表示為：

(17)

(18)

式中：G為高斯濾波器；σ決定平滑程度，σ值越大，圖像的平滑程度越高。在HALCON的derivate_vector_field算子中，σ的可用區間為[0.01,50.0]。

得到圖像的平均曲率后，進一步把平均曲率圖像轉化為灰度圖像，在缺陷處，像素的灰度值與無缺陷處不同，只需要選擇合適的閾值，就可以將缺陷從灰度圖像中分割出來。基于四光源光度立體技術原理，編寫HALCON程序，利用HALCON軟件完成檢測。

2 實驗設計

準備兩組光滑金屬試樣，在表面通過布氏硬度計打大小不同、深淺不同的孔，如圖2所示。

圖3為圖像采集裝置，主要硬件有：MI-SU系列工業相機，型號為MI-SU500M；高分辨率遠心鏡頭，型號為ESH012-300A；平行點光源，型號為FH-PL05W135，具體參數如表1所示。

表1 硬件參數

相比于近似點光源，內置同軸平行點光源提供了更加均勻的照明，同時避免物體的反光因此提高了機器視覺的準確性。因此，在使用內置同軸平行點光源的立體光源標定中，只需要確定每個光源空間位置的角度α和β，如圖4所示。

確定內置同軸平行點光源空間位置的步驟如下：

(1)沿相機支架上下移動光源，調整合適位置來放置打孔金屬試樣，同時確定打孔金屬試樣放置在圖形采集裝置正下方位置，打孔面朝上。

(2)調節平行點光源與水平面的夾角。

(3)調整CCD相機位置，確保試樣平面在相機鏡頭組的焦平面上。

(4)調節點光源直線照射位置為金屬試樣打孔面圓心。

(5)最后，逆時針依次開啟光源并依次關閉前一光源，使用角度指針讀取光源傾斜角度α和角度分度盤讀取光源水平面角度β。

3 結果分析

4組光源下采集的金屬試樣圖像的對應光源角度參數如表2所示，4組光源下采集的金屬試樣圖像如圖5所示。因為金屬試樣a和b圓柱的高度和半徑一致，所以兩組金屬試樣的光源角度參數一致。

表2 光源角度參數

將4組光源的角度信息寫成矩陣形式，HALCON程序會計算得到金屬試樣表面梯度圖像。

根據金屬試樣表面梯度圖像可以計算得到平均曲率圖像，將各點曲率值轉換為灰度值，依據灰度直方圖，可以觀察整個曲線變化圖中最低波谷值取為灰度區間最低值，最高值設置為1 000。圖7表示金屬試樣(b)在3個灰度區間的缺陷檢測情況。

根據圖7處理后的灰度直方圖，取高斯平滑系數σ=3平滑圖像，金屬試樣a和b由灰度直方圖取灰度區間為(0.018 333,1 000)和(0.036 51,1 000)進行閾值分割，得到圖8a和8b所示圖像，可看出試樣打孔區域都被標記。使用同樣方法檢測平整后未打孔的金屬試樣，可看出，金屬試樣無任何標記，如圖8c所示。

4 結語

四光源光度立體法可以準確構建圖像的表面梯度信息，有效消除圖像噪聲，實際檢測中精度高、速度快，圖像采集裝置結構簡單、易于安裝。利用HALCON軟件可以快速調用原理算式復雜的機器視覺計算方法，簡單易用。因此，提出一種基于四光源的光度立體法，利用HALCON軟件去檢測打孔金屬試樣。結果表明，該方法可以有效識別金屬表面缺陷。