基于機器視覺的軸承外圈表面圖像拼接方法

趙春華， 賈玥澤， 譚金鈴， 李香歸

(1.三峽大學機械與動力學院， 宜昌 443002； 2.三峽大學水電機械設備設計與維護湖北省重點實驗室， 宜昌 443002)

在實際加工過程中，生產出來的軸承不可避免地會存在一些表面缺陷，因此需要對生產線上的軸承進行表面質量檢測。目前軸承質量仍主要由人工進行檢測，但傳統的人工檢測有許多限制，如精確度低，工作強度高，受經驗和主觀因素影響大、需要更多人工投入、效率低等缺點[1]。以機器視覺為基礎的檢測技術現已取得長足進步，其無接觸、無損傷、高速高效的優點彌補了人工檢測的不足[2]。基于機器視覺的檢測中，若要保證拍攝精度，則會受限于相機的焦距和物距，獲得的單幅圖像并不能涵蓋整個軸承外圈表面的所有缺陷信息，通常會對一個目標軸承零件進行多次拍攝。在使用面陣CCD(charge coupled device)相機拍攝軸承外圈表面過程中，缺陷區域若位于圖像邊緣處，會導致單幅圖片中的缺陷信息發生缺失，后續測量、缺陷識別會受到干擾[3]。為保證缺陷信息的完整性，必須進行圖像拼接。軸承本身為圓柱體，其空間幾何特性使得采集到的圖像并不能真實反映軸承的空間信息。若不加處理直接進行拼接會使圖像產生扭曲，發生嚴重的圖像畸變，破壞軸承的實際視覺效果，不能體現其真實的空間尺寸和缺陷信息[4]。因此，必須按照一定的幾何投影關系把采獲的圖片向同一平面映射，使圖像中每個像素點和實際軸承保持對應，形成無差別的空間幾何關系。在投影完成后再進行圖像拼接，以獲得包含實際空間位置關系和完整缺陷信息的圖像。

圖像預處理、配準、融合為軸承外圈表面圖像拼接的3個主體環節[5]。從特征匹配算法的整體發展狀態來看，具有旋轉不變性和尺度不變性特征的尺度不變特征變換(scale-invariant feature transform，SIFT)[6]算法在圖像拼接領域應用較為普遍。趙謙等[7]在工業管道內壁損傷檢測中使用了該方法；陳月等[8]深入研究該法的應用，但其不足之處在于計算時間成本太大，需要較高的硬件配置，計算任務重，不符合實時性的要求；在多種特征檢測技術分析和歸納的基礎上，Bay等[9]提出了加速穩健特征算法(speeded-up robust features，SURF)，SURF算法配準效果好，并且其計算速度快三倍于SIFT。在圖像融合領域，首照宇等[10]在平均融合法中加入了加權的思想，有效實現了圖像無縫融合。

綜上所述，雖然SURF算法已被廣泛應用且發展較為完善，但在軸承外圈表面拼接領域仍未有過詳細應用和說明。在前人研究的基礎上，現使用面陣CCD相機作為圖像采集設備拍攝軸承外圈表面，對獲取到的圖片進行拼接前的預處理和柱面投影變換，隨后基于SURF算法進行圖像配準，在引入加權平均融合算法后，即可無縫拼接圖像。

1 圖像采集及圖像預處理

本文研究中設計的拼接方案分為4部分：圖像采集和待拼接圖像預處理、柱面投影、圖像配準和圖像融合，具體算法流程如圖1所示。

圖1 拼接算法流程圖Fig.1 Flow chart of stitching algorithm

1.1 圖像采集

圖像拼接的首要環節是圖像采集，如圖2所示。采用的是黑白面陣相機，型號為HikVision公司的MV-CE060。本實驗采用環形LED光源照明，照明光源固定在相機鏡頭上，正面打光。軸承放置在實驗平臺上，每次旋轉相同的角度，使相鄰圖像重合部分約為1/3，相機Z軸始終與拼接面垂直。為了確保本文所提的拼接方法對不同類型的缺陷圖像均有效，實驗數據選取具有代表性的3種軸承常見缺陷類型圖片，分別為擦傷、磕碰和銹蝕，圖片統一按照JPG格式行儲存。

圖2 圖像采集設備Fig.2 Image acquisition equipment

1.2 待拼接圖像預處理

在圖像采集過程中，機器會存在震動、電路傳輸會造成信號波動等環境因素不可避免地會使采集到的圖片產生噪聲。而噪聲點會影響特征點匹配的效果，也會給后續缺陷的分析和定位帶來干擾。為把噪聲剔除，需對軸承外圈表面圖像進行濾波。

在實踐和應用中，均值濾波、中值濾波、高斯濾波等是幾種應用較為普遍的算法，中值濾波速度快，符合實時性的要求，并且對于小于一定尺寸的噪聲點可以完全去除，對面積較大的噪聲點也可以有效減少面積，同時在處理缺陷區域時能有效保留缺陷的紋理特征[11]。采用的降噪算法為中值濾波median，其原理公式為

(1)

在圖像增強領域中，大多采用直方圖均衡化(histogram equalization,HE)作為圖像預處理環節中對特征結構的增強。直方圖均衡化可在整個直方圖上分析亮度，一定程度上增強了局部對比度，且不會對圖像整體對比度產生干擾[12]。其算法簡單，無需借外因設置參數，運算速度快且效果較好，所以采用直方圖均衡化實現圖像增強。

2 圖像柱面投影

軸承外圈表面為金屬弧面，在采集到的圖片中離圖像中心距離越遠的部位產生的圖像畸變也越大。若不加以矯正，會導致圖像邊緣處的缺陷信息發生變形，在圖像拼接時也難以使圖片和實際軸承的空間約束保持一致。引入圖像柱面投影原理[13]，對圖像加以矯正，以便在進行拼接時得到空間約束和特征信息完整的圖像。

圖像柱面投影的關鍵主要在于投影變換公式，如圖1所示，平面P是圓柱體Q的一部分，I是P展開后形成的對應平面。將圖像運用柱面投影原理展開，即將圓柱圖像P轉換成平面I上的圖像。

圖3 柱面投影原理示意圖Fig.3 The schematic diagram of cylindrical projection principle

圖3中柱面P內任意一點L(x,y)由幾何變換關系投影到平面I上對應的點K(x′,y′)，其變化關系可由圖4和圖5中的幾何模型得到。任一水平方向(過點L)的截面如圖4所示，圖5為過點L與圓心連線的豎直方向的截面。

f為柱面半徑；α為相機每次進行圖像拍攝時對應的圓心角； θ為圖像上任一點L和圓心連線與采集中心線的夾角；W為 原圖像寬度；W′為投影圖像寬度，H′為投影圖像高度圖4 柱面投影水平截面示意圖Fig.4 The horizontal section diagram of cylindrical projection

H為原圖高度圖5 柱面投影垂直截面示意圖Fig.5 Vertical section of cylindrical projection

圖4中，由幾何關系可得水平坐標的映射關系：

(2)

(3)

式(3)中：x′為投影圖像橫坐標；w′為投影圖像寬度；f為柱面半徑。

圖5中，由相似三角形定理可得垂直坐標的映射關系：

(4)

式(4)中：y′為投影圖像縱坐標；y為原圖像縱坐標。

L(x,y)投影至K(x′,y′)點(平面I中)的轉換關系為

(5)

(6)

運用柱面投影原理可以一定程度的還原圖像邊緣區域的空間信息，對后續的圖像拼接和缺陷檢測具有重要意義。

3 圖像拼接

3.1 圖像配準

圖像配準的基本步驟如下：提取經過預處理兩幅圖像的特征點，獲得待匹配特征點；基于特定圖像相似性度量尋找待拼接圖像局部特征相似點對；以已匹配的特征相似點對為依據進行空間坐標變換矩陣的計算；最后以矩陣坐標變換為基礎實現圖像配準。采用加速穩健特征SURF算法進行特征點提取的具體流程為：依次構建積分圖像、Hessian矩陣和尺度空間，定位、描述并匹配特征點。

3.1.1 建立積分圖像

積分圖像的構建應在特征點提取前完成[14]，積分圖像思想的引入可以使SURF算法的計算量大大降低。對采集到原始灰度圖像的像素坐標進行變換：從原始圖像中左上角開始一直到某一點，兩點之間所圍成矩形區域內所有像素灰度值之和作為積分圖像在該點的坐標值，且確保積分圖像與原始圖像無尺寸差異。積分圖像原理示意圖如圖6所示，積分圖像內建立坐標系，Y軸正向向下，X軸正向向右。

圖6 積分圖像原理示意圖Fig.6 The schematic diagram of integral image principle

運用積分圖像，可以把任意區域內像素和的累加簡化為頂點坐標之間的加減，使算法整體運算量明顯減少。圖6中矩形區域ABCD中所有像素灰度值之和即4個坐標頂點的加減，灰度值之和Σ的計算公式為

Σ=C-B-D+A

(7)

3.1.2 構建Hessian矩陣

Hessian矩陣能有效檢測圖像局部特征的邊緣信息，圖像內各像素點對應的H[f(x,y)]為

(8)

該矩陣判別式為

(9)

該矩陣特征值即為判別式的值。若圖像中任一點的H判別式的值為局部極大值或者局部極小值，則該點為鄰域內的極值點。

Hessian矩陣在圖像中任一點(x,y)處尺度為σ的H(x,σ)的定義為

(10)

在Hessian矩陣構建之前還要進行高斯濾波，以確保獲取到的特征點具備尺度不變性。但高斯濾波速度較慢，若把圖像所有像素均進行濾波，則會大大拖慢算法運行速度。SURF采用盒式濾波器(Boxfilter)，以此替代高斯濾波器。在積分圖像的基礎上使用盒式濾波器，基本等同于先高斯濾波原始圖像，然后展開Hessian矩陣計算。盒式濾波器和積分圖像的使用把復雜冗余的運算簡化為簡單的加減問題，大大縮短了計算時間。高斯濾波器和盒式濾波器模板對比圖如圖7所示。

圖7 高斯濾波器和盒式濾波器模板對比圖Fig.7 Comparison of Gaussian filter and box filter template

濾波模板圖7(a)～圖7(c)分別為高斯濾波器X方向、Y方向、XY混合方向上的模板；圖7(d)～圖7(f)分別為盒式濾波器X方向、Y方向、XY混合方向上的模板，各類權重系數用顏色深度各不相同的網格表示。

Hessian矩陣行列式近似值為

det(H)=LxxLyy-(ωLxy)2

(11)

式(11)中：Lxx、Lxy和Lxy為圖像在該點和盒式濾波器的二維卷積。引入加權系數ω(取經驗值0.9)，以此消除因高斯濾波被盒式濾波器替代導致的偏差。

3.1.3 構建尺度空間

使用不同的尺寸模板，在所有尺寸模板下使用Hessian矩陣行列式近似值遍歷圖像中所有的像素點，形成該尺寸下的行列式圖像。不同尺寸的行列式圖像構成圖像金字塔，也就是SURF的尺度空間。

圖8 尺度空間中盒子濾波器尺度分布圖Fig.8 Scale distribution of box filter in scale space

3.1.4 特征點定位、描述與匹配

為定位目標特征點，每次選擇SURF的尺度空間內的三層相鄰行列式圖像，隨之對中間層各Hessian行列式的值進行比較。在以該點為中心的3×3×3鄰域內，和余下26個像素點對比，確認該點是否為局部最大值或局部最小值點，做初步定位。除此之外，Hessian行列式的閾值同樣需要設定，小于閾值的點剔除，高于閾值的點保留。

基于特征點方向的確定及其旋轉不變屬性的需要，要對其加以描述。以特征點為中心做(半徑為6σ)圓。在該圓域內建立一個弧度為60°的扇形，可沿圓心轉動。將扇形區域內所有像素的Haar小波特征(邊長為4σ)進行計算，把水平方向和垂直方向的特征矢量進行累加，特征點主方向即為最大特征矢量方向。

以上步驟已經完成對圖像特征點的提取與描述，隨后應找出待拼接圖像的局部相似點對，對其進行匹配。以歐氏距離為依據確定兩個特征點是否匹配，分別求出特征點之間距離最近的兩個點并計算比值，將比值與設定的閾值作比較，小于閾值則符合判定標準，反之則不符合。SURF還通過矩陣的跡來作為判別標準，若兩個特征點矩陣的跡同號則符合，不同號則排除。為將錯誤匹配進一步減少，基于FLANN(快速近似最近鄰搜索庫)對提取到的特征點進行匹配，FLANN能夠有效清除大部分錯誤匹配點，實現快速高效匹配。

3.1.5 圖像透視變換

匹配的特征點對獲取后，應對圖像進行透視變換。通過求取單應性變換矩陣(homography matrix)對圖像進行映射。3×3的單應性矩陣H表達式為

(12)

圖像映射的前后關系式為

(13)

圖像映射前任一對應點坐標(x,y)，映射后坐標(x′,y′)。經上述過程，圖像配準已經完成，等待進行圖像融合。

3.2 圖像融合

軸承外圈表面圖像拼接的最終環節是圖像融合，將配準后的圖像融合成一幅完整圖像。

環境光線通常會對圖像拍攝造成干擾，軸承不同角度和部位的圖像之間往往存在著亮度的差異。本文研究中選擇加權平均融合策略來完成圖像融合的工作，為使圖像重疊過渡區域像素變化更加平滑，降低亮度差異。加權平均融合原理公式為

I(x,y)=

(14)

圖9 加權融合原理圖Fig.9 Weighted fusion principle graph

4 實驗結果分析

4.1 實驗過程與實驗數據

本實驗是在配置為Intel Core i5-9300H 2.40 GHz和8 GB RAM的個人計算機上進行實驗與仿真，操作系統Windows 10，使用python語言編程，利用開源庫OpneCV3.4.2為圖像處理庫。

將采集到的軸承外圈表面含有缺陷的圖片進行篩選，挑選出需要進行拼接的圖片。選擇a、b、c3組分辨率640×480具有代表性的軸承外圈表面缺陷圖像，故障類型分別為擦傷、磕碰和銹蝕，如圖10所示。

3組不同缺陷的實驗數據經預處理、柱面投影、圖像拼接等流程處理后的完整拼接圖像如圖11所示。

圖10 軸承外圈表面缺陷采樣圖像Fig.10 Sampling images of surface defects of bearing outer ring

圖11 拼接結果Fig.11 Splicing results

4.2 評價指標

為驗證柱面投影是否破壞了原圖像信息、衡量圖像是否失真，采用結構相似性(structural similarity,SSIM)作為評價標準。

(15)

式(15)中:μX為圖像X的均值；μY為圖像Y的均值；σX為圖像X的方差；σY為圖像Y的方差；σXY為圖像X和Y的協方差。SIMM∈[0,1]，SIMM值的大小與圖像失真程度呈負相關。

使用一種特征點匹配利用率來評價匹配的質量，以此確保能準確評價特征點匹配的質量。

(16)

引入峰值信噪比(peak signal to noise ratio,PSNR)[15-16]，通過計算圖像噪聲與有效信息二者之間的比例，以判斷拼接后的圖像的失真程度。PSNR的定義為

(17)

獲取一幅完整的圖像是圖像拼接的目的，并且融合圖像中應包含原圖像中所有的特征信息。而軸承表面的缺陷區域包含大量的邊緣特征信息，所以應采用一種從原圖像傳遞到拼接圖像的邊緣信息量的計算方法作為質量評價標準。引入基于邊緣信息保持度的客觀評價指標，圖像的邊緣信息保持度(EPI)為

(18)

式(18)中：τZ(i,j)和τK(i,j)分別為QZH(i,j)和QKH(i,j)的權重；原圖像邊緣信息保持度為QZH(i,j)；拼接圖像邊緣信息保持度為QKH(i,j)。EPI取值為0～1，EPI值越高，表示邊緣信息保留程度越大。人眼通常來說比較敏感于圖像的邊緣信息，所以使用EPI作為評價標準符合視覺檢測的要求。使用PSNR和EPI兩種指標相結合的方式來判定融合圖像的質量是科學的。

4.3 圖像融合質量對比實驗

對采取柱面投影和未采取柱面投影的圖像進行質量檢測，來研究柱面投影是否會破環原圖像的特征信息以致失真。表1為比較結果。

表1 柱面投影前后拼接質量對比表

由表1可知，未投影圖像和投影圖像的結構相似性相差很小，SSIM變化不超過5%；圖像投影造成的時間消耗也可忽略不計。說明本文采取的柱面投影并不會破壞原圖像的特征信息，也符合實時性的要求。

分別使用SURF算法與傳統的SIFT算法對原始圖像進行拼接，特征點的檢測、匹配以及耗時情況具體結果如表2所示。

表2中數據表明，與SIFT算法相比，SURF算法提取和匹配數量更少的特征點，但SIFT算法特征匹配的精確度不如SURF算法，且SURF算法的時間成本更低。所以我們選擇SURF算法作為軸承外圈缺陷圖像配準的方法。

融合圖像的PSNR和EPI結果如表3所示。

由表3可知，經過SURF算法處理后，圖像的峰值信噪比和融合圖像的邊緣信息保持度基本上都是要高于SIFT算法，說明SURF算法的圖像質量更加穩定，原圖像的特征信息保留的也更加完整。

表2 基于SIFT算法和SURF算法的圖像拼接比較

表3 基于SIFT算法和SURF算法的融合質量對比

5 結論

本文研究中所用拼接方法是在已有拼接方法的基礎上，將柱面投影原理與SURF特征點檢測算法相結合，還原圖像邊界區域真實的空間位置信息；運用SURF算法建立Hessian矩陣和尺度空間進行特征點的提取、描述和匹配；以FLANN為基礎搜索匹配結果，將錯誤匹配點剔出；最后利用加權平均融合算法實現對軸承外圈表面圖像的無縫拼接。

實驗結果表明，本文所提方法可恢復軸承外圈表面圖像的真實空間位置關系，將缺陷區域的特征信息有效保留，對邊緣具有不完整缺陷區域的軸承圖像實現有效拼接，為圖像的準確性及拼接質量提供有效保障。其理論與實踐意義較為明顯。